Google Cloud Platform Japan 公式ブログ: クラウドの料金体系を理解する: 第 3 部

クラウドの料金体系を理解する: 第 3 部 – データウェアハウス編

2015年7月1日水曜日

* この投稿は、米国時間 6 月 19 日、Solutions Architect の Peter-Mark Verwoerd によって投稿されたものの抄訳です。
これまで「クラウドの料金体系を理解する」と題して、ローカル SSD と仮想マシンについて書いてきました。本日は、データウェアハウスの料金のほか、運用にあたって必要な情報について検討したいと思います。ここ数年間でアプリケーションのデータボリュームが著しく増加するに従い、ストレージのコストが大幅に削減されました。とはいえ、データの保存だけではあまりメリットがありません。活用するためには、データクエリの実行、共有可能なレポートの作成、データの分析を可能にする手段が必要です。このような場合にはデータウェアハウスが役立ちます。
この投稿における「データウェアハウス」とはアプリケーションのトランザクショナルストレージではなく、レポート機能や分析に使用されるデータストレージシステムで、別の言い方をすれば OLTP ではなく OLAP に焦点を置きます。ということで、本日検討するのは（1）レポート機能と分析、（2）大容量のデータセットの保存を可能にするシステムです。では、クラウドでのデータウェアハウジングはどのように異なるのでしょうか。これは実行されるシステムの種類に関係がありますが、クラウドには 2 つのデータウェアハウスがあります。

従来のデータセンターやクラウドネイティブのシステムで実行可能なクラウド内のシステム。クラウドを必要とするストレージ、ネットワーク、コンピューティングの適合性ゆえに、クラウドネイティブのデータウェアハウスは、従来のデータセンターには存在できません。Google BigQuery がこのシステムの一例で、ノードの追加やストレージのプロビジョニングは必要でなく、シームレスなスケールが可能です。

従来のデータセンターで実行可能、または実行されるクラウド内のシステム。このシステムではデプロイメントに従来のアプローチが使用され、ノードを追加することで処理能力とストレージが拡大されます。こうしたデータウェアハウスの例として、HP Vertica、SAP HANA、EMC Greenplum、Amazon Redshift などが挙げられます。Redshift はプライベートデータセンターに対応しないものの、機能的には他のウェアハウスと極めて類似しています。

コスト効率とパフォーマンスのスケーリングの両面で、Google BigQuery はクラウドでのデータウェアハウスの運用において、最適の選択肢となります。クラスタの例実際の応用として、1 PB （ペタバイト）のデータウェアハウスについて考えてみましょう。OLAP データウェアハウスについては「ペタバイト規模」という言葉が頻繁に使われるため、ここでは実際にペタバイトのデータを保存するシステムについて検討します。このシナリオではカラムナストレージで運用される一般的な商用データウェアハウスと Google BigQuery を比較します。大半のカラム指向のデータベースは市販の製品か、営利主体による有料の保守やパッチ適用などのサポートが提供されているかのどちらかです。HP Vertica や SAP HANA など、数多くのデータウェアハウスがありますが、ここでは Google Cloud Platformで一般的なウェアハウスを運用する場合の料金を見ていきます。これらのシステムは大量のデータの保存、データの分析やレポート作成、パブリッククラウドでの完全なバージョンの実行といった Google の基本的な要件に対応するものです。これらのデータウェアハウスにおける料金の決定方法についても検討する必要があるでしょう。BigQuery は消費に基づくモデルが採用されており、利用したストレージとコンピューティングに応じて料金が請求されます。現時点でのストレージの月額は $0.02/GB、データ分析は $5/TB　です。大半の商用データウェアハウスは料金体系を公表していませんが、保存されているデータ量に基づく料金設定が一般的です。そのため、一般的な商用データウェアハウスのライセンスについては、年間 $1,000/TB と想定することにしますが、これはベンダー、お客様、保存されるデータ量によって大きく異なる可能性があります。すべての料金を提示している Google の料金体系では、お客様のご利用に応じて料金を決定します。つまり、Google Compute Engine でのクラスタの実行にかかるコストとライセンス費用の総額の合計が、総コストなのです。クラスタのサイジング BigQuery の料金を適切に算出するために、実際のお客様の平均値を利用し、実行されるクエリ数を見積もります。ここではユーザーの 90 パーセンタイルに近い使用パターンである 100 GB の平均クエリで、1 日のユーザーを 100 人、クエリを 40 個とします。つまり、1 日あたりのクエリは 4,000 個、 1 か月（30 日）あたりの分析データは 12,000 TB となります。一般的なシステムを使う場合の料金の算出するにあたっては、広範囲に適用できるガイドラインを使用します。データウェアハウスが想定通りに機能するためのノードの最小サイズは最低 16 コア、RAM は最低 60 GB とすべきでしょう。料金の比較が少なくとも最低値に対応するよう、Google Compute Engine の n1-highmem-16 のインスタンス（コア：16、RAM：104 GB）を使用して見積もります。また、データウェアハウスではどのタイプのディスクでも同様に料金が算出されるため、見積もりの対象となるのは SSD ではなく回転ディスクのみです。Google Compute Engine では 1 PB の SSD ベースのクラスタを実行できるものの、SSD ベースのデータウェアハウスは機能的に小さめのデータセットにより特化するため、大幅に高額となる傾向があります。一般的なデータウェアハウスの見積もりには、ライセンス費用、インスタンスのコスト、永続ディスクのコストの 3 つの要素が含まれます。インスタンスに接続できる永続ディスクの上限は 10 TB で、1 PB では 100 個のインスタンスが使用されることになります。

料金体系下記には 2015 年 5 月 13 日に実施した料金の計算結果が掲載されています。この投稿の公開後に料金体系や計算方法が変更された場合は、数値に差異が生じる可能性があります。 BigQuery での見積もり：月額 $79,999.50 内訳はストレージコスト $20,000、クエリのコスト $59,999.50 一般的なデータウェアハウスでの見積もり：月額 $100,502.40 想定されるライセンス月額の見積もりは年間 $1,000/TB（月額 $83,333.33（1,000÷12））合計月額：$183,835.73 一般的なデータウェアハウスのほうが BigQuery よりも大幅にコストがかかることは一目瞭然です。ただし、Google Compute Engine でクラスタを実行する場合、コストをオンデマンド料金よりも自動的かつ大幅に削減できる、Sustained Usage Discountという継続使用割引を利用できます。これにより、大規模な永続クラスタ実行のコスト効果が確実に高まります。一方、データウェアハウスのライセンス費用によって、Google Compute Engine での実行にかかる運用コストが大幅に増大する可能性があります。スケーリングどのシステムを使用するかを検討する際には、料金体系だけでなく、スケーリングについても理解しておくことが重要です。データウェアハウスのスケーリングについては、ストレージの容量とストレージへのアクセス速度という 2 つの重要な要素があります。カラム指向のデータウェアハウスではノードの追加によってストレージが拡大されるため、プロビジョニングできるノード数が制限されます。これまで 1 PB のストレージに 100 個のノードが使用されていましたが、 Google Compute Engine ではそれをはるかに上回ることができます。ただし、ストレージとパフォーマンスはひとくくりになっているため、コンピューティングのニーズと切り離してストレージだけを追加することはできません。同様に、コンピューティングのキャパシティだけを追加したい場合も、ノードを追加する以外の方法はありません。 BigQuery ではスケーリングとパフォーマンスを別々に考えることができます。つまり、ストレージとコンピューティングのニーズを分離できる料金体系が設定されています。データの保存量を増やす必要があるものの、作業量は変わらない場合（通常の使用パターンでは、データの追加によってレポートも増加）、BigQuery では不要なコンピューティングの追加に料金を支払うことなく、より多くのデータを保存できます。同様に、データセットの容量はそのままで作業量を増やす必要がある場合（レポートやアドホッククエリの増加）も、不要なストレージの追加に料金を支払うことなく、作業量を増やすことができます。では、こうした増加分に対して料金がどう変化するのかを把握するために、コンピューティングとストレージのいずれかを大幅に拡大させる必要が発生した場合について考えてみましょう。すべての想定はこれまでと同様として、ストレージが 1 PB から 10 PB に拡大すると、月額は下記のようになります。 BigQuery での見積もり：$259,999.50 内訳はストレージが $200,000、クエリが $59,999.50です。クエリについては 1 PB の場合とまったく同じ料金ですが、これは料金のメトリクスが完全に独立しているためです。10 倍のデータ保存が可能になったために、ストレージにかかるコストは 10 倍になりますが、データ分析にかかるコストは変わりません。では 5倍のデータの分析が必要になった場合を見てみましょう。 BigQuery での見積もり：$499,999.50 ストレージとクエリの料金のメトリクスが完全に独立しているため、クエリの挙動と領域が変更しない場合、料金は 1 PB のときと変わらず $59,999.50 になります。実際には 10 PB の場合のデータのフットプリントが拡大される可能性があるため、1 PB と比較して 5 倍のデータが分析されると想定しています。一般的なデータウェアハウスでの見積もり：$1,005,024 想定されるライセンスの月額は $833,333.33（10,000÷12）コンピューティングとストレージが追加されるため、実質的に 1 PB の場合の 10倍のコストがかかることになります。「誰が現実に 10 PB を使用するのか」と思われるかもしれませんが、実際に Google BigQuery で10 PB 以上を使用されているお客様も存在するのです。また、これは最低要件が設定された一般的なシステムと大規模なワークロード処理が可能な BigQueryでの比較です。BigQuery での高額なシステムでさえ、Google Compute Engine で実行される必要最低限の一般的なシステムよりも料金は安くなります。 TCO に関する検討事項クラウドでは、時間単位（または月単位、年単位など）の料金体系以外にも、さまざまな要素を比較できますが、BigQuery には他にはない、いくつかの特徴があります。最も検討すべきことは、BigQueryでは管理が不要だということでしょう。つまり、基盤となる仮想（または物理）マシンの管理、キャパシティや料金の計画、クラスタのサイズ変更は一切必要ありません。そのため、スタッフは時間とコストを節約しながら、本当に重要な作業に取り組めるようになります。料金設定を含む上記のすべての例では BigQuery 以外のすべてのクラスタのサイズを見積もる必要がありましたが、実施するには時間と労力がかかり、専門知識が必要です。管理が不要であるということは、クラスタのスキーマ、キー、インデックスなどを管理するデータベース管理者も必要ありません。これらはすべて Google によって管理されるため、熟達したデータベース管理者はデータウェアハウスの保守ではなく、他の仕事にもっと集中できるでしょう。また、料金は使った分だけが請求されるため、ピーク時のキャパシティを考慮する必要もありません。BigQuery では必要なキャパシティにいつでもスケーリングが可能です。ここでも運用コストを節約できるほか、従業員はデータウェアハウスのスケーリングについて検討する必要もありません。 BigQuery ではクラスタにかかるコストをストレージとコンピューティングで分離できることについてご紹介しましたが、実際はそれだけではありません。ストレージ、インジェスト、バッチクエリ、ストリーミングクエリにかかるコストも分離できます。そのため、不要なリソースに料金を支払うことなく、必要なものだけに専念することができます。最後にクラウドでのデータウェアハウスの料金を検討することは厄介に思えるかもしれませんが、この投稿でご理解を深めていただけることを願っています。今回は BigQuery でコストと時間を節約しながら、必要なサイズに拡張できることをご紹介しました。BigQueryドキュメンテーションホワイトペーパーpetermark@google.com -Posted by Peter-Mark Verwoerd, Solutions Architect

Google Cloud Platform Japan Blog

クラウドの料金体系を理解する: 第 3 部 – データウェアハウス編

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

Google Cloud Platform Japan Blog

クラウドの料金体系を理解する: 第 3 部 – データ ウェアハウス編

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

クラウドの料金体系を理解する: 第 3 部 – データウェアハウス編