Google Cloud Platform Japan 公式ブログ: 料金

リソースベースの料金体系を Compute Engine に導入

2018年8月7日火曜日

継続利用割引

これまでは、4 個の vCPU を搭載する特定のマシンタイプ（n1-standard-4 など）の使用時間が 1 か月の 50 % に達すると、適用される実質的な割引率は 10 % でした。使用時間が 1 か月の 75 % になると実質的な割引率は 20 % となり、使用時間が 1 か月の 100 % であれば実質的な割引率は 30 % になりました。

たとえばウェブベースのサービスを実行しているとしましょう。月初の 1 週目は、vCPU を 4 個搭載する n1-standard-4 を実行しました。2 週目はユーザーのサービス需要が増加し、キャパシティをスケールアップして、vCPU を 8 個搭載する n1-standard-8 の実行を開始しました。ところが需要が増加の一途をたどり、再びスケールアップが必要になったため、3 週目は vCPU を 16 個搭載した n1-standard-16 の実行を開始しました。サービスの成功に伴い、4 週目にもスケールアップを迫られ、vCPU を 32 個搭載する n1-standard-32 を実行し、月末を迎えました。このシナリオでは、従来は割引をまったく受けられなかったでしょう。どのマシンタイプも、実行時間が 1 か月の 50 % に達していないからです。

月初の 1 週目は vCPU を 4 個使用し、2～4 週目は vCPU 数を順に、8 個、16 個、32 個に増やしました。そうすると、4 個の vCPU を 1 か月にわたって実行したことになるので、使用時間は 1 か月の 100 % となり、これらの vCPU については 30 % の割引が受けられます。別の 4 個の vCPU は使用時間が 1 か月の 75 % なので、これらの vCPU には 20 % の割引が適用されます。別の 8 個の vCPU は使用時間が 1 か月の 50 % であり、これらには 10 % の割引が適用されます。別の 16 個の vCPU は使用時間が 1 週間（1 か月の 25 %）なので、割引が適用されません。理解が深まるように、この料金計算の仕組みを図示しました。

こちらのページ*この投稿は米国時間 7 月 25 日、Google Compute Engine の Group Product Manager である Paul Nash によって投稿されたもの（投稿はこちら）の抄訳です。
- By Paul Nash, Group Product Manager, Google Compute Engine

Google Stackdriver の料金を発表

2016年7月1日金曜日

* この投稿は米国時間 6 月 23 日、Product Manager である Dan Belcher によって投稿されたもの（投稿はこちら）の抄訳です。
Google は先ごろ、Google Stackdriver のベータ版を発表しました。Stackdriver は、Google Cloud Platform と Amazon Web Services *1 で実行されるアプリケーションを対象に、モニタリング、ロギング、および診断の各機能を提供するスイートです。
おかげさまで、Google Stackdriver にはお客様から熱狂的な支持を頂いています。ベータ公開はあと 2 か月ほど続きますが、ここでは Stackdriver の予定される料金についてお話ししたいと思います。
Google Stackdriver はモニタリング、ロギング、診断を統合することで、アプリケーションの健全性やパフォーマンス、可用性の状況を把握しやすくし、ハイブリッドクラウドの運用にかかる負荷を軽減します。そしてこれらのサービスを 1 つのパッケージにまとめることにより、お手頃な料金で使いやすく柔軟なサービスを提供します。
予定されている Google Stackdriver の大まかな料金体系は次のとおりです。

Google Stackdriver には無料ティアとプレミアムティアがあります。

無料ティアは、Cloud Platform サービスが生成した主要なメトリクス、トレース、エラーレポート、ログ（10 GB / 月まで）へのアクセスを提供します。

プレミアムティアは無料ティアの内容に加えて、Amazon Web Services 統合、モニタリング / ロギングエージェントのサポート、アラート通知（Slack、HipChat、PagerDuty、SMS などとの統合）、カスタムメトリクス、カスタムログ、30 日のログ保持などを提供します。

プレミアムティアの料金は、モニタリング対象リソースごとに月額 8.00 ドルの固定価格です（時間数で按分）。モニタリング対象リソースごとに 500 種の時系列のカスタムメトリクス、アカウント全体のクォータに月 10 GB のログデータストレージが追加されます。さらに、個々のプロジェクトに 250 のカスタムメトリクスデスクリプタが与えられます。ここに記されているように、請求対象のリソースは仮想マシンインスタンスまたはそれと同等のものに相当します。

無料およびプレミアムティアの詳細については Google Stackdriver 料金 FAQ をご覧ください。これからの数か月間は、このブログに掲載される Stackdriver の注目すべきニュースをお見逃しなく！
*1 "Amazon Web Services" and "AWS" are trademarks of Amazon.com, Inc. or its affiliates in the United States and/or other countries.

- Posted by Dan Belcher, Product Manager

クラウドの価格体系 Part 6 - ビッグデータプロセシングエンジン

2016年3月30日水曜日

* この投稿は米国時間 3 月 17 日、Google Cloud Platform Solutions の Architects である Karan Bhatia と Peter-Mark Verwoerd によって投稿されたもの（投稿はこちら）の抄訳です。

第 1 部 - 仮想コンピュータ編

第 2 部 - ローカル SSD 編

第 3 部 - データウェアハウス編

第 3.2 部 - データウェアハウスに関する追加情報編

第 4 部 - 真のクラウドエコノミクス編

第 5 部 - NoSQL データベース編

第 5.2 部 - NoSQL 続データベース編

$0.01財務ポートフォリオのモンテカルロ分析個別化医療プレディクティブ・アナリティクスGFSBigTableMapReduceCloud DataprocElastic MapReduceHDInsight マネージド Hadoop が提供するサービスの概要Cloud DataprocElastic MapReduceHDInsight

表 1 Hadoop Processing Engines の概要

FEATURE	CLOUD DATAPROC2	ELASTIC MAPREDUCE3	HDINSIGHT4
Hadoop distribution	From Apache Source	From Apache Source	Hortonworks
Hadoop version (current)	Hadoop 2.7.2	Hadoop 2.7.1	Hadoop 2.7.1
Apache Pig	0.15.0	0.14.0	0.14.0
Apache Hive	1.2.1	1.0	0.14.0
Apache Spark	1.6.0	1.6.0	1.3.1
Apache Storm	-na-	-na-	0.9.3
Apache HBase	-na-5	0.94.186	0.98.4
# of supported instances types	thousands7	37	17
Live resizeable	yes	yes	scale up only
Fault tolerant	no	no	yes8
Automatic configuration	yes	yes	yes
User Customizable	Initialization actions	Bootstrap actions	Script actions
Preemptible Discounts	yes	yes	no
Long-term Discounts	Sustained use Discounts (no commitment required)	Reserved Pricing (requires commitment)	no
Pipeline execution	Apache Oozie	DataPipeline	Apache Oozie

プラットフォーム Cluster の価格体系クラスター実行モデル標準的な作業量での価格の比較表 2 ：50 TB のデータを 5 時間で処理した場合のコスト（2016 年 2 月時点）

PRICING MODEL	DATAPROC	EMR	HDINSIGHT
Standard Pricing	$2,154.40	$2,613.27	$3,261.33
Short term discount	$1934.43	$1,936.1714	-na-

標準価格体系プリエンプティブルディスカウントまとめこちら関連コンテンツ

Google Cloud Dataproc managed Spark and Hadoop service now GA, Feb 22 2016

Comparing the Dataflow/Beam and Spark Programming Models, Feb 3 2016

Announcing Google Cloud Bigtable: The same database that powers Google Search, Gmail and Analytics is now available on Google Cloud Platform, May 6 2015

Google BigQuery Benchmark, June 9 2015

[1] http://archive.wired.com/magazine/wired-20th-anniversary/[2] As provided by Cloud Dataproc version 1.0.0 released 2/22/2016, https://cloud.google.com/dataproc/dataproc-versions[3] AWS Elastic MapReduce AMI 4.3 released 1/27/2016, http://aws.amazon.com/documentation/elastic-mapreduce/[4] Microsoft Azure HDInsight v3.2 using Hortonworks Data Platform (HDP) 2.2 released 12/03/2015, https://azure.microsoft.com/en-us/documentation/articles/hdinsight-release-notes/[5] HBase support through the Google Bigtable service[6] As of AMI 3.1.0 and later of Elastic MapReduce[7] Cloud Dataproc supports 19 pre-defined instances types and new custom instance types that match your workloads, https://cloud.google.com/dataproc/concepts/custom-machine-types[8] Dual head node and 3 zookeeper nodes provide failover[9] https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-linux-information/#scaling[10] https://aws.amazon.com/elasticmapreduce/pricing/[11] https://cloud.google.com/dataproc/pricing[12] https://azure.microsoft.com/en-us/pricing/details/hdinsight/[13] http://ec2price.com/[14] Using average spot market price in us-east-1 for m3.xlarge instance type from Jan 1, 2016 to Jan 7 2016.Data obtained using the AWS spot pricing API. The average spot price during that time was $.065. Total cost = (Spot Price + EMR Uplift) * number of nodes * number of hours used + AWS S3 storage costs, or ($.065 + $.07) * 21 nodes * 150 hours + $1510.92. 2016

-Posted by Karan Bhatia & Peter-Mark Verwoerd, Google Cloud Platform Solutions Architects

Google BigQuery - コスト計算と最適化

2015年12月22日火曜日

Posted by 八木橋徹平 (Google Cloud Platform シニアソリューションアーキテクト) Google BigQuery を利用するにあたり、想定外の利用料金が発生する可能性がある点に、懸念を持たれる声をいただくことがあります。

このブログでは、まず BigQuery のコストの算出方法を明確にし、その上でコストの最適化方法をご紹介します。

Google Cloud Platform としてお客様には、常に最適な環境と必要最小限のコストで BigQuery をご利用いただくことを目指しています。 Google BigQuery 課金体系 BigQuery の料金は、3 つの要素から構成されます。

ストレージ：GB あたり月 $0.020

ストリーミング・インサート：200MB あたり $0.01（各行は最低 1KB として算出）

クエリー：TB あたり $5

計算例： ①月毎のテーブルに 100GB を格納（常に 1 年分を保持） ②毎月 100GB のテーブルを追加し、一番古い月のテーブルを削除 ③最新月のテーブルへ 100 回クエリー、その他のテーブルへ 10 回月額料金 = (1,200GB * $0.020) + (102,400MB / 200MB * $0.01) + ($0.097TB * 110 * $5) = $24 + $5.12 + $53.71 = $82.83 上記の条件の場合、毎月 1 万円弱（$1 = ¥120 換算）で 1TB 以上のデータを蓄積し、集計処理などに利用することができます。①のストレージとしてのコストだけを見ると、毎月 ¥2,880 程度の料金となり、単純なログ・データの保管場所としての利用も考えられます。コスト試算する上で、最大の懸念事項として上がるのが③の総クエリー数になります。エンド・ユーザが実際にどのくらいクエリーを発行するのかを事前に把握することが困難な点です。コスト制御想定外のコストの発生を防ぐために、課金に関連したアラートの設定や BigQuery の利用に幾つかの制限を設けることが可能になりました。 Billing Alert 機能 Google Cloud Platform のプロジェクト単位で、予め設定した課金の閾値を超えた場合、管理者にアラートとしてメールを送信することが可能です。管理者は閾値の 50% 、90% 、100% に達した際にそれぞれアラートを受け取ることができ、早い段階で原因を調査することができます。

BigQuery カスタム・クォータの設定多数のユーザが複数のプロジェクトを跨って、BigQuery を大規模に利用する場合、カスタム・クォータは、より細かなクエリー・コストの制御を実現します。下記のクォータ設定をこちらのフォームから申請できます。

プロジェクト：特定プロジェクト内で実行されるクエリーによって、1 日あたりに処理可能なデータ量

ユーザ：特定プロジェクト内で各ユーザが発行するクエリーによって、1 日あたりに処理可能なデータ量

* 各クォータは、10TB 単位で指定します。 設定例： プロジェクト 50TB ユーザ 10TB

10 ユーザがそれぞれ 4TB をクエリーで消費した場合、各ユーザは最大で残り 6TB が利用可能で、ユーザ間でプロジェクトの残り 10TB をシェアすることになります。その後、10TB が消化された時点で、対象プロジェクトでは BigQuery を一時的に利用できなくなります。クォータは日次で補充され、利用の再開が可能となります。 Table Decorator の活用 BigQuery にクエリーを発行した場合、通常はカラムのフルスキャンが実行されます。Table decorator を利用することにより、効率的にデータのサブセットに対して実行することが可能です。Table decorator は、テーブルのコピーやエクスポートなどデータの読込みが発生するあらゆる局面で利用することができます。
Table decorator は、相対的あるいは絶対的な「時間」の指定をサポートします。過去 7 日間以内で、それぞれ相対的な時間はミリ秒単位の負数、絶対的な時間は1970/1/1からミリ秒単位の正数を指定します。 Snapshot decorator 過去 7 日間以内のデータのスナップショットを参照することができます。
相対値の例： 1 時間前のスナップショットを参照
SELECT COUNT(*) FROM [mydataset.sample@-3600000] 絶対値の例：特定の時間のスナップショットを参照
SELECT COUNT(*) FROM [mydataset.sample@1450310638759] Range decorator 過去 7 日間で、指定した期間内に追加されたデータのみを参照することができます。 相対値の例：1 時間前から 30 分以内に追加されたレコードのみを参照 SELECT COUNT(*) FROM [mydataset.sample@-3600000--1800000] 絶対値の例：特定期間内に追加されたレコードのみを参照 SELECT COUNT(*) FROM [mydataset.sample@1450310638759-1450314836556] まとめ

BigQuery の課金体系は、「ストレージ」・「ストリーミング・インサート」・「クエリー」から構成される。

Billing Alert 機能やカスタム・クォータを設定することにより、想定外の料金が発生する前に検知や未然に抑制することができる。

Table decorator の活用により、読込むデータ量を抑えることができる。

クラウドの料金体系を理解する：第 5 部 - NoSQL データベース編

2015年9月9日水曜日

* この投稿は、米国時間 8 月 31 日、Solutions Architects である Sandeep Parikh と Peter-Mark Verwoerd によって投稿されたもの（投稿はこちら）の抄訳です。

第 4 部 - 真のクラウドエコノミクス編

Google Cloud Platform NoSQL データベースここ数年爆発的な成長を遂げておりACIDCAP 定理MongoDBApache CassandraRiakApache CouchDBCouchbaseGoogle の Bigtable ホワイトペーパーAmazon の Dynamo 出発点MongoDB が公開したものUnited Software Associates のものレプリカセット

Benchmark	MongoDB	United Software Associates
CPU	Dual 10-core Xeon 3.0 GHz	Dual 6-core Xeon 3.06 GHz
RAM	128 GB	96 GB
Storage	2 x 960 GB SSD	2 x 960 GB SSD
Monthly Price (single node)	$1,525.00* (estimate)	Unavailable**
Monthly Price (3-node replica set)	$4,575.00* (estimate)	Unavailable**

RAM	104 GB	120 GB
Storage	4 x 375 GB Local SSD	4 x 375 GB Local SSD
Monthly Price (single node)	$843.60	$1,146.10
Monthly Price (3-node replica set)	$2,530.76 (estimate)	$3,438.30 (estimate)
Monthly Price Difference	44%	24%
Annual Savings vs. On-Premise	$24,530.88	$13,640.40

このディスクタイプの比較継続使用割引独自テストの実行PerfKitGoogle Compute Engineドキュメント* 価格は Softlayer の CTO （受注仕様生産）ベアメタルサーバーの料金より** この構成では月額の推計が不可能- Posted by Sandeep Parikh and Peter-Mark Verwoerd, Solutions Architects

クラウドの料金体系を理解する: 第 4 部 – 真のクラウドエコノミクス編

2015年7月30日木曜日

* この投稿は、米国時間 7 月 27 日、Google Cloud Platform, Global Head of Solutions の Miles Ward によって投稿されたものの抄訳です。今夏の NEXT イベントGoogle Cloud Platformコンピューティングストレージ料金計算ツール過去の料金ポスト

　クラウドの料金体系を理解する: 第 1 部 ― 仮想コンピュータ編

　クラウドの料金体系を理解する: 第 2 部 ― ローカル SSD 編

　クラウドの料金体系を理解する: 第 3 部 ― データウェアハウス編

　クラウドの料金体系を理解する: 第 3.2 部 ― データウェアハウスに関する追加情報編　

競争力のある料金体系私の写真Google Cloud PlatformEnterprise Strategy GroupESGGoogle Cloud Platform Google Cloud Platform InstaGraphic June 2015.png

ESG Lab White Paper "Price Comparison: Google Cloud Platform vs. Amazon Web Service
ESGESG の調査資料-Miles Ward, Global Head of Solutions, Google Cloud Platform

クラウドの料金体系を理解する: 第 3.2 部 ― データウェアハウスに関する追加情報編

2015年7月16日木曜日

* この投稿は、米国時間 7 月 6 日、Solutions Architect の Peter-Mark Verwoerd によって投稿されたものの抄訳です。データウェアハウスの料金体系関する投稿では大きな反響をいただきました。皆さまからのご意見やフィードバックに心から感謝しています。「もっと知りたい」というメッセージがたくさん寄せられましたので、本日はさらにデータウェアハウスの比較を行いながら、リクエストにお応えしたいと思います。前回の料金体系に関する投稿Google BigQuery前回の投稿Google BigQuery クラスタの例Google BigQueryAmazon RedshiftApache Hadoop料金体系に関する投稿前回の投稿料金Amazon RedshiftClouderaHortonworksApache HiveCloudera ImpalaApache Spark SQL （旧Shark）Presto クラスタのサイジング前回の投稿料金体系に関するブログポスト第 1 部Redshift のよくある質問

SSD のクラスタの最大容量が328 TB であり、対象としている 1 PB を大きく下回るため。

通常、SSD ベースのデータウェアハウスは小さなデータセットを伴う特殊なユースケースで使用されていると考えられるため。

本投稿の目的は、クラウドでのデータウェアハウスの料金について明確にすることであるため。Redshift ではすべてのノードタイプで同じ料金体系が設定されており、1 つのノードタイプしか検討する必要がない。

料金体系 BigQuery での見積もり：月額：$79,999.50 Redshift （オンデマンド）での見積もり：月額：$315,588.80料金は 4 倍近く Hadoop での見積もり：月額：$143,017.60 1 年契約の場合Redshift のリザーブドインスタンスでの見積もり（1 年契約、前払いなし）Redshift のリザーブドインスタンスでの見積もり（1 年契約、一部前払い）Redshift のリザーブドインスタンスでの見積もり（1 年契約、全前払い） 3 年契約の場合Redshift のリザーブドインスタンスでの見積もり（3 年契約、一部前払い）Redshift のリザーブドインスタンスでの見積もり（3 年契約、全前払い）

最もコストが低くなる選択肢（3年契約、全前払い）でさえ、300 万ドルちかい前払い金を支払う必要があります。第 1 部でご紹介したように資本コストは高額です。支払う余裕があったとしても、ほとんどの企業では毎年最大 7% の資本コストがかかります。これを踏まえると、全額前払い、3 年契約のリザーブドインスタンスでは $197,744 を計算に入れなくてはなりません。これを月額に換算するとほぼ $84,000 （（2,824,920 x 1.07）÷36 = $83,962.90）となり、結局は BigQueryよりも高額になります。

Redshift は開始から 3 年目のサービスであるものの、すでに 2 つのインスタンスタイプ（dc1 と ds2）を新たにリリースし、現在では 3 つのインスタンスファミリーに対応しています。しかし、Redshift のリザーブドインスタンスでは現在の料金体系、技術、インスタンスタイプに縛られることになり、将来の値下げのほか、新しいインスタンスタイプや技術を活用することはできません。このデメリットを緩和するために 1 年契約のリザーブドインスタンスを選択すると、3 年契約のリザーブドインスタンスの 2 倍以上、BigQuery のほぼ 4 倍の料金を支払わなければなりません。

リザーブドインスタンスは手動で購入しなければなりません。つまり、料金的なメリットを維持するためには、担当者が自ら適切なタイミングを判断し、購入を更新する必要があります。これ以外の選択肢は、1 年契約のリザーブドインスタンスのほぼ 2 倍、3 年契約のほぼ 4 倍の料金になる高額なオンデマンド料金です。リザーブドインスタンスの購入と維持には手動のステップが必要なため、完全な自動化と管理を利用したければ高額なオンデマンド料金を支払うしかありません。つまり、料金的なメリットを維持したい場合、Redshift は選択の候補にはならないということです。自動化の拡大と完全なマネージドサービスを同時に実現することは、クラウドに移行する企業にとって最も魅力的なメリットのひとつでしょう。

3 年契約のリザーブドインスタンスでも、資本コストを考慮すると依然として BigQuery よりも5% 高額です。まとめ前回の投稿BigQueryデモ詳細なドキュメンテーションホワイトペーパー仮想マシンの利用料金値下げ定期的なワークロードでの利用で最大 70% のコストダウンを実現する新しい仮想マシンのPreemptible VM第1部: 仮想コンピュータ第2部: ローカルSSD第3部: データウェアハウスお問い合わせ- Posted by Peter-Mark Verwoerd, Solutions Architect

クラウドの料金体系を理解する: 第 3 部 – データウェアハウス編

2015年7月1日水曜日

* この投稿は、米国時間 6 月 19 日、Solutions Architect の Peter-Mark Verwoerd によって投稿されたものの抄訳です。
これまで「クラウドの料金体系を理解する」と題して、ローカル SSD と仮想マシンについて書いてきました。本日は、データウェアハウスの料金のほか、運用にあたって必要な情報について検討したいと思います。ここ数年間でアプリケーションのデータボリュームが著しく増加するに従い、ストレージのコストが大幅に削減されました。とはいえ、データの保存だけではあまりメリットがありません。活用するためには、データクエリの実行、共有可能なレポートの作成、データの分析を可能にする手段が必要です。このような場合にはデータウェアハウスが役立ちます。
この投稿における「データウェアハウス」とはアプリケーションのトランザクショナルストレージではなく、レポート機能や分析に使用されるデータストレージシステムで、別の言い方をすれば OLTP ではなく OLAP に焦点を置きます。ということで、本日検討するのは（1）レポート機能と分析、（2）大容量のデータセットの保存を可能にするシステムです。では、クラウドでのデータウェアハウジングはどのように異なるのでしょうか。これは実行されるシステムの種類に関係がありますが、クラウドには 2 つのデータウェアハウスがあります。

従来のデータセンターやクラウドネイティブのシステムで実行可能なクラウド内のシステム。クラウドを必要とするストレージ、ネットワーク、コンピューティングの適合性ゆえに、クラウドネイティブのデータウェアハウスは、従来のデータセンターには存在できません。Google BigQuery がこのシステムの一例で、ノードの追加やストレージのプロビジョニングは必要でなく、シームレスなスケールが可能です。

従来のデータセンターで実行可能、または実行されるクラウド内のシステム。このシステムではデプロイメントに従来のアプローチが使用され、ノードを追加することで処理能力とストレージが拡大されます。こうしたデータウェアハウスの例として、HP Vertica、SAP HANA、EMC Greenplum、Amazon Redshift などが挙げられます。Redshift はプライベートデータセンターに対応しないものの、機能的には他のウェアハウスと極めて類似しています。

コスト効率とパフォーマンスのスケーリングの両面で、Google BigQuery はクラウドでのデータウェアハウスの運用において、最適の選択肢となります。クラスタの例実際の応用として、1 PB （ペタバイト）のデータウェアハウスについて考えてみましょう。OLAP データウェアハウスについては「ペタバイト規模」という言葉が頻繁に使われるため、ここでは実際にペタバイトのデータを保存するシステムについて検討します。このシナリオではカラムナストレージで運用される一般的な商用データウェアハウスと Google BigQuery を比較します。大半のカラム指向のデータベースは市販の製品か、営利主体による有料の保守やパッチ適用などのサポートが提供されているかのどちらかです。HP Vertica や SAP HANA など、数多くのデータウェアハウスがありますが、ここでは Google Cloud Platformで一般的なウェアハウスを運用する場合の料金を見ていきます。これらのシステムは大量のデータの保存、データの分析やレポート作成、パブリッククラウドでの完全なバージョンの実行といった Google の基本的な要件に対応するものです。これらのデータウェアハウスにおける料金の決定方法についても検討する必要があるでしょう。BigQuery は消費に基づくモデルが採用されており、利用したストレージとコンピューティングに応じて料金が請求されます。現時点でのストレージの月額は $0.02/GB、データ分析は $5/TB　です。大半の商用データウェアハウスは料金体系を公表していませんが、保存されているデータ量に基づく料金設定が一般的です。そのため、一般的な商用データウェアハウスのライセンスについては、年間 $1,000/TB と想定することにしますが、これはベンダー、お客様、保存されるデータ量によって大きく異なる可能性があります。すべての料金を提示している Google の料金体系では、お客様のご利用に応じて料金を決定します。つまり、Google Compute Engine でのクラスタの実行にかかるコストとライセンス費用の総額の合計が、総コストなのです。クラスタのサイジング BigQuery の料金を適切に算出するために、実際のお客様の平均値を利用し、実行されるクエリ数を見積もります。ここではユーザーの 90 パーセンタイルに近い使用パターンである 100 GB の平均クエリで、1 日のユーザーを 100 人、クエリを 40 個とします。つまり、1 日あたりのクエリは 4,000 個、 1 か月（30 日）あたりの分析データは 12,000 TB となります。一般的なシステムを使う場合の料金の算出するにあたっては、広範囲に適用できるガイドラインを使用します。データウェアハウスが想定通りに機能するためのノードの最小サイズは最低 16 コア、RAM は最低 60 GB とすべきでしょう。料金の比較が少なくとも最低値に対応するよう、Google Compute Engine の n1-highmem-16 のインスタンス（コア：16、RAM：104 GB）を使用して見積もります。また、データウェアハウスではどのタイプのディスクでも同様に料金が算出されるため、見積もりの対象となるのは SSD ではなく回転ディスクのみです。Google Compute Engine では 1 PB の SSD ベースのクラスタを実行できるものの、SSD ベースのデータウェアハウスは機能的に小さめのデータセットにより特化するため、大幅に高額となる傾向があります。一般的なデータウェアハウスの見積もりには、ライセンス費用、インスタンスのコスト、永続ディスクのコストの 3 つの要素が含まれます。インスタンスに接続できる永続ディスクの上限は 10 TB で、1 PB では 100 個のインスタンスが使用されることになります。

料金体系下記には 2015 年 5 月 13 日に実施した料金の計算結果が掲載されています。この投稿の公開後に料金体系や計算方法が変更された場合は、数値に差異が生じる可能性があります。 BigQuery での見積もり：月額 $79,999.50 内訳はストレージコスト $20,000、クエリのコスト $59,999.50 一般的なデータウェアハウスでの見積もり：月額 $100,502.40 想定されるライセンス月額の見積もりは年間 $1,000/TB（月額 $83,333.33（1,000÷12））合計月額：$183,835.73 一般的なデータウェアハウスのほうが BigQuery よりも大幅にコストがかかることは一目瞭然です。ただし、Google Compute Engine でクラスタを実行する場合、コストをオンデマンド料金よりも自動的かつ大幅に削減できる、Sustained Usage Discountという継続使用割引を利用できます。これにより、大規模な永続クラスタ実行のコスト効果が確実に高まります。一方、データウェアハウスのライセンス費用によって、Google Compute Engine での実行にかかる運用コストが大幅に増大する可能性があります。スケーリングどのシステムを使用するかを検討する際には、料金体系だけでなく、スケーリングについても理解しておくことが重要です。データウェアハウスのスケーリングについては、ストレージの容量とストレージへのアクセス速度という 2 つの重要な要素があります。カラム指向のデータウェアハウスではノードの追加によってストレージが拡大されるため、プロビジョニングできるノード数が制限されます。これまで 1 PB のストレージに 100 個のノードが使用されていましたが、 Google Compute Engine ではそれをはるかに上回ることができます。ただし、ストレージとパフォーマンスはひとくくりになっているため、コンピューティングのニーズと切り離してストレージだけを追加することはできません。同様に、コンピューティングのキャパシティだけを追加したい場合も、ノードを追加する以外の方法はありません。 BigQuery ではスケーリングとパフォーマンスを別々に考えることができます。つまり、ストレージとコンピューティングのニーズを分離できる料金体系が設定されています。データの保存量を増やす必要があるものの、作業量は変わらない場合（通常の使用パターンでは、データの追加によってレポートも増加）、BigQuery では不要なコンピューティングの追加に料金を支払うことなく、より多くのデータを保存できます。同様に、データセットの容量はそのままで作業量を増やす必要がある場合（レポートやアドホッククエリの増加）も、不要なストレージの追加に料金を支払うことなく、作業量を増やすことができます。では、こうした増加分に対して料金がどう変化するのかを把握するために、コンピューティングとストレージのいずれかを大幅に拡大させる必要が発生した場合について考えてみましょう。すべての想定はこれまでと同様として、ストレージが 1 PB から 10 PB に拡大すると、月額は下記のようになります。 BigQuery での見積もり：$259,999.50 内訳はストレージが $200,000、クエリが $59,999.50です。クエリについては 1 PB の場合とまったく同じ料金ですが、これは料金のメトリクスが完全に独立しているためです。10 倍のデータ保存が可能になったために、ストレージにかかるコストは 10 倍になりますが、データ分析にかかるコストは変わりません。では 5倍のデータの分析が必要になった場合を見てみましょう。 BigQuery での見積もり：$499,999.50 ストレージとクエリの料金のメトリクスが完全に独立しているため、クエリの挙動と領域が変更しない場合、料金は 1 PB のときと変わらず $59,999.50 になります。実際には 10 PB の場合のデータのフットプリントが拡大される可能性があるため、1 PB と比較して 5 倍のデータが分析されると想定しています。一般的なデータウェアハウスでの見積もり：$1,005,024 想定されるライセンスの月額は $833,333.33（10,000÷12）コンピューティングとストレージが追加されるため、実質的に 1 PB の場合の 10倍のコストがかかることになります。「誰が現実に 10 PB を使用するのか」と思われるかもしれませんが、実際に Google BigQuery で10 PB 以上を使用されているお客様も存在するのです。また、これは最低要件が設定された一般的なシステムと大規模なワークロード処理が可能な BigQueryでの比較です。BigQuery での高額なシステムでさえ、Google Compute Engine で実行される必要最低限の一般的なシステムよりも料金は安くなります。 TCO に関する検討事項クラウドでは、時間単位（または月単位、年単位など）の料金体系以外にも、さまざまな要素を比較できますが、BigQuery には他にはない、いくつかの特徴があります。最も検討すべきことは、BigQueryでは管理が不要だということでしょう。つまり、基盤となる仮想（または物理）マシンの管理、キャパシティや料金の計画、クラスタのサイズ変更は一切必要ありません。そのため、スタッフは時間とコストを節約しながら、本当に重要な作業に取り組めるようになります。料金設定を含む上記のすべての例では BigQuery 以外のすべてのクラスタのサイズを見積もる必要がありましたが、実施するには時間と労力がかかり、専門知識が必要です。管理が不要であるということは、クラスタのスキーマ、キー、インデックスなどを管理するデータベース管理者も必要ありません。これらはすべて Google によって管理されるため、熟達したデータベース管理者はデータウェアハウスの保守ではなく、他の仕事にもっと集中できるでしょう。また、料金は使った分だけが請求されるため、ピーク時のキャパシティを考慮する必要もありません。BigQuery では必要なキャパシティにいつでもスケーリングが可能です。ここでも運用コストを節約できるほか、従業員はデータウェアハウスのスケーリングについて検討する必要もありません。 BigQuery ではクラスタにかかるコストをストレージとコンピューティングで分離できることについてご紹介しましたが、実際はそれだけではありません。ストレージ、インジェスト、バッチクエリ、ストリーミングクエリにかかるコストも分離できます。そのため、不要なリソースに料金を支払うことなく、必要なものだけに専念することができます。最後にクラウドでのデータウェアハウスの料金を検討することは厄介に思えるかもしれませんが、この投稿でご理解を深めていただけることを願っています。今回は BigQuery でコストと時間を節約しながら、必要なサイズに拡張できることをご紹介しました。BigQueryドキュメンテーションホワイトペーパーpetermark@google.com -Posted by Peter-Mark Verwoerd, Solutions Architect

Google Cloud Platform Japan Blog

リソースベースの料金体系を Compute Engine に導入

Google Stackdriver の料金を発表

クラウドの価格体系 Part 6 - ビッグデータプロセシングエンジン

Google BigQuery - コスト計算と最適化

クラウドの料金体系を理解する：第 5 部 - NoSQL データベース編

クラウドの料金体系を理解する: 第 4 部 – 真のクラウドエコノミクス編

クラウドの料金体系を理解する: 第 3.2 部 ― データウェアハウスに関する追加情報編

クラウドの料金体系を理解する: 第 3 部 – データウェアハウス編

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー