Google Cloud Platform Japan 公式ブログ: Google BigQuery

Google BigQuery - コスト計算と最適化

2015年12月22日火曜日

Posted by 八木橋徹平 (Google Cloud Platform シニアソリューションアーキテクト) Google BigQuery を利用するにあたり、想定外の利用料金が発生する可能性がある点に、懸念を持たれる声をいただくことがあります。

このブログでは、まず BigQuery のコストの算出方法を明確にし、その上でコストの最適化方法をご紹介します。

Google Cloud Platform としてお客様には、常に最適な環境と必要最小限のコストで BigQuery をご利用いただくことを目指しています。 Google BigQuery 課金体系 BigQuery の料金は、3 つの要素から構成されます。

ストレージ：GB あたり月 $0.020

ストリーミング・インサート：200MB あたり $0.01（各行は最低 1KB として算出）

クエリー：TB あたり $5

計算例： ①月毎のテーブルに 100GB を格納（常に 1 年分を保持） ②毎月 100GB のテーブルを追加し、一番古い月のテーブルを削除 ③最新月のテーブルへ 100 回クエリー、その他のテーブルへ 10 回月額料金 = (1,200GB * $0.020) + (102,400MB / 200MB * $0.01) + ($0.097TB * 110 * $5) = $24 + $5.12 + $53.71 = $82.83 上記の条件の場合、毎月 1 万円弱（$1 = ¥120 換算）で 1TB 以上のデータを蓄積し、集計処理などに利用することができます。①のストレージとしてのコストだけを見ると、毎月 ¥2,880 程度の料金となり、単純なログ・データの保管場所としての利用も考えられます。コスト試算する上で、最大の懸念事項として上がるのが③の総クエリー数になります。エンド・ユーザが実際にどのくらいクエリーを発行するのかを事前に把握することが困難な点です。コスト制御想定外のコストの発生を防ぐために、課金に関連したアラートの設定や BigQuery の利用に幾つかの制限を設けることが可能になりました。 Billing Alert 機能 Google Cloud Platform のプロジェクト単位で、予め設定した課金の閾値を超えた場合、管理者にアラートとしてメールを送信することが可能です。管理者は閾値の 50% 、90% 、100% に達した際にそれぞれアラートを受け取ることができ、早い段階で原因を調査することができます。

BigQuery カスタム・クォータの設定多数のユーザが複数のプロジェクトを跨って、BigQuery を大規模に利用する場合、カスタム・クォータは、より細かなクエリー・コストの制御を実現します。下記のクォータ設定をこちらのフォームから申請できます。

プロジェクト：特定プロジェクト内で実行されるクエリーによって、1 日あたりに処理可能なデータ量

ユーザ：特定プロジェクト内で各ユーザが発行するクエリーによって、1 日あたりに処理可能なデータ量

* 各クォータは、10TB 単位で指定します。 設定例： プロジェクト 50TB ユーザ 10TB

10 ユーザがそれぞれ 4TB をクエリーで消費した場合、各ユーザは最大で残り 6TB が利用可能で、ユーザ間でプロジェクトの残り 10TB をシェアすることになります。その後、10TB が消化された時点で、対象プロジェクトでは BigQuery を一時的に利用できなくなります。クォータは日次で補充され、利用の再開が可能となります。 Table Decorator の活用 BigQuery にクエリーを発行した場合、通常はカラムのフルスキャンが実行されます。Table decorator を利用することにより、効率的にデータのサブセットに対して実行することが可能です。Table decorator は、テーブルのコピーやエクスポートなどデータの読込みが発生するあらゆる局面で利用することができます。
Table decorator は、相対的あるいは絶対的な「時間」の指定をサポートします。過去 7 日間以内で、それぞれ相対的な時間はミリ秒単位の負数、絶対的な時間は1970/1/1からミリ秒単位の正数を指定します。 Snapshot decorator 過去 7 日間以内のデータのスナップショットを参照することができます。
相対値の例： 1 時間前のスナップショットを参照
SELECT COUNT(*) FROM [mydataset.sample@-3600000] 絶対値の例：特定の時間のスナップショットを参照
SELECT COUNT(*) FROM [mydataset.sample@1450310638759] Range decorator 過去 7 日間で、指定した期間内に追加されたデータのみを参照することができます。 相対値の例：1 時間前から 30 分以内に追加されたレコードのみを参照 SELECT COUNT(*) FROM [mydataset.sample@-3600000--1800000] 絶対値の例：特定期間内に追加されたレコードのみを参照 SELECT COUNT(*) FROM [mydataset.sample@1450310638759-1450314836556] まとめ

BigQuery の課金体系は、「ストレージ」・「ストリーミング・インサート」・「クエリー」から構成される。

Billing Alert 機能やカスタム・クォータを設定することにより、想定外の料金が発生する前に検知や未然に抑制することができる。

Table decorator の活用により、読込むデータ量を抑えることができる。

Google Cloud Platform Japan Blog

Google BigQuery - コスト計算と最適化

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー