Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
インフラではなく創造に集中できる環境をアーティストに提供
2015年7月15日水曜日
* この投稿は、米国時間 7 月 13 日、Google Cloud Platform, Product Manager の
Todd Prives によって投稿
されたものの抄訳です。
Google Cloud Platform チームのメンバーの多くは、お客様がクラウドを利用して力強く進めている芸術的で創造的な取り組みに触発されています。Google は、アーティストやプロの創作家のために、メディア業界のユニークなニーズに対応した一連のソリューションを最優先に位置づけています。
メディアにおける主要なワークロードの中でもクラウド コンピューティングと相性が良いのがグラフィックス レンダリングです。そのプロセスはエンターテインメント、エンジニアリング、デザイン、科学の各コミュニティで利用されています。
とりわけ特撮やアニメ業界は、とてつもない規模のレンダリング要件を抱えており、膨大なコンピューティング パワーやストレージが必要になります。お客様である
Atomic Fiction
では、映画の 1 コマにつきレンダリング作業に 2 分から最大 40 時間もかかっていました。しかも、映画フィルムは 1 秒間に 24 コマもあるのです!
レンダリングは従来、もっぱら自社で構築した大規模レンダー ファームで行われていました。そこで
ThinkBox Software
のような企業は、それらとクラウドを橋渡しする重要なソリューションを提供し、スタジオでのレンダリング要件に応じて実質的に無限のコンピューティング パワーとストレージを利用できるようにしています。
さらに ThinkBox は
Deadline Cloud Wizard
をリリースし、クラウド ベースのレンダー ファーム構築をたいへん簡単にしました。アーティスト、アーキテクト、エンジニアは、60 種類以上の既製レンダリング ソフトウェア パッケージを ThinkBox の主力製品 Deadline を介することで、
Compute Engine
のコンピュート コアを活用したレンダリングを行えます。
Deadline ユーザーは、最小限の構成作業で社内のレンダー ファームを 30 分でクラウドにシームレスに拡張できます。そしてユーザーは、グラフィックス レンダリングにおいて極めて有益な、
Compute Engine の主要なメリット
を享受できます。その中には、分単位の従量課金制、継続使用割引(長時間にわたるワークロードに対する割引料金の自動適用)、仮想マシン(VM)の高速なプロビジョニング、Google のグローバル ネットワーキング インフラのパフォーマンス、信頼性、セキュリティが含まれます。
メディアは、Google Cloud Platform の中で最も急速に増大している業種の 1 つです。クリエイティブ分野に携わるパートナーやお客様の間で、このプラットフォームを活用した取り組みが活発に展開されています。
次のような事例をチェックしてみてください。
Framestore
がいかにクリエイティブ環境を改善し、アーティストが大きな成果を生み出せているか(過去のブログポストは
こちら
)
Atomic Fiction
がいかにインフラではなく創造に集中することで、観客を別世界に引き込んでいるか
RodeoFX
がいかに Google のクラウド ベース ツールを利用して、野心的なクリエイティブ開発計画を進めているか(過去のブログポストは
こちら
)
Google は、皆さんがメディアやエンターテインメントの創作の過程をどのように進化させているか、皆さんが関係しているアーティストやプロの創作家をどのようにサポートできるかを知りたいと願っています。
お気軽にご連絡ください
。楽しみにお待ちしています。
-Posted by Todd Prives, Product Manager, Google Cloud Platform
App Engine for Go が正式リリース
2015年7月14日火曜日
* この投稿は、米国時間 7 月 10 日、 Go の PM、
Jaspn Buberel によって
投稿
されたものの抄訳です。
Google はこのたび、
Google App Engine for Go
を正式にリリースしました。App Engine for Go は”ベータ”の表示が取れ、App Engine の
SLA と非推奨ポリシー
の適用対象に加わりました。
Go 言語は、大規模コンピューティングの課題解決を目指して開発された、
クラウド環境を前提にしたオープンソース プログラミング言語
です。2011 年に実験的なサービスとして提供された App Engine for Go は、4 年以上にわたってウェブおよびモバイル アプリケーションの実運用に利用されてきました。Go 言語はこの間に、
Docker
や
Kubernetes
を含むクラウド コンピューティング環境の標準言語と見なされるようになりました。現在、App Engine for Go は毎月何百万時間も利用されています。
今回の発表に伴って App Engine の使い方が変わることはありません。ですが、皆さんからのご意見をもとに、Google は App Engine for Go への大規模投資を継続し、SDK の改良や、ランタイムの Go 1.5 へのアップグレードなどに取り組んでいきます。App Engine をGo 言語のプログラマーにとってベストな開発用プラットフォームにすることが目標です。
App Engine for Go の詳しい情報については、
オンライン ドキュメント
(英語)を参照してください。
-Posted by Jason Buberel, Product Manager, Go
ノート PC は家に置いておきましょう - クラウド リソースを管理できるモバイル アプリが正式リリース
2015年7月13日月曜日
* この投稿は、米国時間 7 月 1 日、Google Cloud Platform, Product Manager の
Stewart Fife によって投稿
されたものの抄訳です。
ご存じのように、トラブルは起こってほしくないときに起こりがちです。
とある金曜日の夜7時半。あなたは友人と食事をしようとレストランに向かっています。すると上司からこんなテキスト メッセージが。
(video-proc-1 のログを取ろうとしたが、反応がない。ちょっと見てくれないか? そしてできるだけ早く、僕に返事をくれ)
今までなら、あなたは予定をキャンセルして家に帰らなければなりませんでした。でも今晩は、
モバイル アプリの Google Cloud Console
を立ち上げれば、問題のある仮想マシン(VM)を見つけることができます。そしてグラフで CPU 使用率の急上昇に気づき、アプリの 1 つがループ状態に陥っているらしいことがわかります。
そこで「リセット」をタップし、CPU をチェックして、一件落着したことを知らせるテキスト メッセージを上司に返信。無事に楽しい夜のひとときを過ごせます。
この
Android 向け
および iOS 向け(近日リリース)のモバイル アプリである Google Cloud Console を正式発表できたことをうれしく思います。このアプリを使用すれば、Google Cloud Platform のリソースを自分のモバイル デバイスから簡単に管理できます。
システムの全体的な健康状態の確認、プロジェクトの表示、アラートの設定、請求額の継続的な把握など、Google Cloud Platform のリソースに対する監視と適切な措置が可能です。
Cloud Platform プロジェクトにおいては、リクエスト数/秒、エラー数/秒、Google App Engine アプリケーションの総インスタンス数などを含むグラフで、主要な統計を監視できます(下図参照)。
Google Compute Engine の VM については、CPU 使用率、ディスク、ネットワーク状態を監視できます。VM を再起動したり、それらに SSH して(Android 版のみ)システム レベルのタスクを実行したりすることもできます。インシデントに対応することもでき、チームのメンバーにはあなたが問題解決に当たっていることがわかります(下図参照)。
ここで、お客様から寄せられている声を紹介しましょう。
“外出時などに便利で実にクールなツール。ブラウザが使えるマシンが手近にないときも、全体を把握できる”
-
David Zumbrunnen
“ Google Cloud Platform と Android を利用している場合に不可欠な素晴らしいアプリ。ベータ版の公開初日から使っている。Cloud Platform のリソースをチェックするときに真っ先に頼るツールだ。このアプリではダウンタイムもクラッシュも経験したことがない” - Krishnan S.P.T
“非常に便利で役に立つ小さなアプリ。インスタンスの起動と停止や基本的な管理作業に重宝する。グラフや、プロジェクトごとの月間利用料の推計といった機能が気に入っている。とても満足しており、とても便利でかわいい小規模アプリだ” - Patrick Tucci
“画期的なツール。非常に重要なツールであり、クラウド技術の将来への大きな一歩だ。このツールがあれば、24 時間週 7 日、コンピュータに向かう必要はない。素晴らしい UX(ユーザー エクスペリエンス)。素晴らしい MD(マテリアル デザイン)。開発チームよ、おめでとう” - Ogwang Denis
詳細については、
Google Play Store
または Apple の App Store (リリースは近日)からこのアプリをダウンロードし、ぜひ試してみてください。ご意見やご感想をお待ちしています!
- Posted by Stewart Fife, Product Manager, Google Cloud Platform
アドイノベーション株式会社の導入事例: Google Cloud Platform を駆使して世界進出を加速 - 多言語対応の広告効果測定ツール
2015年7月10日金曜日
スマートフォン広告効果測定システム市場で、国内外から高い評価を集めるアドイノベーション。そんな同社が、今夏から本格運用開始する新ツール「AdStore App Tracking」では、新たに Google Cloud Platform が採用されました。約 1 年前からスタートしたツール開発・運用において、Google の果たした役割とは?
アドイノベーション株式会社
■ 写真左から
ロシア事業室 AdStore App Tracking プロダクトマネージャー 佐藤功太郎さん
ロシア事業室 AdStore App Tracking エンジニア 沖野信也さん
ロシア事業室 AdStore App Tracking 営業担当 小山隼司さん
■ 事例概要
多言語対応のスマートフォン広告効果測定ツール ASAT を Google Cloud Platform 上で開発
■ 利用中の Google Cloud Platform サービス
Google Compute Engine
,
Google Cloud SQL
,
Google Cloud Storage
,
Google App Engine
,
Google BigQuery
アドイノベーション株式会社
は広告事業とツール開発を 2 本の柱とするスマートフォンアプリ専門のマーケティング企業。2010 年に創業後、わずか 5 年で社員数約 50 名にまで拡大した急成長企業で、現在は国内だけでなく、中国・ロシアを拠点にした海外展開も積極的に実施しています。そして、その未来を担うのが同社が社運をかけて投入した新開発の広告効果測定ツール「
AdStore App Tracking(以下、ASAT)
」です。
「これまで弊社では『
AdStore Tracking
』というツールを開発・提供していたのですが、もともと国内向けに開発していたこともあり、多言語対応など海外進出に向けた対応がしづらいという問題がありました。そこで、いっそ最初から全てを作り直してしまおうと新開発したのが『ASAT』となります」(アドイノベーション株式会社 AdStore App Trackingプロダクトマネージャー 佐藤さん)
同社が培ってきた広告効果測定のノウハウが十全に盛りこまれた「ASAT」の機能面における最大の特長は、ずばりリアルタイム性。スマートフォンアプリ広告の効果を即時に解析・表示してくれるため、よりスピーディでダイレクトな効果測定が可能になります。また、多くのアプリ広告効果測定サービスが、その情報にアクセスできるツールを顧客に開放していない中、アドイノベーションはこれを顧客に開放。指定代理店などを介すことなく、自由に情報を利用できることも好評を博しています。
なお、従来ツール(AdStore Tracking)ではサービスを運用するクラウドコンピューティングサービスに AWS を使っていたそうですが、新ツール「ASAT」では、これを
Google Cloud Platform
に変更しています。「『
Google App Engine
』を駆使することで顧客の望む情報へのリアルタイムアクセスを可能にできました」(佐藤さん)
その上で、今回 Google Cloud Platform を利用した最大の理由は、膨大なアクセスに対する対応力だと、技術開発部の沖野さんは言います。
「アプリ広告の世界では、キャンペーンなどの施策実施によってトラフィックが急増するということがざら。これまでほとんど動いていなかったものが、キャンペーンを開始した瞬間に 1 秒に万単位のアクセスを呼び込むということがおきます。これに対応するため、従来ツールではキャンペーンを実施する場合、あらかじめお客様から連絡をいただくようにしていました。しかし、Google Cloud Platformではその必要がありません。『ASAT』β 版初期に膨大なトラフィックが発生することがあったのですが、こちらが特に何かを準備することなく、何事もなかったかのようにさばいてくれました。結果、『ASAT』ではこの事前申告制が廃止に。我々にとっても、お客様にとっても運用の手間が大きく軽減されることになったんですよ」
ASAT のアーキテクチャー
また、顧客と直接コミュニケーションを図る営業チームにとっても Google Cloud Platformに移行したメリットは小さくなかったとのこと。これまでは膨大なアクセス情報などを分析するためにエンジニアチームと連携しつつ、大変な手間をかけて集計を行なっていたのが、
Google BigQuery
を利用する事で、「これまでは KVS とか RDB とかを駆使して苦労してやっていたことが、特別な手間をかけることなくほぼ営業チームだけで実施可能になった」(沖野さん)のだとか。
「Web の API が充実しているため、我々営業チームのようにエンジニアリングの知識がないスタッフでも手軽に情報を引き出すことが可能になりました。そのため、従来ツールでは必須だった運用専任のエンジニアが不要に。全体的なコスト低減にも繋がっています」(AdStore App Tracking 営業担当 小山さん)
「少し前までは、クラウドコンピューティングサービスと言えば AWS の独壇場でした。ですので、私としても今回が初めての Google Cloud Platform 体験。サービス開始当初はそこまで評判になっていなかったように思うのですが、『
Google Compute Engine
』や『
Google Cloud SQL
』が実装されたあたりから話題になり始めましたね。これではっきりと比較の対象になったように思います。そして実際に使ってみると、リザーブドインスタンス不要で柔軟にアクセスをさばけることなど、想定以上にメリットが大きかった。当初はAWS との文化の違いに少しだけ混乱しましたが、最終的にはほとんど大きなトラブルもなく『ASAT』を開発することができました。しかも開発チームの規模も従来ツールの 4 分の 1 程度に。今後は監視系の機能のさらなる進化と、日本語ドキュメントの充実をお願いしたいですね」(沖野さん)
Android や iOS などの主要スマートフォンプラットフォームをサポートし、早くも 200 社以上の連携パートナーを持つまでとなった「ASAT」。正式リリースをもって、今後は念願であった海外展開を大きく加速していきます。
「この際、Google の強みの 1 つである強力なネットワークに期待しています。海外のアクセスに強い点は、これから海外事業を強化していきたい我々にとって何より重要なことですから」(佐藤さん)
■ Google Cloud Platform のその他の
導入事例はこちら
から
日本語によるカスタマーサポートを開始
2015年7月8日水曜日
おかげ様で
Google Cloud Platform
は多くのお客様にご利用いただいております。2008 年の
Google App Engine
の発表に端を発し、
Google Cloud Storage
、
Google BigQuery
、 そして
Google Compute Engine
とカバーする幅が広がるにつれて、ビジネス上のクリティカルな領域においても Google Cloud Platform の利用が日本でも非常に多くなってきました。
そしてこのたび、 Google Cloud Platform のお客様に対して日本語でのカスタマーサポートを提供させていただくこととなりました。
日本語でのサポートは、
サポートパッケージ
のプラチナおよびゴールドをご購入いただいているお客様に対して提供いたします。提供時間は、日本時間で 9:00 から 17:00 となります。
サポート申請は、専用のサポートポータル (Google for Work Support Center) よりサポートケースをご登録いただく方法のほか、電話によるサポートも提供いたします。ポータルよりケースをご登録いただいた場合は、ケースが日本語対応可能なエンジニアに転送されます。担当エンジニアは Google Cloud Platform のサービスに精通しており迅速に対応いたします。電話サポートは、一旦英語で受け付けた後、日本語ができるエンジニアに転送され継続して対応いたします。
プラチナおよびゴールドの P1 のケースについては登録から 1 時間以内、P2 については 4 時間以内に一次回答させて頂きます。その他詳細は
Technical Support Services Guidelines
をご参照ください。
現在サポート パッケージのブロンズもしくはシルバーをご利用のお客様は、ゴールドまたはプラチナに変更いただくと、日本語でのサポートが受けられるようになります。サポートパッケージをゴールドに変更するには、Developers Console の設定画面 (プロジェクトの右上の歯車アイコン) よりサポートの項目を選択してください。プラチナは個別お見積りとなりますので、詳細は
営業担当
までお問い合わせください。
本サービス開始により、Google Cloud Platform を安心してより多くのお客様にビジネスのためにお使いいただけると考えています。
分散負荷テストに威力を発揮する Kubernetes
2015年7月7日火曜日
* この投稿は、米国時間 6 月 29 日、Solutions Architect の
Sandeep Parikh によって投稿
されたものの抄訳です。
負荷テストは、ソフトウェア開発ライフサイクルの重要な部分を占めます。アプリケーションとインフラが実運用時にどこまで負荷に耐えられるかを把握することは不可欠だからです。となると、基本的な負荷テストは十分ではありません。システムが高負荷下でどのようなパフォーマンスを発揮するかを確認できる規模で、ユーザーの行動をモデル化できる必要があります。そこで今回、
新しいソリューション ペーパー
と
リファレンス実装
をリリースしました。これらでは、
Google Cloud Platform
と
Kubernetes
を使って、ユーザーの行動をシミュレートして分散負荷テストを行う方法が示されています。
アプリケーションの負荷テストを行う際は、まずコンピュート インスタンスのセットアップとプロビジョニングを行ってから、負荷テスト ソフトウェアをデプロイし、実行する必要があります。こうして良いスタートを切ることで、アプリケーションのパフォーマンスについて基本的な理解が得られます。しかし続いて、負荷テストをスケールアップし、負荷が増大した場合にアプリケーションのパフォーマンスがどうなるかを調べる必要が生じます。そのときには通常、より大規模なインフラをプロビジョニングし、再びテストを行います。やがて、このプロセスを何度も繰り返さなければならなくなります。アプリケーションの限界を正確に検証するためです。さらにこのプロセスでは、こうしたテストを決まったタイミングで頻繁に行うことも必要になります。たとえば新しいビルドを作成するたびに、あるいは自分やチームの開発、運用業務を増やすたびに、テストを行うことになります。
コンテナと Kubernetes は、負荷テストに関連する開発と運用業務を最小限に抑えるのに役立ちます。コンテナは迅速なスケーリングが可能なので、クライアントをシミュレートするのにうってつけです。また、個々のコンテナを扱うのは簡単ですが、大量のコンテナを管理し、円滑に連携させるのは困難です。オープンソースのコンテナ オーケストレーション システムである
Kubernetes
を使えば、多数のコンテナのデプロイと管理が容易になります。
今回の
ソリューション ペーパー
と
リファレンス実装
では、Docker コンテナと Kubernetes を使って分散負荷テストをデプロイし、スケーリングする方法を解説しています。どうすれば
Google Container Engine
を使ってコンテナ クラスターを作成し、Docker 化された負荷テスト フレームワークをデプロイし、テストを続ける中でクライアントをスケーリングできるかがわかります。
ソリューション ペーパー
Distributed Load Testing Using Kubernetes
に目を通し、Kubernetes への理解を深めてください。そのうえで
リファレンス実装のチュートリアル
をご覧いただき、完全なワーキング サンプルをデプロイしてみましょう。
- Posted by Sandeep Parikh, Solutions Architect
クラウドの料金体系を理解する: 第 3 部 – データ ウェアハウス編
2015年7月1日水曜日
* この投稿は、米国時間 6 月 19 日、Solutions Architect の
Peter-Mark Verwoerd によって投稿
されたものの抄訳です。
これまで「クラウドの料金体系を理解する」と題して、
ローカル SSD
と
仮想マシン
について書いてきました。本日は、データ ウェアハウスの料金のほか、運用にあたって必要な情報について検討したいと思います。
ここ数年間でアプリケーションのデータ ボリュームが著しく増加するに従い、ストレージのコストが大幅に削減されました。とはいえ、データの保存だけではあまりメリットがありません。活用するためには、データ クエリの実行、共有可能なレポートの作成、データの分析を可能にする手段が必要です。このような場合にはデータ ウェアハウスが役立ちます。
この投稿における「データ ウェアハウス」とはアプリケーションのトランザクショナル ストレージではなく、レポート機能や分析に使用されるデータ ストレージ システムで、別の言い方をすれば
OLTP
ではなく
OLAP
に焦点を置きます。ということで、本日検討するのは(1)レポート機能と分析、(2)大容量のデータ セットの保存を可能にするシステムです。
では、クラウドでのデータ ウェアハウジングはどのように異なるのでしょうか。これは実行されるシステムの種類に関係がありますが、クラウドには 2 つのデータ ウェアハウスがあります。
従来のデータ センターやクラウド ネイティブのシステムで実行可能なクラウド内のシステム。クラウドを必要とするストレージ、ネットワーク、コンピューティングの適合性ゆえに、クラウドネイティブのデータ ウェアハウスは、従来のデータ センターには存在できません。
Google BigQuery
がこのシステムの一例で、ノードの追加やストレージのプロビジョニングは必要で なく、シームレスなスケールが可能です。
従来のデータ センターで実行可能、または実行されるクラウド内のシステム。このシステムではデプロイメントに従来のアプローチが使用され、ノードを追加することで処理能力とストレージが拡大されます。こうしたデータ ウェアハウスの例として、HP Vertica、SAP HANA、EMC Greenplum、Amazon Redshift などが挙げられます。Redshift はプライベート データ センターに対応しないものの、機能的には他のウェアハウスと極めて類似しています。
コスト効率とパフォーマンスのスケーリングの両面で、Google BigQuery はクラウドでのデータ ウェアハウスの運用において、最適の選択肢となります。
クラスタの例
実際の応用として、1 PB (ペタバイト)のデータ ウェアハウスについて考えてみましょう。OLAP データ ウェアハウスについては「ペタバイト規模」という言葉が頻繁に使われるため、ここでは実際にペタバイトのデータを保存するシステムについて検討します。このシナリオではカラムナ ストレージで運用される一般的な商用データ ウェアハウスと Google BigQuery を比較します。大半のカラム指向のデータベースは市販の製品か、営利主体による有料の保守やパッチ適用などのサポートが提供されているかのどちらかです。
HP Vertica
や
SAP HANA
など、
数多く
のデータ ウェアハウスがありますが、ここでは Google Cloud Platformで一般的なウェアハウスを運用する場合の料金を見ていきます。これらのシステムは大量のデータの保存、データの分析やレポート作成、パブリック クラウドでの完全なバージョンの実行といった Google の基本的な要件に対応するものです。
これらのデータ ウェアハウスにおける料金の決定方法についても検討する必要があるでしょう。BigQuery は消費に基づくモデルが採用されており、利用したストレージとコンピューティングに応じて
料金
が請求されます。現時点でのストレージの月額は $0.02/GB、データ分析は $5/TB です。
大半の商用データ ウェアハウスは料金体系を公表していませんが、保存されているデータ量に基づく料金設定が一般的です。そのため、一般的な商用データ ウェアハウスのライセンスについては、年間 $1,000/TB と想定することにしますが、これはベンダー、お客様、保存されるデータ量によって大きく異なる可能性があります。すべての料金を提示している Google の料金体系では、お客様のご利用に応じて料金を決定します。つまり、Google Compute Engine でのクラスタの実行にかかるコストとライセンス費用の総額の合計が、総コストなのです。
クラスタのサイジング
BigQuery の料金を適切に算出するために、
実際のお客様
の平均値を利用し、実行されるクエリ数を見積もります。ここではユーザーの 90 パーセンタイルに近い使用パターンである 100 GB の平均クエリで、1 日のユーザーを 100 人、クエリを 40 個とします。つまり、1 日あたりのクエリは 4,000 個、 1 か月(30 日)あたりの分析データは 12,000 TB となります。
一般的なシステムを使う場合の料金の算出するにあたっては、広範囲に適用できるガイドラインを使用します。データ ウェアハウスが想定通りに機能するためのノードの最小サイズは最低 16 コア、RAM は最低 60 GB とすべきでしょう。料金の比較が少なくとも最低値に対応するよう、Google Compute Engine の n1-highmem-16 のインスタンス(コア:16、RAM:104 GB)を使用して見積もります。また、データ ウェアハウスではどのタイプのディスクでも同様に料金が算出されるため、見積もりの対象となるのは SSD ではなく回転ディスクのみです。Google Compute Engine では 1 PB の SSD ベースのクラスタを実行できるものの、SSD ベースのデータ ウェアハウスは機能的に小さめのデータ セットにより特化するため、大幅に高額となる傾向があります。
一般的なデータ ウェアハウスの見積もりには、ライセンス費用、インスタンスのコスト、
永続ディスク
のコストの 3 つの要素が含まれます。インスタンスに接続できる永続ディスクの上限は 10 TB で、1 PB では 100 個のインスタンスが使用されることになります。
料金体系
下記には 2015 年 5 月 13 日に実施した料金の計算結果が掲載されています。この投稿の公開後に料金体系や計算方法が変更された場合は、数値に差異が生じる可能性があります。
BigQuery での
見積もり
:月額 $79,999.50
内訳はストレージ コスト $20,000、クエリのコスト $59,999.50
一般的なデータ ウェアハウスでの
見積もり
:月額 $100,502.40
想定されるライセンス月額の見積もりは年間 $1,000/TB(月額 $83,333.33(1,000÷12))
合計月額:$183,835.73
一般的なデータ ウェアハウスのほうが BigQuery よりも大幅にコストがかかることは一目瞭然です。ただし、Google Compute Engine でクラスタを実行する場合、コストをオンデマンド料金よりも自動的かつ大幅に削減できる、Sustained Usage Discountという継続使用割引を利用できます。これにより、大規模な永続クラスタ実行のコスト効果が確実に高まります。一方、データ ウェアハウスのライセンス費用によって、Google Compute Engine での実行にかかる運用コストが大幅に増大する可能性があります。
スケーリング
どのシステムを使用するかを検討する際には、料金体系だけでなく、スケーリングについても理解しておくことが重要です。
データ ウェアハウスのスケーリングについては、ストレージの容量とストレージへのアクセス速度という 2 つの重要な要素があります。カラム指向のデータ ウェアハウスではノードの追加によってストレージが拡大されるため、プロビジョニングできるノード数が制限されます。これまで 1 PB のストレージに 100 個のノードが使用されていましたが、 Google Compute Engine ではそれをはるかに上回ることができます。ただし、ストレージとパフォーマンスはひとくくりになっているため、コンピューティングのニーズと切り離してストレージだけを追加することはできません。同様に、コンピューティングのキャパシティだけを追加したい場合も、ノードを追加する以外の方法はありません。
BigQuery ではスケーリングとパフォーマンスを別々に考えることができます。つまり、ストレージとコンピューティングのニーズを分離できる料金体系が設定されています。データの保存量を増やす必要があるものの、作業量は変わらない場合(通常の使用パターンでは、データの追加によってレポートも増加)、BigQuery では不要なコンピューティングの追加に料金を支払うことなく、より多くのデータを保存できます。同様に、データ セットの容量はそのままで作業量を増やす必要がある場合(レポートやアドホック クエリの増加)も、不要なストレージの追加に料金を支払うことなく、作業量を増やすことができます。
では、こうした増加分に対して料金がどう変化するのかを把握するために、コンピューティングとストレージのいずれかを大幅に拡大させる必要が発生した場合について考えてみましょう。すべての想定はこれまでと同様として、ストレージが 1 PB から 10 PB に拡大すると、月額は下記のようになります。
BigQuery での
見積もり
:$259,999.50
内訳はストレージが $200,000、クエリが $59,999.50です。クエリについては 1 PB の場合とまったく同じ料金ですが、これは料金のメトリクスが完全に独立しているためです。10 倍のデータ保存が可能になったために、ストレージにかかるコストは 10 倍になりますが、データ分析にかかるコストは変わりません。
では 5倍のデータの分析が必要になった場合を見てみましょう。
BigQuery での
見積もり
:$499,999.50
ストレージとクエリの料金のメトリクスが完全に独立しているため、クエリの挙動と領域が変更しない場合、料金は 1 PB のときと変わらず $59,999.50 になります。実際には 10 PB の場合のデータのフットプリントが拡大される可能性があるため、1 PB と比較して 5 倍のデータが分析されると想定しています。
一般的なデータ ウェアハウスでの
見積もり
:$1,005,024
想定されるライセンスの月額は $833,333.33(10,000÷12)
コンピューティングとストレージが追加されるため、実質的に 1 PB の場合の 10倍のコストがかかることになります。
「誰が現実に 10 PB を使用するのか」と思われるかもしれませんが、実際に Google BigQuery で10 PB 以上を使用されているお客様も存在するのです。
また、これは最低要件が設定された一般的なシステムと大規模なワークロード処理が可能な BigQueryでの比較です。BigQuery での高額なシステムでさえ、Google Compute Engine で実行される必要最低限の一般的なシステムよりも料金は安くなります。
TCO に関する検討事項
クラウドでは、時間単位(または月単位、年単位など)の料金体系以外にも、さまざまな要素を比較できますが、BigQuery には他にはない、いくつかの特徴があります。
最も検討すべきことは、BigQueryでは管理が不要だということでしょう。つまり、基盤となる仮想(または物理)マシンの管理、キャパシティや料金の計画、クラスタのサイズ変更は一切必要ありません。そのため、スタッフは時間とコストを節約しながら、本当に重要な作業に取り組めるようになります。料金設定を含む上記のすべての例では BigQuery 以外のすべてのクラスタのサイズを見積もる必要がありましたが、実施するには時間と労力がかかり、専門知識が必要です。
管理が不要であるということは、クラスタのスキーマ、キー、インデックスなどを管理するデータベース管理者も必要ありません。これらはすべて Google によって管理されるため、熟達したデータベース管理者はデータ ウェアハウスの保守ではなく、他の仕事にもっと集中できるでしょう。
また、料金は使った分だけが請求されるため、ピーク時のキャパシティを考慮する必要もありません。BigQuery では必要なキャパシティにいつでもスケーリングが可能です。ここでも運用コストを節約できるほか、従業員はデータ ウェアハウスのスケーリングについて検討する必要もありません。
BigQuery ではクラスタにかかるコストをストレージとコンピューティングで分離できることについてご紹介しましたが、実際はそれだけではありません。ストレージ、インジェスト、バッチ クエリ、ストリーミング クエリにかかるコストも分離できます。そのため、不要なリソースに料金を支払うことなく、必要なものだけに専念することができます。
最後に
クラウドでのデータ ウェアハウスの料金を検討することは厄介に思えるかもしれませんが、この投稿でご理解を深めていただけることを願っています。今回は BigQuery でコストと時間を節約しながら、必要なサイズに拡張できることをご紹介しました。
BigQuery
を試してみたい場合、
ドキュメンテーション
や Google の佐藤一憲が作成した
ホワイトペーパー
も参考にしてみてください。本件やクラウドの他の料金体系についてご不明な点やご意見がある場合は、お気軽にメール(
petermark@google.com
)をお送りください。
-Posted by Peter-Mark Verwoerd, Solutions Architect
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp