Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
Google データセンターにみるセキュリティとデータ保護のベスト プラクティス
2016年3月31日木曜日
* この投稿は米国時間 3 月 24 日、Google の Data Center Operations 担当 VP である Joe Kava によって投稿されたもの(
投稿はこちら
)の抄訳です。
先ごろサンフランシスコで開催された
Google Cloud Platform
(GCP)のユーザー カンファレンス
GCP NEXT 2016
で、本記事の投稿者である私と、Google のセキュリティおよびプライバシー担当 Distinguished Engineer である Niels Provos が基調講演の壇上に立ちました。
講演のテーマは「 Google が世界のデータセンターの設計、構築、運用、セキュリティ確保をどのように行っているか」でした。私たち 2 人は、Google のデータセンターを極めてユニークなものにしている秘密のレシピの一端を披露し、これらのデータセンターで GCP を利用しているお客様にとって、それがどのような意味を持つかについて話をしました。
セキュリティとデータ保護
セキュリティとデータ保護を重視することは、私たち Google にとって重要な設計基準の 1 つです。
Google のデータセンターでは物理セキュリティ対策として多層セキュリティ モデルを採用しています。このモデルには、カスタム設計の電子アクセス カード、警報システム、車両侵入防止装置、敷地境界フェンス、金属探知機、バイオメトリクス(生体認証)といった安全措置が含まれます。
データセンター フロアではレーザーによる侵入検知が行われています。侵入者を検知して追跡できる屋内外の高解像度カメラで 24 時間週 7 日、監視されています。インシデントが発生したときは、アクセス ログやアクティビティ記録、カメラの録画映像を利用できます。
データセンターの中は、厳格な身元調査とトレーニングを受けた経験豊富な警備員が定期的にパトロールしています(このデータセンターの
360 度ツアー動画
をよく見ると、数人の警備員の姿が見えます)。
データセンター フロアに近づくにつれて、セキュリティ対策はより厳重になります。データセンター フロアにはセキュリティ通路からしか入れません。
このセキュリティ通路では、セキュリティ バッジと生体認証を利用した多元的なアクセス管理が行われています。特定の役割を担う許可された社員だけが入ることができます。ちなみに、データセンターに足を踏み入れることのできる Google 社員は全体の 1 % 未満です。
さらに、Google はストレージのライフサイクル全体を非常に厳密に管理しており、ハードディスクが最初にマシンに組み込まれてから、データの抹消 / 消去が確認されるまで、あるいはハードディスク自体が破壊されるまで、すべてを追跡します。
情報セキュリティ対策と物理セキュリティ対策は組み合わせて実施されます。データが最も不正アクセスに弱いのは、インターネット経由またはネットワーク内で転送されるときです。そのため、転送中のデータにおけるセキュリティの確保は、Google にとって優先課題となっています。
お客様の端末と Google との間で転送されるデータは、HTTPS/TLS (Transport Layer Security)を使用して暗号化されています。ちなみに、Google は HTTPS/TLS をデフォルトで有効にした最初の主要なクラウド プロバイダーです。
ハードウェアと監視システムを独自に構築
Google のサーバーには、ビデオ カードやチップセット、周辺機器コネクタなど、脆弱性を招くおそれがある不要なコンポーネントは含まれていません。Google の本番サーバーでは、余分な機能をそぎ落とした堅牢なバージョンの Linux をベースにした、カスタム設計の OS が動作しています。
Google のサーバーと OS は、Google サービスの提供という目的に特化して設計されています。サーバー リソースの動的な割り当てにより、サーバーの柔軟なスケーリングや、変化への迅速かつ効率的な適応が可能で、お客様の要求に応じてリソースの追加や再割り当てが行われます。
データセンター チームにとっては、インフラストラクチャの状態と機能をリアルタイムに可視化する機能が不可欠です。
ご存じかと思いますが、少し控えめに言っても、Google はデータ魔です。データセンター チームを支援するために、Google はサーバーからストレージ、ネットワーク システム、配電、機械的冷却システム、セキュリティ システムに至るすべての機能領域を対象とした監視制御システムを構築しました。チップから冷却装置までのパフォーマンスと運用のあらゆる側面を監視しているのです。
機械学習でデータセンター運用を最適化
上述の取り組みをサポートするため、Google は
機械学習
/ ディープ ラーニング アルゴリズムをデータセンター運用に利用しています。
ご想像のとおり、Google のデータセンターは大規模かつ複雑です。データセンターとして最適なパフォーマンスが得られるように、電気、機械、制御システムがすべて連携して機能しています。
これらのシステムのやり取りや設定項目の数が膨大なことから、それら全体を思い浮かべてデータセンターの最適な運用方法をリアルタイムに判断することは、われわれ人間にはできません。しかし、コンピュータにとっては、そうした可能なシナリオをすべて計算し、分析して最適な設定を導き出すことは、さほど難しくはないのです。
ここ数年、Google はディープ ラーニング アルゴリズムの開発に力を注ぎ、世界中の Google サイトの数十億に及ぶデータ ポイントで訓練してきました。
今ではこの機械学習モデルをデータの可視化に活用しており、運用チームが毎日、パフォーマンスに影響する最大 19 の独立変数を検討し、最も効率の良い最適なパフォーマンスを目指してデータセンターの電気および冷却設備をセットアップしています。これは、直感ではわからない不連続や効率の変動をチームが特定するのに役立っています。
再生可能エネルギーで電力をまかなう
Google は、インフラストラクチャの電力を再生可能エネルギーでまかなうことにも力を注いでいます。
Google の再生可能エネルギー投資額は、民間企業として世界最大です。再生可能エネルギーの電力購入契約(PPA : Power Purchase Agreement)への累計投資額は 20 億ドルを超えています。これらの PPA は非常に重要であり、そう考える理由は次の 3 つです。
Google は通常、10 ~ 20 年という長期にわたってウィンド ファームやソーラー ファームの全出力を購入している。
これらのウィンド ファームは Google のデータセンターと同じ送電網内に位置している。
送電網を共有しているウィンド ファームとデータセンターが、プロジェクト ディベロッパーに対してプロジェクトの遂行に必要な財務コミットメントを行うことにより、投資の結果として再生可能エネルギーが送電網に確実に追加される。
冷却に関しては、Google は平均して約 12 ~ 18 か月ごとに基本的な冷却技術の設計を見直しています。その過程で、水を使った冷却システムの開発やイノベーションを進めてきました。その成果としては、海水冷却や産業用水冷却、再利用水 / 雑排水冷却、雨水の収集と再利用、貯留、熱エネルギー貯蔵などがあります。
また、水を使ったソリューションを利用せず、外気のみによる冷却を利用するデータセンターも設計しました。ここで肝心なのは、万能の冷却方法はないということです。各データセンターは設置場所に応じて、最高のパフォーマンスと最高の効率を発揮するように冷却システムが設計されています。
データセンターを運用するのはサードパーティーではなく、Google 社員
データセンターの運用担当者が新しく決まると、データセンターの設計、建築を請け負った業者が作ったオーナー マニュアル一式と図面、そしてフロントドアの鍵を渡して、とにかく幸運を祈る - これが、業界でよくある光景です。大抵の場合、こうした運用担当者のチームは、オーナー企業の社員ではなく、入札で安い料金を提示したアウトソーシング先に雇われている面々です。
しかし、Google では違います。Google のデータセンターは Google 社員が管理し、運用しています。なぜなら、データセンターの運用で 1 つ確かなことがあるからです。それは、問題やトラブルはいつも夜中(大抵は日曜日の夜中)に発生し、助けてくれる人は周りにいないことです。
エンジニアと運用担当者がチームを組んで連携
Google では、データセンター担当者の採用とデータセンターの運用方法についても独自のアプローチを取っています。
Google のエンジニアと運用担当者は、経歴は非常にまちまちですが、共通の特徴があります。それはシステム思考ができることです。
チーム メンバーの多くは、過去にミッション クリティカルな環境に携わっていました。たとえば、ミスが大惨事につながる米海軍の原子力潜水艦プログラムに加わっていたメンバーもいます。こうしたメンバーは、システムがどのように相互作用するかをきちんと理解しています。
さらに、Google はすべてのデータセンター キャンパスに地域サイト チームを置き、設計と構築を担当するエンジニアと運用チームが連携して業務にあたるようにしています。
これらの統合チームは、キャパシティの確保、システムのコミッショニング、24 時間週 7 日の運用に責任を持ちます。こうすることで、インフラストラクチャについて比類ないレベルのオーナーシップを確保するのです。
- Posted by Joe Kava, VP, Data Center Operations, Google
株式会社カブクの導入事例: デジタルものづくりプラットフォームを Google Cloud Platform で。
2016年3月31日木曜日
■ 写真左から
株式会社カブク
Founder/CTO 足立昌彦さん
ソフトウェアエンジニア 大橋啓介さん
■ 利用中のGoogle Cloud Platformサービス
Google Compute Engine
,
Google App Engine
,
Google BigQuery
,
Google Cloud Storage
,
Google Cloud DNS
,
Google Cloud SQL
2013 年に個人向け低価格製品の登場で一気に盛り上がった 3D プリンター 市場。株式会社カブクはその年 1 月に創業し、3D プリント プロダクトのマーケットプレイス「
Rinkak
」(2013 年 9 月正式オープン)など、3D プリントにまつわる多くのサービスを展開してきました。昨年リリースした 3D プリント技術をビジネス ベースで活用するための工場向け基幹業務クラウドサービス「
Rinkak 3D Printing Manufacturing Management Service
(以下、MMS)」もその 1 つ。これは、3D プリンターによる製造業務を製造管理から顧客管理、会計管理などまでワンストップで提供するという画期的なもの。クラウド技術を活用することで生産性の大幅向上と、コストの劇的低減を両立してくれます。
カブクではこの MMS のほか、Rinkak など、全サービスで Google Cloud Platform を利用。中でも特に Google App Engine を駆使することで、早急なサービス立ち上げと効率的な運用を実現してきました。
今回お話をお伺いした同社 CTO の足立さん(Android の大定番 IME アプリ「Simeji」開発者としても高名)と MMS 開発エンジニアである大橋さんは、
Google Developer Experts
に認定されている国内トップレベルのエンジニア。同社が Google Cloud Platform を全面採用している理由について、次のように語ってくれました。
「我々のようなスタートアップ企業にとって、Google App Engine は非常に魅力的な選択肢。とりわけインフラについて考えないですむのが大きな魅力ですね。インフラ管理だけでなく、データベースのメンテナンスなども気にせず使えるため、開発に専念できます。似たようなサービスはほかにも存在するのですが、それらと比べて Google はストレスが少ない。動作の安定性や、コンソールの利用感など、エンジニアとして気になる細かい部分がとても洗練されているんです。また、利用するプラットフォームを Google に限定することで、サービス間の連携で重要となるセキュリティ認証部分の実装が楽になり、開発効率が飛躍的に向上。そのおかげで短い開発期間でもしっかりとしたサービスを構築することができました」(大橋さん)
実際、MMS は 2015 年 1 月の設計着手後、6 月には β 版をリリース、8 月末に正式リリースされるという、この規模のサービスとしては驚くほどのスピードでローンチ。現在も週に 1 つ程度のペースで新機能が追加されているそうです。また、優秀なオートスケールのおかげで、事業規模の拡大に柔軟に対応できることも大きなメリットだと言います。
「サービスを最速でローンチできる、しかもその成長に合わせて適切にスケールアップしてくれるという魅力のほか、将来的にグローバルで展開していくことを考えたときにも Google Cloud Platform は最良のプラットフォームと言えるでしょう。全世界どこからでも高速かつ安定したレスポンスを期待できます。一般的に米国西海岸サーバーにアクセスすると応答までに 150 ms 以上かかるのですが、Google では何と 70ms 程度しかかかりません。これは他のサービスでは考えられないこと。まさに“Google Magic”です(笑)」(足立さん)
「その上で、何より動作が高速なのも大きなメリットと言えるでしょう。Google Compute Engine は立ち上がるのも速ければ、内部のデータのやり取りも高速。MMS ではサイズの大きな 3D データを取り扱うので、これにはとても助けられました。また、Google Cloud Trace や Google Cloud Debugger など、サービスをモニタリングするために必要な機能が一通り揃っているのもうれしいところ。運用開始後も Google Cloud Logging でサービスの稼働状況しっかり監視できます。そして何より、これらが全て無償で提供されているのが素晴らしい」(大橋さん)
編集注: これらのサービスは、現在は
Stackdriver
として提供
今後も Google Cloud Platform を活用して MMS の機能向上や、新サービスの開発を予定しているというカブク。直近では顧客とのチャット機能を Firebase を使ったものに置き換えることを検討しているそうです。ほか、大橋さんは、先日、α 版の提供が開始されたばかりの Google Cloud Functions にも興味津々なのだとか。「Google Cloud Platform のさまざまな機能の良いパイプ役になってくれるのではないかと期待しています。Node.js をベースにしているので、既存のライブラリが使えるのもうれしいですね」
「個人的に今、注目しているのが、先日ライブラリがオープンソース化された、人工知能ライブラリ TensorFlow。私が元々、人工知能分野の出身ということもあって、これを使って何かできないかを模索しています。流行りのディープラーニングと 3D プリント技術を融合させることで、製造業に新たな価値をもたらしたいですね。準備運動として、まずは社内に専用の GPU マシンを導入しました。将来的にこれがクラウドで使えるようになれば、もっといろいろなことができるようになるはず。期待しています」(足立さん)
■ Google Cloud Platform のその他の
導入事例はこちら
から
Cloud Bigtable、ビッグデータ・アナリティクスの向け HDD ストレージを低コストでサポート開始
2016年3月30日水曜日
* この投稿は米国時間 3 月 21 日、Google Cloud Platform の Product Manager である Misha Brukman によって投稿されたもの(
投稿はこちら
)の抄訳です。
本日、私たちは
Google Cloud Bigtable
データ向けストレージのオプションとして、ハードディスクドライブ (HDD) の提供を発表します。
HDD ストレージにより、大きなアナリティクスのワークロードを扱っているチームはコスト効率よく、より多くのデータを、より長期間にわたり保存しておくことができます。このため、引き続きヒストリカルデータからデータを読み出すことができるようになるので、古いデータを取り除いたり、古いものとして扱ったりしなくても良くなります。
1 年前、私たちは HBase API 互換の Cloud Bigtable という、高速でフルマネージド、大規模スケーラブルな
NoSQL データベースをローンチ
しました。それ以来、私たちは IoT や財務サービス、広告業界など驚くほど多くの業界に採用されるのを見てきました。
Bigtable は検索、アナリティクス、地図、 Gmail など Google の多くのコアサービスを支えているものと同じデータベースであり、その基になっている高スループットのリード及びライトワークフローに最適化された分散ファイルシステムにデータを保存します。
その結果、 HDD が
Cloud Bigtable
のストレージオプションとして利用可能となり HBase がローカルの SSD で稼働している状態と比較しても、極めて高いパフォーマンスを発揮ししています。これを証明するため、幾つかのベンチマークを実行してみることにしました。
先ず、次に示すように幾つかのクラスタを作りました:
3 ノードの Cloud Bigtable HDD クラスタ
3 ノードの Cloud Bigtable SSD クラスタ
4 個の Google Compute Engine VM インスタンスを持った HBase クラスタ。 1 個はマスターを実行、残り 3 個のリージョンサーバーは n1-standard-8 VM 上で稼働。
ここではマスター用を含めて 4 ノードの HBase クラスタを用意しました。これは Cloud Bigtable ではユーザーがプロビジョニングしたクラスタの他に、ユーザーに代わって別個に、自動で管理される、別のマスタープロセスが存在するためです。
8 個の n1-standard-8 Google Compute Engine VM インスタンスにより、下に示すようなインジェスチョンのテストを実行しました。用いたコマンドは次の通りです:
$ hbase pe -Dmapreduce.map.speculative=false \
--presplit=60 --size=100 sequentialWrite 8
下のグラフに示した通り、 HDD を持った Cloud Bigtable は 100GB のデータをローカルの SSD 上で実行されている HBase よりも短い時間でインジェストしています。
同様に、
Cloud Bigtable
はデータをスキャンする性能も大変優れています。次に示すコマンドを使ってスキャンのベンチマークを行いました:
$ hbase pe -Dmapreduce.map.speculative=false --size=100 scan 8
上のグラフからもお分かりになるとおり、 Cloud Bigtable HDD はインジェスチョン同様スキャンも大変良い結果となっています。しかし、ユーザーから見えるレイテンシが重要な、インタラクティブなユースケースでは、低レイテンシのリード/ライトや、同時に沢山のリード/ライトを行うために SSD を選んだ方が良いでしょう。下のグラフは Cloud Bigtable でのランダムリードのパフォーマンスを SSD と HDD で比較した結果です。
次に示したコマンドを、それぞれ 1TB のデータを読み込んだ Cloud Bigtable クラスタに対して実行しました。このベンチマークは、それぞれ 45K のランダムリードをデータの 400GB のサブセットに実行する 10 のスレッドからスタートし、トータルの経過時間を計測しています。
$ hbase pe -Dmapreduce.map.speculative=false --size=400 \
--sampleRate=0.001 randomRead 1
これを見れば、エンドユーザーのレイテンシが重要になる、リアルタイムアプリケーションでの SSD の価値が明確にお分かりいただけると思います。
もし、大変大きなバッチ指向の、あるいはレイテンシには余り依存しないアナリティクスのワークロード用に、あまりコストの掛からないオプションをお探しでしたら、 Cloud Bigtable HDD ストレージは GB 当たりのストレージコストを削減しつつ、高いスループットを維持したフルマネージドのデータベースとして、良い選択肢になるかもしれません。
大規模なアナリティクスのユースケースに Cloud Bigtable の活用をお考えの方は、まずは書類で SSD と HDD ストレージオプションおよび料金の比較をし、クイックスタートからお試しください。
- Posted by Misha Brukman, Product Manager for Google Cloud Bigtable
クラウドの価格体系 Part 6 - ビッグデータプロセシングエンジン
2016年3月30日水曜日
* この投稿は米国時間 3 月 17 日、Google Cloud Platform Solutions の Architects である Karan Bhatia と Peter-Mark Verwoerd によって投稿されたもの(
投稿はこちら
)の抄訳です。
このシリーズの目的は、私たちのお客様向けのクラウドでの処理価格がどのように決まっているかを明確にし、理解していただくことです。
私たちは、これまでクラウドの料金体系について説明してきました。これまでの記事は下記を参照ください。
第 1 部 - 仮想コンピュータ編
第 2 部 - ローカル SSD 編
第 3 部 - データ ウェアハウス編
第 3.2 部 - データ ウェアハウスに関する追加情報編
第 4 部 - 真のクラウド エコノミクス編
第 5 部 - NoSQL データベース編
第 5.2 部 - NoSQL 続データベース編
そして今回は、ビッグデータプロセッシングエンジン、特にクラウドインフラで稼働している Hadoop のマネージドデプロイの価格に関して検討した結果をご説明いたします。
ビッグデータ成長の一つの要因は、 2000 年に 1 GB あたり $10 だったストレージの価格が 2010 年には $0.1 以下になり、現在では 1 GB あたり
$0.01
と急速に下がっていることです。
同時にコンピュート コストも指数関数的に下がっており、膨大なデータを蓄積、処理し、
財務ポートフォリオのモンテカルロ分析
から、
個別化医療
や
プレディクティブ・アナリティクス
などのインサイトを構築する、新しいアプリケーションも実行が可能になっています。
Google は、一般的に入手できる汎用的なコンピューティングとストレージのシステムを活用し、何千ものノードを扱う様に拡張可能な新しい並列プログラミングのパラダイムを開発することで、これらのアプリケーションの実行を可能にする新世代のソフトウェアツール開発を、他社に先駆けて進めてまいりました。
例えば Google の
GFS
(2003) では、データインテンシブで大きな分散アプリケーションに対応した、スケーラブルな分散ファイルシステムを提供。Google の
BigTable
(2006) では何千ものコモディティサーバーに保存された、ペタバイトに上るデータにも対応できるように設計された分散ストレージシステムを提供。また、 Google の
MapReduce
(2004) では GFS や BigTable に保存されたデータセットを処理する、並列プログラミングのフレームワークを提供してきました。
オープンソースコミュニティは、概ね Google の内部システムに関する公表資料に基づき、Hadoop プロセシングエンジンと、関連したビッグデータソフトウェアスタックを開発しました。
Hadoop の最初のパブリックバージョンは 2007 年に発表され、それ以来ビッグデータエコシステムの中心的存在となっています。今日、 Hadoop ソフトウェアは公式の Apache オープンソースプロジェクトとなり、フリーウェア、サポート付のバージョンともに、オンプレミス用および、クラウド用として入手可能です。
ビッグデータソフトウェアスタックは NoSQL データベースやワークフローモニター、カラムナーストレージ、バッチおよびストリーミングサポート等々、種々のものがあり、現在でも急速に進化しています。
この様に、急速に進化しつつある未成熟な状況のため、 Hadoop クラスターを構築して実際の現場で信頼性を確保しつつ効率的に運用することは簡単ではありません。
この 10 年間で、クラウドコンピューティングはビッグデータ処理のデファクトスタンダードとなりました。Google Cloud Platform の
Cloud Dataproc
や Amazon Web Services の
Elastic MapReduce
、および Microsoft Azure
HDInsight
から提供されているマネージド Hadoop は、いずれも迅速なデプロイやクラウドストレージとのディープなインテグレーションを特徴とし、使用量に応じた課金モデルとなっています。
本ポストではこれらのマネージド Hadoop サービスの機能や価格体系について検討していきます。
マネージド Hadoop が提供するサービスの概要
Google Cloud Platform の
Cloud Dataproc
や、 Amazon Web Services の
Elastic MapReduce
、および Microsoft Azure の
HDInsight
はいずれも、それぞれマネージドの Hadoop 環境で、オートマチックのプロビジョニングや設定、簡単なジョブマネジメント、高度なモニタリング、及びフレキシブルな価格設定を実現しています。下の表 1 は 2016 年 3 月時点での、それぞれの主要な機能をまとめたものです。
表 1 Hadoop Processing Engines の概要
FEATURE
CLOUD DATAPROC
2
ELASTIC MAPREDUCE
3
HDINSIGHT
4
Hadoop distribution
From Apache Source
From Apache Source
Hortonworks
Hadoop version (current)
Hadoop 2.7.2
Hadoop 2.7.1
Hadoop 2.7.1
Apache Pig
0.15.0
0.14.0
0.14.0
Apache Hive
1.2.1
1.0
0.14.0
Apache Spark
1.6.0
1.6.0
1.3.1
Apache Storm
-na-
-na-
0.9.3
Apache HBase
-na-
5
0.94.18
6
0.98.4
# of supported instances types
thousands
7
37
17
Live resizeable
yes
yes
scale up only
Fault tolerant
no
no
yes
8
Automatic configuration
yes
yes
yes
User Customizable
Initialization actions
Bootstrap actions
Script actions
Preemptible Discounts
yes
yes
no
Long-term Discounts
Sustained use Discounts (no commitment required)
Reserved Pricing (requires commitment)
no
Pipeline execution
Apache Oozie
DataPipeline
Apache Oozie
プラットフォーム
これら 3 つのシステムは、いずれも同じオープンソースの Hadoop ソフトウェアのデプロイを提供します。
EMR と Dataproc は Apache レポジトリからのディストリビューションで始まり、それぞれのクラウドプラットフォーム上で特有のプロビジョニングをサポートするための変更や追加を行います。
HDInsight は Hortonworks Data Platform (HDP) を、ベースとなるディストリビューションとして使用していますが、このディストリビューション自身は Apache バージョンがベースになっていて、更なるパッケージングやサポートのオプションが用意されています。これら 3 つのシステムのプログラム上及び実行時の違いは、主にソースパッケージのバージョンの違いによるものです。
例えば HDInsight は、古いバージョンの Spark を使っており、より最近のバージョン用に書かれた Spark アプリケーションと互換性の問題を起こす可能性があります。
それぞれのシステムは、基になっているクラウドコンピューティングプラットフォームを、システムのプロビジョニングとマネジメントに活用しています。HDInsight は、コアやRAM、ディスクのテクノロジーなど、様々な価格やシステム特性をもった 17 種類 の異なるコンピュートインスタンスタイプでのデプロイをサポートしています。
同様に EMR も、基になっているインスタンスタイプを 37 種類サポートしています。Google Cloud Dataproc では 19 種類のプリデファインドインスタンスタイプに加えて、カスタムインスタンスタイプのサポートにより、ほとんど無制限といえる種々のインスタンスタイプをご用意しています。カスタムインスタンスタイプにより、性能や価格を最適化して、アプリケーションの要求に合わせたクラスター特性を定義することが可能になります。
これら 3 つのシステムは全てクラスター構築後のダイナミックスケーリングをサポートしています。スケーリングにより、必要に応じてシステムからノードの削除や追加ができます。例えば、定常状態にあるクラスターは、多数のジョブがクラスターにサブミットされた場合には一時的にスケールアップが必要になるかもしれません。
バックログ(未処理分)が無くなった時に、クラスターは定常のサイズにスケールダウンが可能です。Google Cloud Dataproc と EMR は必要に応じて、クラスターのスケールアップもスケールダウンもサポートしています。 HDInsight はスケールアップはサポートしていますが、スケールダウンにはリスタートが必要となります。
Cluster の価格体系
Google Cloud Dataproc と EMR は、その基になっているコンピューティング サービスのコストに追加する形で価格が決まっています。EMR の価格は[8]インスタンスタイプによりますが、 EC2 インスタンスの時間課金の概ね 25% となっています。
Cloud Dataproc アドオンの価格は、基になっているインスタンスに加えて $0.01/vcore となります[9]。HDInsight の価格[10]には基になっているインスタンスを含んでおり、これは使用するインスタンスによって異なります。
EMR と HDInsight は使用時間当たりの課金で、時間の端数は切り上げとなります。Google Cloud Dataproc は最低を 10 分として、分当たりで課金します。
したがって、2 時間の作業量だったとしても、ジョブの実行時間が仮に 1 分でも超過すれば、 EMR と HDInsight では 3 時間分の課金となり、実質的に 50% 余分なコストが上乗せされます。
Cloud Dataproc は課金を分単位で計算するため、他のシステムと比較して全体のコストの削減になるばかりではなく、お客様のアプリケーションのライフサイクル管理が大変簡単になります。
Google Cloud Dataproc と EMR は両方とも、プリエンプティブルディスカウント( EMR では「スポットプライシング (spot pricing) 」と呼ぶ)や長期使用ディスカウトなどの追加のオプションがあります。
EMR のスポットプライシングでは、ユーザーは基になるインスタンスに「入札」を行い、 AWS はリソースに対して定期的なアクションを起こします。スポットフリートと世界中の入札の容量に応じて、オークションに勝ったユーザーがコンピュートインスタンスにアクセスできるようになります。
もし、ユーザーがオークションに負けた場合、リソースは予告なく回収されます。オークションと入札による価格管理が複雑になるものの、コンピュートインスタンスのコストをオンデマンドの価格に比べて最大で 50% から 70%節約することができます。
AWS のスポットプライシング同様、 Google Cloud Platform のプリエンプティブル VM は告知なくインスタンスをプリエンプト(回収)される可能性と引き換えに、大幅なディスカウント価格でリソースを提供します。スポットと異なるのは、オークションの管理が必要なく、ディスカウントは 70% 固定となっていることです。
クラスター実行モデル
3 つのシステム全てで transient と persistent のクラスターモデルをサポートしています。Persistent クラスターは、その名前が示す通り一年中 24 時間休みなく連続して長期間稼働します。この場合、ジョブはユーザーからの要求か、あるいは連続的なデータの受け入れにより常にシステムにサブミットされます。
これに対し transient クラスターは、特定のタスクを走らせるために構築されるもので、その後このクラスターは破壊されます。これが使用される典型的なケースは、データをバッチモードで処理する ETL ジョブです。例えば、ログデータはオブジェクトストレージシステムに集められ、毎晩、処理されてデータマートかデータウェアハウスに加えられます。
このモデルをサポートするために、データを信頼できるストレージからクラスターにストリーミングする必要があります。Google Cloud Dataproc は Google Cloud Storage (GCS) コネクターを使ってクラスターとデータをストリーミングにより出し入れします。同様に EMR は AWS S3 からのストリーミングを、 HDInsights は Azure Blob Storage をサポートします。
標準的な作業量での価格の比較
価格体系を比較する為に、 transient クラスターモデルを仮定しました。このクラスターは、関連したオブジェクトストレージシステムに元々存在していた、ある大きさのデータを処理する為に作られたものとします。クラスターがこのデータを処理した後、結果はオブジェクトストレージにプッシュバックされ、クラスターは終了します。
考慮するトータルコストは、主に処理とストレージのコストになります(ここで比較している 3 つのシステムでは、このような作業量では、帯域、 API などには課金が発生しないため考慮しません。)。また、通常の価格体系とプリエンプティブルのディスカウントの価格体系の両方を比較します。なお、長期契約のディスカウントは考慮しません。
これは、このモデルでは一日のうちの僅かな時間しかアプリケーションが稼働しないため、 GCP の長期契約ディスカウントに該当しないこと、 EMR のリザーブプライシングモデルによるコストの削減も無いこと、が理由です。
平均の入力データの大きさを 50TB と仮定します。これはエンタープライズでのログ処理の典型的な大きさです。クラスターに関しては、それぞれ 4 つのコアと 15 GB の RAM を持つ 20 のワーカノードからなるクラスターの比較とします。
Google Cloud Dataproc では、ノードあたりバーチャルコア 4 個と 15 GB の RAM、 80 GB の SSD ディスクをもつ n1-standard-4 インスタンスタイプの 21-node クラスター (1 つのマスターと 20 のワーカノード)でこの要求を満足します。
EMR クラスターは 4 コア、 15GB の RAM、 40 GB のローカル接続 SSD ストレージ 2 台を持つ m3.xlarge インスタンスタイプの 21-node EMR クラスター(1 つのヘッドノードと 20のワーカノード)を比較対象とし、 HDInsight クラスターでは、 4 コア、 14 GB の RAM と 200 GB のディスクを持った D3v2 インスタンス 20-node HDInsight クラスター(20 のワーカノード、 2 つのヘッドノードと 3 つのズーキーパーノード)を比較の対象とします。
クラスターの実行時間は 5 時間で毎日稼働するとします。この時、クラスターは毎日 50 TB のデータを処理する為に作成され、 5 時間後に終了します。このモデルは transient クラスターでは極めて一般的です。コスト比較は計算コストとストレージコストの月額とします。
表 2 は私たちのアプリケーションを 3 つのプロセシングエンジンを使用して実行した場合のトータルの月額で、標準価格とプリエンプティブルディスカウントの両方を示します。標準コストは対応するオンラインのプライスカルキュレーターで計算しており、ショートタームのディスカウントは下に示す方法で見積もっています。なお、 HDInsight ではショートタームのディスカウントはありません。
表 2 :50 TB のデータを 5 時間で処理した場合のコスト(2016 年 2 月時点)
PRICING MODEL
DATAPROC
EMR
HDINSIGHT
Standard Pricing
$2,154.40
$2,613.27
$3,261.33
Short term discount
$1934.43
$1,936.17
14
-na-
標準価格体系
標準価格の結果を見ると、 Dataproc では $2,154、 EMR はこれの 35% 増し、 HDInsight はさらにその 13% 割高となりました。価格の中ではストレージコストが占める割合が高く、 Google Cloud では $1,331 (トータルコストの61%)、 AWS では $1,510 (同 52%)、 HDInsight では $1,208,73 (同 37%)です。
実際の利用環境では Google Cloud Dataproc はトータルプライスに示すよりも更にコスト効率が良いと考えられます。これは、 Dataproc は 1 分当たりで課金するのに対して、 EMR や HDInsight では 1 時間当たりの切り上げ計算となるためです。
ここでは、アプリケーションが 1 日当たり 5 時間ちょうど稼働するという前提で計算していますが、実際には厳密な稼働時間を見積もるのは簡単ではありません。稼働時間が 1 分でも、このシナリオを上回ると、時間当たりで計算した場合には 1 時間分のコストが余計にかかり、結果として 20% コストが高くなることになります。
プリエンプティブルディスカウント
Google Cloud プラットフォームのプリエンプティブル VM でも AWS のスポットモデルでも、予告なしでのノードの回収を許容する条件で、大幅な価格の削減を提供しています。ただし、そのようなことが起きた場合、クラスターは終了し、それまでに行われていた作業は失われることになります。可能性は低いながらプリエンプションが起きることがありますが、その場合でも新しいクラスターをスタートすることができ、データセットの処理は可能で、データが失われることはありません。しかしながら、時間が重要な場合や非常に長時間にわたって稼働するクラスターではこれは良いことではありません。
HDInsight はプリエンプティブルディスカウントを提供していません。Google Cloud プラットフォームでは標準価格に対して 70 %固定の割引を用意しています。また、 AWS オークションは未使用のインスタンスをオークションに掛けて、ユーザーの応札により誰がそのリソースを得るかを決めます。
スポットインスタンスの需要と供給は変動するため、スポット価格も大きく変動します。この比較では、過去 7 日間の us-east-1 地域の m3.xlarge インスタンスタイプの平均価格をトータルコスト計算の基礎としています。この平均価格は 1 時間当たり $0.04 でしたが、一時的に時間当たり $2.8 まで上昇したこともあります。
なお、 m3.xlarge のオンデマンド価格は $0.266 です。クラスターのコストは基になる EC2 インスタンスのスポット価格と、スポットマーケットとは関係なく固定の EMR アップリフトの合計です。
EMR クラスターのスポット価格を安めに見積もったとしても、 Google Cloud Dataproc は EMR より 5% 割安です。しかも、 Cloud Dataproc のユーザーはオークションを管理する必要がありません。オークションを管理するためには、これまでの価格の推移を元に、ある統計処理によって応札価格を計算し、各スポットリソースに応じて積極的に割当額を管理しなくてはなりません。これに対して、 Cloud Dataproc では同じ様なことをより少ないステップで提供しているのです。
まとめ
Cloud プラットフォームでは、現在の Hadoop のコミュニティで認められたベストプラクティスに基づいた Hadoop クラスターを、簡便でコスト効率良く構築しデプロイする手法を提供しています。クラウドでデプロイすることで、大きなオブジェクトストレージシステムやデータウェアハウスシステム、ワークフローマネジメントツールとのインテグレーションも提供します。
ここで取り上げた 3 つのシステムは全て、オープンソースの Hadoop に基づき、本質的に同じ Hadoop の機能を提供していますが、その価格や使用に際しての複雑さはそれぞれ大きく異なっています。
Google Cloud Dataproc は他の二つのシステムと比較して、最大 25% という大きなコスト削減を実現し、他には無いフレキシビリティやパフォーマンスを提供します。
もし、コメントやアイデア、ご質問は
こちら
までお送りください。是非、お話を伺いたいと思います!
関連コンテンツ
Google Cloud Dataproc managed Spark and Hadoop service now GA
, Feb 22 2016
Comparing the Dataflow/Beam and Spark Programming Models
, Feb 3 2016
Announcing Google Cloud Bigtable: The same database that powers Google Search, Gmail and Analytics is now available on Google Cloud Platform
, May 6 2015
Google BigQuery Benchmark
, June 9 2015
[1]
http://archive.wired.com/magazine/wired-20th-anniversary/
[2] As provided by Cloud Dataproc version 1.0.0 released 2/22/2016,
https://cloud.google.com/dataproc/dataproc-versions
[3] AWS Elastic MapReduce AMI 4.3 released 1/27/2016,
http://aws.amazon.com/documentation/elastic-mapreduce/
[4] Microsoft Azure HDInsight v3.2 using Hortonworks Data Platform (HDP) 2.2 released 12/03/2015,
https://azure.microsoft.com/en-us/documentation/articles/hdinsight-release-notes/
[5] HBase support through the Google Bigtable service
[6] As of AMI 3.1.0 and later of Elastic MapReduce
[7] Cloud Dataproc supports 19 pre-defined instances types and new custom instance types that match your workloads,
https://cloud.google.com/dataproc/concepts/custom-machine-types
[8] Dual head node and 3 zookeeper nodes provide failover
[9]
https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-linux-information/#scaling
[10]
https://aws.amazon.com/elasticmapreduce/pricing/
[11]
https://cloud.google.com/dataproc/pricing
[12]
https://azure.microsoft.com/en-us/pricing/details/hdinsight/
[13]
http://ec2price.com/
[14] Using average spot market price in us-east-1 for m3.xlarge instance type from Jan 1, 2016 to Jan 7 2016.Data obtained using the AWS spot pricing API. The average spot price during that time was $.065. Total cost = (Spot Price + EMR Uplift) * number of nodes * number of hours used + AWS S3 storage costs, or ($.065 + $.07) * 21 nodes * 150 hours + $1510.92. 2016
-Posted by Karan Bhatia & Peter-Mark Verwoerd, Google Cloud Platform Solutions Architects
Snapchat が説く GCP でのセキュリティ ベスト プラクティス
2016年3月29日火曜日
* この投稿は米国時間 3 月 25 日、Google Cloud Platform の Managing Editor である Jo Maitland によって投稿されたもの(
投稿はこちら
)の抄訳です。
サンフランシスコで開催された
GCP NEXT 2016
で、Snapchat のセキュリティ エンジニアである Subhash Sankuratripati 氏が、
Google Cloud Platform
上で大規模なシステムをセキュアに運用するためのベスト プラクティスを披露しました。これは本当に大規模での話です。
Snapchat のシステムにアクセスするユーザーは毎日 1 億人に上り、80 億本のビデオが常時見られるようになっています。同社は約 100 種の GCP
プロジェクト
を実行しており、それぞれのプロジェクトにおいて、社内の誰がどの GCP リソースに対して何を実行できるかに関するパーミッションを定めています。
最近まで、Snapchat のエンジニアたちは閲覧者 / 編集者ロールだけを使用し、プラットフォーム上のリソースを管理するために当座しのぎの方法を用いていました。
しかし、
IAM Roles
のベータ リリースを機に、Snapchat ではデータの安全確保に必要なきめ細かいパーミッションを設定するようになりました。同社は基本的に最小権限の原則に従っています。
Snapchat は、新しい iam.setpolicy 機能を使用して、社内で “ACL リース” (Access Control List leases)と呼んでいる仕組みを整えました。
ACL リースは、誰かがリソースへのアクセスを必要とするときに限り、そのリソースに対するアクセス権限を一時的に認め、リースが終了するとポリシーがアクセス許可を取り除きます。たとえば、次のような形です。
AccessControlService は iam.SetPolicy を使用できる
bob@ がアクセスを必要とするとき、AccessControlService は bob@ をポリシーに追加する
1 時間後に AccessControlService が bob@ を取り除く
クラウド リソースへのアクセスを一時的なものにすることが最大限のセキュリティを確保することにつながると、Snapchat は考えているのです。
開発者がリソースへのアクセスを必要とするときに、必要とする時間だけリソースへのアクセスを認めるというのが、Snapchat が目指すゴールです。同社は、こうしたリース モデルを特定のリソースと特権に実装し、この目標に向けて努力を続けています。
Snapchat は、プロジェクトの上に新設された
Organizational Node
によって GCP リソースを管理しています。こうすると、シャドウ プロジェクトが作られるのを防ぎ、すべてのプロジェクトとそのメンバーに与えられるパーミッションを従来よりも厳しくコントロールできるからです。
Sankuratripati 氏は、彼自身も IAM Roles のロールに基づいてデータのサイロ化を行っていると述べています。プログラムが Google の認証のもとで API 呼び出しを発行するために使う
IAM Service Account API
をテストしているそうです。
同氏によると、この方法は無限の可能性を秘めています。マイクロサービスからマイクロサービスへの認証により、エンジニアが直接管理できるものは大きく減り、リソース アクセスがさらに狭い範囲に整理されます。開発者には、仕事をするうえで必要な自由を与える一方で、トラブルの元になる自由は与えないということです。
Cloud Platform で IAM を活用する方法については、もっと多くの情報がこれから提供されますので、ご期待ください。また、このサービスを評価いただいているお客様は、ぜひ
GCP-iam-feedback@google.com
宛にフィードバックをお願いします。
- Posted by Jo Maitland, Managing Editor, Google Cloud Platform
Google Compute Engine でさらなる高可用性を実現
2016年3月29日火曜日
* この投稿は米国時間 3 月 16 日、Google Cloud Platform のProduct Manager である Jerzy Foryciarz によって投稿されたもの(投稿はこちら)の抄訳です。
このたび私たちは、コンピュートリソースをスケールする際、特定のリージョン別の管理を可能にする
Google Compute Engine
の
Autoscaler
と
Managed Instance Groups
の機能をご紹介します。これは、高い可用性を必要とするお客様にとって重要になります。
Regional Instance Groups と呼ばれるこの新機能は、自動的に仮想マシン (VM) インスタンスを特定のリージョンの 3 つのゾーンに分散し、グループサイズの変化に合わせて分散を等しく保つインフラストラクチャのセットアップを可能にします。
Autoscaler は 3 つのゾーン全てにまたがってリージョンで動き、インスタンスの追加と削除を行うため、分散が等しく保たれるのです。
昨年の 9 月、私たちは、Google Compute Engine Autoscaler と Managed Instance Groups の
一般提供
を発表しました。それから利用率は驚くほど伸びており、たくさんのフィードバックをいただきいています。
中でもリクエストが多かったのは、コンフィギュレーションを簡素化し、さらに高い可用性を実現することでした。
現在では、リージョン別の管理によって、まれに起こる悪い構築、ネットワーク問題、またはゾーン障害の際に、サービスを保護することができます。
VM インスタンスは、等しく 3 つのゾーンに分散しているので、 3 分の 2 には影響がないでしょう。さらに、Autoscaler を利用する場合、他のゾーンでのトラフィックの増加を感知して数値を調整することができます。
不具合のあったゾーンが正常に戻ると、 再び 3 つのゾーンにバランス良く負荷分散されはじめます。
セットアップは簡単です。もしあなたがリージョン単位でのコンフィギュレーション利用を選択するなら、Managed Instance Group 作成時に Multi-Zone グループを選んでください。
この時点で、あなたのロケーション選択はリージョンとなり、 Managed Instance Group と Autoscaler のスコープはリージョナルになります。
Alpha での Regional Instance Groups の使用方法とサービスセットアップについての詳細は
こちら
です。
- Posted by Jerzy Foryciarz, Product Manager, Google Cloud Platform
Google Cloud Pub/Sub が gRPC のサポートで大幅に高速化
2016年3月28日月曜日
* この投稿は米国時間 3 月 22 日、Tech Lead for Google Cloud Pub/Sub である Emilio Schapira と Technical Program Manager for gRPC である Kailash Sethuraman によって投稿されたもの(
投稿はこちら
)の抄訳です。
RPCプロトコルは、XML stanzas から HTTP/JSON に至るまで非直接的なコミュニケーション方法も用いてきたために今や非効率なものとなってしまいました。今回のブログでは、有用な代替手段として gRPC をご紹介します。
gRPC
はオープンソースの現代的な RPC フレームワークで、その設計原理は、Google が 10 年以上にわたって社内で “Stubby” と呼ばれるフレームワーク構築を通じて学んできた成果に基づいています。
gRPC
は JSON/HTTP APIs と比較してみても大幅に効率が良いだけでなく、ハイパフォーマンスなクライアントやサーバーを構築するのに理想とされる大抵の主要な言語をサポートしています。
私たちはこのテクノロジーを
Google Cloud Platform
の利用者のみまさまにも提供したいとずっと思ってきましたが、ようやくこの度皆さんにご紹介することができました。
ご期待に答えて、
JSON/HTTP クライアント ライブラリ
との比較を、Java クライアントを使って行ったベンチマーク結果の例を以下に示します。
このベンチマークは、Google Compute Engine(GCE)の 1 つの仮想マシン インスタンス(マシンタイプ:n1-highcpu-16)から 9 つの
gRPC
チャンネルを使って、50Kb のメッセージを最大スループットでパブリッシュするというものです。
上記のスループットが約 4 倍に増加することよりも印象的なのは、CPU リソースの使用率がたった 4 分の 1 にとどまった点です。(下記グラフ参照)
この約11倍の違いが生まれた結果をふまえると、現在の利用料金の下で考えると、月に 334 ドルを支払って n1-highcpu-16 の GCE インスタンスを JSON クライアントとして利用する代わりに、月額 83.50 ドルで n1-highcpu-4 の GCE インスタンスを gRPC クライアントとして利用すればすればスループットを約 4 倍にできる計算になります。
この改善の裏側では何が起こっているのか気になる方も多いかもしれません。改善の背後には、データのエンコーディングの効率化と HTTP/2 という、2 つの大きな要因があります。
gRPC
は
HTTP/2
と
プロトコル バッファ
の上に構築することで、データをクライアントメモリと通信回線の両方にバイナリーデータとして保持することができます。これによりプロセッシングと base64 や JSON のようなエンコーディングスキームに必要とされる容量を省略することができます。
さらに、HTTP/2 そのものが、シングルコネクションとヘッダーコンプレッション を用いた多重リクエストの高速処理を可能にします。
Pub/Sub の
gRPC
サポートを利用するうえで皆さんのお役に立てるように、
ドキュメント
も更新しました。ドキュメントは Java と Phython を利用した事例をご紹介しています。また、Pub/Sub の
Google Groups
で意見をシェアしてみてください。
- Posted by Emilio Schapira, Tech Lead for Google Cloud Pub/Sub and Kailash Sethuraman, Technical Program Manager for gRPC
クラウド イノベーションに対する Google の取り組み
2016年3月28日月曜日
* この投稿は米国時間 3 月 23 日、Google Cloud Platform の Product Management 担当 VP である Brian Stevens によって投稿されたもの(
投稿はこちら
)の抄訳です。
GCP NEXT 2016
は、
Google Cloud Platform
(GCP)にとって大きな意味があるイベントです。私たち Google は、年に一度のクラウド コンピューティング カンファレンスのために、今回も世界中から数千の開発者と IT プロフェッショナルをサンフランシスコにお招きしました。
カンファレンスの期間中、Google はプラットフォームの大きな拡張に関する発表を行いました。また、Google のインフラストラクチャをお客様のビジネスで活用するうえで、この 1 年にどのような重要な進展があったのかをシェアしました。
昨年の 1 年間で、クラウドは信頼の置けないオプションという従来からの評価を拭い去り、多くの企業にとってセキュアな選択肢だと認められるところまで評価を高めました。
パブリック クラウド サービスの利用を検討している企業の市場参入を促すためには、コンプライアンス、サポート、既存の IT 投資とのインテグレーションが必要不可欠だということを、私たち Google はよく理解しています。
では、Google は具体的に何に取り組んでいるのでしょうか。
Google の取り組み
Google は 15 年以上にわたって、Google のサービスの原動力となってきた分散コンピューティング、データ管理、機械学習の分野における最先端の応用コンピュータ サイエンスと、クラウドをビジネスで安全に運用するうえで必要な諸機能を結合するための努力を続けています。
たとえば、
機械学習やビッグデータ アナリティクス
などのイノベーションを広く公開し、お客様が新しいトレンドや市場をすばやく見つけられるように支援しています。
GCP のユーザーになれば、1 兆行ものデータを数秒で処理する
Google BigQuery
のパワーが自分のものとなります。また、
Google Cloud Dataflow
でストリーミング データのパイプラインを構築でき、
Google Data Studio 360
によるビジュアライゼーションと報告書作成も手に入ります。
これは、
グローバルなデプロイと IT オペレーションの自動化によって組織的な弊害を取り除く
ということにほかなりません。私たち Google は、お客様とそのシステム、情報、従業員、顧客のセキュリティを保護しながら、これらすべてを進めています。
ますます増える顧客企業
多くの企業が、Google の継続的なイノベーションを利用するために GCP を選んでいます。そうしたお客様を、私たち Google は誇りに思わずにはいられません。
Best Buy
、Disney Consumer Products & Interactive Media、
Domino's Pizza
、FIS Global、
Spotif
y、Macy's、
Pocket Gems
、
Wix
、
Atomic Fiction
、JDA、Heineken など非常に多くの優良企業が GCP を利用しています。先頭を走り続けるための鍵はイノベーティブにあると、彼らは考えているのです。
Google の顧客企業にとって、クラウドの利用はデータセンターやサーバー、ストレージ、ネットワークといったものについて考える必要がなくなることを意味します。換言すれば、Google がインフラストラクチャをしっかりと押さえ、ビジネスをサポートしてくれるという安心感のもとに、アプリケーションや製品、サービスを作ることに全力を注げるということなのです。
データセンターの拡張
私たちの顧客企業は GCP 上のアプリケーションを急速にスケールアップしていますが、それを可能にしているのは Google のグローバル ネットワークです。
Google は、顧客ベースの拡大および多様化や、クラウドでワークロードを処理することにユーザーが慣れていくのに従い、現在のネットワークに加えて多くの地域拠点を追加していきます。
Google は先ごろ、
米国西海岸(オレゴン)と東アジア(東京)のリージョン追加を発表
しました。どちらのリージョンも年内に運用を開始します。2017 年までに Google ネットワークに GCP のリージョンを 10 か所追加していく予定ですが、これらはその最初の 2 か所に相当します。
クラウドのハイブリッド管理と運用の効率性
Google のクラウド上でアプリケーションを実行するお客様の支援戦略に不可欠なのがパートナー企業です。
昨年、新しいパートナー プログラムを打ち出したことで、Google のエコシステムは規模にして倍以上に拡がりました。パートナー企業が Google プラットフォーム上でソリューションを構築して顧客企業のクラウド採用を促すというイノベーティブな形を作り出しました。
先ごろ開催された、年に一度のグローバル パートナー カンファレンスである TeamWork 2016 にも、300 社を超える GCP エコシステム パートナーが参加しました。この場で Google は複数の新しいパートナー プログラムとインセンティブを打ち出しましたが、その目的は、パートナー企業の成功を促し、Google プラットフォーム上でのパートナー企業のイノベーションを活発化させることにあります。
TeamWork 2016 が発したエネルギーは壮観であり、Google が行うあらゆる取り組みにはパートナー企業が深くかかわっています。Google は、戦略の中心にパートナーを据えるだけでなく、パートナー エコノミーと言うべき仕組みを構築することを目標としているのです。
BMC
、
Pivotal
、
Red Hat
、
SAP
、
Splunk
、
Tenable Network Security
、
Veritas
をはじめとする多くのエンタープライズ ISV が、それぞれのソフトウェアを GCP とインテグレートすることに力を注いでいます。彼らが GCP 上の資産を管理、監視するために使っているスキルとソフトウェアを、Google の顧客企業も利用できることを発表できたのは、私たちにとって嬉しい限りです。
同様に、システム インテグレーターとの協業も Google のパートナー戦略の重要な側面の 1 つです。
Accenture
、
CI&T
、
Cloud Technology Partners
、
PA Consulting
、および
PwC
の各社は、エンタープライズ環境から Google クラウドへの移行を促す私たちの重要なパートナーです。
エンタープライズ機能の拡張
それでは、お待ちかねの機能の話に移りましょう。監査とコンプライアンスは、エンタープライズ クラウドの導入を検討している企業にとって大きな関心事です。そしてその先には、ポリシーを設定して環境を監視、コントロールするシステム管理があります。
監査ログ
Google は今年 5 月末をめどに、GCP 上で誰がいつ何をしたかという問いに確実に答えられるようにするための監査ログ機能をリリースする予定です。
このリリースでは、
Google App Engine
や
BigQuery
、
Dataflow
、IAM for
Projects
、
Service Accounts
、
API Credentials
を含む複数の初期サービス インテグレーションと共に、改変不能な監査ログを提供するため、個別の Google Cloud サービスに必要なコア インフラストラクチャを提供します。
監査ログは、Cloud Console Activity Stream だけでなく
Stackdriver Logging
にも送られるため、そこから簡単に
Google Cloud Storage
にアーカイブし、分析のために
BigQuery
にストリーミングすることができます。あるいは追加調査のために、
Google Cloud Pub/Sub
を介して Splunk などのパートナーにエクスポートすることも可能です。
今回のリリースは、監査ログをその他の GCP サービスに拡げていくための継続的なプロセスの先陣を切るものです。
IAM ロール
顧客企業にとって、Google Cloud リソースへのアクセスに対するセキュリティ コントロールは重要です。
従来のオーナー / 編集者 / 閲覧者というロールだけでは、リソース管理のあらゆるニーズに応えられるだけの細やかさに欠けることを、私たち Google は認識しています。現在ベータ段階にある新しい IAM (Identity and Access Management) ロールを作ったのも、それが理由です。
新しい IAM では、パーミッションのコレクションとして定義された
IAM ロール
を介して、Google Cloud リソースに対するパーミッションを与えます。オーナー / 編集者 / 閲覧者方式の場合はプロジェクト内のすべてのリソースに対するパーミッションを与えていましたが、新しいロールではプロジェクト内の特定のタイプのリソースに対してきめ細かくパーミッションを与えることが可能です。
上記は、GCP の IAM 機能を拡張するために Google が計画している多くのリリースの第 1 弾となります。これから数か月をかけて、ロールを増やし、カスタム ロールを定義できるようにする予定です。
自己管理の暗号化キー
独自の暗号化キーをコントロールして管理する機能も、お客様からの要望が多い機能の 1 つです。
Google は昨年 7 月に
Compute Engine 向けの自己管理の暗号化キーに関するベータ リリース
を発表しましたが、これがまもなく一般公開される予定です。また、
Cloud Storage
がサポートする
独自暗号化キー
も現時点でベータ段階にあります。
ネットワーキング
Google は、クラウド ネットワーキングの最前線で、
クロスクラウド インターコネクト
と、イントラクラウドのネットワーク セグメンテーションの両面で柔軟性を高めることに成功しました。その結果、ネットワーク トランスポートと最適化サービスを 1 つにまとめることに加え、ハイブリッド クラウド環境におけるワークロードのポータビリティも実現しました。
GCP が提供する
Subnetworks
や
Cloud Router
、
Cloud VPN
、IAM ネットワーク ロールでは、こうした柔軟性を活用しています。プログラム制御とリアルタイム アプリケーション / ユーザー コンテキスト管理のもとで動的なネットワークおよびセキュリティ ポリシーをシステムに浸透させ、インテリジェント オートメーションを通じて低水準の構成の複雑さを取り除きます。
Google のソフトウェア定義による
Cloud Load Balancer
は、クラス最高の自動スケーリングとスピードを提供しつつ(詳細は
こちら
)、単一の仮想 IP (VIP)でグローバルなクラウド サービスの提供を単純化します。
この弾力性の高い BGP 対応のエニーキャスト ネットワーク インフラストラクチャにより、
Cloud CDN
のようなサービスを提供する道も開けました。
Cloud CDN
は、Google の分散エッジ キャッシュ インフラストラクチャを活用して、リッチ メディア アプリケーションのユーザー エクスペリエンスを最適化します。
技術のオープン化と大規模なコンテナ実行
Google と
Google Cloud Platform
は、オープンな形でコンピュータ サイエンスのイノベーションを続けています。
Google は、自分たちが学んだことをコミュニティにお返しすることに本気で取り組んでいます。たとえば革命的な意義を持ち、注目に値するもとのとして
Hadoop MapReduce
や
Spanner
、
Software-Defined Networking
、
Kubernetes
、
Dataflow
、機械学習のための
TensorFlow
などがあり、それらは全部で数百にも上ります。
最近では、IT インフラストラクチャの標準化に向け、
Open Compute Project
に参加しましたし、
OpenStack Foundation
と
Cloud Native Computing Foundation
の支援も行っています。オープンな技術を重視するお客様は、ソフトウェア コミュニティに貢献し続けてきた Google の長期的な取り組みにぜひ注目していただきたいと思います。
クラウド分野のオープンソースに対する Google の貢献で中心的と言える存在が、コンテナ化されたアプリケーションの自動デプロイ、スケーリング、運用のためのオープンソース システムである
Kubernetes
です。
Google が最近発表した
Kubernetes 1.2
には、コンテナ環境に取り組むエンタープライズ向けの重要なアップデートが 2 つ含まれています。
具体的には、クラスタ サイズが 400 % 拡大され、クラスタあたり 1,000 ノード、30,000 コンテナになったことです。また、セキュアな通信のための TLS と HTTP ベースのトラフィック ルーティングの L7 のサポートを追加して、カスタム ネットワーキング環境へのインテグレーションの道筋を作りました。
Google のフルマネージド コンテナ サービスである
Google Container Engine
は、
Kubernetes
を基礎として作られています。そのため、このサービスをご利用のお客様は、自動的にすべての最新機能を手に入れることができます。
クラウドの未来は始まったばかり
機械学習やコンテナの開発からクラウド ワークロードの監視、管理、安全確保に至るまで、ビジネス コンピューティング環境の一新に向けた Google の取り組みは前進を続けています。
しかし、これはクラウド イノベーションを後押しする次の波のほんの始まりにすぎません。既存の IT 投資を保護、活用しながら、イノベーションの連続を通じて過去の惰性に挑戦するまったく新しいクラウドの長所については、多くの開発者やスタートアップ、大小の企業が認めるところです。
私たちは、
GCP NEXT
に参加された皆さんからのフィードバックを楽しみにしています。私たちとともに、このすばらしい未来を築くための旅に出かけましょう!
- Posted by Brian Stevens, VP, Product Management, Google Cloud Platform
Splunk、BMC とパートナーを組みハイブリッドクラウドの運用をより簡単に
2016年3月28日月曜日
* この投稿は米国時間 3 月 23 日、Google Cloud Platform のProduct Manager である Deepak Tiwari and Joe Corkery によって投稿されたもの(
投稿はこちら
)の抄訳です。
クラウドのモニタリングサービスとロギングサービスを統合した
Google Stackdriver
は、
Google Cloud Platform
(GCP) と Amazon Web Services (AWS) における IT 運用を格段に容易にします。
さらに一歩進めて、
Splunk
、
BMC
、
Tenable
と統合することによって、 IT 運用、セキュリティ、そしてコンプライアンスといった GCP ユーザーが利用できる機能を大幅に拡大することができます。
サードパーティのリッチな運用ソリューションとの統合は、ユーザーにとって重要であり、すでに多くの皆さんがプライベートクラウドでもパブリッククラウドでも、こうしたツールを使ってハイブリッドな運用を管理していることでしょう。これを踏まえて、このパートナーシップでは以下を提供することに重点を置いています。
Google Cloud Platform
とパートナーとの統合の簡略化すること
Security Information and Event Management (SIEM) やコンプライアンスレポート関連に新しい機能を追加すること
Google Cloud Platform と Splunk
Google Cloud Platform
と Splunk Enterprise との統合では、 Security Information and Event Management (SIEM) において Splunk のユニークな機能を運用、活用するためのインサイトを提供します。
例えば、ログデータのリアルタイムストリーミングを
Cloud Pub/Sub
経由で設定することで統合を始めることができます。 Cloud Pub/Sub API は、アプリケーション間で大規模にデータをルーティングするためのパワフルで信頼性のあるメッセージングサービスです。
統合されてしまえば、あらゆるログデータを Splunk アカウントにストリームすることができ、 Splunk Enterprise の機能のすべてが利用可能となります。
例えば、ネットワーク管理者が機密性の高いコンフィギュレーションの変更を監視したいと考えている場合を想像してみてください。
従業員の誰かがファイアウォールのルールを変更すると、どのサーバーであってもコンピュートサービスによってアクティビティのログが記録されます。Splunk Enterprise と Stackdriver Logging の統合によって、そうしたアクティビティを監視、リアルタイムでアラートを受け取ることもできます。
Splunk は、システムのアクティビティデータ上における着目すべき傾向や異常を自動的に察知します。アラートを受けると、グラフを確認して、実際のログエントリへと掘り下げて、システムを危険にさらす可能性のある望ましくない変更を行わずに、安全性を担保することができます。
Google Cloud Platform と BMC
企業ユーザーはますますハイブリッド、そしてマルチクラウドの環境を構築、運用するようになっています。
Google Cloud Platform
に既存のサービスを移行したり、新しいサービスを立ち上げたりする場合、 BMC が提供するような確立されたソリューションに、ユーザーが確実にアクセスできるようにしたいと考えています。このソリューションは、デプロイメント環境のアプリケーションを管理、モニターするひとつのペインを提供し、コンプライアンス、セキュリティ、ガバナンスを手助けするものです。
この戦略的なパートナーシップを始めるにあたり、 BMC は
GCP NEXT
において、 Cloud Platform で実行するワークロードを管理、修復する Cloud Lifecycle Management 製品のアドバンスバージョンのデモンストレーションを行いました。また、 オンプレミスでBMC TrueSight を使いながら、Cloud Platform アプリケーションを同時にモニターする方法も披露しました。
BMCのソリューションスイートに関する詳細は
こちら
をご覧下さい。
Google Cloud Platform と Tenable
セキュリティを確保するためには、どのようなアプリケーションやワークロードを実行し、誰があるいはどんなデバイスがそこにアクセスしているかをあなたが知っていなければならないと私たちは考えています。 Tenable は、 SecurityCenter Continuous View (SecurityCenter CV) により、Google Cloud Platform のセキュリティ向上に役立ちます。
このソリューションは、オンプレミスと Google Cloud Platform のようなクラウドデプロイメントの両方をサポートしています。結果として、組織がこのツールに精通すれば、ひとつのテクノロジーを採用するだけでハイブリッド環境がモニターできるため、複数のツールを購入、デプロイ、管理する必要性がなくなります。
開始するには、SecurityCenter CV をインストールして、Cloud Platform 内にサービスアカウントを作成し、Pub/Sub トピック向けに使用する予定の Tenable のサービスアカウントに承認を与える必要があります。そして、Tenable アカウントがサブスクライブする適切なトピックにログを発行すると、SecurityCenter CV でログやイベントデータを見ることができます。
開始するための詳細なステップはこちらをご覧下さい。
すぐにお試しください
Google Cloud Platform における私たちのビジョンは、パートナー達の力強いエコシステムを作り上げ、ユーザーにフレキシブルでリッチなツールを提供し、選択肢を与えて、制約を取り除くことです。現在、パートナーが運用領域にも広がりました。
是非、
Google Stackdriver Partner Page
を訪問して、既存、新規の運用パートナーの詳細と、それを利用して今、何が始められるかをご覧下さい。
また、
stackdriver-feedback@google.com
までフィードバックをお送りください。
-Posted by Deepak Tiwari (PM, Google Cloud Platform) and Joe Corkery (PM, Google Cloud Platform)
Google の Data Center で 360度ツアー
2016年3月28日月曜日
* この投稿は米国時間 3 月 23 日、Google Cloud Platform の Head of Developer Advocacy である Greg Wilson によって投稿されたもの(
投稿はこちら
)の抄訳です。
私たちは今回、とある Google のデータセンターの内部を 360度ツアーできることにわくわくしています。360度ツアーとは、YouTube 360 度ビデオを用いた前代未聞の没入型オンラインツアーのことです。
このビデオをご覧いただくには方法は下記のとおりです。
デスクトップで Google Chrome を使用:
ビデオ再生中に、マウスかトラックパッドでビューを変更してください。
モバイルで YouTube アプリを使用:
ビデオ再生中に、すべてのアングルで見えるように、デバイスを動かしてください。
最も夢中になりやすい視聴方法:
Google Cardboard を使用 (現在 Android の YouTube アプリのみサポート。 iOS サポートはもうすぐです ! ) YouTube アプリにビデオをロードして、ビデオが再生され始めたら Cardboard アイコンをタップします。あなたの携帯を Cardboard に挿入し、周りを見渡してみてください。
少しだけ背景をお話しすると・・・
数ヶ月前、
Google Cloud Developer Advocacy Team
の私たちは、オレゴン州ダレスで Google データセンター内をツアーする千載一遇のチャンスに恵まれました。私たちも他のデータセンターを目にしたことはありますが、その体験は想像以上のものでした。
規模の大きさ、セキュリティとプライバシーに対するとてつもなく高い意識、そして極めて効率的で環境に配慮されたデータセンターを構築するための偉大な努力には圧倒されました。
さらには、このデーターセンターを設計、建設、そして維持している素晴らしい方々に出会えた事を誇りに思っています。
もしあなたが
Google Cloud Platform
をご利用なら、このデータセンターは私たちのものであると同時に、あなたのデータセンターでもあります。私たちの素敵な経験をあなたにも是非体験していただきたいと思っています。
どうぞ楽しんでください!
- Posted by Greg Wilson, Head of Developer Advocacy, Google Cloud Platform
Google Cloud Dataflow で Python のサポートを発表
2016年3月24日木曜日
* この投稿は米国時間 3 月 22 日、Software Engineer の Silviu Calinoiu によって投稿されたもの(
投稿はこちら
)の抄訳です。
本日、私たちは
Cloud Dataflow SDK
で
Python
向けバッチ処理の実行をサポートの開始を発表いたします。
この SDK は Python のみを用いて実行できる
Apache Beam
コンピューテーションモデル(旧 Dataflow モデル)で、Google のインキュベータプロジェクトの一環で Apache Software Foundation に貢献したものになります。
本リリースは、新しい分野のユーザー、特に Python デベロッパーや科学界にとって有益で、Apache Beam モデルで大容量の分散型データ処理が実行可能になります。
例えば、よく使われている
NumPy
、
SciPy
、および
pandas
パッケージのユーザー達にとっては、これからは大規模計算に
Apache Beam
を利用できるようになります。
次のコードサンプルは、Apache Beam Python モデルがたった数行のコードで、 大量のデータを処理してパイプライン処理を完結することができる様子を示しています。
# ... other imports ...
import
google.cloud.dataflow
as
df
@df.typehints.with_output_types(df.typehints.Tuple[int, float])
def
parse_sales_record(line):
# Lines look like this:
# {"Timestamp": 1234.56, "Price": 10, "ProductName": "Name", "ProductID": 4}
record = json.loads(line)
return
int(record[
'ProductID'
]), float(record[
'Price'
])
p = df.Pipeline(...options...)
(p
| df.io.Read(df.io.TextFileSource(
'gs://SOMEBUCKET/PATH/*.json'
))
| df.Map(parse_sales_record)
| df.CombinePerKey(sum)
| df.Map(
lambda
(product, value): {
'ProductID'
: product,
'Value'
: value})
| df.io.Write(df.io.BigQuerySink(
'SOMEDATASET.SOMETABLE'
schema=
'ProductID:INTEGER, Value:FLOAT'
,
create_disposition=df.io.BigQueryDisposition.CREATE_IF_NEEDED,
write_disposition=df.io.BigQueryDisposition.WRITE_TRUNCATE)))
p.run()
売上記録のパイプライン処理は、改行区切りの JSON ファイルに保存され、
BigQuery
テーブルに総計売上結果を書き込みます。
これと同じパイプラインは、ファイルの大小に関わらず、
Google Cloud Dataflow
マネージドサービスをフル活用して、実質上あらゆるサイズのデータセットで実行が可能です。
Dataflow の機能である、自動的なワークフローの最適化と統合、自動並列化、自動スケジューリング、そして失敗後の自動リトライが、Python デベロッパー に利用可能となりました。
Dataflow が一般的に利用可能となった今、Java デベロッパーに提供中の分散型データ処理機能を Python デベロッパーの皆様にもご提供できることを楽しみに考えています。
さらに詳しくは
オープンソースの
Python SDK
を目を通しローカルランナーであなたのプログラムを実行してオープンソースプログラムに貢献してみてください。
Cloud のバッチ処理実行への
アクセスの申請
をしてください。
- posted by Silviu Calinoiu, Software Engineer
Google Stackdriver のご紹介:GCP と AWS 向け統合モニタリングとロギング
2016年3月24日木曜日
* この投稿は米国時間 3 月 23 日、Product Manager である Dan Belcher によって投稿されたもの(
投稿はこちら
)の抄訳です。
このたび、
Google Stackdriver
をご紹介できることを嬉しく思っていますす。
Google Stackdriver
は、運用をよりいっそうに簡略化する、統合されたモニタリング、ロギングおよび診断のサービスです。
アプリケーションを Google Cloud Platform (GCP) 上で実行している場合や、 Amazon Web Services (AWS) 上で実行している場合、あるいは、それら両方を同時に使用している場合でも利用可能となっています。
Stackdriver
は、リッチダッシュボード、アップタイムモニタリング、アラート、ログ解析、トレーシング、エラーレポート、プロダクションデバッグなどを 1 つの製品で GCP と AWS の両方に対応した初めてのサービスです。この組み合わせは、チームがプロダクション時に問題を見つけ、解決するための時間を大幅に節約できます。
クラウドプラットフォームをまたがる統合ビュー
二つ、あるいはそれ以上のインフラプラットフォームを使用しているというケースは、決して珍しくありません。そのようなハイブリッドのインフラを使用する理由は様々です。
より高い可用性を求めてクラウドのプロバイダ間でコピーをしたり、一つのクラウドから他のクラウドへの移行中だったり、あるいは単に、それぞれのアプリケーションやコンポーネントに合ったサービスを選んだ結果、という場合もあります。
GCP と AWS を選んだチームをサポートするため、
Stackdriver
は両者のネイティブでのモニタリング、ロギング、エラーレポーティングを提供しています。Stackdriver を使うことで、 GCP と AWS の両方のクラスターにまたがって動いているアプリケーションの健全性のモニターを、一つのダッシュボードで始めることもできます。
Stackdriver Console for hybrid environment
同様に、どちらかのクラスター容量が限界に達した時に、通知がくるようにアラートポリシーを定義することもできます。
Alerting policy incorporating GCP and AWS capacity metrics
AWS と EC2 ログのエラーを一つのインターフェースで検索することも可能です。
Logs Viewer - search by GCP or AWS service
最後に、
Stackdriver
はどちらのプラットフォームで動いているアプリケーションであっても、その中で新しいエラーを検出するとエラーレポートを送信します。
ご察しの通り、AWS を強力にサポートできることが
Stackdriver
の真髄となっています。例えば、もし Elastic Load Balancer の後ろでウェブアプリケーションを走らせている場合、
Stackdriver
を利用することによって、設定情報やアップタイム、最近のイベント、各メトリックスのサマリの他、アベイラビリティゾーンや各種ブレイクダウンの情報を、セットアップ無しで表示、クラスターの状態を確認することが可能になります
同様のサポートが
Stackdriver
全機能で AWS にも提供されます。これには IAM-based のセットアップや API の統合に加え、アラートの機能として SNS トピックをサポートするための AWS サービスで広く使われているダッシュボード等々、色々なものが含まれています。
データのサイロ化を無くし、問題解決を迅速に
Stackdriver
は問題の特定とトラブルシュートに必要だった各種ツールの数を劇的に減らすことができます。
Stackdriver
でアップタイムチェックを設定し、アプリケーションエンドポイントのアベイラビリティをモニターすることができます。
ログとメトリクスを、クラウドプラットフォームやシステム、データベース、メッセージキュー、ウェブサーバー、アプリケーションティアから同一のモニタリングシステムに取り込むことができます。
モニターやロギング、診断コンポーネントで問題をフォローしている時に、 問題のタイムフレームなどのクリティカルなコンテキストを維持しておくこともできます。これにより、多くのお客様は 5 つ以上のそれぞれ異なるツールに、この情報を手動で関連付けるという作業が必要がなくなり、トラブルが起きてシステムが停止している時の貴重な時間を無駄にしなくて済むようになります。
最初のスターティングポイントは、アプリケーションの健全性を一目で確認することができるビューが表示される、サマリーダッシュボードかもしれません。このビューはクラウドプラットフォーム、システムエージェント、アップタイムチェック、ログ等々のメトリクスも表示可能です。
Sample Custom Dashboard with AWS and GCP metrics
Stackdriver
は問題が起こった時にチームにアラートを出すことができます。
一つの問題で多くの別々のシステムからのアラートに対処するのを防ぐには、
Stackdriver
のアラートポリシーを定義し、例えば URL がアップタイムチェックに失敗してかつ、レイテンーが 15 分を超えて 30% 超増加した場合、などといったように複数の条件が重なったときに起動するように設定することができます。
Alerting policy with ELB Uptime Check and Latency Threshold
問題を発見したとき、
Stackdriver
は根本原因に迫る手助けとなります。
例えば、 Google App Engine アプリケーションのエラーレポートを受け取った時に、サマリーダッシュボードを見て、アプリケーションが処理している URL 毎のレイテンシをトレースするところにまで踏み込み、最終的には特定のリクエストのログを確認することもできます。
Stackdriver Trace Overview
また、サービスのエコシステムのインテグレーションを利用して Stackdriver の利用価値を広げることもできます。例えば、
Stackdriver のログを BigQuery にストリーミング
して、アドホックの分析を行うことができます。
同様に、
Datalab
を使って時系列データのアドホックの可視化を行うこともできます。さらに、アラートを適切なフォーマットで受け取ることができるように、Slack や HipChat、Campfire、PagerDuty などの色々なアラートインテグレーションから選ぶことも可能です。
メンテナンスもスケーリングも不要。 2 分でスタートできます。
Stackdriver
を開始するのは簡単です。貴社のアカウントを作って、(必要な場合は) AWS とのインテグレーションを設定すれば、
Stackdriver
は自動的に貴社のクラウドリソースを見つけ、最初のメトリクスとダッシュボードのセットを用意します。
そこからは、アップタイムチェックを作成し、私たちのオープンソースエージェント(
Collectd for metrics
、
Fluentd for logs
のパッケージ)をデプロイすれば、仮想マシンやデータベース、ウェブサーバー、その他のコンポーネントを 2、 3 のコマンドでより深く視認できるようになります。
Stackdriver
は Google が自社サービスのモニタリングやロギング、診断を行う強力なテクノロジーと同じテクノロジーを用いて構築されています。なので環境がどんどん拡大しても、
Stackdriver
は全く問題なくスケーリングできるので、どうぞご安心ください。
また、
Stackdriver
はホステッドサービスなので、 Google がサービスのモニタリングやメンテナンスといった運用のオーバーヘッドの面倒を見てくれることになります。
ベータ版のうちに無料で Stackdriver をお試しください
Google Stackdriver を紹介させていただき大変うれしく思っています。また、 AWS でも GCP でも、あるいは両方をお使いでも、運用の簡略化に役立てると考えています。
現在はベータ版でのご提供となります。詳細と無料版のお試しは
こちら
をご覧ください
なお、現在すでに
Stackdriver
をご利用のお客様のサポートはこれからも続けていきます。Google Stackdriver が一般公開になれば、移行のお手伝いをさせていただきますのでよろしくお願いいたします。
- Posted by Dan Belcher, Product Manager
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp