Google Cloud Platform Japan 公式ブログ

Google Compute Engine における信頼性の高いタスクスケジューリング

2015年6月15日月曜日

* この投稿は、米国時間 6 月 11 日、Solutions Architect の Preston Holmes によって投稿されたものの抄訳です。スケジューリングしたタスクを定期的に実行しなければならないシステムはたくさんありますが、分散環境でそのようなタスクを確実に実行することは驚くほど難しい場合があります。
多数の仮想マシンで UNIX の cron サービスを実行しようとするとどうなるか、想像してみましょう。オートスケールとネットワークのパーティショニングのために、個別の仮想マシンは出入りが激しくなります。すると、タスクをスケジューリングしたマシンが使えなくなり、重要なタスクが実行されないケースが出てきます。あるいは、オートスケーラーが新しいサーバーをオンラインにすると、1 度だけ実行するつもりだったタスクが、それら多数のサーバーで重複して実行されることもあります。
このような場合には、Google App Engine の Cron サービスでスケジューリングし、Google Cloud Pub/Sub でメッセージングをすれば、仮想マシンでフォールトトレラントな分散スケジューラを作ることができます。その方法は、Google Compute Engine のための信頼性の高いタスクスケジューリングを参照してください。ここからは、GitHub 上のサンプル実装のコードにもアクセスできます。
このデザインパターンでは、軽い App Engine アプリケーションを使って Cron サービスのイベントをスケジューリングします。Cron サービスがこの App Engine アプリケーションのイベントハンドラを呼び出すと、App Engine アプリケーションは Cloud Pub/Sub を使って、個々の Compute Engine インスタンスで実行されているユーティリティにイベントを伝えます。
サブスクライブしているユーティリティは、メッセージを受信すると、Cloud Pub/Sub トピックに対応するスクリプトを実行します。スクリプトは、Cron によって実行されたかのようにインスタンス上でローカルに実行されます。実際、このデザインパターンでは既存の Cron スクリプトを再利用できます。
分散メッセージングのために Cloud Pub/Sub を使っているので、多数のサーバーの中の 1 台だけでタスクを実行するとか、複数のサーバーでタスクを並行実行するといった形でイベントをスケジューリングすることができます。トピックとサブスクライバモデル（下図参照）によって、特定のタスクをどのインスタンスに渡すかを細かく制御できるのです。

図 1 - Compute Engine から App Engine Cron を利用する
このデザインパターンの詳しい説明については、Google Compute Engine のための信頼性の高いタスクスケジューリングを参照してください。この記事には、GitHub 上のサンプル実装へのリンクが含まれています。このサンプルはオープンソースなので、自由にプルリクエストできますし、直接イシューを開くことができます。使って便利だと思われたときには、Twitter のアカウント、@ptone にぜひお知らせください。
- Posted by Preston Holmes, Solutions Architect

JDA，Google Cloud Platform で新たな考え方を。

2015年6月11日木曜日

* この投稿は、米国時間 6 月 10 日ポストの Google Cloud Platform ブログの抄訳です。

今日のゲストはサプライチェーンや小売向けソリューションの主要プロバイダとして業界をリードする JDA Software Group 技術担当グループ副社長ジョンサルヴァリ氏です。 JDA では何千ものビジネスに対してサプライチェーン管理の技術やコンサルティングサービスを提供し、収益を上げながらコストを下げています。我々のソリューションやサービスの根底にあるのは豊富な情報量で、我々は実績あるテクノロジーを駆使し、データから実現可能な洞察を得てクライアントの事業展開の向上をお手伝いします。入手可能なデータの量や種類が急増し、より鋭い消費者ニーズへの洞察を提供できるチャンスです。Google Cloud Platform はクライアントのニーズに応えるために必要なスケールを抜群の規模で展開することを可能にするのです。我々は常に、クライアントのニーズに応える新たな方法を模索しており、より良いサービスを提供できるようにしてきました。Google Cloud Platform は、JDA がサポートしているビジネスプロセスを完全に見直せる特長を備えていました。実際、我々は去年、データサイエンスに関するイノベーションやユーザー体験、製品イノベーションに特化した 50 人体制のチームである JDA Labs を導入しました。このチームは先進的なアイデアを生み出し、過去 9 ヶ月で特許申請したアプリケーションの数を２倍にするというインパクトをもたらしました。
Google Cloud Platform を利用したことで、強力かつ信頼性の高いバックエンドシステムの恩恵を受け、その結果、市場にイノベーションをもたらすことに集中し、4 千社以上ものクライアントがデータに基づいた判断を下すお手伝いをしています。我々は数多くの Google Cloud Platform 製品を活用していますが、弊社の成功にとって特に重要なのは Google App Engine と Google Cloud Dataflow です。Google App Engine のような PaaS (Platform as a Service) はオンプレミステクノロジーの制約を取り除きます。例えば、より効率的に、より多くの製品を買って生産し、売るための営業予測ソリューションを製造業者や小売業者のいずれに対しても提供しています。予測をするためには何億ものデータ処理が必要となります。Google Cloud Platform にはソーシャルメディアや天気、また IoT 情報（例えば農作業情報について報告するセンサーなど）のような追加データの統合を可能にするテクノロジーがあって、予測の正確性を向上させ、クライアントのニーズに応えるために適正な商品が最適なタイミングで提供されることを保証します。 Google Cloud Platform がクライアントのニーズに対応する速さには圧巻です。小さな Google Cloud Dataflow 構成のおかげで、リアルタイムに毎分 5 万件以上の POS 取引補充注文を生み出すこともできました。以前であればもっと多くのハードウエアが必要となり、夜通しのバッチ作業を経て処理したものです。Google Cloud Dataflow を使えば、膨大な量の情報処理もリアルタイムで簡単になります。 Google Cloud Platform を活用する新たな機会を発見し続けながらも、我々チームはクラウドにおける未来のソリューション開発にコミットしています。申請中を含め 400 ある特許と 1.25億ドルの研究開発投資額から分かるように、我々はイノベーションを生きがいとしており、Google にも同じようにイノベーションを推進する文化があることをありがたく思っています。我々にとって Google との協働は、市場のリーダーであり続けるための新たな考え方を検討するための手助けとなっています。 Posted by John Sarvari, Group Vice President of Technology, JDA Software Group

Google BigQuery :パートナーエコシステムを拡大

2015年6月10日水曜日

* この投稿は、米国時間 6 月 8 日、Strategic Partner Development Manager の Tanya Shastri によって投稿されたものの抄訳です。このブログで先日、ストリーミングの挿入やセキュリティ強化、EU ゾーンへの提供開始などの Google BigQuery の改良を発表しました。このような BigQuery を進化させていく一方で、パートナーのエコシステムを向上させる努力もしています。その目的は、皆さんのデータベースソリューションの選択肢を広げるためです。今回は、それらのソリューションについてお知らせします。

データの準備とロード BigQuery へのデータロードをより簡単にしてほしいという皆様の声を聞き、選択肢を広げました。 BigQuery は Google Cloud Storage や Google Cloud Logging、Google アナリティクスプレミアムなどをはじめとする様々な Google サービスと統合されています。オンプレミスとクラウドのハイブリッドソリューションや異なるフォーマットの様々なアプリケーションのデータソース、あるいはフルマネージドの ETL サービスのオプションを利用しているかもしれません。SnapLogic や Talend、xPlenty などのBigQuery 統合ソリューションで、BigQuery で分析を行うための準備ができます。

結果のビジュアライゼーション リッチでインタラクティブなフロントエンドもBigQuery で構築できます。BigQuery は JDBC/ODBC などの技術をサポートしており、Tableau や QlikTech、Bime、 Looker のサービスなどとインテグレーションが可能です。これらのオプションはシームレスなアクセスを提供し、非常に大きなデータセットの分析を通して素早いビジネスインサイトを可能にします。 BigQuery でのソリューション開発 進化し続ける BigQuery エコシステムは Fluentd などのオープンソースツールを含み、いくつものソースからデータ採集ができます。re:dash を使ってデータコラボレーションを向上させたり、 OWOX で BigQuery と Google スプレッドシートを合わせて使用したりできます。また Hadoop connector for BigQuery を使えば、Hadoop および Spark アプリケーションで BigQuery のデータにアクセスが可能になります。
さらに Bimotics や Archipelago などのサービスパートナーが、戦略的な洞察の提供やBigQuery によるエンドツーエンドカスタムソリューションの開発を行い、クラウド流ビッグデータ利用するためのお手伝いをします。

BigQuery エコシステムについて詳しくはこちらをご覧ください。また、StackOverflow にはアクティブな BigQuery コミュニティがありますので、ユーザー同士でお互いに質問をしたり、知識を共有することもできます。 - Posted by Tanya Shastri, Strategic Partner Development Manager

今度は Couchbase Server が Google Compute Engine 上で高パフォーマンスを実証、110 万 / 秒の書き込みを記録

2015年6月5日金曜日

* この投稿は、米国時間 5 月 28 日ポストの Google Cloud Platform ブログの抄訳です。
今回のゲストは Cihan Biyikoglu 氏です。Cihan は、ハイパフォーマンスのドキュメントデータベースで、Google Cloud Platform パートナーでもある Couchbase Server の製品管理担当部長です。

昨年は、テクノロジーパートナー各社が Google Compute Engine 上で素晴らしいパフォーマンスを実証したというニュースでもちきりでした。特に、1 秒あたり 100 万回もの書き込みを記録した Cassandra には驚かされました。これを受け、我々 Couchbase も、どこまでスケールを上げてパフォーマンスあたりの価格を引き下げられるかを試してみることにしました。結果は満足のいくもので、それぞれ 500GB の SSD 永続ディスクを接続したわずか 50 台の n1-standard-16 VM で、1 秒あたり 110 万という書き込みを継続して実行できたのです。
Couchbase Server は、JSON ドキュメントデータベースとキーバリューストアを組み込んだオープンソース、マルチモデルの NoSQL 分散データベースです。エンタープライズウェブやモバイル、IoT アプリケーションが一貫して高いパフォーマンス、可用性、スケーラビリティを発揮できるように、メモリ重視のアーキテクチャで作られています。Couchbase Server は、ドキュメントデータベース、キーバリューストア、分散キャッシュとして使うことができます。そして、ほとんどのモバイルデバイスを含む複数のプラットフォームでの同期をサポートします。また、Google Compute Engine 上では特に優れた性能を発揮し、高いコストパフォーマンスを示します。

Couchbase Server は、それぞれ 200 バイトの値を持つアイテムを使って合計 30 億アイテムを操作しました。

Couchbase Server は、可用性と永続性のために 2 コピーのデータを使うようにセットアップされました（マスターが 1 つ、レプリカが 1 つ）。

平均レイテンシは 15m 秒、上から 95% 番目のレイテンシは 27m 秒でした。

ベンチマークを 1 時間実行するために要したコストの合計は $56.3 / 時でした。

1 秒あたり 110 万書き込みを持続
ベンチマークの実行中、サーバーは一貫性、可用性、持続性を維持するように設定されています。書き込みが書き込みとして認められるのは、2 つのデータノードが書き込みを受け取ってからです。それからデータは、サーバーの永続ディスク（持続ストアになっています）にフラッシュされます。Couchbase Server の場合、このレプリケートされる永続データは持続フラグ “ReplicateTo=1” を指定して行います。
2 台のサーバーにデータをレプリケートし、Google Cloud Platform の永続ディスクにフラッシュすれば、Couchbase と Google Cloud Platform の持続性維持の機能がともに働き、持続性の保証が強化されます。また、持続性を保証するための作業中は書き込みレイテンシを抑えるため、Couchbase のメモリツーメモリのレプリケーションを使えます。
このレベルのパフォーマンスとサービス品質は、Couchbase がお客様に約束しているレベルと一致します。Couchbase のお客様には、数百万の顧客やユーザーを抱える大企業（多くは広告、テクノロジー、旅行、金融、電気通信といった業種）が含まれ、これらの企業は大規模なパーソナライゼーション、プロファイル管理、詐欺検出、デジタル通信などのミッションクリティカルなサービスを実装するために Couchbase を使っています。
我々は今回のベンチマーク結果に満足しており、Google Cloud Platform 上でのコストパフォーマンスは Couchbase のユーザーにとってきわめて価値あるものだと考えています。ベンチマークの実行方法や数値の再現方法の詳細は Couchbase ブログをご覧ください。

クラウドにおけるモバイルファースト開発

2015年6月4日木曜日

* この投稿は、米国時間 5 月 29 日、Product Marketing Manager の Andy Tzou によって投稿されたものの抄訳です。ユーザーがモバイルファースト、そしてモバイルオンリーへと移っていくようになり、Google では、モバイル特有の課題に対するソリューションを用意することを目指してきました。例えば、デベロッパーがアプリのフロントエンドユーザーエクスペリエンスに専念できるフルマネージドサービスや、デベロッパーがプロジェクトに必要なだけ管理できるプラットフォームと IaaS (infrastructure-as-a-service) などです。

モバイルの世界 Firebase は、モバイルの世界において、これまでのプログラミングモデルの限界への画期的な一歩です。RESTful なモデルは、特にウェブにおいては大きな役割を果たしてきましたが、モバイルにおいてはどうでしょう。例えば、地下鉄へ入る時、飛行機モードにする時、接続エリアが制限された場所では、ネットワークの接続が断続的になったり、ネット環境自体が存在しないことさえあります。こんな環境でシームレスなサービスを作ることは難しいのに、ユーザーはオフラインでも動くアプリを求めるようになっています。 シームレスなオフライン機能 先日の Google I/O で Firebase は、iOS と Android でのオフラインをネイティブサポートすると公表しました。Firebaseは、デベロッパーに代わってデータを維持し、ネットワークが利用できない場合には自動的にデータをデバイスにローカル保存します。接続が回復すると、自動的にアプリケーションデータをクラウドに同期します。RESTful なモデルでは、デベロッパー自身がシームレスなオフライン環境を作ろうと努めなければならず、さらには、モバイル、デスクトップ、Android、iOS と、多種多様なクライアントにアプリケーションデータを常に同期させることを期待され、デベロッパーにとって複雑さは勢いを増すばかりです。Firebase は、接続状態に関係なく、デベロッパーに代わって、デバイス全体にわたるデータ同期を管理します。 リアルタイム オフラインに加え、ユーザーはアプリには素早く、迅速な応答を期待します。自分が乗る予定の車が徐々に近づいていることを地図上で確認したり、SNS への投稿が瞬時に表示されたり、Google ドキュメントでリアルタイムに共同編集したりです。リアルタイムであることは、ユーザーエクスペリエンスにおいて重要になってきました。 Screen Shot 2015-05-12 at 7.56.08 PM.png

Screen Shot 2015-05-12 at 7.56.08 PM.png

Firebase は、モバイルアプリケーションに対するリアルタイム同期アプローチの先駆けです。アプリケーションデータは、デベロッパーの労力を必要とせずに、クラウドおよびクライアントデバイス全体とリアルタイムで同期されます。 インフラストラクチャとコンピューティング さらに、Google Cloud Platform では、既存のバックエンドの管理または移行を検討するモバイルデベロッパーのために、Google App Engine や Managed VM、Google Compute Engine といったモバイルアプリ構築のためのさまざまなオプションを提供しています。長期的なジョブのホスト、分析の実行、またはカスタムビジネスロジックの記述のために最適です。
RovioFeedlyCitrix Firebase や Google Cloud Platform を使って、次世代の素晴らしいモバイルエクスペリエンス構築を! -Posted by Andy Tzou, Product Marketing Manager, Google Cloud Platform

トレーニングコース (日本語字幕付き) : Python と Google App Engine でスケーラブルなアプリケーションを構築

2015年6月4日木曜日

* この投稿は、米国時間 6 月 3 日、Technical Training and Certification Manager の John Souchak によって投稿されたものの抄訳です。 スケーラビリティ問題を解決する あなたの書いたアプリケーションが想像以上の成功をおさめている様子を想像してください。驚くほどのトラフィック量にどう対処しますか。ご心配なく！Google は Udacity に新しいオンライントレーニングコースを開設しました。強靭でスケーラブルなアプリケーションをPython で構築するために必要なすべての知識を身に付けることができるのです。
去年の夏に Developing Scalable Apps in Java を公開したところ、Python のリクエストを多くいただいたので、ご要望にこたえ、今回 Developing Scalable Apps for Python をリリースすることとなりました。

Magnus Hyttsten、Jocelyn Becker、そして Karl Krueger の 3 名が作り上げたこのコースでは、Google App Engine でスケーラブルなアプリケーションを構築することをメインコンセプトとして解説していきます。ステップバイステップで、モバイルでもウェブでも動くアプリを実際に作ってみましょう。

* ビデオは英語ですが、ほとんどのレッスンに日本語の字幕がついています。

オンラインコースの内容 コース終了までには、以下のことを達成できるでしょう：

スケールするアプリケーション開発のために、どうやって Task Queues や Memcache、Edge Caching、Datastore などのテクノロジーを組み合わせるのかを学びます。

実際に使える機能をもつ、スケーラブルなアプリケーションをゼロから構築できるようになります。

興味がある方は、Udacity コースの Python バージョン、または Java バージョンにサインアップしてください。

Jenkins、Packer、Kubernetes でイメージビルドを自動化

2015年6月1日月曜日

* この投稿は、米国時間 5 月 27 日、Solutions Architect の Evan Brown によって投稿されたものの抄訳です。

移植性と処理スピードを高めることは、とりわけクラウドでは歓迎されます。そこで今回、新しいソリューションペーパーとオープンソースのリファレンス実装をリリースしました。これは、Google Compute Engine 仮想マシンのブートをさらに高速化するのに役立ち、Compute Engine イメージとともに Docker 用のポータブルイメージを自動的にビルドできるようにします。
Compute Engine インスタンスでアプリケーションを実行するときは、最初に 1 台以上の仮想マシンをデプロイし、アプリケーションが動作するようにシステムを設定しなければなりません。通常は、アプリケーションとその依存ファイルをインストールしてから、データベース接続文字列や API キーといった、アプリケーションが必要とする他のコンフィグレーションをセットアップすることになります。
ブート後に各インスタンスに接続して各要素を設定すれば、手作業でのセットアップも可能です。しかし、それでは時間がかかり、エラーも起きやすくなって、首尾一貫しない特異なインスタンスが生まれることになります。起動時に自動的にコンフィギュレーションスクリプトを実行したとしても、反復可能でスケーラブルな分だけましにはなりますが、それでも事前に行わなければならない作業が多く、依然としてヒューマンエラーに悩まされることでしょう。さらに、インストールしようとしているパッケージが一時的に入手できない状態になっていると、そのインスタンスはブートしません。また、インストールしようとしているパッケージが大きかったりコンパイルを必要とするものだったりすると、ブート時間が長くなり、自動的なスケーリングに影響が及びます。
ブート時間を減らしながら信頼性を高めるには、インスタンスを起動する前にカスタムイメージをビルドすることが最も優れた方法です。本日、Google は Jenkins、Packer、 Kubernetes でイメージビルドを自動化する方法を解説したソリューションペーパーとオープンソースのリファレンス実装を公開します。これを見れば、広く使われているオープンソーステクノロジーを使って、Compute Engine、Docker ベースアプリケーションのために継続的にイメージをビルドする方法が学べます。中央のプロジェクトでイメージをビルドし、組織内の他のプロジェクトとイメージを共有して、継続的インテグレーション（ CI ）パイプラインにステップとしてイメージビルドを組み込むのです。
下図は、Compute Engine、Docker イメージをビルドするためのハブとなる Jenkins イメージビルダーを示しています。

図 1 ： Jenkins がアカウント内の他のプロジェクトのためにイメージをビルドする
ソリューションペーパーでは、セキュアでスケーラブルなイメージビルドパイプラインの作り方に加え、Kubernetes 上で信頼性の高い Jenkins インストレーションを実行する方法、Jenkins のバックアップ / 復元とワーカーノードのスケーリングの方法も解説しています。
Jenkins、Packer、 Kubernetes を使ってインスタンスとコンテナの起動を高速化し、信頼性を上げるには、自動化されたイメージビルドに関するソリューションページを参照してください。それが終わったら、リファレンス実装のチュートリアルに従ってインフラストラクチャのデプロイに進んでください。ご意見はいつでも歓迎します。チュートリアルに関する提案については GitHub プルリクエストかイシュー、Google Cloud Platform をどのように使っているかについては Google+ や Twitter の@evandbrown までお知らせください。
-Posted by Evan Brown, Solutions Architect

Google Cloud Platform Japan Blog

Google Compute Engine における信頼性の高いタスクスケジューリング

JDA，Google Cloud Platform で新たな考え方を。

Google BigQuery :パートナーエコシステムを拡大

今度は Couchbase Server が Google Compute Engine 上で高パフォーマンスを実証、110 万 / 秒の書き込みを記録

クラウドにおけるモバイルファースト開発

トレーニングコース (日本語字幕付き) : Python と Google App Engine でスケーラブルなアプリケーションを構築

Jenkins、Packer、Kubernetes でイメージビルドを自動化

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

Google Cloud Platform Japan Blog

Google Compute Engine における信頼性の高いタスク スケジューリング

JDA，Google Cloud Platform で新たな考え方を。

Google BigQuery :パートナー エコシステムを拡大

今度は Couchbase Server が Google Compute Engine 上で高パフォーマンスを実証、110 万 / 秒の書き込みを記録

クラウドにおけるモバイルファースト開発

トレーニング コース (日本語字幕付き) : Python と Google App Engine でスケーラブルなアプリケーションを構築

Jenkins、Packer、Kubernetes でイメージ ビルドを自動化

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

Google Compute Engine における信頼性の高いタスクスケジューリング

Google BigQuery :パートナーエコシステムを拡大

トレーニングコース (日本語字幕付き) : Python と Google App Engine でスケーラブルなアプリケーションを構築

Jenkins、Packer、Kubernetes でイメージビルドを自動化