Google Cloud Platform Japan 公式ブログ

株式会社サイバーエージェントの導入事例：エンジニアの切磋琢磨を促す“ヒダッカソン”で Google Cloud Platform を利用

2016年5月11日水曜日

今回いつもとはやや趣の異なる活用事例を紹介。スマートフォン向けアプリゲームの開発でも知られるサイバーエージェントグループが社内のハッカソン的イベントで Google Cloud Platform を活用したというお話をお伺いしてきました。変化が激しい“現場”の 1 つとして知られるゲーム業界のエンジニアは Google Cloud Platform をどのように評価したのでしょうか？

■ 写真左から
株式会社グリフォン
エンジニア岩上裕樹さん株式会社サイバーエージェント
SGE(Smartphone Games & Entertainment) 事業統括室　CTO 白井英さん

■ 利用したGoogle Cloud Platform サービス Google Compute Engine 株式会社サイバーエージェントは、インターネット広告事業、メディア（Ameba）事業、ゲーム事業を三本柱とする企業。国内ナンバーワンという広告事業やAmebaが有名ですが、ゲーム事業も複数のヒットタイトルを提供しています。そんな同社が昨年から取り組み始めた社内ハッカソンイベントが「ヒダッカソン」（同社副社長・日高裕介さんのお名前から命名）。ゲーム事業に関わる子会社 9 社が所属するSGE（Smartphone Games & Entertainment）という組織のエンジニアを集めて行う、やや特殊なハッカソンで、サーバサイドとネイティブの 2 部門において、その技量を競うというものです。その経緯と狙いについて、同社ゲーム部門を統括する白井英さんは以下のように語ります。「弊社独自の取り組みとして新規事業や事業課題解決案などサイバーエージェントのあした（未来）につながる案を考える『あした会議』という 1 泊 2 日の合宿があるのですが、昨年 SGE 事業部の新卒版で、ゲーム部門を支えるエンジニアをもっと評価するべきではないか、目立たせるべきではないかという声が上がったんです。そこで社内のエンジニアを集結させ、用意した“お題”に時間内でどこまで対応できるかという開発競争を実施しました。第 2 回目となる今年はさらに参加人数が増え、サーバサイド部門 78 名、ネイティブ部門 70 名、のべ約 150 名で開発力を競ってもらいました」

そのサーバサイド部門の“戦場”となったのが Google Cloud Platform（Google Compute Engine）。昨年は他社のクラウドサービスを利用したのですが、今回はイベントに変化を付けていきたいということもあって Google を採用。「大陸クエスト」という架空のゲームに必要となる 37 個の API を仕様書に基づきどんどん作っていくという競争を行ないました。「サーバ関連のトラブルは皆無。競技的な面でも非常に重要なところなので、ここはさすが Google さんと感心しています。ちなみにプランは n1-highcpu-4 を使いました。できあがった API の判定プログラムなどでそれなりの負荷をかけているにも関わらず全くレスポンスが落ちなかった点もよかったですね」（白井さん）結果、サーバサイド部門で優勝したのは新卒一年目の若手エンジニア。実は昨年の優勝者も新卒者だったとのこと。「ベテランエンジニアは現場ではもうレビュー側に回ったりしているので、瞬発力的なものではもう若手に敵わないところがあるのかもしれませんね。かくいう私も去年は 10 位だったのですが、今年はかすりもしませんでした（笑）」（白井さん）ここ 2 回のヒダッカソンを通じて、社内エンジニアを目立たせるという目的はある程度果たせたと語る白井さん。また、それ以外にもエンジニア間の交流が促されるなど、多くのプラスの成果があったそうです。「これからも年に 1 度くらいのペースで続けていきたいですね。次回は参加エンジニア同士でお題を出し合うなど、競技の仕組み自体をちょっと変えてみようかなどと画策しています。その際は、ぜひまた Google Cloud Platform を使わせていただければ」（白井さん）

＜ヒダッカソン参加者インタビュー＞ 最後に、昨年のヒダッカソン・サーバ部門優勝者で、今回、両部門に参加した株式会社グリフォン所属の若手エンジニア岩上裕樹さんに、大会の感想をお伺いしました。

「ヒダッカソンの良いところは、純粋に開発だけに集中できるところです。今は、リーダーもやっているので、普段の業務ではプログラミングのみに集中することはあまりないので、非常に楽しかったですね。サーバ部門では、プラットフォームが Google に変わると聞いて身構えていたのですが、実際に使ってみると、良い意味で何も変わりませんでした。むしろインスタンスの立ち上げが簡単など、感心する点も多かったです。機会があれば業務でも使ってみたいと思いました」（岩上さん）

導入事例はこちら

Google App Engine で動く Ruby ランタイムがベータに

2016年5月11日水曜日

* この投稿は米国時間 5 月 5 日、Google Cloud Platform の Product Manager である Justin Beckwith によって投稿されたもの（投稿はこちら）の抄訳です。Google App Engine で動作する Ruby ランタイムApp Engine
始めましょう導入ガイドサンプル対話的なチュートリアルPostgreSQLMySQLCloud DatastoreGoogle Container EngineGoogle Compute Engine Google の API やサービスが使えるgcloud Ruby gemGoogle Cloud DatastoreGoogle Cloud Pub/SubGoogle BigQueryrequire "gcloud" gcloud = Gcloud.new bigquery = gcloud.bigquery sql = "SELECT TOP(word, 50) as word, COUNT(*) as count " + "FROM publicdata:samples.shakespeare" job = bigquery.query_job sql job.wait_until_done! if !job.failed? job.query_results.each do |row| puts row["word"] end end Ruby などのオープンソースへの取り組み

https://github.com/GoogleCloudPlatform/ruby-docker

https://github.com/GoogleCloudPlatform/gcloud-ruby

https://github.com/google/google-api-ruby-client

Google Cloud Platform@googlecloud招待リクエスト#ruby チャネル- Posted by Justin Beckwith, Product Manager, Google Cloud Platform

Cloud Dataflow と Stackdriver Debugger によるデータ変換のデバッグ

2016年5月10日火曜日

* この投稿は米国時間 4 月 21 日、Software Engineer である Ben Chambers によって投稿されたもの（投稿はこちら）の抄訳です。Google Stackdriver DebuggerGoogle Cloud DebuggerスナップショットGoogle Cloud DataflowDebuggingWordCount

早速、--filterPattern=Flourish,stomach を指定してパイプラインを実行したところ、出力が生成されないことに気づきました。そこで Dataflow UI を見てみたところ、フィルタに合致した単語は存在しない旨、アグリゲータは報告していました。

そして、WordCount.CountWords ステップでは出力があったのに、ParDo(FilterText) ステップでは出力がなくなっていたことがわかりました。また、パイプラインの中のアサーションは失敗していました。

ParDo(FilterText) には入力があったのに、出力がなくなっていたことから（カスタムカウンタで各ステップの入力数を見ればわかります）、私はフィルタリングを実行する条件文が分岐する箇所（unmatchedWords がインクリメントされるところ）でスナップショットを取得することにしました。

ステップ 1 ：デバッガのもとでパイプラインを実行

やるべきことは、--enableCloudDebugger オプションを指定し、Cloud Dataflow サービス上でパイプラインを実行することだけでした。実行すると、次のようなメッセージが表示されます。

To debug your job, visit Google Cloud Debugger at: https://console.cloud.google.com/debug?project=<...>&dbgee=<...>

表示されたリンクをクリックするか、https://console.developers.google.com/debug で私のプロジェクトを選択すれば、Debugger UI にたどり着けます。なお、複数のパイプラインを実行している場合は、メニューからパイプラインを選択しなければならないことがあります。デフォルトでは最新のパイプラインが選択されます。

ステップ 2 : ソースコードにアクセスする

Debugger UI でコードを参照できるようにするためには、Debugger UI がソースコードにアクセスできなければなりません。アクセスできれば、ファイル名と行番号を入力しなくても、行をクリックするだけでスナップショットを取得できます。

Source Code Options には、ローカルファイルシステムのディレクトリや Cloud Source Repository など、さまざまなオプションがあります。

話を単純にするために（そして、ソースコードをどこにもアップロードしていないので）、私は “View source code from local files” を選び、パイプラインソースコードを格納しているディレクトリを指定しました。

ステップ 3 : スナップショットを取得する

スナップショットは、右側のテキストボックスに位置を入力して Enter キーを押すか、ソースコードの行番号をクリックすれば取得できます。すでに UI でソースコードを表示できるようにしてあるので、私は DebuggingWordCount.java ファイルに移動し、148 行目のスナップショットを要求しました。

フィルタを通過しなければおかしいと思われる単語のときにどうなるかを知りたかったので、それを次の式を使って条件にしました。

"Flourish".equals(((com.google.cloud.dataflow.sdk.values.KV) c.element()).getKey())

条件がプライベートフィールドにアクセスできていることに注目してください。しかし、ジェネリクス（たとえば KV を返す element() ）を使うときは、明示的なキャストが必要になります。

注意 : 通常、すべての条件評価は CPU 時間の 0.01 未満に制限されています。この条件はすべての要素で評価され、要素に対する実際の処理が比較的単純な場合は（破棄）、スナップショットはデバッガによってキャンセルされてしまいます。

したがって、この条件をデバッガに評価させるためには、--maxConditionCost=0.6 を指定しなければなりませんでした。このパラメータは Dataflow ジョブをサブミットするときに指定します。

ステップ 4 : スナップショットがキャプチャされるのを待つ

スナップショットを設定すると、Stackdriver Debugger サービスは実行中のすべての Dataflow ワーカーと通信します。いずれかのワーカーがスナップショットをオンにした行を実行しようとすると、スナップショットがキャプチャされます。

ステップ 5 : スナップショットを使用し、間違いの箇所を突き止める

どの値が処理されているのかを知りたければ、ProcessContext （ c と呼ばれているもの）を展開し、context を掘り下げます。探しているのは要素ですが、それは context において WindowedValue として格納されています。あちこちをつついてみて、this$0 を展開したところ、使われているフィルタがわかりました。

私が指定した filterPattern (Flourish,stomach) が正規表現として使われていたことが原因だと判明しました。そこで、フィルタパターンを Flourish|stomach に変更して再実行すると、すべてが正しく動作しているように見えます。

たったこれだけ !

今回は、Stackdriver Debugger を使って Dataflow パイプラインのスナップショットを要求する方法を説明しました。少数のワーカーのもとで実行される比較的単純な例を使用しましたが、仮に数 GB のデータに対して500 個のワーカーを実行していた場合でも同様の手順で問題ないはずです。これは、クラウド規模の ETL ジョブではごく普通のシナリオです。

- Posted by Ben Chambers, Software Engineer

YouTube で公開中の GCP NEXT 人気セッションベスト 5（暫定）

2016年5月10日火曜日

* この投稿は米国時間 4 月 21 日、Google Cloud Platform の Content Writer & Editor である Alex Barrett によって投稿されたもの（投稿はこちら）の抄訳です。GCP NEXT 201630 以上のセッションGoogle Data Center 360 度ツアーGCP NEXT 初日2 日目 1. How Google Does Planet-Scale Engineering for Planet-Scale InfrastructureHow Google Does Planet-Scale Engineering for Planet-Scale InfrastructureGoogle Cloud Platform 2. Build smart applications with your new superpower : cloud machine learningBuild smart applications with your new superpower : cloud machine learningJulia FerraioliTensorFlowGoogle Cloud Machine Learning 3. Analyzing 25 billion stock market events in an hour with NoOps on GCPAnalyzing 25 billion stock market events in an hour with NoOps on GCPGoogle Cloud DataflowGoogle Cloud Pub/SubGoogle Cloud Bigtable 4. Building iOS Apps with FirebaseBuilding iOS Apps with FirebaseGoogle Cloud Vision API 5. Painless container management with GKE & KubernetesPainless container management with GKE & Kubernetes

月刊 Google Cloud Platform ニュース

2016年5月9日月曜日

Posted by 八木橋徹平 (Google Cloud Platform シニアソリューションアーキテクト) 先月（2016 年 4 月）発表された Google Cloud Platform 関連のニュースをブログ記事から振り返ってみます。 [新製品, 新機能] 先月はたくさんの新機能や値下げの発表がありました。BigQuery に実装された Capacitor 機能によりクエリの性能を大幅に向上することができます。

Google Compute Engine インスタンスの永続ディスクを拡張 4/25

Google Cloud Load Balancing の新 UI をご紹介 4/22

モバイル/ウェブアプリにアンケートを追加できる Google Consumer Surveys API 4/22

Stackdriver Error Reporting : アプリケーションエラーの監視に威力を発揮 4/18

Google Cloud Datastore API 新ベータでパフォーマンスが大幅アップ 4/7

Google Cloud Datastore の料金が大半のユースケースで大幅値下げへ 4/7

ダウンタイムなしでのオンラインリサイジングに対応した Google Cloud Persistent Disks 4/6

Google BigQuery でヒストリカルデータ保存の料金を半分に、クエリの速度を 10 倍に 4/5

[顧客事例] 株式会社エニタイムズ様では、Google Cloud Platform の柔軟性・利便性をフルに活用いただき、インフラ運用の効率性を高めていただいています。

HIPAA 準拠のモバイル BaaS を共同で構築した Kinvey と Google 4/8

株式会社エニタイムズの導入事例：エンジニアがサービス開発に専念できる環境を求め、煩雑化していたシステムをGoogle Cloud Platform で完全リニューアル! 4/8

[パートナー関連] Autodesk 社と協業し、レンダリング効率を改善する取組みや OpenStack とのシームレスな連携に継続的に注力しています。

Autodesk と共同でメディアレンダリング効率を大幅改善 4/26

OpenStack Cinder ボリュームのバックアップに最適な Google Cloud Storage 4/19

IBM POWER9 ベースのオープンサーバーアーキテクチャを Rackspace と共同開発 4/13

[ソリューション] Google Cloud Platform 上で PCI DSS に準拠したシステム作りのチュートリアルと Dataflow パイプラインのスケジューリングに関するブログを公開しました。

Google Cloud Platform による PCI DSS 準拠へのシンプルなアプローチ 4/25

App Engine Cron Service / Cloud Functions を使用した Dataflow パイプラインのスケジューリング 4/21

[その他] 4/20 に Google の各種製品チームと合同で、ゲーム業界向けのイベント Google for Mobile を実施しました。また、Google App Engine のサイト信頼性エンジニアのインタビューを公開しています。

4月20日　Google for Mobile｜Game Bootcamp 開催 4/12

SRE の教訓 : App Engine で 1 日 1,000 億件以上のリクエストに対応する方法 4/11

Iron Mountain が GCP へのリンク帯域幅を拡張し、データインジェストを高速化

2016年5月9日月曜日

* この投稿は米国時間 4 月 20 日、Product Manager である Ben Chong によって投稿されたもの（投稿はこちら）の抄訳です。Google Cloud PlatformオフラインデータインポートGoogle Cloud Storage Nearlineこちらオフラインデータインポート- Posted by Ben Chong, Product Manager

全日本空輸株式会社の導入事例： 1 万人以上のスタッフ間での情報共有を Google Cloud Platform を駆使して実現

2016年5月2日月曜日

日本最大の航空会社として、その名を知らぬ人はいない ANA こと全日本空輸株式会社。そんな同社の従業員向けコミュニケーション、業務ネットワークシステムとして活用されている「Olive（オリーブ）」の構築に Google Cloud Platform が選ばれた理由とは？そのシステム開発を主導したメンバーにそのお話をお伺いしてきました。

(取材日時: 2016 年 3 月 17 日) ■ 写真左から全日本空輸株式会社空港センター空港業務推進部サービス開発チーム　長浜史さん業務プロセス改革室　イノベーション推進部サービスイノベーションチーム　東真衣さん空港センター空港業務推進部旅客サービスチーム　林原央和さん ■ 利用中の Google Cloud Platformサービス Google App Engine など ■ 導入、開発パートナーソフトバンク株式会社、株式会社トップゲート
ANA で Olive の開発がスタートしたのは 2013 年の春。当時、インターネットやスマートフォンの普及などによって、顧客とのコミュニケーション手法が激変し始めており、お客様へのタイムリーな情報発信のためのシステム作りが急務となっていました。この際、いくつかの“提案”があった中で、機能面、コスト面で最も魅力的に映ったのが Google Cloud Platform を活用した、パブリッククラウド型のシステム。ちょうどその時期に社内メール環境を Google Apps for Work に移行したことも追い風となりました。取り扱う膨大な量の個人情報をパブリッククラウドで取り扱うことを不安視する声もあったそうですが、同社の厳しいセキュリティ基準もGoogle は難なくクリア。1 年後の本格運用開始を目指して開発がスタートします。「ところが蓋を開けてみると、わずか半年でシステムが完成。これから実際の運用方法を検討しようと考えていたところだったので逆に慌ててしまったほどです（笑）。また、その作り方もこれまでと全くの別次元。これまでは仕様要件をしっかり決め込んでから作っていくのが普通で、後から追加や変更はできないのが当たり前でした。できあがった後に『こんなはずではなかった……』ということも珍しくありませんでした。ところが Olive に関してはまずは開発会社さんが叩き台となるプロトタイプを数ヶ月で作成し、それを試しながら細かい部分を追加・改修していけたので、最初から驚くほど完成度の高いシステムを構築することができたんです」（全日本空輸株式会社業務プロセス改革室・東さん）もちろん運用開始後の機能強化も従来よりはるかにスムーズだったとのこと。今日も空港スタッフからの要望などを元に、専用スマートフォンアプリへのプッシュ通知機能追加など、さらに実状に合わせた改修が行なわれているそうです。「初期の大きな機能強化で特に印象に残っているのが、Olive 画面上で ANA からお客様宛にお送りした連絡メールを確認できるようになったこと。これまではそれが完全には共有できておらず、例えば遅延通知のメールを見たお客様からのお問い合わせに窓口の人間が即答できないということがあったのですが、この機能が実現して以降はお待たせする時間をぐっと短縮できるようになりました」（全日本空輸株式会社空港センター空港業務推進部・長浜さん）「日常業務で使っている Google Apps for Work と同じ Google の仕組みを使ったメリットとして、統一感のあるユーザビリティが挙げられますね。たとえば Olive に表データをアップしたいときも、使い慣れた Google スプレッドシートの UI で使えるので新しく操作方法を覚える必要がありません。過去情報の検索のしやすさ、賢さも、Google ならではのメリットといつも感心しています。何より一般的な Web ブラウザで社外からもアクセスできるようになったというのが大きい。これまでは空港外でお客様のご案内を行なう際は最新情報を電話で確認するしかなかったのですが、Olive 導入後はスマートフォンの画面上でいつでもチェックできるようになりました」（全日本空輸株式会社空港センター空港業務推進部旅客サービスチーム・林原さん）なお、一般的に会社の規模が大きくなればなるほど、こういった新システムの導入には時間がかかるもので、現場からの反発も大きくなりがちなのですが、Olive に関してはぐんぐんと利用率が高まっていっているとのこと。まだ導入が始まっていない部署から早く使わせてほしいという声が上がったり、こんな機能を追加してほしいという声も上がってきているそうです。今後は社内だけでなく、関連会社に向けたシステム開放も計画中なのだとか。「ただし、スタッフが極度に少ない海外空港では Olive への情報入力を簡素化してほしいという声も上がっています。そこで、将来的にこれを音声入力などで行なえるといいな、なんてことを開発会社さんに相談させていただいたのですが、何とそれが決して夢ではないとのこと。近い将来 Google Cloud Platform に追加される機能（編集部注：Cloud Speech API）で実現に近付くそうなので期待しています」（林原さん）導入事例はこちら

Google Cloud Platform Japan Blog

株式会社サイバーエージェントの導入事例：エンジニアの切磋琢磨を促す“ヒダッカソン”で Google Cloud Platform を利用

Google App Engine で動く Ruby ランタイムがベータに

Cloud Dataflow と Stackdriver Debugger によるデータ変換のデバッグ

YouTube で公開中の GCP NEXT 人気セッションベスト 5（暫定）

月刊 Google Cloud Platform ニュース

Iron Mountain が GCP へのリンク帯域幅を拡張し、データインジェストを高速化

全日本空輸株式会社の導入事例： 1 万人以上のスタッフ間での情報共有を Google Cloud Platform を駆使して実現

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

Google Cloud Platform Japan Blog

株式会社サイバーエージェントの導入事例： エンジニアの切磋琢磨を促す“ヒダッカソン”で Google Cloud Platform を利用

Google App Engine で動く Ruby ランタイムがベータに

Cloud Dataflow と Stackdriver Debugger によるデータ変換のデバッグ

YouTube で公開中の GCP NEXT 人気セッション ベスト 5（暫定）

月刊 Google Cloud Platform ニュース

Iron Mountain が GCP へのリンク帯域幅を拡張し、データ インジェストを高速化

全日本空輸株式会社の導入事例： 1 万人以上のスタッフ間での情報共有を Google Cloud Platform を駆使して実現

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

株式会社サイバーエージェントの導入事例：エンジニアの切磋琢磨を促す“ヒダッカソン”で Google Cloud Platform を利用

YouTube で公開中の GCP NEXT 人気セッションベスト 5（暫定）

Iron Mountain が GCP へのリンク帯域幅を拡張し、データインジェストを高速化