Google Cloud Platform Japan 公式ブログ: リアルタイムに近いログのストリーミングと分析を Google Cloud Platform と Logentries で実現

リアルタイムに近いログのストリーミングと分析を Google Cloud Platform と Logentries で実現

2015年6月30日火曜日

* この投稿は、米国時間 6 月 22 日、 Google Cloud Platform の PM、Deepak Tiwari と Logentries の共同設立者かつチーフサイエンティストである Trevor Parsons によって投稿されたものの抄訳です。 Google では、Google Cloud Platform のユーザーにとって DevOps をいかに簡単にできるかを常に考えています。Google App Engine、Google Compute Engine、あるいは他のサービスでも、システムやアプリケーションが生成するログにアクセスしたいことでしょう。 Google Cloud Platform では Google Cloud Logging でログ情報を集中化し、ログデータの表示、検索、分析が可能です。Cloud Logging では、Google Cloud Storage にログをアーカイブしたり、ログを Google BigQuery に送ったりする機能が含まれています。加えて Cloud Logging では、リアルタイムに近いストリーミングを行える Google Cloud Pub/Sub API 経由でサードパーティーのログ管理ツールなどにログを転送し、さらに高度でカスタマイズされたログ分析を行うこともできます。そしてこのたび、サードパーティーのログ分析サービスである Logentries を Google Cloud Platform で使えるようになりました。これにより、Google Cloud Platform のユーザーは、ログ管理や異常検出を含む高度な分析を手軽に構成することができます。 Google App Engine で Logentries が利用できるようになったので、Cloud Dataflow サービスなどとも併せてスタートがさらに容易になりました Google Cloud Pub/Sub API の概要 Cloud Pub/Sub は、毎秒 100 万以上のメッセージを処理する場合であっても数ミリ秒以内に配信する速度で、アプリケーション間でデータをルーティングする役割を担う強力なメッセージングサービスです。リアルタイムに近い多対多、非同期のメッセージングサービスであって、送信側と受信側とを切り離すことによってシンプルで高信頼の柔軟なアプリケーションを作成するのに役立ちます。別個に作成されたアプリケーション間においてセキュアな高可用性通信が可能になります。そのため Cloud Pub/Sub はログを転送するための理想的なサービスであり、ログイベントの送信やログイベントが発生した際の受信ができます。

リアルタイムに近いログ分析サービスである Logentries は、Google Cloud Pub/Sub と統合してほぼリアルタイムに近いログのストリーミング転送を行うサードパーティー製の最初のサービスであり、アラートを設定したり、異常検出や高度な分析を実行したりすることができます。 Google Cloud Logging で Logentries を設定する方法 Google Cloud Platform のログを Logentries にストリーミングするには次のように設定します。

Cloud Pub/Sub API を有効にする

プロジェクトに Logentries サービスのアカウントを追加する

Cloud Pub/Sub へのエクスポートを設定する

Logentries でログを追加する

ステップバイステップの手順もご参考ください。 リアルタイムに近いログ分析 Logentries は独自の前処理エンジンを使用し、Google のログに対して高度な分析をリアルタイムに近いスピードで実行します。データを事前に分析するので、重要なシステムやユーザーのアクティビティを識別するための複雑な検索クエリをログに対して実行する必要が少なくなります。

Google Cloud Platform と Logentries により、ログデータ全体の長期的な動向を把握するのみならず、問題点を迅速に特定することができます。Google Cloud Platform のユーザーに役立つ Logentries の機能の一部を以下に紹介します。

イベントのタグ付けによるライブ追跡： Logentries の前処理エンジンは自動的に例外、警告、エラーなどの重要なイベントにタグを付けるため、ログデータのライブビューで容易に問題を発見することができます。

リアルタイムに近い通知および動作停止アラート：重要なイベントが発生すると数秒以内に通知します。通知は、電子メールで送信するように設定したり、または他のサードパーティーの API やツール（例えば、Slack、HipChat、PagerDuty など）と組み合わせることができます。

ログをデータとして使用：ログにはスタックトレースやエラーコードのほかにも非常に有用な情報が多数含まれています。フィールドレベルのログ分析により、ログから主要な指標（例えば、サーバーリソースの使用状況や API の応答時間）を抽出したり、そうした指標をチャートやグラフに要約したりすることができます。

Google Cloud Logging は google-fluentd コレクタ経由で既知のログ形式を多数サポートしています。例えば、Apache、Chef、MongoDB、NginX などがそうです。Logentriesはまた、コミュニティパックを通じて、これらのログ形式に対応したすぐに使える機能（タグ、アラート、ダッシュボード）を提供しているため、ルールやクエリの設定に時間を費やす必要がありません。Google Cloud Logging と Logentries の開始方法はこちらからどうぞ。また、Logentries フォーラムもご参照ください。 - Posted by Deepak Tiwari (Product Manager, Google Cloud Platform) and Trevor Parsons (Co-founder and Chief Scientist, Logentries)