Stackdriver Logging の新機能と無料ログ容量の拡張
Google Cloud Japan Team
クラウド アプリケーション向けの統合モニタリング、ロギング、および診断スイートである Google Stackdriver を私たちが一般公開（GA）したとき、ユーザー コミュニティからは熱意とともに、次のようなインサイトに満ちたフィードバックが数多く寄せられました。
- 分析 : ログ ベースの指標はすばらしいが、ログからラベルや値も抽出できるようにしてほしい。
- エクスポート : ログを簡単にエクスポートできる機能は気に入ったが、数十から数百にも及ぶプロジェクトを管理するのは難しい。
- 制御 : すべてのログを 1 つの場所にまとめ、いろいろな宛先にエクスポートできるのはすばらしいが、どのログを Stackdriver Logging に送るかを制御できるようにしたい。
- 料金 : すべてのデータをロギングするコストを気にすることなく Stackdriver を利用したい。
私たちはこのほど、こうした皆さんの声に応える形で Stackdriver をアップデートしました。料金体系も見直し、お客様のビジネスの拡大と成長に柔軟に対応できるようにしています。
この投稿では、Stackdriver Logging の新機能などを紹介します。
ログ ベースの指標に基づく容易な分析
Stackdriver は、ログや指標、履歴、エラーといった各種シグナルを組み合わせれば、1 つの事象を分析するよりも優れたインサイトを提供できるという考えの下で開発されました。ログ ベースの指標（logs-based metrics）はその具現化の一例であり、今回新しくなったログ ベースの指標は以下のように改善されています。- 高速化 : ログ エントリを受信してからログ ベースの指標に反映するまでの時間を、これまでの 5 分から 1 分以内に短縮しました。
- 管理の簡素化 : ログ内のテキストからユーザー定義のラベルを抽出できるようにしました。想定される値ごとに新たなログ ベースの指標を作成するのではなく、ログ エントリのフィールドをラベルとして利用できます。
- より強力に : ログから値を抽出し、分布指標に変換することで、多くのデータ ポイントを各時点で効率的に表示できます。その後、Stackdriver Monitoring がその指標をヒート マップや比率として視覚化します。
上の画像は、ログ エントリのテキスト フィールドから抽出した分布指標によって生成されたヒート マップです。
New York Times で Site Reliability Engineer（SRE）を務める Tony Li 氏によると、同社では新たなユーザー定義型ラベルをプロキシに適用し、ログを基にして信頼性やパフォーマンスの改善を図っています。その手法について同氏は次のように述べています。
ログ ベースの指標を使えば、複数のプロキシにわたって発生するエラーを監視できるほか、エラーの発生時点に基づいて頻度を視覚化できます。これにより、以前のバージョンでは発生しなかった不具合や設定ミスであることを特定できるのです。
高速パイプラインは、すでに GA リリースされているカウント ベースの指標を含め、ログ ベースの指標すべてに対応します。分布指標とユーザー定義ラベルは、今回ベータ機能として提供されます。
集約エクスポートによる組織全体のログ管理
Stackdriver Logging でログ シンクを利用すると、Cloud Storage や Cloud Pub/Sub、BigQuery などにログをエクスポートできます。ただ、数百から数千件にも及ぶ組織内のプロジェクトのエクスポートを管理するのは時に退屈でエラーを引き起こすような作業だという意見も寄せられていました。たとえば、組織内のセキュリティ管理者がすべての監査ログを BigQuery の中央プロジェクトにエクスポートしたい場合、これまでは各プロジェクトのログ シンクを一つひとつ設定し、そのシンクが新しいプロジェクトそれぞれに置かれていることを確認する必要がありました。
集約エクスポート（aggregated exports）を利用すれば、組織の管理者またはフォルダの管理者がシンクを一度設定するだけで、その設定がサブプロジェクトやサブフォルダにも受け継がれます。これにより、セキュリティ管理者は、組織内の全監査ログを 1 つのコマンドで BigQuery にエクスポートできるようになります。
集約エクスポートは、プロジェクトのログが正しくエクスポートされるように支援する機能です。シンクは組織やフォルダ レベルで設定されるため、各プロジェクトのオーナーがシンクをオフにしてしまうことも防止できます。
除外フィルタで Stackdriver Logging のパイプラインを制御
Logging API に送信されたログ エントリは、意図的に送信したものでも Google Cloud サービスが送信したものであっても、すべて Stackdriver Logging に送られ、ログ ビューアで検索可能です。ただし、Stackdriver Logging に取り込まれるログを選別することは、これまではできませんでした。そこで、これを可能にしてほしいとのフィードバックに応える形で、除外フィルタ（exclusion filters）がベータ機能として追加されました。除外フィルタを使用すると、コストの削減をはじめ、不要なログの排除によってノイズ率が下がるほか、ソースからのログをブロックしたり Stackdriver Logging のパターン マッチングを活用したりすることでコンプライアンス管理も可能となります。どのリソースがログを送信していて、どれが Stackdriver Logging から除外されているかは、リソース使用量のページから確認できます。
除外フィルタにより、特定リソースからの一部またはすべてのログを除外することも容易です。上の画面では、負荷分散がうまく機能した場合のログを 99 % 除外するように設定しています。
ソリューションを選ぶ自由とその選択が重要だということを、私たちは十分理解しています。Google では除外フィルタに関係なくすべての GCP ログを公開しており、BigQuery や Cloud Storage、さらには Cloud Pub/Sub 上のサードパーティ ツールにログをエクスポートできるようにしています。
加えて、Stackdriver ではエクスポートへの課金は行われません。ただし、BigQuery、Cloud Storage、Cloud Pub/Sub の料金は発生します。
12 月より各プロジェクト 1 か月あたり 50 GB のログが無料に
すべてのデータをロギングするコストを気にせずに Stackdriver を利用したいとのご意見も寄せられました。そこで私たちは、今年 12 月 1 日より無料ログの容量をプロジェクトあたり 1 か月に 50 GB という業界最大レベルまで引き上げることにしました。この措置は、Stackdriver Logging の検索機能、ストレージ、分析、アラート機能をすべてのお客様に活用していただきたいためです。月 50 GB の無料枠を超えてログを保存したい場合は、Stackdriver プレミアム階層か基本階層にサインアップし、超過分の料金をお支払いください。12 月 1 日以降、超過ログは 1 GB あたり 0.50 ドルの固定料金にて課金されます。
監査ログは今後も無料、保存期間は 13 か月に
管理アクティビティの監査ログは制限や超過課金の対象外となり、Stackdriver にて無料で利用できます。また、保存期間はこれまで 30 日間でしたが、今後は 13 か月間に延長されます。フィードバックを随時募集中
Stackdriver Logging の検索、ストレージ、分析、アラート機能をすべてのお客様に利用していただくことが私たちの目標です。また、今後もエキサイティングな新機能を数多く追加する予定で、9 月には時間範囲を選択できる機能の発表も予定しています。この機能により、検索結果の時間幅に対する可視性が高まるでしょう。Stackdriver Logging に関するフィードバックや提案は随時受け付けています。ぜひリクエストやご意見をお寄せください。
新機能の詳細は各ページをご覧ください。
- 改善されたログ ベースの指標を使用して、ログから価値を引き出す新たな方法を見つけてください。
- 集約エクスポートで組織全体のログ シンクを制御する方法を習得しましょう。
- どのログを Stackdriver Logging のアカウントに取り込むか、除外フィルタで制御する方法について理解を深めてください。
- Stackdriver の料金ページで、料金モデルの詳細を確認できます。
- ログを管理し、コストを抑えるベスト プラクティスを参考にしてください。
- 現在のログ使用量は、ログ リソース使用量のページで確認できます。
- Stackdriver Billing Calculator を使って現在の利用率を基に料金を見積ることができます。
* この投稿は米国時間 8 月 31 日、Product Manager である Mary Koes と Deepak Tiwari によって投稿されたもの（投稿はこちら）の抄訳です。
- By Mary Koes and Deepak Tiwari, Product Managers
