Streaming API の改良
データは新鮮なときに最も高い価値を持ちます。しかし、データを分析データ ウェアハウスにロードするには、通常は相応の時間がかかります。
BigQuery は、リアルタイム分析用に 1 テーブルごとに最大毎秒 10 万行のペースでストリームのインジェストが可能という点で、ウェアハウスの中でもユニークです。
一部のお客様は、テーブル間でのシャーディングによって毎秒 450 万行ものストリーム インジェストに成功しています。
このたび、
BigQuery の Streaming API に次の 3 つの改良が加えられました。
1. Streaming API が EU 地域で利用可能に
米国だけでなく EU にある BigQuery データセットにも、Streaming API を使ってデータをロードできるようになりました。
ストリーミングに使われる関連テーブルを管理する新しい方法です。既存テーブルを、挿入リクエストのストリーミングのテンプレートとして使用できます。
テンプレート テーブルから生成されるテーブルは、テンプレート テーブルとスキーマ、データセット、プロジェクトが同じになります。しかも、テンプレート テーブルのスキーマが更新されると、そのテンプレートから生成されたテーブルのスキーマも更新されます。
3. “ウォームアップ”の遅延が解消
従来は、最初の行をテーブルにストリーミングしてからテーブルが分析可能になるまでに、数分間のウォームアップ時間が必要でしたが、この時間が不要になりました。最初の挿入後、直ちにデータが利用可能になります。
Audit Logs（ベータ版）による文書証跡の生成
ただし、Audit Logs は現在ベータの段階です。
Audit Logs は、Cloud Logging でフィルタリングしたり、ワンクリックで BigQuery にエクスポートし直したりできます。
BigQuery では、SQL を使って使用状況や料金の発生状況をリアルタイムに
分析できます。
今回の機能強化により、
BigQuery の管理性と可視性がいっそう高まりました。
もともと非常に使いやすく、最近リリースされた
Datalab* のようなツールと組み合わせれば、組織内のほとんど誰でもビッグデータの専門家になれます。
*Datalab: BigQuery に統合されているノートブック形式のデータ サイエンス ツール
-Posted by Tino Tereshko, Technical Program Manager
0 件のコメント :
コメントを投稿