Google Cloud Platform Japan 公式ブログ: [GCP] Cloud Dataflow SDK for Java をオープンソース公開

[GCP] Cloud Dataflow SDK for Java をオープンソース公開

2015年1月9日金曜日

Google Cloud DataflowGoogle Cloud DataflowFlumeJava

ストリーム処理とバッチ処理の統合によるイノベーション：Cloud Dataflow SDK では、バッチ処理とストリーム処理の両方を統合したモデルを導入します。この統合がもたらす再利用可能なプログラミングパターンが、開発効率の向上を実現するカギとなります。また、時間軸でのデータ集約のための豊富なウィンドウ関数を提供し、バッチとストリーム両方の種類のデータソースに対して同じ処理を適用できます。

さまざまなプログラミング言語による Dataflow プログラミングモデルのサポート：Dataflow がサポートするプログラミング言語とプログラミングパターンは、今後も増加していきます。Dataflow をより多くのアプリケーションから使えるように、現在 Python 3 版 SDK の開発が進められています。

サードパーティのサービス環境での Dataflow の実行：現在のIT開発、とりわけクラウド分野おいては、多種多様なサービスをいかにして組み合わせ構成するかが重要なポイントとなります。Cloud Dataflow は、大規模にスケール可能で、高い信頼性と一貫性を備えるマネージドサービスとして構築されていますが、一方で外部サービスへのポータビリティも重視されています。例えば Apache Storm や Spark、 Hadoop 製品ファミリーは引き続きは発展を続けているものの、それにともなうプログラミングモデルの分裂が開発者にとっての課題となります。大規模データ処理の実行環境やサービス環境のポータビリティを確保することで、そうした苦労をなるべくなくし、デプロイ先プラットフォームの選択肢を広げます。

Dataflow SDK for Java利用申し込みドキュメントgoogle-cloud-dataflow

Google Cloud Platform Japan Blog

[GCP] Cloud Dataflow SDK for Java をオープンソース公開

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー