Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
Cloud Dataflow オートスケーリングと Spark Hadoop の比較
2016年4月1日金曜日
* この投稿は米国時間 3 月 24 日、Software Engineer の Marian Dvorsky と Product Manager の Eric Anderson によって投稿されたもの（投稿はこちら）の抄訳です。
前回のポスト
では、現在
Apache Beam （インキュベーションの段階）
となっている
Dataflow
のプログラミングモデルを
Apache Spark
のものと比較しました。今回のブログポストでは、
Google Cloud Dataflow
サービスで Beam パイプラインを実行させるメリットの一つであるオートスケーリングをご紹介します。
MapReduce のような Google に昔からあるようなシステムや、 Spark や Hadoop といった現在使われているシステムなどをこれまで使ってきた私達の経験から、ユーザーは自らのジョブのチューニングに多くの時間を費やしていることを理解しています。
これには、ジョブやクラスターで使用するワーカーの数を推測するという作業も含まれています。しかも、一つの環境設定がしばしば正解とは限らず、あるジョブの継続時間中にリソースのダイナミックな変化が必要な場合があります。
Google Cloud Dataflow
のオートスケーリング機能は、シンプルな環境設定（ワーカー数の指定が不要）とコスト削減（ある期間にわたって最適化されたワーカー数）を提供します。
Cloud Dataflow
は私たちの知る限り、自動オートスケーリングが可能で、データ処理特有のシグナルに統合されている唯一のシステムです。私たちのアルゴリズムは、 Google 内で類似のシステムを実行してきた経験に基づき開発されました。
ダイナミックスケーリングの必要性
ワークロードのプロビジョニングには、適切なワーカーの数の選択（これまではユーザーによって選択されていました）や、適切なデータパーティション数の選択（これまではワーカーの数やデータのサイズで計算されていました）が含まれます。固定したワーカーのセットを選ぶということは、常にジョブに対してプロビジョニングが多すぎたり、少なすぎたりしている、ということを意味します。あるタイミングで最適だったとしても、（ストリーミングのため、あるいは次のバッチデータセットのために）インプットの変化があれば最適な状態から外れるてしまうことになります。
これまでストリーミングに関連してきた制約のないソースでは、インプットレートの変化の対応が主な関心ごとでした。この領域でのオートメーションは通常、存在しないか、あっても簡単なものなので、ユーザーは相反するニーズの間で右往左往しなくてはなりませんでした。つまり、余分なコストをかけてプロビジョンを増やすか、正確性やレイテンシ、データパイプラインのスループットの低下というリスクを冒してプロビジョンを少なくするか、のどちらかということになります。
図 1 固定サイズのプロビジョニング
制約のあるソースのパイプライン（すなわちバッチ）はリアルタイムでのインプットレートの変化に対処する必要はありませんが、これもやはり要注意です。これまで、バッチパイプライン用のワーカーの数を決めるのは謎解きゲームのようでした。ジョブを適切な時間内に処理するのに必要なのは 100 のワーカーなのか、それとも 10 で充分なのか、と推測をしなくてはならなかったのです。
しかも、bounded data は、それぞれスケールの制限があるステージに分けて処理するのが最適です（例えばマッピングの後にリデュースするなど）。
ある変換のプロパティは、他よりもパラレルにしやすいとか、それぞれのデータサイズが異なっているかもしれないとか、一方は I/O バウンドで他方は CPU バウンドであるなど、色々な要素が絡んでいます。
また、一つのコンセプチュアルなパイプラインを、異なるインプットサイズ（例えば、日次、月次、年次のジョブ）と、それぞれが異なる最適なチューニングポイントをもつデータセットの処理に使うかもしれません。
ワーカー数を固定するということは、どのステージにおいても余分なリソースをもつ（そしてコストがアップする）か、ジョブの処理時間が必要以上に長くなるかということなのです。
ワーカーの数の設定の他に、関連した課題としては中間データセットを含むデータセットのパーティションの数の設定があります。沢山使いすぎると、パーティションごとのオーバーヘッドが支配的になります。また、少なすぎるとシステムは利用できるワーカーを全ては使いきれなくなります。
また、パーティションの数が固定の場合（これまでのシステムではそうでしたが、 Cloud Dataflow は異なります）、ユーザーがそれを設定するか、システムがクラスターのサイズやデータサイズ、あるいは同じパイプラインのこれまでのランのプロファイルから「正しい」数を推定しなくてはなりません。このような推定はしばしば不正確で、ユーザーの手動での上書きが必要になっていることが分かりました。
スケーリングオプション
Cloud Dataflow
と Spark はどちらもジョブのリソースを自動でプロビジョンする手段を持っていますが、その振る舞いは大きく異なります。Spark ではユーザーはクラスターをデプロイし、さらにクラスターにジョブをデプロイします。
ユーザーにはスケーリングを行う 2 つの領域ができ、オートスケーリングが難しくなります。これに関しては後ほどご説明します。一方
Cloud Dataflow
はジョブをデプロイするのみです。
Google Cloud Platform
を自動的にスケーリングされたクラスターと考えることもできます。ジョブのワーカーは、ジョブ実行のタイミングに合わせてデプロイされ、不必要になったら引き離されます。
ジョブに自動的にワーカーを加えるために、 Spark では Dynamic Resource Allocation を提供しており、クラスターの中で利用可能なワーカーをジョブに割り当てます（図 2 をご覧ください）。余談になりますが、これは Mesos が類似の機能をビルトインしているので、概ね YARN にもあてはまります。
この機能は、オンプレミスでのインストレーションの様にマシンのセットが固定されている場合には上手くいきますが、クラウドではジョブ内のスケーリングはコストの削減にはなりません。
コストを減らすには、クラスターが Spark の外でリサイズされる必要があります。ユーザー自身が手動のリサイズやスクリプトでこれを行います。クラウドプロバイダーのオートスケーリングサービスもワーカーを追加したり削除したりできますが、制限されたデータの並列性や、それぞれのステージが CPU バウンドなのか IO バウンドなのか、などのドメイン特有の制限は必ずしも反映されません。
クラスターをアップスケールすることで、より多くの、あるいはより大きなジョブを実行させることができますが、十分なタスクやパーティションが既に割り振られていなければ、今あるジョブには関係がないかもしれません。これは Spark ではそのステージのタスクの数をダイナミックに変更する手段がないからです。これは Spark クラスターをオートスケールする方法はあるものの、中で実行中のジョブには必ずしもメリットが無いということです。
図 2 Spark 対 Cloud Dataflow のオートスケーリング
一方、
Cloud Dataflow
はクラウドで実行を行うように、オートスケーリングも考慮して設計されています。
Cloud Dataflow
のオートスケーリングは Flume と MapReduce から派生した次世代リソースマネジメントアルゴリズムです（sorting blog ポストの Lessons learned セクションもご覧ください）。
バッチジョブでは、オートスケーリングは与えられたジョブのワーカー数をダイナミックに調整するだけではなく、タスクの数も調整しワーカーが無駄にならないようにします。以上をまとめると、 Spark ユーザーは二つの制限されたスケーリングインターフェースを設定、調整しモニターしなくてはなりませが、 Cloud Dataflow ではインターフェースは一つで、サービスはインテリジェントにスケールが可能です。
オートスケーリングは決定を下すために幾つかのシグナルが必要になります。これらのほとんどは、ワーカーがどれぐらいビジーなのか、あるいは余っているか、の評価で、 CPU 使用率やスループット、残っている仕事の量（あるいはバックログ）なども含まれます。
ワーカーは、 CPU 使用率とバックログが増えると増やされ、これらのメトリクスが減少すると減らされます。例えば、ワークロードの通常の変動では、ワークが増加（あるいは減少）するに従って数回のリサイズが行われ、ピークや谷の底では逆方向への変動が起きるまではサイズを維持します（図 3 をご覧ください）。
図 3 オートスケーリングによるアンバウンドデータのプロビジョニング
参考例
リーダーボードパイプライン（ストリーミング）
ここまで述べてきたことに関連した、基本的な例を幾つか見ていきましょう。
programming model comparison
ポスト のリーダーボードパイプラインは、
モバイルゲームドメイン
のストリーミングパイプラインで、ゲームスコアのストリームが与えられ、時間当たりのチームごとのスコアと、全時間にわたるユーザーごとの合計スコアを連続的に計算します。パイプラインのインジェスト・レートは色々な要素で変化しますが、多くの場合、特にゲームでは、次の 2 つの要素が重要です：
マクロライフサイクル：そのゲームの人気は上昇していますか、それとも下降していますか？ これはゲームの立ち上げ直後には大変大きな要素になる場合があります。
日ごとの変動：ユーザーは夜より日中の方がよりアクティブです
この例では、アクティビティが低い日と高い日で 4 倍の変動があるというシナリオで説明させていただきます。
このパイプラインへのストリーミングデータを生成するインジェクタを構築しました。実際の Cloud Dataflow ストリーミングパイプラインの 1 日の負荷の変動をプロダクションから取り、私たちのインジェクタで再現しました。メッセージ（ゲームイベント）のレートは毎秒、約 7,000 から 35,000 まで変動します。図 4 をご覧ください。
図 4 インプットスループットとワーカー数の
Google Cloud Monitoring
チャート
イベントのレートが増加すると、 Cloud Dataflow は初期の 3 ワーカーから 4、 16、そして最終的には 32 ワーカーまでスケールアップしてピークの負荷を処理していることが分かります。イベントのレートが減少した場合には、 Cloud Dataflow は徐々にワーカーの数をダウンサイズし、元の値である 3 まで減らします。これは、ピーク負荷の処理に対応したパイプラインのプロビジョニングを常に実行させる場合と比較して、大きなコスト削減につながります。
User Scores パイプライン（バッチ）
シンプルなバッチの例も見てみましょう。User Scores は
model comparison ポスト
でも取り上げましたが、ゲームイベントのバウンドセットで、ユーザーごとのスコアを計算するパイプラインです。ここでは Cloud Dataflow がこのシナリオで、どのようにしてその同じパイプラインで、自動的にワーカーの数を選ぶかをお見せします。
二つのサイズのデータセットを例として使います：
小（約 22GiB)： gs://dataflow-samples/game/gaming_data*.csv
大（約 1.3TiB）；gs://dataflow-samples/game/large/batch*.csv
小さなデータセットでは、 Cloud Dataflow は 3 ワーカーからスタートしますが、ジョブのサイズとスループットを学ぶにつれ、まず 5 までアップスケールし、その後 12 ワーカーに増やします（Cloud Dataflowが選択するワーカーの数はデータのサイズだけではなく、ワーカーごとの処理速度にも依存することに注意してください）：
Cloud Dataflow は、ジョブをアップスケールする際、見えないところで新しいタスクやパーティションをダイナミックに作成し、ワーカーをビジーに保ちます。最初に多くのタスクを作成しておく必要はありません。Hadoop MapReduce といった、これまでのシステムでは、データサイズに基づいてタスクを予め作成しておきます（例えば 64 MB のデータごとに一つのタスクというように）。このやり方は、ここでお示ししたケースでは上手くいったかもしれませんが、インプットが小さく、レコードが処理するにはコストが掛かりすぎる場合には破たんします。Cloud Dataflow はそのようなシナリオもロバストに扱います。
ジョブを 5 分弱で終了し、約 30 VM-minutes を全体で使っています。
大きなデータセットは小さなデータセットより、おおよそ 60 倍大きくなります。大きなジョブのモニタリングメッセージは次のようになります：
実際このような、より大きなデータセットでは Cloud Dataflow は小さなデータセットの場合と比較して大変多くのワーカー （294) を選んでいます。それでも、ジョブは 1139 VM-minutes を使用して約 8 分で終了しています（つまり、小さなデータセットの約 40 倍のコスト）。
予想どおり、より大きなデータセットは一桁コストが高い（インプットサイズが大きく違うため）ですが、オートスケーリングのために終了までの時間はそれほど長くはなりません。
これらはオートスケーリングの動作に関する大変簡単な例です。今後のポストで、より詳しい例をお見せしたいと思います。
まとめ
Cloud Dataflow のオートスケーリング機能を紹介し、 Spark や Hadoop のような他の類似のシステムとどう違うかをご説明しました。Cloud Dataflow のユーザー、が何故ワーカーやパーティションの数の指定に関して心配する必要がないか、 Cloud Dataflow がどの様にダイナミックにワーカーの数を時間と共に調整するかをお示ししました。
ユーザー様からの反応は大変喜ばしいものでした。例えば、 SwiftIQ のチーフアーキテクト Alex Harvey は私たちに「必要なリソースの数を考えなくてもよいのがとても気に入った。自分たちはアルゴリズムを考えることに集中して、リソースのスケーリングは Dataflow に任せられる。」と話していただけました。
Nest のソフトウェアエンジニア Riju Kallivalappil も同じようなことを仰ってくださいました。「私は Dataflow のオートスケーリングのファンだ。ジョブを実行するのに必要なマップやリデュース、パーティション等々の数を心配しなくて良いなんて最高だよ。」
私たちは間もなく、全てのバッチジョブにデフォルトでオートスケーリングをイネーブルにする予定です。今のところは、 -
-autoscalingAlgorithm=THROUGHPUT_BASED
をバッチパイプラインのコマンドラインで指定することでイネーブルにすることができます。ストリーミングオートスケーリングは、現在
Early Access Program
としての招待によってのみ入手可能です。
私たちは Cloud Dataflow のオートスケーリングの挙動をプロダクションでモニターし、オートスケーリングのアルゴリズムとヒューリスティックスを、シグナルのスタビリティやワークの予測精度およびオートスケーリングの決定に関する品質の良いメトリクスに基づき、引き続き進化させていきます。
私たちはまた、デフォルトのオートスケーリングヒューリスティックスを若干変更して、コストを重視するかジョブの処理速度を重視するかを反映できるようにジョブクラスを増やすことも計画しています。これからもご注目ください。
- Posted by Eric Anderson, Product Manager and Marian Dvorsky, Software Engineer
0 件のコメント :
コメントを投稿
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿