Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
クラウドの料金体系を理解する: 第 3.2 部 ― データ ウェアハウスに関する追加情報編
2015年7月16日木曜日
* この投稿は、米国時間 7 月 6 日、Solutions Architect の
Peter-Mark Verwoerd によって投稿されたもの
の抄訳です。
データ ウェアハウスの料金体系関する投稿
では大きな反響をいただきました。皆さまからのご意見やフィードバックに心から感謝しています。「もっと知りたい」というメッセージがたくさん寄せられましたので、本日はさらにデータ ウェアハウスの比較を行いながら、リクエストにお応えしたいと思います。
はじめに思い出していただきたいのは、データ ウェアハウスは大量なデータの保存、データの分析、レポートの作成ができる手段だということです。
前回の料金体系に関する投稿
では
Google BigQuery
と一般的な商用データ ウェアハウスの比較を行いましたが、どちらのデータ ウェアハウスも、パブリック クラウドでの実行、大量のデータの保存、レポートの作成、分析の実施に対応するものでした。データ ウェアハウスの定義やクラウドで利用されるシステムの違いについては、
前回の投稿
の最初のセクションでご確認いただけます。本日は「もっと具体的な例を挙げてほしい」とのご意見にお応えしていきます。
第 1 部の投稿と同じく、
Google BigQuery
がクラウドでのデータ ウェアハウスの運用に最適な選択肢である理由をご理解いただけることを願っています。
クラスタの例
前回の例では、1 PB (ペタバイト)のデータが保存できるデータ ウェアハウスについて検討しました。一貫性を持たせるため、今回も同じ容量で比較を行っていきます。
対象とするのは、
Google BigQuery
、
Amazon Redshift
、
Apache Hadoop
でクエリを実行するオープンソースのエンジンです。Hadoop で実行される HDFS は大量のデータを保存できるほか、データの分析が可能なツールもいくつかあるため、Hadoop も比較の対象としました。これについては後ほど解説することにします。
検討の対象は他にもあるものの、ここではさまざまなお客様に利用され、一般的に「データ ウェアハウス」と分類される製品の代表となるものを検討します。アマゾン ウェブ サービスでしか利用できないAmazon Redshift 以外のデータ ウェアハウスについては、Google Cloud Platform で運用した際にかかる料金を見ていきます(これが役立つ理由については、
料金体系に関する投稿
をご覧ください)。上記の 3 つのシステムは、
前回の投稿
でご紹介した大量のデータの保存、データの分析、分析レポートの作成、パブリック クラウドでの完全なバージョンの実行といった基本的な要件に対応しています。
それでは、これらのデータ ウェアハウスに設定されている料金体系を見ていきましょう。
すでにご紹介したように、BigQuery では消費に基づくモデル(従量課金制)が採用されており、使ったストレージとコンピューティングに応じて
料金
が請求されます。現時点でのストレージの月額は $0.02/GB、データ分析は $5/TB です。
Amazon Redshift
では、保存するデータの容量、ノードの数、特定のストレージ容量を持つノード タイプに基づいて料金が決定されます。もう少し複雑なクラスタの料金体系については、のちほどもう少し詳しくご紹介します。
Hadoop はオープンソースのソフトウェアのため、ソフトウェアのライセンス費用はかかりません(
Cloudera
や
Hortonworks
など、プロバイダーによって管理される Hadoop を使っていない場合(これらについては本日は検討しません))。ただし、Hadoop のクラスタを実行するにはインフラストラクチャにコストがかかります。これについてはのちほど検討します。Hadoop クラスタ上でクエリを実行するエンジンもオープンソースとします。料金には影響がないため利用できるエンジンについては解説しませんが、
Apache Hive
、
Cloudera Impala
、
Apache Spark SQL (旧Shark)
、
Presto
など、選択肢はたくさんあります。
クラスタのサイジング
BigQuery での料金の算出については、
前回の投稿
と同じく 1 日のユーザーを 100 人、クエリを 40 個、平均クエリサイズを 100 GB とします。つまり、1 日あたりのクエリは 4,000 個、 1 か月(30 日)あたりの分析データは 12,000 TB となります。
Redshift での料金を正確に算出するためには、いくつかの要素を考慮に入れる必要があります。まず、Redshift には現在、回転ディスク ストレージの ds2.xlarge(2 TB)と ds2.8xlarge(16 TB)、SSD ストレージの dc1.large(0.16 TB)と dc1.8xlarge(2.56 TB) の 4 つのノード タイプがありますが、クラスタを作成するのは 1 つです。次に、dc1.large と ds2.xlargeではそれぞれ最大 32 個、ds2.8xlarge と dc1.8xlarge ではそれぞれ最大 128 個のクラスタを作成できます。
さらに、これらのノードでは「オンデマンド料金」または「リザーブド インスタンス料金」を選択できます(リザーブド インスタンスの料金体系に関する詳しい解説については、
料金体系に関するブログポスト第 1 部
をご覧ください)。
リザーブド インスタンスは長期契約(1 年または 3 年)に設定される料金体系で、料金の一部前払いと全前払いの選択肢が設定されています。リザーブド インスタンスを購入すると全期間にかかる料金を支払う必要があるものの、「時間単位」のコストは安くなります。
本日は ds2.8xlarge(回転ディスク)の 1 年/3 年契約のリザーブド インスタンスとオンデマンドの料金を比較します。参考までに
Redshift のよくある質問
によると、ds2.8xlarge では 36 個の仮想コアと RAM 260 GB を備えています。つまり、1 PB のストレージを確保するためには、ds2.8xlarge のクラスタで 63 個(1 PB 強のストレージ)のインスタンスが必要になります。
dc1.8xlarge(SSD)については、実際に料金を確認しましたが以下の 3 つの理由から本日は検討しません。
SSD のクラスタの最大容量が328 TB であり、対象としている 1 PB を大きく下回るため。
通常、SSD ベースのデータ ウェアハウスは小さなデータ セットを伴う特殊なユースケースで使用されていると考えられるため。
本投稿の目的は、クラウドでのデータ ウェアハウスの料金について明確にすることであるため。Redshift ではすべてのノード タイプで同じ料金体系が設定されており、1 つのノード タイプしか検討する必要がない。
Hadoop については、インスタンスの種類を問わずどんなサイズのクラスタも作成できます。ただし、Redshift との比較と整合させるため、n1-highmem-32 のインスタンスを使用することにします。一般的なデータ ウェアハウスや Redshift と同じ理由で、比較の対象とするのは SSD ではなく回転ディスクのクラスタです。
料金体系
下記にはUS時間で 2015 年 6 月 22 日に実施した料金計算の結果が掲載されています。この投稿の公開後に料金体系や計算方法が変更された場合は、数値に差異が生じる可能性があります。
Amazon は最近、Redshift の料金体系を変更していますが、本投稿の作成時点ではすべての変更が反映されるよう料金計算ツールが更新されていませんでした。そのため、計算ツールが適用できないものについては手動で料金を算出しています。
BigQuery での
見積もり
:月額:$79,999.50
内訳はストレージ コスト $20,000、クエリのコスト $59,999.50
Redshift (オンデマンド)での
見積もり
:月額:$315,588.80
オンデマンドの料金については、Redshift よりも BigQuery のほうがはるかに安いことがはっきりとわかります。AWS で長期的な契約をしない場合、
料金は 4 倍近く
になります。
補足ですが、見積もりは前世代のノード タイプ(dw1.8xlarge)で行われているものの、オンデマンド料金については ds2.8xlarge でも同じ料金体系が設定されています。
想定上、Hadoop のクラスタの見積もりは、ライセンス費用がかからないことを除いて一般的なデータ ウェアハウスとまったく同じであるため、料金の算出はそれほど複雑ではありません。
Hadoop での
見積もり
:月額:$143,017.60
Hadoop のほうが Redshift のオンデマンド料金よりも低額です。この理由のひとつは、Google Compute Engine では Sustained Usage Discount という継続使用割引を利用できるからです。この割引は仮想マシンの実行に自動で適用されます。割引料金が適用される上にライセンス費用も不要ですが、Hadoopでは運用コストを考慮にいれる必要があります。マネージド ソリューションとは異なり、実務に携わる運用チームが必要になるからです。
では、Redshift でリザーブド インスタンスを購入する場合の料金についてはどうでしょう。Amazon の料金設定から見積もった金額は下記の通りです。
1 年契約の場合
Redshift のリザーブド インスタンスでの見積もり(1 年契約、前払いなし)
前払い:$0.00
月額:$248,346.00(3,942 x 63)
実質月額: $248,346.00
Redshift のリザーブド インスタンスでの見積もり(1 年契約、一部前払い)
前払い:$1,260,000.00(20,000 x 63)
月額:$79,128.00(1,256 x 63)
実質月額:$184,128.00(1,260,000÷12) + 79,128)
Redshift のリザーブド インスタンスでの見積もり(1 年契約、全前払い)
前払い:$2,164,680.00(34,360 x 63)
月額:$0.00
実質月額:$180,390.00(2,164,680÷12)
上記のすべての選択肢で月額が下がりました。一部前払いと全払いではオンデマンドの場合よりも大幅に料金が安くなり、特に全払いではオンデマンドの実質月額の半額をやや上回る程度まで下がります。AWS の料金計算ツールは上記の支払いオプションに対応していないため私達が料金を算出しましたが、200 万ドルを上回る料金を前払いしても BigQuery のコストの 2 倍以上になることがわかりました。
3 年契約の場合
Redshift のリザーブド インスタンスでの見積もり(3 年契約、一部前払い)
前払い:$1,512,000.00(24000 x 63)
月額:$41,958.00(666 x 63)
実質月額:$83,958.00((1,512,000÷36) + 41,958)
Redshift のリザーブド インスタンスでの見積もり(3 年契約、全前払い)
前払い:$2,824,920.00(44,840 x 63)
月額:$0.00
実質月額:$78,470.00(2,824,920÷36)
3 年契約のリザーブド インスタンスではかなり料金が下がり、1年契約で全額を前払いした場合の半額を下回ります。ここでも、AWS の料金計算ツールが上記の支払いオプションに対応していないため料金を算出しましたが、3 年契約のリザーブド インスタンスで全額を前払いすると、月額は BigQuery よりもおよそ 1,500 ドル安くなります。
リザーブド インスタンスでは料金がかなり下がるものの、依然として BigQuery よりも高額です。さらに、下記のようなたくさんのデメリットがあります。
最もコストが低くなる選択肢(3年契約、全前払い)でさえ、300 万ドルちかい前払い金を支払う必要があります。第 1 部でご紹介したように資本コストは高額です。支払う余裕があったとしても、ほとんどの企業では毎年最大 7% の資本コストがかかります。これを踏まえると、全額前払い、3 年契約のリザーブド インスタンスでは $197,744 を計算に入れなくてはなりません。これを月額に換算するとほぼ $84,000 ((2,824,920 x 1.07)÷36 = $83,962.90)となり、結局は BigQueryよりも高額になります。
Redshift は開始から 3 年目のサービスであるものの、すでに 2 つのインスタンス タイプ(dc1 と ds2)を新たにリリースし、現在では 3 つのインスタンス ファミリーに対応しています。しかし、Redshift のリザーブド インスタンスでは現在の料金体系、技術、インスタンス タイプに縛られることになり、将来の値下げのほか、新しいインスタンス タイプや技術を活用することはできません。このデメリットを緩和するために 1 年契約のリザーブド インスタンスを選択すると、3 年契約のリザーブド インスタンスの 2 倍以上、BigQuery のほぼ 4 倍の料金を支払わなければなりません。
リザーブド インスタンスは手動で購入しなければなりません。つまり、料金的なメリットを維持するためには、担当者が自ら適切なタイミングを判断し、購入を更新する必要があります。これ以外の選択肢は、1 年契約のリザーブド インスタンスのほぼ 2 倍、3 年契約のほぼ 4 倍の料金になる高額なオンデマンド料金です。リザーブド インスタンスの購入と維持には手動のステップが必要なため、完全な自動化と管理を利用したければ高額なオンデマンド料金を支払うしかありません。つまり、料金的なメリットを維持したい場合、Redshift は選択の候補にはならないということです。自動化の拡大と完全なマネージド サービスを同時に実現することは、クラウドに移行する企業にとって最も魅力的なメリットのひとつでしょう。
3 年契約のリザーブド インスタンスでも、資本コストを考慮すると依然として BigQuery よりも5% 高額です。
しかも、この選択肢では 2,800,000 ドルを上回る前払い金が必要です。さらに、BigQuery と比較した場合、1 年間では 47,000 ドル、3 年間では 142,000 ドルを上回る余分なコストがかかります。BigQuery ではパフォーマンスが拡張されるため、低いパフォーマンス層に縛られることにはなりません。
まとめ
クラウドでのデータ ウェアハウスの少々複雑な料金体系について、ほんの一部ではありますが今回ご紹介いたしました。
前回の投稿
で解説した通り、2 つのデータ ウェアハウスを比較するだけで、BigQuery でどれほどのコストが節約できるかがわかります。しかも、ニーズに合わせてサービスを拡張することも可能です。
BigQuery
についてもっと詳しくお知りになりたい場合は、
デモ
をご覧の上、
詳細なドキュメンテーション
や佐藤一憲が作成した
ホワイトペーパー
をお読みください。
Google では、クラウドにかかるコストを大幅に削減する最良のサービスをお客様に活用していただけると確信しています。最近では
仮想マシンの利用料金値下げ
のほか、
定期的なワークロードでの利用で最大 70% のコストダウンを実現する新しい仮想マシンのPreemptible VM
も発表しています。
今回は、
第1部: 仮想コンピュータ
、
第2部: ローカルSSD
、
第3部: データ ウェアハウス
の料金体系に関する追加情報をご紹介しました。本件やその他のクラウドの料金体系についてご質問やご意見がある場合は、ぜひ
お問い合わせ
ください。
- Posted by Peter-Mark Verwoerd, Solutions Architect
0 件のコメント :
コメントを投稿
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿