Google Cloud Platform Japan 公式ブログ: クラウドの価格体系 Part 6

クラウドの価格体系 Part 6 - ビッグデータプロセシングエンジン

2016年3月30日水曜日

* この投稿は米国時間 3 月 17 日、Google Cloud Platform Solutions の Architects である Karan Bhatia と Peter-Mark Verwoerd によって投稿されたもの（投稿はこちら）の抄訳です。

第 1 部 - 仮想コンピュータ編

第 2 部 - ローカル SSD 編

第 3 部 - データウェアハウス編

第 3.2 部 - データウェアハウスに関する追加情報編

第 4 部 - 真のクラウドエコノミクス編

第 5 部 - NoSQL データベース編

第 5.2 部 - NoSQL 続データベース編

$0.01財務ポートフォリオのモンテカルロ分析個別化医療プレディクティブ・アナリティクスGFSBigTableMapReduceCloud DataprocElastic MapReduceHDInsight マネージド Hadoop が提供するサービスの概要Cloud DataprocElastic MapReduceHDInsight

表 1 Hadoop Processing Engines の概要

FEATURE	CLOUD DATAPROC2	ELASTIC MAPREDUCE3	HDINSIGHT4
Hadoop distribution	From Apache Source	From Apache Source	Hortonworks
Hadoop version (current)	Hadoop 2.7.2	Hadoop 2.7.1	Hadoop 2.7.1
Apache Pig	0.15.0	0.14.0	0.14.0
Apache Hive	1.2.1	1.0	0.14.0
Apache Spark	1.6.0	1.6.0	1.3.1
Apache Storm	-na-	-na-	0.9.3
Apache HBase	-na-5	0.94.186	0.98.4
# of supported instances types	thousands7	37	17
Live resizeable	yes	yes	scale up only
Fault tolerant	no	no	yes8
Automatic configuration	yes	yes	yes
User Customizable	Initialization actions	Bootstrap actions	Script actions
Preemptible Discounts	yes	yes	no
Long-term Discounts	Sustained use Discounts (no commitment required)	Reserved Pricing (requires commitment)	no
Pipeline execution	Apache Oozie	DataPipeline	Apache Oozie

プラットフォーム Cluster の価格体系クラスター実行モデル標準的な作業量での価格の比較表 2 ：50 TB のデータを 5 時間で処理した場合のコスト（2016 年 2 月時点）

PRICING MODEL	DATAPROC	EMR	HDINSIGHT
Standard Pricing	$2,154.40	$2,613.27	$3,261.33
Short term discount	$1934.43	$1,936.1714	-na-

標準価格体系プリエンプティブルディスカウントまとめこちら関連コンテンツ

Google Cloud Dataproc managed Spark and Hadoop service now GA, Feb 22 2016

Comparing the Dataflow/Beam and Spark Programming Models, Feb 3 2016

Announcing Google Cloud Bigtable: The same database that powers Google Search, Gmail and Analytics is now available on Google Cloud Platform, May 6 2015

Google BigQuery Benchmark, June 9 2015

[1] http://archive.wired.com/magazine/wired-20th-anniversary/[2] As provided by Cloud Dataproc version 1.0.0 released 2/22/2016, https://cloud.google.com/dataproc/dataproc-versions[3] AWS Elastic MapReduce AMI 4.3 released 1/27/2016, http://aws.amazon.com/documentation/elastic-mapreduce/[4] Microsoft Azure HDInsight v3.2 using Hortonworks Data Platform (HDP) 2.2 released 12/03/2015, https://azure.microsoft.com/en-us/documentation/articles/hdinsight-release-notes/[5] HBase support through the Google Bigtable service[6] As of AMI 3.1.0 and later of Elastic MapReduce[7] Cloud Dataproc supports 19 pre-defined instances types and new custom instance types that match your workloads, https://cloud.google.com/dataproc/concepts/custom-machine-types[8] Dual head node and 3 zookeeper nodes provide failover[9] https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-linux-information/#scaling[10] https://aws.amazon.com/elasticmapreduce/pricing/[11] https://cloud.google.com/dataproc/pricing[12] https://azure.microsoft.com/en-us/pricing/details/hdinsight/[13] http://ec2price.com/[14] Using average spot market price in us-east-1 for m3.xlarge instance type from Jan 1, 2016 to Jan 7 2016.Data obtained using the AWS spot pricing API. The average spot price during that time was $.065. Total cost = (Spot Price + EMR Uplift) * number of nodes * number of hours used + AWS S3 storage costs, or ($.065 + $.07) * 21 nodes * 150 hours + $1510.92. 2016

-Posted by Karan Bhatia & Peter-Mark Verwoerd, Google Cloud Platform Solutions Architects

Google Cloud Platform Japan Blog

クラウドの価格体系 Part 6 - ビッグデータプロセシングエンジン

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー