Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
Aerospike がローカル SSD で RAM に類似するパフォーマンスを実証
2015年3月4日水曜日
* この投稿は、米国時間 1 月 21 日、
Google Cloud Platform Team によって投稿されたもの
の抄訳です。
本日は、 Flash に最適化されたオープンソースのインメモリ NoSQL データベースを提供する
Aerospike
の製品技術担当ディレクターを務める Sunil Sayyaparaju 氏に投稿いただきました。
Google Compute Engine
で
ワンクリック デプロイ
が可能になった Aerospike は、最新のプロセッサや
SSD
などのストレージ技術の限界を打破するために構築されたオープンソースの NoSQL データベースであり、クラウド アプリケーションに従事する数多くの開発者に利用されるようになっています。Aerospike クラスタはわずか数分で ユーザーの仕様にデプロイすることが可能です。それぞれのノードは Aerospike Server Community Edition と Aerospike Management Console で設定されます。利用可能なチューニング パラメータは、
Aerospike のワンクリックデプロイ
のドキュメントでご確認いただけます。
「ワンクリックデプロイ」による高速のデプロイに加え、 Google Cloud Platform でのテストでは優れたパフォーマンスが実証されています。 2009 年、 Aerospike の創設者は、回転式の
ハード ディスク
よりもすばやい読み取り/書き込みアクセス時間、 RAM を上回る容量、経済的に実行不可能であったアプリケーションの開発を促進するコスト パフォーマンス率を実現し、データの永続性を提供する SSD がストレージの将来を担うと考えました。 Google Compute Engine でも利用可能になった現在の SSD の普及はこの展望を裏づけるものであり、前例のないコスト パフォーマンスによって、リアルタイムのインテンシブなアプリケーションという新しいカテゴリーの実現が見込まれています。
この投稿では
Google Compute Engine
でのローカル SSD のパフォーマンスについてご紹介するほか、ローカル SSD を利用することでストレージのコスト優位性が 15 倍になった RAM に類似するパフォーマンスについて解説します。繰り返し実施された最近のテストでは、 RAM ではなくローカル SSD を使って
わずか 50 個のノードで 1 秒当たり 100 万回の書き込み
が実現しています。
Aerospike は Google Compute Engine での ローカル SSD を認証
Aerospike の最初のお客様に Aerospike データベースがデプロイされた 2010 年には、 SSD をベンチマークする方法がありませんでした。ディスクをベンチマークする標準的な fio (フレキシブル IO)ツールは Aerospike のニーズに対応しなかったため、 SSD 向けの Aerospike Certification Tool(
ACT
)を開発し、公開しました。このツールは標準的なデータベースのワークロードをシミュレーションします。
複数のスレッド(デフォルトは 16 個)を使用した小さなオブジェクト(デフォルトは 1500 バイト)の読み取り
DBMS でのバッファリングされた書き込みメカニズムをシミュレーションするための大きなブロックの(デフォルトは 128KB)書き込み
標準的なバックグラウンド処理をシミュレーションするための大きなブロック(デフォルトは 128KB)の読み取り
ACT を使用してさまざまなメーカーの SSD をテストし、その特徴を理解することで、それぞれのモデルのパフォーマンスを最大限にする設定値が選択されます。特に最初の数時間、 SSD のパフォーマンスは時間ごとに変化するため、テストは 24 ~ 48 時間実行されます。また、 SSD によってガーベジ コレクションの対処方法が異なるため、パフォーマンスに大きなばらつきが生まれます。Aerospike のパフォーマンス基準を満たすドライブをお客様に選択していただくため、 Aerospike ではACT の結果に基づき SSD を認証するほか、
推奨される SSD
のリストを提供しています。
SSD を設定するための Aerospike Certification Tool(ACT)
ACT のテストの実行に使用されたサーバーとストレージの設定は下記の通りです。
マシン: n1-standard-4、 1 個のプロビジョニングされたローカル SSD(4 個の vCPU、 15 GB メモリ)
SSD のサイズ:375GB
読み取り/書き込みサイズ:1500 バイト(すべての読み取りはディスクにアクセス、書き込みはバッファリング)
大きなブロックの読み取りサイズ:128KB
ロード: 1 秒当たりの読み取り:6,000 回、 1 秒当たりの書き込み:3,000 回、 1 秒当たりの大きなブロックの読み取り:71 個
ACT の結果では 95% のローカル SSD が 1 ミリ秒未満で読み取りを完了
結果は下記のグラフに示される通りです。 Y 軸は、完了までに 1/2/4/8 ミリ秒を上回ったデータベースの読み取りトランザクションの割合を示しています。 X 軸は、最初の数時間でのパフォーマンスの推移と、 24 時間継続されるベンチマークにパフォーマンスがどれくらい一致しているかを示しています。
以下のグラフでは、最初の数時間後に 95% の読み取りが 1 ミリ秒未満で完了されたことが示されています。
図表 1 : X ミリ秒を上回ったトランザクションの割合
(注:1 ミリ秒を上回った読み取りの割合は、 2 ミリ秒を上回った読み取りの割合の上位集合。 2 ミリ秒を上回った読み取りの割合は 4 ミリ秒を上回った読み取りの割合の上位集合。その他も同様)
Aerospike がこれまでにテストを実施した他の標準的な SSD と同じく、 Google Compute Engine でのローカル SSD のパフォーマンスは、初めは非常に高く、時間とともに低下し、およそ 10 時間という短時間で安定します。数多くの SSD のをベンチマークしてきた Aerospike の経験に基づくと、これは非常に良好な結果です。
ローカル SSD と RAM での Aerospike のパフォーマンスの比較
以前の投稿
では、 Aerospike がどのように Google Compute Engine でわずか 50 個のノードで 1 秒当たり 100 万回の書き込みを行い、 RAM で実行されるわずか 10 個のノードを使って 1 秒当たり 100 万回の読み取りを行うかについて紹介しました。 Aerospike のディスク ストレージ層は、固有するパフォーマンスを念頭に SSD を活用するように設計されています。この投稿に関しては、 RAM の代わりにローカル SSDを使って 10 個のノードでパフォーマンス テストが繰り返し実施され、その結果は下記の通りとなっています。
ストレージでのコスト優位性が 15 倍に
書き込みスループットはほぼ同じ
読み取りスループットは半分
RAM の代わりにローカル SSD を使用することで、ストレージのコスト優位性が 15 倍に
下記の表は、テストに使用されたマシンのハードウェア仕様を示しています。RAM の代わりにローカル SSD を使用することで、容量は 25 倍(750GB/30GB)、コストは 1.64 倍(417.50 ドル/254 ドル)、コスト優位性は 15 倍(8.46 ドル/0.56 ドル)になりました。ここでは n1-highcpu-8 の 20 個のクライアントが使用されています。
図表 2 : ローカル SSD と RAM のコスト優位性比較
10 個のサーバー
(RAM のデータ)
10 個のサーバー
(SSD のデータ)
マシン
n1-standard-8
n1-standard-8、2 個のプロビジョニングされたローカル SSD
ストレージ
30GB(RAM)
30 GB (RAM) + (375 GB X 2) = 750
[T1]
GB (SSD)
1か月当たりの
ノードごとのコスト
254 ドル
254 + ( 81.75 X 2 (SSD)) = 417.50 ドル
1か月当たりの GB ごとのコスト
254 ドル/30GB=8.46 ドル
417.50 ドル/750
GB = 0.56 ドル
図表 3 : Aerospike によって実証された RAM に類似するローカル SSD のレイテンシー
ローカル SSDと RAM では、書き込みがまずメモリで行われてからディスクにフラッシュされるため、ローカル SSD の書き込みのレイテンシは RAM と同様になっています。読み取りのレイテンシはローカル SSD のほうが高いものの、ローカル SSD を使った読み取りのほとんどが 1 ミリ秒未満で完了し、 1 ミリ秒を上回った読み取りの割合が RAM と同様のため、その差はほとんどないと言えます。
Aerospike によって実証された RAM に類似するローカル SSD の書き込みスループット
下記のグラフでは、さまざまな読み取り/書き込みのワークロードのスループットの比較を示しています。結果は下記の点が示されています。
RAM と比較して、ローカル SSD を使用した場合の書き込みのスループットは 1.0 倍に(100% の書き込み実行時)。書き込みがまずメモリで行われてからディスクにフラッシュされるバッファリングされた書き込みのために、 Aerospike では同様の書き込みスループットが実現されています。
RAM と比較して、ローカル SSD を使用した場合の読み取りのスループットは 0.5 倍に(100% の読み取り実行時)。 RAM に保存されたインデックスがディスク上のデータを指定するため、 Aerospike ではローカル SSD を使用して高いパフォーマンスが実現されています。ディスクには読み取りごとにアクセスされるため、パフォーマンスを極めて容易に予測することが可能です。
図表 4 : RAM と SSD による読み取り/書き込みスループット
驚くことに、ローカル SSD を使用した場合の 100% の読み取り実行時では、 55% 以上が 1 ミリ秒未満で完了しています。 SSD の読み取りではほとんどが 0.5 ~ 1 ミリ秒である一方、 RAM では 0.5 ミリ秒を上回ります。これは 1 ミリ秒を上回るレイテンシの低下がない状態ではあるものの、読み取りのスループットに低下がみられる理由と考えられます。
まとめ
今回の投稿では、 Aerospike Certification Test (ACT)による SSD の結果とローカル SSD の使用によって 15 倍になったストレージのコスト優位性、 RAM に類似するパフォーマンスについてお伝えしました。現状を打破するこのコスト パフォーマンス率は、インターネットでの挙動の分析、将来の予測、ユーザー エンゲージメント、リアルタイムのビッグデータによる機会の収益化といった新しいカテゴリーの進展を促進させると見込まれます。
Aerospike クラスタのデプロイ
はGoogle Cloud Platform の
無料トライアル
でお試しいただけます。標準永続ディスクと SSD 永続ディスクのサポートもご利用いただけます。
-Posted by Sunil Sayyaparaju, Director of Product and Technology at Aerospike
※ Aerospike は Aerospike, Inc. の登録商標です。本投稿に含まれるその他のすべての商標は、それぞれの所有者の所有物です。
0 件のコメント :
コメントを投稿
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿