Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
Vitess と Kubernetes でクラウド ネイティブな MySQL シャーディング
2015年10月13日火曜日
* この投稿は、米国時間 10 月 6 日、YouTube の Software Engineer である Anthony Yeh によって投稿されたもの(
投稿はこちら
)の抄訳です。
Kubernetes
などの
クラウド ネイティブ
なテクノロジーは、小さな論理ユニットの山からスケーラブルなサービスを組み立てるのに役立ちます。
前回の投稿
では、MySQL をスケーラブルな Kubernetes アプリケーションに変身させる手段として
Vitess
(YouTube のメイン データベースを動かすオープンソース プロジェクト)を紹介しました。
私たちの目標は、ステートレス アプリケーション サーバーのスケーリングと同じくらい簡単に、Kubernetes 管理下の永続データストアをスケーリングすることでした。
ポッド
を追加で起動するためにコマンドを 1 つ実行するだけです。その後、私たちは大きく前進し(2,500 回以上新しいコミットをプッシュしています)、新しいクラウド ネイティブな Vitess の安定バージョンにあと少しでたどり着くところまで来ています。
Vitess 2.0
私たちは安定リリースに向けた準備の一環として、
Vitess v2.0.0
のアルファ ビルドを公開しています。以下は、前回の投稿以降の新機能の一部です。
Kubernetes 1.0 API 最終版を使用
Java、Python、PHP、Go による正式な
Vitess クライアント ライブラリ
Java と Go のクライアントは HTTP/2 ベースの新
gRPC
フレームワークを使用
MariaDB 10.0 に加え、MySQL 5.6 の上でも動作
AngularJS で作られた新しい管理ダッシュボード
Google Cloud Storage
などのブロッブ ストアに接続するために設計された組み込みの backup/restore
可逆的で定形的なフェイルオーバーのための GTID ベースの
リペアレンティング
従来よりも単純な
スキーマ変更
また、
ドキュメント
の整備にも力を注ぎました。特に、本稿では新しいウォークスルーの 1 つを掘り下げていこうと思っています。それは、ライブ データベースの透過的な
リシャーディング
です。つまり、コードを変更せず、アプリケーションに影響を及ぼすほどのダウンタイムを起こさずにシャードの数を変更することです。
Vitess シャーディング
S. Alex Smith 氏が書いているように、
シャーディングはより良い薬
です。確かに、アプリケーションのロジックはややこしくなり、データベース管理のワークロードは数倍になります。しかし、クラウド環境で MySQL を実行するときには、1 つのノードだけではあまり大きくできないので、シャーディングは特に重要です。シャードのルーティングは Vitess が面倒を見てくれるため、アプリケーションのデータ アクセス レイヤをシンプルな状態に保つことができます。また、Vitess がシャードごとの管理作業を自動化してくれるので、小さなチームで大艦隊を管理できます。
Vitess に合ったシャーディング戦略は、私たちが
レンジ ベース シャード
と呼んでいるものです。シャードは、ハッシュ テーブルのバケットのようなものと考えることができます。レコードをどのバケットに入れるかは、キーだけで決まります。ですから、個々のキーがどのバケットに入っているかを管理する表を別途作る必要はありません。
バケット数を変えやすくするため、私たちは
コンシステント ハッシュ
を使っています。つまり、各キーをバケット番号にマッピングするハッシュ関数ではなく、各キーを非常に大きな集合(たとえば、すべての 8 バイト シーケンスの集合)のランダムに分散した(しかし一様な)値にマッピングする関数を使うのです。そして、これらの値の範囲(私たちが
キースペース ID
と呼んでいるもの)に対して 1 つずつバケットを割り当てます。
透過的なリシャーディング
新しい
リシャーディングの試運転
を実行するためには、
シャーディングなしのガイド
の説明に従って、まずクラスタを立ち上げる必要があります。両ガイドは同じ
サンプル アプリケーション
を使っています。それは、複数の番号付きページをサポートするゲストブックです。
サンプル アプリケーションのコード
には、与えられた数字をすべての 8 バイト シーケンスの集合に変換し、コンシステント ハッシュで必要なマッピングを実現する get_keyspace_id() 関数が含まれています。シャーディングされていない場合、これらの値は格納されますが使われません。シャーディングを導入すると、ページ番号は作成したすべてのシャードに均一(平均で)に分散され、ページ数に合わせてスケーリングできるようになります。
リシャーディングを行う前は、Vitess ダッシュボードには “0” という名前の
カスタム シャード
だけが表示されます。シャーディングされていない
キースペース
は以下のような表示になります。
リシャーディングの試運転
を始めると、同じキースペースに 2 つの新しいシャードが追加されます。リシャーディング中、新しいシャードは元のシャードと並んで実行されますが、マイグレートの準備が整うまでアイドル状態のままになります(Vitess は新しいシャードにトラフィックをルーティングしません)。ダッシュボードには 3 つのシャードが表示されますが、アクティブなのはシャード “0” だけです。
次に、元のシャードから
スキーマとデータをコピーする
ために、いくつかの Vitess コマンドを実行します。ライブ マイグレーションの眼目は、最初のスナップショット コピーが終わると、Vitess が自動的に新しいアップデートを元のシャードから新しいシャードにレプリケートし始めるところにあります。私たちはこれをフ
ィルタード レプリケーション
と呼んでいますが、それは DML が適用されるシャードだけに送っているからです。Vitess には、
データの完全性を確かめる
ためにオリジナルとコピーの両データ セットを行ごとに比較するツールもあります。
コピーの確認が終わり、フィルタード レプリケーションがリアルタイム アップデートに追いついたら、アプリケーションのトラフィックを元のシャードから新しいシャードにアトミックにシフトするよう Vitess に指示する
マイグレート コマンド
を実行できます。切り替えは、元のマスターに対する書き込みを止め、新マスターがフィルタード レプリケーションの最後のイベントを受け取るのを待ち、新マスターに対する書き込みを有効にするという手順で行われます。このプロセスは自動化されているので、一般に書き込み不能な時間は約 1 秒程度に収まります。
これで、
古いシャードを解体できます
。ダッシュボードには新しいシャードだけが表示されるはずです。
アプリケーションにシャード数の切り替えを知らせていないことに注意してください。Vitess がマイグレーションの進行と共に自動的にその場でクエリをリルートしているので、リシャーディング プロセスはアプリケーションからは完全に透過的になっています。
YouTube では、Vitess を使って昨年だけでほぼすべての MySQL データベースをリシャーディング(
水平にも垂直にも
)しており、サイトの拡大と共にもっと多くのリシャーディングが見込まれます。なお、
試運転で使われている命令
はフルに試せるようになっています。
スケーリング ベンチマーク
シャーディングは、シャードの追加によって書き込みスループットを線形にスケーリングするというものです。これは、個々のシャードが実際には別々のデータベースだから実現できることです。アプリケーションに対しては単純で統一的な視界を提供しながら、この分離を実現するうえで難しいのは、ボトルネックを作らないことです。クラウドでのスケーリングのデモに向けて、私たちは Vitess クライアントと
Yahoo! Cloud Serving Benchmark
(YCSB)用ドライバを統合しました。
下に示すグラフは暫定的なものですが、
Google Container Engine
上で実行されている Vitess にシャードを追加したときの書き込みスループットのスケーリングを示しています。このベンチマークでは、YCSB に Vitess クラスタの
ロード バランサ
を与え、クラスタに大量の INSERT 文を送るように指示しています。さまざまなシャードに対する文のルーティングは Vitess が行っています。
与えられた数のシャードの最大スループット(QPS)は、書き込みのラウンドトリップ レイテンシが下がり始める点で計測したもので、私たちはしきい値を平均で 15m 秒以上、クエリ全体の最悪の 1%(99 パーセンタイル)で 50m 秒以上としています。
レプリカの追加によって Vitess の読み出しトラフィックのスケーリングがどうなるかを示すために、“ほとんどが読み出し”(95% が読み出しで 5% が書き込み)というワークロードでも YCSB を実行しています。この場合、最大スループットは読み出しのラウンドトリップ レイテンシが下がり始める点で計測したもので、私たちはしきい値を平均で 5m 秒以上、クエリ全体の最悪の 1% で 20m 秒以上としています。
ベンチマークの数値を上げるためにできることは、まだたくさんあります(たとえば MySQL 自体のパフォーマンスのチューニングなど)。しかし、規模が拡大してもパフォーマンスが落ちないことは、この暫定的な結果からも明らかでしょう。そして、水平にスケーリングしているので、1 台のマシンの大きさからは制限を受けません。
まとめ
クラウド ネイティブ バージョンの Vitess は安定リリースに向けて着実に進んでいます。実際に
試していただき
、最終リリースに組み込んでほしい機能をぜひお知らせください。
ディスカッション フォーラム
に投稿するか、
GitHub
でイシューを立てていただければ私たちに届きます。Vitess のアップデートについて通知を希望される場合は、頻度の低い方の
アナウンス リスト
に登録してください。
- Posted By Anthony Yeh, Software Engineer, YouTube
0 件のコメント :
コメントを投稿
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿