Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
PCIe のファジング : GPU 導入に向けたセキュリティ検証と対策
2017年3月27日月曜日
私たち Google は先ごろ、
Google Cloud Platform
(GCP)で
GPU
の提供を開始しました。このハードウェアは高並列ワークロードの処理に活用できます。GPU は各種の PCI Express(PCIe)スイッチを介して Google のクラウド マシンに接続されるため、私たちは GPU を導入するにあたって PCIe のセキュリティを深く把握しておく必要がありました。
PCIe デバイスのセキュリティを確保するには固有の問題を克服しなければなりません。GPU はここ数十年で極めて複雑になっており、新たな攻撃の手口が現れるおそれがあるのです。
GPU はシステム メモリに直接アクセスするように設計されていますが、これまでこの種のハードウェアは信頼できるのが当たり前のように考えられてきたため、GPU を安全に動作させるための設定がすべて正しく行われていることを確認するのは困難です。しかも、そうした設定が機能するかどうかを確認することすら難しいというのが実情です。
また、GPU メーカーは GPU のメイン プロセスのソース コードやバイナリを提供していないので、私たちはこれらを自信を持って検証することができません。PCI と PCIe の仕様から読み取れる問題については、
こちら
で解説をご覧になれます。
PCIe デバイスが侵害されると、悪意ある動作をするおそれがあります。したがって、Google としてはその種の攻撃への対策を講じる必要がありました。これらのデバイスはクラウド サービスで提供され、不特定多数の人が仮想マシンで利用するのですから、なおさらです。
私たちがとったアプローチは、リスクの軽減に重点を置いています。「侵害された PCIe デバイスが、他のコンピュータのセキュリティを危険にさらさないようにする」というものです。
ファジングによる脆弱性の検出
私たちの対策の主要な武器はファジングです。ファジングは、不正で想定外の入力、あるいはランダムな入力を使用することで、メモリ リークやクラッシュ、文書化されていない機能の実行など、異常な動作を起こさせるセキュリティ テスト手法です。私たちは、クラウド GPU で使われる PCIe スイッチの動作を直接テストするハードウェア ファザー(ファジング ツール)を開発しました。
PCIe の仕様を初めて調査した後、私たちはエッジ ケースと、結果が明確に定義されていないデバイスの動作リストを用意しました。それらの動作を実際のハードウェアでテストしたいと考えたからです。
また、仕様の中で明確に定義されている部分が実際のハードウェアで適切に実装されているかどうかも調べたいと考えました。実のところ、ハードウェアにバグがあるのは
よくあること
ですが、セキュリティ担当者の多くはバグはないと思い込み、メーカーを信頼しています。
私たちが目指していたのは、ハードウェアを含めたスタックのすべてのレイヤを検証することでした。その計画を実行に移すためには、私たちがクラウド ハードウェアで使用する本番環境の構成に対して効果を発揮するように設計された、非常に特殊なファザーが必要でした。私たちはクラウド マシンでさまざまな GPU とスイッチの組み合わせを使いますので、プログラマブルなネットワーク インターフェース コントローラ(NIC)を同様の構成でセットアップし、GPU のメモリ アクセスをシミュレートしました。
私たちのファザーはこうした各 NIC から、アップストリーム ポートを直接叩くか、ネットワーク上のアクセス可能なすべてのポートを執拗に叩くことで、メモリのさまざまな読み書きを行いました。これらのオペレーションには、標的型攻撃やランダム読み書きに加えて、多くのハードウェア アーキテクチャ上で問題を引き起こす傾向がある “ラッキー ナンバー” の読み書きの組み合わせが含まれていました。
私たちは、ファジングによるポート構成の変更、特にポートのセカンダリ バス番号と下位バス番号の変更の発生を検知しようとしました。Source Validation を有効にした PCIe ネットワークは、主にこれらのバス番号で管理されます。これらの番号によって、パケットの送信可能な宛先が決まります。ポートのセカンダリまたは下位バス番号が再構成できれば、PCIe ネットワーク内のアクセスされてはならない部分にアクセスできる可能性があります。
私たちのセキュリティ チームは、疑わしいメモリ読み取りや書き込みを調査し、それらがセキュリティ脆弱性の表れかどうかを判断したうえで、それに応じてファザーか PCIe の設定を調整しました。
その結果、潜在的な問題がいくつも見つかりました。たとえば、ある誤った構成では、スイッチ上の文書化されていないデバッグ レジスタが、誤ってダウンストリーム デバイスに丸見えになっていました。
この状態は、特定のアクセス パターンのもとで、スイッチの深刻な誤動作を引き起こす可能性があることを、私たちは発見しました。デバイスが接続先スイッチの仕様外の動作を引き起こしうる場合は、安全でないルーティングを実行させてしまうおそれもあり、そうなればネットワーク全体が危険にさらされます。
ファジングの価値は、仕様で定義された一連の正常な動作やオペレーションの枠を超えて、文書化や定義がなされていない領域の脆弱性を発見できることにあります。私たちはファジング プロセスを経て、クラウドで GPU を安全に動作させるために最小限必要な Access Control Services(ACS)機能セットを決定できました。ACS は PCIe で提供される機能です。
メモリ マッピングもチェック
ローカル コンピュータの GPU をルート OS で利用するとき、GPU はそのコンピュータのメモリに直接アクセスします。これは非常に高速でシンプルです。ところが、
Google Compute Engine
のような仮想環境の場合、このモデルのようにはいきません。
仮想マシンを初期化すると、一連のページ テーブルがゲストの物理メモリをホストの物理メモリにマップします。ただし、GPU はこのマッピングを認識できないため、誤った場所に書き込もうとします。
そこで、Input/Output Memory Management Unit(IOMMU)の出番となります。IOMMU はページ テーブルであり、GPU からのアクセスを DRAM/MMIO に対する読み書きに変換します。また、ハードウェアに実装されており、再マッピングのオーバーヘッドを軽減します。
このことは、IOMMU が非常に繊細なオペレーションを行っていることを意味します。自身の仮想 I/O アドレスをホストの物理アドレスにマップしているわけです。私たちは、IOMMU が正しく機能していることを検証し、デバイスが信頼できないコードを実行しても、IOMMU が有効になっていれば、不正なメモリ アクセスが発生する可能性はないことを確認したいと考えました。
ところが、IOMMU はその一方で、互換割り込みのような望ましくない機能も備えています。互換割り込みは、IOMMU が提供する割り込みの再マッピング機能を持たない古い Intel プラットフォームをサポートするための機能です。この機能は、最近のハードウェアには必要ありません。互換割り込みを有効にすると、ゲストが予期せぬ Message Signalled Interrupt(MSI)や、マシンの再起動、ホストのクラッシュを引き起こしてしまうおそれがあります。
ここで最も興味深い問題は、PCIe の Address Translation Services(ATS)の悪用を防ぐことです。どのデバイスもこの機能を使えば、自身が変換済みのアドレスを使用していると主張し、IOMMU のアドレス変換を回避してメモリ書き込みを行えます。
ATS は、信頼できるデバイスにおいてはパフォーマンスを高める有効な方法です。しかし、信頼できないデバイスがこの機能を使うと、大きなセキュリティ脅威となります。侵害されたデバイスが ATS によって IOMMU を無視し、アクセスしてはならない場所に書き込みを行ってしまうおそれがあるからです。
幸い、どのようなデバイスにも ATS を無効にできる ACS 設定があります。そのため、私たちは互換割り込みと ATS を無効にし、ファザーを使ってメモリ上のマップされた領域の外部へのアクセスを試みました。そして徹底的なテストを行い、IOMMU が宣伝どおりに機能し、悪意あるデバイスがこれを回避することはできないことを確認しました。
まとめ
私たちは、ハードウェアを単にテスト環境で検証するだけでなく、本番環境で常に安全に動作させるための万全の方策を講じようとしました。
多くの場合、本番環境では構成ミスが大規模障害の最大の原因
だからです。セキュリティ脆弱性の最大の原因についても同様のことが言えます。
ACS と IOMMU は、スタックのさまざまなレイヤで有効または無効に設定されることになります。カーネルのバージョンや、デバイスのデフォルト設定、ちょっとした調整によって異なる設定がなされる可能性があります。独立した単体テストに頼って、こうした設定を網羅して確認するのは極めて難しいと言わざるをえません。そこで私たちは、本番環境で ACS と IOMMU の設定を監視するツールを開発しました。システムの構成ミスを迅速に検知し、修正するためです。
ハードウェアに関しては、正常に動作することを確認できるまでは、信頼しないに越したことはありません。私たちは標的型攻撃と強力なファジングにより、GPU をクラウド ユーザーと安全に共有するための ACS 設定リストを完成させました。その結果、基盤となるシステムのセキュリティについて高い信頼性を確保したうえで、GPU をお客様に提供できています。
今後も、Google Cloud におけるセキュリティの実装方法を解説した記事をお届けしていきます。どうぞお楽しみに!
* この投稿は米国時間 2 月 9 日、Software Engineer である Julia Hansbrough によって投稿されたもの(投稿は
こちら
)の抄訳です。
- By Julia Hansbrough, Software Engineer
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp