Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
Cloud Logging Connector ベータ公開: Cloud Pub/Sub へストリーム
2015年5月11日月曜日
* この投稿は、米国時間 4 月 30 日、Product Manager の
Deepak Tiwari によって投稿されたもの
の抄訳です。
今年の初めに
Google Cloud Logging
のベータ版を発表しました。その特長は次のようなものです。
Google BigQuery
へリアルタイムでログをストリームできるので、ログデータを分析して直ちにインサイトを見つけることができる。
Google Cloud Storage
(
Nearline
を含む)へログをエクスポートできるので、長期にわたってログデータをアーカイブして、バックアップやコンプライアンス要件を満たすことができる。
そして今回は Cloud Logging の拡張機能、Cloud Logging Connector のベータ版を発表します。この機能で、ログを
Google Cloud Pub/Sub
へストリームすることができるようになります。ログデータを指定したエンドポイントにストリームできるので、ビッグデータをさらに広く有効活用することができます。例えば、分析を行うために BigQuery へデータを送信する前に、
Cloud Dataflow
の中でデータを変換・修正したり、すべてのログデータにリアルタイムでアクセスできるので、プライベートなクラウドやサードパーティーのアプリケーションにエクスポートすることもできます。
Cloud Pub/Sub
Google Cloud Pub/Sub
は、1 つのグローバルなマネージド サービスでリアルタイムかつ信頼性の高いメッセージングを提供するもので、シンプルでより信頼性が高く、より柔軟なアプリケーションを作成することができます。多対多の、送信側と受信側を分離する非同期メッセージングを提供することにより、個別アプリケーション間で安全かつ可用性の高い通信が可能になります。Cloud Pub/Sub によって、ログのイベントを他の Webhook へ送信したり、イベントが発生したときに受信したりすることができます。詳細については、Google Cloud Pub/Sub の
ドキュメンテーション
を参照してくださ
Cloud Pub/Subへのエクスポートを設定する
Cloud Pub/Sub へのログエクスポートの設定は容易で、
Logs Viewer
のユーザー インターフェースから行うことができます。
Developers Console
の中からエクスポート設定をするには、「監視」の下の「ログ」に移動し、トップメニューで「エクスポート」をクリックします。現時点では、
Google App Engine
と
Google Compute Engine
のログのエクスポート設定をサポートしています。
Developers Consoleの中でエクスポートをワンクリックで設定
Dataflowの中でログデータを変換する
Google Cloud Dataflow
を使用すると、任意のスケールでデータ処理パイプラインを構築、デプロイ、および実行することができます。ETL や分析などの大規模なデータ処理シナリオを高い信頼性で実行し、パイプラインをストリーミングまたはバッチモードのいずれかを選択して実行することができます。
Cloud Pub/Sub のエクスポート メカニズムを使用すれば、Cloud Dataflow へログデータをストリームし、動的にフィールドを生成し、相関のために別のログテーブルを結合し、カスタムニーズに合わせてデータを分析および修正することができます。Cloud Dataflow の中のログデータで実行可能な例を次にいくつか紹介します。
トップカスタマーの主要なデータだけを表示:
Cloud Dataflow では、カスタマ ID やアプリケーション ID によってログをグループ分けし、特定のログをフィルタで除外し、システムレベルまたはアプリケーションレベルの基準を特定の形で組み合わせて適用できます。
ログデータを分析しやすいように加工:
販売キャンペーン情報を顧客対話のログや他のユーザープロファイル情報に追加できます。
リアルタイムの分析:
詳細な分析のためにデータを準備することに加えて、Cloud Dataflow ではリアルタイムで分析することもできます。従って、異常の監視、セキュリティ侵入の検知、アラートの生成、リアルタイムでのダッシュボードの更新、などが可能です。
Cloud Dataflow は処理済みデータを BigQuery にストリームできるので、すでに加工されたデータで分析することができます。詳細については、Google Cloud Dataflow の
ドキュメンテーション
を参照してください。
はじめるには
現在、
Google Cloud Platform
のユーザーなら、Cloud Pub/Sub へのログのストリーム機能は追加料金なしで利用できます。Cloud Pub/Sub および Cloud Dataflow の使用は有料です。詳細については、
Cloud Logging ドキュメンテーション
を参照してください。
フィードバック
をお寄せください。
-Posted by Deepak Tiwari, Product Manager
0 件のコメント :
コメントを投稿
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc-inside
Access Management
Access Transparency
AlphaGo
Ansible
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
BigQuery
BigQuery Data Transfer Service
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Audit Logging
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud monitoring
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SDK
Cloud SDK for Windows
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
CRE
CSEK
Customer Reliability Engineering
Data Studio
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
gcloud
GCP
GCP Census
GCP 移行ガイド
GCPUG
GCP導入事例
gcsfuse
GitHub
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud Launcher
Google Cloud Logging
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google 公認プロフェッショナル
GPU
Gradle
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Khan Academy
Komprise
kubefed
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Protocol Buffers
Puppet
Pythian
Python
Rails
Raspberry Pi
Red Hat
Regional Managed Instance Groups
Ruby
Rust
SC16
ScaleArc
Security & Identity
Sentinel-2
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VR
VSS
Waze
Weave Cloud
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エンティティ
オンライン教育
クラウド アーキテクト
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
月刊ニュース
資格、認定
新機能、アップデート
人気記事ランキング
導入事例
内部負荷分散
認定試験
料金
Archive
2018
4
3
2
1
2017
12
11
10
9
8
7
6
5
4
3
2
1
2016
12
11
10
9
8
7
6
5
4
3
2
1
2015
12
11
10
9
8
7
6
5
4
3
2
1
2014
12
11
10
9
8
6
5
4
3
2
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Google
on
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿