Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
金融データの変換という困難な課題への対処
2015年12月28日月曜日
* この投稿は、米国時間 12 月 17 日、FIS の Principal である Salvatore Sferrazza と、FIS の Manager である Sebastian Just によって投稿されたもの（投稿はこちら）の抄訳です。
今回のゲスト投稿者は、投資情報サービスとテクノロジーソリューションの国際的なプロバイダである FIS Global 社のサルヴァトーレ・スフィラッツァ（Salvatore Sferrazza）、セバスチャン・ジャスト（Sebastian Just）の 両氏です。
断えず変動する大量の金融サービスのあらゆるデータを正確に取り込み、Google Cloud Dataflow でどのようにデータを変換し、システム間で転送できるようにしているのか、サルヴァトールとセバスチャンが教えてくれます。
投資市場向けの多くのソフトウェア（およびほとんどのエンタープライズ向けシステム）の開発で中心的課題となっているのは、システム間でのデータの変換、価値付加、転送です。
金融市場のデータ量は性質上、予測困難で、ボラティリティによる大きな影響を受けることも多いです。
そのため例えば、毎日のトレードの照合、決済、規制当局への報告書作成用のデータを、データ量に対応しながら必要なタイミングで必要な相手に知らせる仕事には頭を悩ませています。
このような重要な業務プロセスの中で技術的なミスが起きると、商機を逸したり法規制コンプライアンスに違反するなど、さまざまなリスクに不必要にさらされる可能性があります。
投資家の利益を最大化するためには、このような処理を、厳密な予測性、再現性の高さ、あるいは尺度により数値化することが求められます。
このようにデータの処理は極めて重要です。
開発企業はデータの抽出、変換、（ターゲットへの）ロード（ETL）処理を重要視しています。しかし処理可能な量が取引量の増大に追い付かず、ETL のスピードと効率上の限界に直面しています。
決済期間が短くなり総合監査証跡（CAT）が控えている中で、投資情報サービス機関は、データ量に合わせてスケーラブルに対応でき時間に大きく左右されるリスクと運用コストを低減できる、シンプルで高速で強力な手法を必要としています。
これまで開発企業は、データの抽出、変換、ロードを中心とした処理を、地味ではあるものの、ソフトウェア製品を作り上げる際にコンピュータ処理のあらゆる層の中核となる機能を組み込む上で欠かせない要素であると考えてきました。
このため、データ重視型の企業が膨大な数のデータ群から洞察を得る仕事をする際には、ほとんどの場合、何らかの形で ETL が関係しています。
その一方で、現代では、あらゆる分野であらゆる形のデータが発生するため、これらに対応することは、労力的にも、時間的にも、情報能力的にも困難になっています。
この問題にはさまざまな解決方法があるのでしょうが、現代の「ビッグデータ」の世界で要求される効率と効果を実現できる方法はほとんどありませんでした。少なくとも最近までは・・・。
Google Cloud Dataflow
サービスと関連ソフトウェア開発キット（SDK）には、さまざまなデータ変換処理用の強力なツールが用意されています。
Google Cloud Dataflow
は、マネージドサービス環境内であらゆる規模のデータ処理タスクを実行できるように設計されており、大量の変換処理に要求される機構を簡素化でき、同じプログラミングモデルでバッチ処理とストリーム処理のどちらにも対応できます。
私たちの最新の白書
（英語）では、
Dataflow
でオプション市場の象徴的なデータを取り込み変換処理を行い、結果の
Google BigQuery
データセットへの保存処理をいつでも行うことのできるアプリケーションの構築と実行とその主要概念を紹介しています。
一言でいえば、
Google Cloud Dataflow
を使用することで、クラスタ管理に煩わされずにデータ処理の仕事に集中できるようになります。
適切なクラスタサイズの心配をしなくても、
Dataflow
が、自動的・水平的に、処理条件に合わせて正確にスケーラブルに対応してくれます。
このスケーラビリティ機能には、処理がないときにサイズを 0 に縮小する機能も含まれます。そのため、アイドリング中のクラスタのための費用が発生することはありません。またアプリケーションの実装に必要な作業も標準化されるため、ETL プログラムを作成する労力も軽減されます。
このため、処理機構自体に労力を掛けずに済み、必要なデータ変換作業のみに集中できます。これにより、抽出、変換、ロード作業の柔軟性を高め、時間を短縮し、管理を簡素化できるだけでなく、コスト管理機能を組み込んで効果的な他の Google Cloud サービスと連携させることもできます。
Dataflow
パイプラインには、一般的な ETL 機能だけでなく、単純な計数機能からきわめて複雑な多段分析機能まで、さまざまな計算機能が組み込まれています。過去の経験を鑑みるとこのサービスにより、金融機関や監査機関のエンジニアの労力を大幅に軽減できるだけでなく、業務全体の柔軟性、正確性、スケーラビリティ、性能、コスト効率を高められる可能性があります。
マーケットのボラティリティや報告に関する要求に応えられる正確さ、高速応答、低リスクが要求される状況ではトレードの効率とアクセス性を確保が鍵になります。したがってビッグデータの世界でのマーケットデータの変換と解釈は欠かすことができず、一瞬もおろそかにすることはできません。
絶えず増加していくデータを、より高いコスト効率でリアルタイムにスケーラブルに処理できる方法があれば、金融機関は、条件やデータ量に応じた対応が可能になり、急速に進化しつつあるグローバル金融システムへの要求にも応えて行くことができます。
技術白書
（英語）で発表させていただいた私たちの経験を、皆様のデータ処理の効率化にお役立ていただければ幸いです。
白書の GitHub のページでは、ビルド可能な完全な
プロジェクトソースコード
をご覧いただけます。
- Posted by Salvatore Sferrazza, Principal at FIS and Sebastian Just, Manager at FIS
0 件のコメント :
コメントを投稿
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
#gc_inside
#gc-inside
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
#inevitableja
Access Management
Access Transparency
Advanced Solutions Lab
AI
AI Hub
AlphaGo
Ansible
Anthos
Anvato
Apache Beam
Apache Maven
Apache Spark
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppEngine
AppScale
AprilFool
AR
Artifactory
ASL
ASP.NET
ASP.NET Core
Attunity
AutoML Vision
AWS
Big Data
Big Data NoSQL
BigQuery
BigQuery Data Transfer Service
BigQuery GIS
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
bq_sushi
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Armor
Cloud Audit Logging
Cloud AutoML
Cloud Bigtable
Cloud Billing Catalog API
Cloud Billing reports
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Container Builder
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Firestore
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Healthcare API
Cloud HSM
Cloud IAM
Cloud IAP
Cloud Identity
Cloud IoT Core
Cloud Jobs API
Cloud KMS
Cloud Launcher
Cloud Load Balancing
Cloud Machine Learning
Cloud Memorystore
Cloud Memorystore for Redis
Cloud monitoring
Cloud NAT
Cloud Natural Language API
Cloud Networking
Cloud OnAir
Cloud OnBoard
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SCC
Cloud SDK
Cloud SDK for Windows
Cloud Security Command Center
Cloud Services Platform
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud Speech-to-Text
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud TPU
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
Cloud VPC
CloudBerry Backup
CloudBerry Lab
CloudConnect
CloudEndure
Cloudflare
Cloudian
CloudML
Cluster Federation
Codefresh
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
Couchbase
Coursera
CRE
CSEK
Customer Reliability Engineering
Data Studio
Databases
Dbvisit
DDoS
Debugger
Dedicated Interconnect
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Dialogflow
Disney
DLP API
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Elastifile
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
Forseti Security
G Suite
Gartner
gcloud
GCP
GCP Census
GCP 移行ガイド
GCP 認定資格チャレンジ
GCPUG
GCP導入事例
gcsfuse
GEO
GitHub
GitLab
GKE
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud
Google Cloud Certification Program
Google Cloud Client Libraries
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud INSIDE
Google Cloud INSIDE Digital
Google Cloud INSIDE FinTech
Google Cloud Interconnect
Google Cloud Launcher
Google Cloud Logging
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Summit '18
Google Cloud Summit ’18
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google Kubernetes Engine
Google maps
google maps api
Google Maps APIs
Google Maps Platform
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google Trust Services
Google VPC
Google マップ
Google 公認プロフェッショナル
GoogleNext18
GPU
Gradle
Grafeas
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
INEVITABLE ja night
inevitableja
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
Jenkins
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Kaggle
Kayenta
Khan Academy
Knative
Komprise
kubefed
Kubeflow Pipelines
Kubernetes
KVM
Landsat
load shedding
Local SSD
Logging
Looker
Machine Learning
Magenta
Managed Instance Group
Managed Instance Group Updater
Maps API
Maps-sensei
Mapsコーナー
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
Multiplay
MySQL
Nearline
Network Time Protocol
Networking
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Osaka
Paas
Panda
Particle
Partner Interconnect
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Podcast
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Professional Cloud Network Engineer
Protocol Buffers
Puppet
Pythian
Python
Qwiklabs
Rails
Raspberry Pi
Red Hat
Redis
Regional Managed Instance Groups
Ruby
Rust
SAP
SAP Cloud Platform
SC16
ScaleArc
Secure LDAP
Security & Identity
Sentinel-2
Service Broker
Serving Websites
Shared VPC
SideFX Houdini
SIGOPS Hall of Fame Award
Sinatra
Site Reliability Engineering
Skaffold
SLA
Slack
SLI
SLO
Slurm
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
SSL policies
Stack Overflow
Stackdriver
Stackdriver Agent
Stackdriver APM
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
Terraform
The Carousel
TPU
Trace
Transfer Appliance
Transfer Service
Translate API
Uber
Velostrata
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VPC Flow Logs
VR
VSS
Waze
Weave Cloud
Web Risk AP
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エラーバジェット
エンティティ
オンライン教育
クラウド アーキテクト
クラウド移行
グローバル ネットワーク
ゲーム
コードラボ
コミュニティ
コンテスト
コンピューティング
サーバーレス
サービス アカウント
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セキュリティ
セミナー
ソリューション ガイド
ソリューション: メディア
データ エンジニア
データセンター
デベロッパー
パートナーシップ
ビッグデータ
ファジング
プリエンプティブル GPU
プリエンプティブル VM
フルマネージド
ヘルスケア
ホワイトペーパー
マイクロサービス
まっぷす先生
マルチクラウド
リージョン
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
金融
継続的デリバリ
月刊ニュース
資格、認定
新機能、アップデート
深層学習
深層強化学習
人気記事ランキング
内部負荷分散
認定試験
認定資格
料金
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿