Google Cloud Platform Japan 公式ブログ: Cloud Dataprep

知見を容易に獲得 : Data Studio と Cloud Dataprep を正式リリース

2018年10月5日金曜日

※この投稿は米国時間 2018 年 9 月 21 日に Google Cloud blog に投稿されたものの抄訳です。Google Data StudioTrifactaGoogle Cloud Dataprep Data StudioGoogle CloudGoogle Marketing Platform500 を超えるデータソース知見を共有リアルタイムでコラボレートVisualize 2030 コンテストお客様の評価AirAsia GroupOcadoPicMonkey Data Studio への継続的な投資

BigQuery の UI から Data Studio Explorer を立ち上げるワークフローの例

別々のソースのデータを同じグラフにまとめることも右クリックだけで容易に
コミュニティコネクタレポートテンプレートギャラリーカスタムビジュアライゼーションD3.js新機能をリリースdatastudio.google.com質問新機能リクエスト Cloud DataprepBigQueryGoogle Cloud DataflowGoogle Cloud Dataprep

新しい外観 : Cloud Dataprep のランディングページがアップデートされ、最新のアクティビティが表示されるようになりました。新規ユーザーでも早く環境に慣れ、第一線で仕事ができるようになるはずです。

チームベースの前処理のサポート : フローの共有、リアルタイムでのレシピの共同作業、サンプルの再利用、誰が何をしたかを確認する監査証跡のレビューを通じて、チームによる共同作業で前処理に取り組めるようになりました。

ビジネスアナリストのための強力な機能 : Google スプレッドシート風のピボットやユニオン、ソースとターゲットのスキーママッチングの改善、パラメータベースのデータセット処理により、ビジネスアナリストの生産性向上に寄与します。

Foundation for Precision MedicineAlpha VertexUnacastCraveable BrandsFarmlogix入門ガイドリリースノートgoogle-cloud-dataprep 得られた知見で未来を見つめましょうBigQueryビジネスインテリジェンスマーケティングアナリティクスCloud DataprepData Studio- By Sudhir Hasbe, Director, Product Management, Google Cloud Platform and Fausto Ibarra, Director of Product Management, Google Marketing Platform

機械学習用データの収集と準備

2018年8月15日水曜日

※この投稿は米国時間 2018 年 7 月 30 日に Google Cloud blog に投稿されたものの抄訳です。データの収集

図 1. ML モデルのトレーニング1Cloud AutoMLHuman labelingこの種のレビューは極端な評価を誇張する傾向があるからです。データの準備Cloud Dataprep さらに深く掘り下げるにはこちらのドキュメントTwitter ハンドル¹ k 種類のカテゴリーを持つカテゴリカル入力フィールド（例 : 取引が行われた “NY”、“SF” などの都市）は、k-1 個のフィーチャーとして数えることを忘れないようにしてください（k 種類のカテゴリーを符号化するためには、k-1 個のダミー変数が必要です）。つまり、入力フィールドに指定できるカテゴリーが多ければ多いほど、必要なデータも増えるということです。

分析用データの準備と統合を容易にする GCP の新サービス

2017年3月24日金曜日

分析用データの準備機能と統合サービスの新たなサポートにより、データから素早く価値を引き出せるようになります。Google BigQuery関心が高まり総作業処理時間の最大 80 % をデータ準備に費やしていますGoogle Cloud Next '17Cloud Dataprep で分析用データの準備が容易にGoogle Cloud DataprepTrifacta とのコラボレーション

異常検知 : スキーマ、タイプ、ディストリビューション、値の欠如 / 不一致を自動的に検知します。機械学習を駆使することで、訂正データの変換を提案します。

ドラッグ & ドロップによる開発 : コーディング不要の直感的なユーザーエクスペリエンスにより、分析に集中できます。

Google Cloud Platform（GCP）との独創的な統合 : Google Cloud Storage や BigQuery から生データを安全に読み込んだり、ローカルマシンからデータをアップロードしたり、より詳細な分析のためにクリーンデータを BigQuery に再度書き込んだりすることができます。

フルマネージドインフラストラクチャ : Google が提供する他のマネージドサービスと同様に、ITリソースのプロビジョニングおよび管理が自動的かつ柔軟に処理されます。

BigQuery の機能強化 : Data Transfer Service とフェデレーテッドクエリBigQueryHearstThe New York Times

新しい BigQuery Data Transfer Service により、Google 管理下の広告データセット全体から迅速に価値を引き出すことが容易になります。たとえば数クリックするだけで、マーケティングアナリストは、Google Adwords や DoubleClick Campaign Manager、DoubleClick for Publishers、さらには YouTube Content and Channel Owner Reports からのデータインポートをスケジューリングできるのです。デジタル広告のデータを（POS データや在庫表、顧客サービスのリクエストなど）既存のレポートデータと一元化することで、マーケティング内容をより詳しく全体的に見渡せるようになります。こうしたサービスを、Google Data Studio や可視化ソリューションを提供する Google のパートナー（Tableau、Looker、Zoomdata など）のソリューションと組み合わせれば、インサイトにたどり着くまでの時間をさらに短縮できます。

BigQuery がサポートするクエリの対象範囲に Google Cloud Bigtable が加わりました。Cloud Bigtable は、低レイテンシや高スループットを要求する大規模な分析や操作のワークロード（特に一般的な金融サービスや IoT のユースケース）向けに設計された NoSQL データベースサービスです。BigQuery ユーザーはすでに、Google Cloud Storage、Google Drive、Google Sheets 内のデータをクエリすることができます。これに Cloud Bigtable 内のデータが加わったことは、あらゆる種類のデータをシステム間でコピーすることなく BigQuery で便利に分析できることを意味し、シームレスなクラウドプラットフォームへのさらなる一歩となります。

BigQuery で商用データセットを利用XigniteHouseCanaryRemineAccuWeatherDow Jones 「Google Cloud のおかげで、Dow Jones が有する世界レベルのコンテンツやデータに対して、これまで以上に簡単にアクセスできるようになりました。これにより、アナリストやデベロッパーは最新のデータ分析や機械学習のツールを駆使し、ビジネスクリティカルな情報とワークフローを統合できます。」 — Clancy Childs 氏、Chief Product & Technology Officer、Dow Jones
Cloud Dataflow 向け Python SDK の正式リリースGoogle Cloud DataflowApache Beam大規模画像処理のオーケストレーション機械学習のためのデータ準備Cloud Dataflow ジョブを監視する Stackdriver Monitoring（ベータ）Google Stackdriverアクセスして分析を行いCloud Datalab の正式リリースGoogle Cloud DatalabTensorFlowCloud Dataproc のアップデートGoogle Cloud Dataproc

失敗したジョブを自動で再始動する新機能により、長期稼働型のジョブやストリーミング関連のジョブの耐久性が向上しました（ベータ）。

ライトウェイトなデータサイエンス、教育、サンドボックス開発のために、単一ノードのクラスタを作成できるようになりました（ベータ）。

ゲノム解析のような計算集約型ジョブを伴うワークロード向けに、Cloud Dataproc のクラスタに GPU を追加できるようになりました（ベータ）。

Cloud Dataproc User Labels が正式リリースされ、Cloud Dataproc のリソース管理がより柔軟になりました。

Regional endpoints が利用可能になり、必要に応じて Cloud Dataproc のリソースをうまく分離でき、パフォーマンスも向上しました。

Java SSL プロバイダーを BoringSSL ベースのプロバイダーに変更したことで SSL が最適化され、Cloud Storage のオペレーションが高速になりました。

次のステップ

分析用データの準備作業を簡素化する Cloud Dataprep（新）

データ統合を実現する BigQuery Data Transfer Service と商用データセット（新）

迅速かつ簡単なデータ取り込みとデータ処理が可能な Cloud Dataflow および Cloud Pub/Sub

迅速なインタラクティブ SQL アナリティクスが可能な BigQuery

Spark パイプラインを実行できる Cloud Dataproc

データサイエンスのワークフローを支援する Cloud Datalab

大規模な機械学習に対応した Cloud Machine Learning

エコシステムが充実し、成長中のパートナーソリューション

無料トライアル* この投稿は米国時間 3 月 9 日、Google Cloud Platform の Director of Product Management である Fausto Ibarra によって投稿されたもの（投稿はこちら）の抄訳です。- By Fausto Ibarra, Director of Product Management, Google Cloud Platform

Google Cloud Platform Japan Blog

知見を容易に獲得 : Data Studio と Cloud Dataprep を正式リリース

機械学習用データの収集と準備

分析用データの準備と統合を容易にする GCP の新サービス

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー