Google Cloud Platform Japan 公式ブログ: GHCN の日次気象データを BigQuery で分析する

GHCN の日次気象データを BigQuery で分析する

2016年10月4日火曜日

Google BigQuery時間的かつ空間的な一貫性米国の GDP の 3.4 % を直接動かしています
NCAR のこの推計は日々の天候だけを考慮したものであり、たとえば天候が人々の気分に与える影響や、竜巻およびハリケーンなどの破壊的な気象事象への影響は考慮されていません。しかし、より良いビジネス判断を下すためにデータを分析するのであれば（あるいはビジネス判断のための情報を自動的に提供する機械学習モデルを構築するのなら）、気象は入力データの 1 つであるべきでしょう。
GHCN データは、以前から米国海洋大気庁（NOAA）のウェブサイトから自由にダウンロードして分析できるようになっていました。しかし、このデータセットは毎日変更されるので、これを分析するには翌日も同じプロセスを繰り返す必要があります。
そこで、BigQuery にデータをロードしておき、継続的にリフレッシュしていけば、そうした手間はなくなり、研究者やデータサイエンティストはアナリティクスや機械学習プロジェクトに気象情報を容易に組み込めるようになります。BigQuery は標準 SQL をサポートしており、データ分析を始めるときには非常に便利です。
以下では、BigQuery を使用して GHCN データセットを分析してみましょう。
GHCN 観測所はどこにある？ GHCN データはグローバルなものです。たとえば、2016 年 8 月 15 日の正確な最低気温データを送信したすべての観測所を調べてみます。

SELECT
  name, 
  value/10 AS min_temperature,
  latitude,
  longitude
FROM
  [bigquery-public-data:ghcn_d.ghcnd_stations] AS stn
JOIN
  [bigquery-public-data:ghcn_d.ghcnd_2016] AS wx
ON
  wx.id = stn.id
WHERE
  wx.element = 'TMIN'
  AND wx.qflag IS NULL
  AND STRING(wx.date) = '2016-08-15'

Google Cloud Datalab で観測所の位置をプロットすると、観測所の密度は北米やヨーロッパ、日本では非常に良好で、アジアの大半の地域ではまずまずの状態だということがわかります。また、隙間のある地域の大半はオーストラリア内陸部やシベリア、北アフリカなどの人口過少地域と重なっており、大きな穴が空いているのはブラジルのみです。
なお、これ以降はコードの一部だけを示します。完全な BigQuery クエリと Python のプロットコマンドについては、 GitHub 上の Datalab の完全なノートブックを参照してください。

青いドットが世界中の GHCN 気象観測所を示しています
GHCN 気象データをアプリケーションで活用 GHCN データをアプリケーションに取り込む方法を簡単な例で見てみましょう。あなたは米国イリノイ州シカゴに本部を持つピザチェーンのオーナーで、ピザの需要や配達時間に影響を与える気象変数を調べたいとします。
最初に行うべきことは、本部から最も近い GHCN 観測所を見つけることです。Google マップで調べると、本部の位置は北緯 42 度、西経 87.9 度でした。そこで、観測所と（42, -87.9）の大圏距離を計算すると本部との距離（単位 : km）がわかります（このクエリの内容は Datalab ノートブックを参照してください）。

SELECT wx.date, wx.value/10.0 AS prcp FROM [bigquery-public-data:ghcn_d.ghcnd_2015] AS wx WHERE id = 'USW00094846' AND qflag IS NULL AND element = 'PRCP' ORDER BY wx.date

wx.value
とはいえ、気象変数の数はもう少し増やしたいところです。次に示すのは、毎日の降水量、最高気温、最低気温、特定の気象現象（霧、霰、雹、雨など）の有無といったデータを抽出する、より完全なクエリです。


SELECT
  wx.date,
  MAX(prcp) AS prcp,
  MAX(tmin) AS tmin,
  MAX(tmax) AS tmax,
  IF(MAX(haswx) = 'True', 'True', 'False') AS haswx
FROM (
  SELECT
    wx.date,
    IF (wx.element = 'PRCP', wx.value/10, NULL) AS prcp,
    IF (wx.element = 'TMIN', wx.value/10, NULL) AS tmin,
    IF (wx.element = 'TMAX', wx.value/10, NULL) AS tmax,
    IF (SUBSTR(wx.element, 0, 2) = 'WT', 'True', NULL) AS haswx
  FROM
    [bigquery-public-data:ghcn_d.ghcnd_2015] AS wx
  WHERE
    id = 'USW00094846'
    AND qflag IS NULL )
GROUP BY
  wx.date
ORDER BY
  wx.date

Pandas DataFrameクエリとプロットのためのコードについては、GitHub 上のノートブックを参照してください

BigQuery Views と Data Studio 360 ダッシュボード前述のクエリでは一部のフィールドをピボット化し、変換しているので、クエリを View として保存できます。そのためには、単純にクエリを BigQuery コンソールにコピー & ペーストし、“Save View” を選択します。

SELECT
  REPLACE(date,"-","") AS date,
  MAX(prcp) AS prcp,
  MAX(tmin) AS tmin,
  MAX(tmax) AS tmax
FROM (
  SELECT
    STRING(wx.date) AS date,
    IF (wx.element = 'PRCP', wx.value/10, NULL) AS prcp,
    IF (wx.element = 'TMIN', wx.value/10, NULL) AS tmin,
    IF (wx.element = 'TMAX', wx.value/10, NULL) AS tmax
  FROM
    [bigquery-public-data:ghcn_d.ghcnd_2016] AS wx
  WHERE
    id = 'USW00094846'
    AND qflag IS NULL
    AND value IS NOT NULL
    AND DATEDIFF(CURRENT_DATE(), date) < 15 )
GROUP BY
  date
ORDER BY
  date ASC

ビジュアライズを考慮したうえで Data Studio を使用すれば、この View から簡単にダッシュボードを作れます。たとえば次のとおりです。

BigQuery でのデータセットのマッシュ

分析プログラムから気象データのクエリを実行し、その結果を他の企業データと結合することは非常に簡単です。
他の企業データが BigQuery 上にある場合は、すべてを 1 つのクエリにまとめることができます。たとえば、同じように一般公開されている BigQuery データセットの 1 つに、航空機の定時到着データがあります。これを GHCN とマッシュしてみましょう。


SELECT
  wx.date,
  wx.prcp,
  f.departure_delay,
  f.arrival_airport
FROM (
  SELECT
    STRING(date) AS date,
    value/10 AS prcp
  FROM
    [bigquery-public-data:ghcn_d.ghcnd_2005]
  WHERE
    id = 'USW00094846'
    AND qflag IS NULL
    AND element = 'PRCP') AS wx
JOIN
  [bigquery-samples:airline_ontime_data.flights] AS f
ON
  f.date = wx.date
WHERE
  f.departure_airport = 'ORD'
LIMIT 100

Python の Seaborn パッケージを使えば、Datalab で分布を見ることができます。

予想どおり、雨が激しければ激しいほど、分布曲線は航空機遅延が増えていることを示す右寄りになっています。
GHCN データが BigQuery で利用できるようになったことで、気象データはあらゆるデータアナリティクス、機械学習アプリケーションに開放され、“民主化” されました。皆さんがこのデータを使ってまったく新しいアプリケーションを開発することを、私たち Google は心待ちにしています。* この投稿は米国時間 9 月 22 日、Google Cloud Platform Professional Services の Lak Lakshmanan によって投稿されたもの（投稿はこちら）の抄訳です。
- Posted by Lak Lakshmanan, Google Cloud Platform Professional Services