Google Cloud Platform Japan 公式ブログ: GitHub のオープンソースコードを BigQuery で分析する

GitHub のオープンソースコードを BigQuery で分析する

2016年7月8日金曜日

* この投稿は米国時間 6 月 29 日、Developer Advocate である Felipe Hoffa によって投稿されたもの（投稿はこちら）の抄訳です。
このたび、Google は GitHub の協力を得て、Google BigQuery 上で驚くべきオープンデータセットをリリースしました。これまでも 2011 年以降の GitHub のパルスを監視、分析することはできましたが（GitHub Archive プロジェクトに感謝！）、これを完全に補完する新しいサービスを追加したのです。
たった 1 つの SQL コマンドで世界中のあらゆるオープンソースソフトウェアを分析できるとしたら、あなたは何をしますか。想像してみてください。
Google BigQuery Public Datasets プログラムは、GitHub の 280 万を超えるオープンソースリポジトリの完全なスナップショットを BigQuery 内で提供します。こうした GitHub とのコラボレーションにより、単純な（そして複雑な）SQL クエリを使って 20 億個近いファイルのソースコードを分析できるのです。これはいわば、私たちがイメージし始めたばかりの新たな洞察と進歩の扉を開くものかもしれません。
たとえば、あなたは人気の高いオープンソースライブラリの作者だとしましょう。今回の新しいサービスにより、あなたのライブラリを使用しているあらゆる GitHub オープンソースプロジェクトを検索できます。
さらに、ライブラリがどのように使われているかを分析してプロジェクトの将来の方向性を決めたり、ユーザーによるライブラリの使用状況に基づいて API を改善したりすることも可能です。
セキュリティ面から言えば、人気の高いオープンソースプロジェクトのほとんどは多くの人間がかかわっており、そのぶん得をしています。見られることによってプロジェクトは強化され、バグのあるコードが減るからです。
他のオープンソースプロジェクトで同じパターンのエラーを検索したときは、そのことを他の作者に知らせたり、プルリクエストを送ったりしようとしますよね。そういったことが、今回の新サービスでは容易になります。
BigQuery と GitHub コンテンツデータセットを操作するにあたって、頭に入れておくべきことがいくつかあります。

BigQuery では、すべてのユーザーが毎月 1 TB まで無料でクエリを実行できます。まだ BigQuery を使ったことがない方は、こちらのガイドに従ってください。

contents テーブルには GitHub にあるすべての 1 MB 未満の非バイナリファイルが含まれています。これは、1.5 TB ものデータを抱える巨大なテーブルです。そのため、このテーブルでクエリを実行しようとすると、BigQuery の 1 TB / 月という無料枠はあっという間になくなってしまいます。そこで私たちは、全体の 10 % に相当するファイルを人気の高いプロジェクトから抜き出して作成したダイジェスト版や、すべての .go、.rb、.js、.php、.py ファイルと Java コードを集めたデータセットを作りました。これらを使って無料枠をうまく活用してください。

これらのテーブルで不十分なら、独自のダイジェストを作ることも可能です（ただし、そのためのストレージは課金されます）。300 ドルで Google Cloud Platform クレジットにサインアップしてください。このクレジットを使って BigQuery に数 TB（あるいはそれ以上）のデータを格納できます。

BigQuery によって別々のデータセットの結合が簡単になります。プロジェクトが獲得した星の数に応じてコーディングパターンのランキングを作ってみませんか。関連ポスト “Hacker News effect on a project's GitHub stars” をご覧ください。

SQL では役不足ですか？　そうであれば、BigQuery の場合、SQL の中でお好みの JavaScript コードを実行できます。その方法を学べば、あらゆることが可能になります。

詳細を知りたい方は、GitHub の発表をご覧いただくとともに、サンプルクエリを試してみてください。また、実行したクエリやお気づきの点を reddit.com/r/bigquery や Hacker News でシェアしてください。アイデアは無限です。私は Medium のこの投稿で、リンクや他の記事を集めるつもりです。
好奇心旺盛であり続けましょう！

- Posted by Felipe Hoffa, Google Developer Advocate

Google Cloud Platform Japan Blog

GitHub のオープンソースコードを BigQuery で分析する

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

Google Cloud Platform Japan Blog

GitHub のオープンソース コードを BigQuery で分析する

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

GitHub のオープンソースコードを BigQuery で分析する