Perfume とライゾマティクスの新たな試みを支える Google の機械学習

Google Cloud デベロッパーアドボケイト 佐藤一憲

3 月 20、21 日に NHK ホールで開催された Perfume のライブ ステージ「Reframe」。このステージは、NHK が東京オリンピック・パラリンピックに向けて文化面においても機運を高めていくイベント「This is NIPPON プレミアムシアター」の一環として開催したもので、NHK と Perfume がこれまで生み出してきたパフォーマンスの最新テクノロジーによる「再構築」をテーマに、インタラクション デザインを担当したライゾマティクスによるドローンや AR 技術をふんだんに投入した演出が話題となりました。

今回のイベントでのライゾマティクスによる新しい試みのひとつが、Google の機械学習技術を応用したステージ演出です。同社を率いる真鍋大度氏は次のように説明します。「Perfume のミュージックビデオや歌詞データと機械学習技術を用いた演出を以前より考えていましたが、今回『Perfume を再構築する』ということがメインのテーマになりテーマと技術が合致したのでチャレンジしてみました。Google は継続的に『機械学習とアート』に関わるプロジェクトを手がけているので、我々がやっていることとも親和性が高いのではと考えていました」（真鍋氏）

ミュージックビデオのシーンを Cloud Vision API で類似検索

このコンテンツの実装には、Vision API が利用されています。開発を担当したライゾマティクスのエンジニア浅井 裕太氏は、次のように説明します。「『Reframe Your Photo』では、アップロードされた写真に対して Vision API によるラベルと色属性の検出を行い、ミュージック ビデオのフレームと照合して近いものをリアルタイム検索するシステムを構築しました。またセーフサーチ検出（不適切画像の検出）も合わせて利用しています」（浅井氏）

また Vision API を選んだ理由について、浅井氏はこう説明します。「選定にあたっては他社のサービスとも比較検討を行なったのですが、導入の容易さ、精度の高さから Vision API を選択しました。不適切画像を的確に除外できたほか、スケーラビリティが高いためサイト公開時の負荷集中も難なくさばくことができました」（浅井氏）

TensorFlow による画像特徴抽出でコラージュを構成

このコンテンツで用いられた手法について、浅井氏は次のように説明します。「Perfume のすべてのミュージックビデオをフレーム画像として用意し、TensorFlow でディープラーニングによる画像認識を適用しました。その時に認識結果として得られる 2048 次元の特徴ベクトルを抽出し、t-SNE により 2 次元空間に次元削減しています。この手法により、画像に含まれる色や形、パターン等の『画像の特徴の近さ』が、2 次元空間上の距離の近さにマッピングされ、コラージュが生成されます」（浅井氏）

これは文字通り、 Perfume がこれまで生み出してきたパフォーマンスの「再構築」に機械学習技術が効果的に活用されているコンテンツと言えます。

ライゾマティクスが Google の機械学習に期待すること

「ひとつ間に合わなかったのが、Cloud AutoML Vision による高精度のカスタム画像認識の応用です。次の機会にはぜひチャレンジしてみたい。その他にも、学習結果だけでなく学習過程自体の面白さをうまく使ったり、最近発表された姿勢推定などの新技術の応用も探っていきたいと思います。今回は Google からの的確なアドバイスによってプロジェクトをスムーズに進めることができましたので、今後もライゾマティクスの新たな試みを支えていただけると嬉しいです」（真鍋氏）