Google Cloud Platform Japan 公式ブログ: Cloud Spin プロジェクト：第 2 部 - 動画撮影をオーケストレートするモバイルアプリを構築

Cloud Spin プロジェクト：第 2 部 - 動画撮影をオーケストレートするモバイルアプリを構築

2015年9月25日金曜日

* この投稿は、米国時間 9 月 14 日、Google Cloud Platform の Developer Advocate である Bret McGowen によって投稿されたもの（投稿はこちら）の抄訳です。本シリーズの第 1 部Firebase

滞空時間にご注目あれ！※ソースコードはまだ GitHub で公開されていません。Cloud Spin リポジトリの更新をチェックしてください。

スマートフォンがセットされた不安定な固定スタンド

瞬間をとらえる

最初に、すべてのスマートフォンでぴったり同時に写真を撮影する方法を見つけなければなりませんでした。第 1 部で説明したように、私たちは 8 秒間の動画をすべてのスマートフォンでほぼ同時に撮影し、各動画からビープ音を含む瞬間のフレームを抽出することで、この問題を解決しました。

動画撮影は Android の camera2 API を利用して自動化しました。私は GitHub で公開されているサンプルプロジェクトの android-Camera2Video を試すことから始めました。このサンプルプロジェクトでは、camera2 API で動画を撮影する方法、撮影された動画を保存する方法、スマートフォン画面でライブプレビューを表示する方法が示されています。

緑色の画面（撮影可能な状態を示す）とライブプレビューを表示するカメラアプリ

カメラの向きを調整する

カメラの向きを調整するうえで、ライブプレビューが非常に役に立ちました。向きを適切に調整することで、どのスマートフォンの動画から抽出されたフレームでも被写体の位置が同じになり、完成したアニメーションが滑らかになります。向きの調整が簡単になるように、各スマートフォンのプレビュー画面には 2 つの十字線を表示しました。さらに、被写体の人が飛び上がる場所に 3 脚スタンドを置き、その真下の床にバツ印を付けました。そして各スマートフォンを動かして、プレビュー画面の 2 つの十字線のうち下の方の中心を、床のバツ印の中心に合わせました。ローテクな方法ですが、まったく問題ありませんでした。

リアルタイムステータスの通信

次の作業はスマートフォンと制御アプリの通信を確保することでした。各スマートフォンは、1 つの重要なデータをできるだけ早く受信する必要がありました。それは動画撮影の開始時刻です。また、2 つの値を送信する必要もありました。それはステータス（オンライン、オフライン、エラー、アップロード中）と、半円上の相対位置です。

私たちは Firebase を使用して、この通信を処理しました。Firebase は迅速にセットアップできるだけでなく、データベースとして機能して、モバイルアプリやウェブアプリに最新データを自動的かつリアルタイムに送信するからです。Firebase により、スマートフォンの動画撮影アプリを、タブレット上で動作する制御アプリにリアルタイムで接続できたため、バックエンドコードを作成する必要はありませんでした。

Firebase を使用するために必要なコードがいかに少ないかがおわかりいただけるように、動画撮影アプリの Java コードの一部を以下に抜粋します。このコードは、動画撮影アプリがスマートフォンの最新ステータスをどのように報告するかを示しています。

// Set this phone's status on Firebase at /cameras/{cameranumber}/
mFirebaseRef = new Firebase(FIREBASE_BASE_URL);
mCameraStatusRef = mFirebaseRef.child("cameras").child(cameraNumber);

CameraStatus mCameraStatus = new CameraStatus();
mCameraStatus.appVersion = BuildConfig.VERSION_NAME;
mCameraStatus.externalMic = mExternalMic;
...
mCameraStatus.status = status;

mCameraStatusRef.setValue(mCameraStatus);

動画撮影アプリがスマートフォンのステータスを更新するのに必要なコードは、これですべてです。Firebase は数ミリ秒以内に、リスナを登録しているすべてのモバイルアプリやウェブアプリに更新されたステータスを自動送信します。

以下は、Firebase のウェブダッシュボードのスクリーンショットです。Firebase がスマートフォンのステータスを保存するために使っているデータ構造を示しています。

スマートフォンの制御

制御アプリは、新しい動画撮影セッションを開始させるために Firebase の /snaprequest/timestamp の値を更新します。Firebase はすぐに新しい値を各スマートフォンの動画撮影アプリに送信します。すると動画撮影アプリは、タイムスタンプで指定された時刻にスマートフォンで撮影を開始します。

Firebase が撮影開始要求時刻を保存するために使っているデータ構造を以下に示します。

制御アプリは、各スマートフォンのステータスと動画撮影アプリのバージョンを監視します。各スマートフォンでは、録音に外部マイクを使う必要がありました。そのため、ヘッドセットポートにつないだケーブルからオーディオキュー（ビープ音）を入力し、録音しました。こうすることで、動画の音声トラックを、タブレット上で動作する制御アプリから送られるビープ音以外は無音にできるのです。

動画のアップロード

すべてのスマートフォンで一斉に動画を撮影する仕組みを作ったら、残る課題は 1 つです。撮影した動画を Google Cloud Storage にアップロードすることです。Cloud Storage は、Object Change Notification という気の利いた機能を提供しています。ストレージバケットの通知チャンネルを作成し、アプリケーションをリスナとして登録すると、そのバケット内のオブジェクトに変更があるたびに、すべてのリスナに通知が送信されるというものです。私たちはこの機能を利用して、動画撮影アプリが新しい Cloud Spin セッションから動画をアップロードすると、バックエンドの動画処理アプリケーションが自動的に開始されるようにしました（動画処理アプリについては、このシリーズの第 3 部で説明します）。

以下に抜粋した動画撮影アプリのコードは、動画を Cloud Storage にアップロードするために使用されています。

注：このサンプルではハードコーディングされた資格情報を使っています。このアプリの本番バージョンでは、これは避けるべきでしょう。

// Name of the Google Cloud Storage bucket.
String bucket = "my-cloudspin-bucket";

// Destination URL in the Cloud Storage bucket.
String cloudStoragePath = "20150821-151824-892/videos/01.mp4";

// Video file to upload.
File videoFile = new File("...");

// Credentials for Google Cloud Platform.
Credential credential = ...

Storage storage = new Storage.Builder(new NetHttpTransport(),
new JacksonFactory(),
credential).setApplicationName("...@developer.gserviceaccount.com")
.build();

StorageObject storageObject = new StorageObject();
storageObject.setBucket(bucket);

InputStream fileUploadStream = new FileInputStream(videoFile);
try {
InputStreamContent content = new InputStreamContent("video/mp4", fileUploadStream);
Storage.Objects.Insert insert = storage.objects().insert(bucket, null, content);
insert.setName(cloudStoragePath);
insert.execute();
} finally {
fileUploadStream.close();
}

ハードウェアプロトタイプの制作

以上で、設計したデモを試す準備が整いました。私たちは 19 台の Android スマートフォンを注文し（半円状に、中心から 10 度ずつの間隔で設置します）、スマートフォンマウントが付いた 3 脚スタンドを自撮り棒の代わりに用意して、仮設スタジオ用の照明も数台購入しました。

動画撮影のために、私たちは 4 つの Android アプリを作成しました。

CameraApp: Nexus 6 で動作し、動画を撮影して Google Cloud Storage にアップロードします。

ControlApp: タブレットで動作し、CameraApp が動作するスマートフォンのステータスをデバッグのために表示します。Take Photo がクリックされると、ControlApp はタブレットのヘッドフォンジャック経由でビープ音を出力します。ビープ音はそこから 19 本のケーブルを通って各 Nexus 6 にヘッドセットポート経由で入力されます。

RegistrationApp: タブレットで動作し、デモ参加者の名前と連絡先情報を収集します。重力をものともしない見事な一発芸を記録したアニメーションを、メールや Twitter でお届けするためです。

ApprovalApp: デモ参加者の承認を得るために、参加者に出来立てのアニメーションを見てもらいます。ジャンプがうまくいかなかったり、新しいポーズを後から思いついたりしたら、参加者は撮り直しを頼むことができます。

Google Cloud Platform のグローバルイベント Next でのデモに向けて、前述した質素なハードウェアプロトタイプは、台数分のスマートフォンマウントが固定された、カスタムメードの大きな半円形スタンドに進化しました。3 脚スタンドの位置を 1 つずつ合わせていく必要はなくなったのです。撮影スペースも広くなり、ブレイクダンスが得意なふりをして踊れるほどです。

次回予告

ここまで、私たちの作業は順調に進みました。各セッションで Cloud Spin は 19 個の動画ファイルを作成し、Google Cloud Storage にアップロードしました。今度はこれらの動画ファイルから、1 つの 180 度回転アニメーション GIF を作成する必要があります。次回の投稿では、下記をどのようにして行ったかを Francesc Campoy が説明します。