Oculus Quest Mixed Reality Capture Tools セットアップ手順

（注意）現状では Oculus Quest のゲームを Mixed Realty Capture（以降 MRC と略）できないようです。自分で開発した MRC 対応アプリ、もしくは MRC に対応したアプリ（まだ０個）のみ撮影が可能です。

しかも途中で OBS Studio の使い方がわからずギブアップしてます・・すみません。何かわかれば追記していくつもりです。

ただ今後 MRC 対応 Quest アプリが増えてくるかもなので、現状できたところまでですが、公式のセットアップの日本語訳版ということでメモ。

参考リンク

developer.oculus.com

vrinside.jp

下準備

必要な機材

Oculus Quest
USB/HDMI カメラ
- https://www.amazon.co.jp/dp/B0158F77Z2/ref=cm_sw_r_tw_dp_U_x_t3HhDbVJ9DJHF
PC
- Oculus Quest と同 wifi ネットワークに繋ぐ必要があるためノート PC の方が良いかも？
キャプチャーカード
- Elgato HD6OS、HD60Pro 等が候補として挙がっているが、ノート PC でも使える HD6OS を今回は使用
Oculus Rift or Oculus Rift S
- Quest とは別に、セットアップ用に必要。せっかくなので自分は最新の Rift S を購入。腹くくる
クロマキー背景布
- https://www.amazon.co.jp/dp/B072FHB957/ref=cm_sw_r_tw_dp_U_x_MZHhDb5M1AQN7

必要なソフトウェア

Oculus Quest Mixed Reality Capture Tools

// フォルダ構成
Oculus_Quest_MRC_Tools_1.0
    |- MRCCameraCalibration_Quest
    |      |- MrcCameraCalibration.apk  // Oculus Quest にインストールする apk
    |- oculus-mrc_OBS
    |      |- data
    |      |- obs-plugin
    |- OVRCameraCalibration_PC  // PC 側で起動するカメラキャリブ用ファイルが入ってる
           |- OVRCameraCalibration.bat
           |- etc

OBS Studio
- 映像の合成に使用

必要な資材

Oculus_Quest_MRC_Tools_1.0/OVRCameraCalibration_PC/Assets/pattern.png を印刷
- カメラのキャリブで使うためサイズや画質は変更しない方がいいとのこと（なので画像はここには貼りません）
- ただし自分は画像をスマホ上に表示してそれを使いました。これでも問題なさそうです
Oculus Quest と Rift S の近接センサー（額の前あたりにあるやつ）を覆うテープ
- キャリブ中テープを使って HMD の電源が落ちないように

カメラキャリブレーション

Quest を adb コマンドが使える PC に接続
adb install -r MrcCameraCalibration.apk
Quest から MRC Camera Calibration Service を起動して IP アドレス(192.168.1.4)をメモ
カメラを設置（今後カメラ位置は動かないように）
Quest の近接センサーにテープを貼り電源がオフにならないようにする
OVRCameraCalibration.bat 内の IP アドレスを VSCode 等で開き先ほど調べた Quest の IP アドレスに変更
OVRCameraCalibration.bat を起動し Quest で起動しているアプリと接続が開始すると QuestMode というウインドウが開く
Calibrate Camera を選択
適切なカメラを選択し次へ
画質は 1920*1080 が推奨なのでそれで設定して次へ
Start Intrinsic Calibration を選択
- この時点でカメラ映像が見えてない場合はどこかで設定を間違えている可能性があります
マーカーを画面上に表示されているボックスに合わせる作業を20回やりカメラの歪みを補正
- 認識がうまくいくと枠内が虹色になります
- 最後に出てきた値が1以下なら良いみたい
static camera を選択して次へ
今度は Oculus Rift S のセンサーにシールを貼り、矩形内に入れて A ボタンを押して進める
Oculus Touch コントローラとバーチャル Touch コントローラが重なって表示されていたら成功なので mrc.xml という名前で保存

キャリブレーションファイルを Quest へ転送

Mixed Reality Capture を行いたいアプリへ先ほど作った mrc.xml をコピーします。

以下は例として Beat Saber 1. android file transfer や adb コマンドを使用して mrc.xml を /Android/data/com.{yourorgname}.{yourappname}/files/ にコピー + adb なら adb push <path of the saved mrc.xml> /sdcard/Android/data/com.{yourorgname}.{yourappname}/files/ + android file transfer なら↑の場所にドラッグ＆ドロップでコピー

OBS を使ってシーンを複合

Oculus_Quest_MRC_Tools_1.0\oculus-mrc_OBS の下にある data, obs-plugins を obs-studio のルートにコピー
- 例) C:\Program Files\obs-studio
OBS Studio を起動
- OBS Studio の使い方はここ

ここからは OBS Studio の使い方がよくわからなかったため、公式ドキュメントを読んで進めてください。

とりあえずここまで。中途半端ですみませんがギブアップ・・

これちのPost-it

技術ネタをペラペラと