VTube Studio（以下VTS）は、iPhone/iPadを使った高精度なトラッキングに対応しています。
Webカメラでトラッキングしている場合、以下のような悩みを抱えている人も多いかもしれません。
- 表情がうまく変わってくれない
- 少し顔を横に向けただけでモデルが止まる
- 部屋が少し暗いだけなのに顔を認識してくれない
- 動きがガクガクする
iPhone/iPadでトラッキングすれば問題解決です。
このページでは、iPhone/iPadによるトラッキングの方法について見ていきましょう。
- iPhone/iPadにVTSをインストールする。
- PCにもVTSをインストールする。
- PC版VTSにモデルを入れる。
- iPhone/iPadとPCを接続する（Wi-Fi、またはUSB）。
iPhone/iPadの使用を前提としています。
Androidスマホもトラッキングに対応していますが、仕様が異なります。
メリット・デメリット
簡単なまとめ
メリット
- 目・口の動きが自然で滑らかになる
- 表情が的確に反映される
- 遅延が小さく、すぐに動きが反映される（自分・モデルが一体化した感じ）
- 暗所に強い
- iPhone/iPadがあれば、Webカメラがなくてもできる
比較したことなかったんだけど、VtubeStudioのiOS版とWEBカメラ版のトラッキング比較です。
モデルもパラメータ設定も同じで同時に同じ動きをトラッキングしてます。（左）WEBカメラ版：Niconの一眼レフをSparkoCamで読み込み。顔の右側に設置。
（右）iPhone：顔の左に設置。#VtubeStudio #Live2D pic.twitter.com/JeLR4oGUIQ— 雨瀬 おるこ ☂️ (@Amase_Oruko) January 12, 2022
デメリット
- iPhone/iPadの熱暴走で動きが止まる可能性
- iPhone/iPadのバッテリー消費が激しい
- iPhone/iPadの設置場所に悩みやすい
- 配信中にiPhone/iPadを使えない
- 課金しないとPCとの接続が5分で切れる（後述）
iPhone/iPadとWebカメラ、どっちにすべき？比較
では、iPhone/iPadとWebカメラ、どちらでトラッキングすべきでしょうか。簡単な表にまとめました。
| iPhone/iPad | Webカメラ | |
| トラッキング精度の高さ | A | B |
| 遅延の小ささ | A | B |
| PC負荷の小ささ | A | B |
| 設置のしやすさ | B | A |
| 価格 | 3,500円（後述） | 無料または1,520円 |
もしWebカメラをすでに持っているなら、Webカメラで手っ取り早く（安く）やるのがおすすめです。
iPhone/iPadとWebカメラ両方持っている場合は、トラッキングに不満があるときにiPhone/iPadでやってみてください。
なお、Webカメラを使う場合でも「VTube Studio - NVIDIA Broadcast Tracker」を使うとトラッキング精度が上がります。
参考VTube Studio - NVIDIA Broadcast Tracker
必要なもの
この6つだけ用意
iPhoneでトラッキングするとして、必要なものを表にまとめました。詳細は後述します。
| 説明 | |
| PC版VTS | iPhone/iPadを使う場合でも必須 |
| モデル（アバター） | |
| iPhone/iPad版VTS | 無料版は5分で切れるため購入必須（実用上、有料版が前提） |
| iPhone/iPad | TrueDepthカメラ搭載機種（Face ID対応機種） |
| Wi-Fi環境、またはUSBケーブル | 無線、または有線でiPhone/iPadとPCを接続 |
| スマホホルダー、スマホアームなど | iPhone/iPadを設置するのに必要（縦置き、または横置き） |
PRO版を3,500円で購入する
VTS購入費用についてですが、3,500円で購入しましょう。なぜなら、無料版はiPhoneとPCの接続が5分で切れるからです。
- 「PRO版」に課金する（アプリをインストール後）
- 買い切り型
- PCとの接続制限が解除され、ストレスフリーに
- アプリ内録画時間が無制限に（無料版は10秒）
- 商用利用可能
- iPhone/iPad使用中は、ウォーターマーク（ちびキャラ）はPC側に表示されない
この点、PC版「VTube Studio - Remove Watermark」を購入したことがあるとしても、PRO版を別途買う必要があります。
参考How do I buy VTube Studio? Why should I? Can I use it commercially?
iPhone/iPad対応機種について
TrueDepthカメラを搭載した機種(Face ID対応機種）が必要です。
| 対応機種 | |
| iPhone | iPhone X以降 |
| iPad | Apple公式ページを参照のこと |
iPhone/iPad「だけ」ではVTSは使えない
ここも注意してください。iPhone/iPadだけではライブ配信できません。PC「も」必要です。
| 役割 | |
| iPhone/iPad | トラッキング用カメラとして使う |
| PC | ライブ配信・録画を行う |
準備しよう
PC版VTSをダウンロード・インストールする
繰り返しますが、PC版VTSも必要です。インストールだけでかまいません。
VTSはSteamでダウンロードします。
PC版VTSにモデルを入れて表示する
PC版VTSをインストールできたら、つぎはモデルを入れましょう（インポート）。
モデルの入れ方がよくわからない場合は、下記ページをご覧ください。
iPhone/iPad版VTSをダウンロード・インストールする
iPhone/iPad版VTSを入れます。
アプリを起動すると2つの許可を求められます。すべて許可してください。
- カメラへのアクセス許可
- ローカルネットワーク上のデバイスを見つけることの許可
ここを許可しないとiPhoneでトラッキングできません。また、PCと接続することもできません。
Wi-Fi接続かUSB接続か決める
iPhoneとPCの接続方法は2種類あります。どちらでもかまいません。
| メリット・デメリット | |
| Wi-Fi接続（無線） | ・配線がすっきり ・環境によっては通信が不安定になるかも |
| USB接続（有線） | ・安定して通信できる ・ケーブルがうっとうしい（とくに縦置きで） |
今回は、この2つの方法について接続方法を解説しています。
Wi-Fi接続する方法（無線）
まずは、Wi-Fi接続する場合から見ていきましょう。
PC側の設定
PC版VTSの設定を行います。左側にある歯車アイコンをクリックします。
今度は、上部の歯車アイコンをクリックします。
「スマホ接続設定(Wi-Fi)」にある「サーバーを起動する」をONにします。
iPhone/iPad側の設定
そうしたら、今度はiPhone/iPad版VTSの歯車アイコンをタップしてください。
「PC/Mac接続設定(WiFi)」の「PCと接続する」をONにします。
「サーバーを探す」をタップします。
しばらく待ったあと「このIPを使う」をタップしましょう。
すると、「ステータス」が緑色になり、「接続しました」と表示されます。
また、同様にPC側も「ステータス」が緑色になり、「オンライン」と表示されます。
以上でWi-Fi接続できました。このあとは、iPhone/iPadでキャリブレーションを行いましょう（後述）。
Wi-Fi接続できないときは（筆者の体験談も）
筆者の場合、初めての接続で失敗しました。最初、iPhone/iPad版VTSのほうに「このIPアドレスは無効です」と表示されて焦りました。
ただ、ひょっとしたらと思い、PC側の設定を確認したところ、Windowsの設定で「パブリックネットワーク」になっていたのが原因でした。
「プライベートネットワーク」に設定を変更し、かつiPhone/iPad版VTSを再起動したところ、今度はうまく接続できました。
このあたりの対処法については、下記サイトに詳しく書いてあります。
参考接続の問題とトラブルシューティング - VTS Wiki_JP
USB接続する方法（有線）
iPhone/iPadとPCをUSB接続する方法についてです。
PC側の設定
iPhone/iPadとPCをUSBケーブルで接続しましょう。
PC版VTSの歯車アイコンをクリックします。
今度は、上部の歯車アイコンをクリックします。
「USB接続設定」にある「USB接続開始」をONにします。
iPhone/iPad側の設定
そうしたら、今度はiPhone/iPad版VTSの歯車アイコンをタップしてください。
「USB接続設定」にある「USB接続開始」をONにします。
すると、「ステータス」が緑色になり、「接続しました」と表示されます。
また、同様にPC側も「ステータス」が緑色になり、「オンライン」と表示されます。
以上でUSB接続できました。このあとは、iPhone/iPadでキャリブレーションを行いましょう（後述）。
USB接続できないときは（筆者の体験談）
筆者の場合、Wi-Fi接続設定に続き、USB接続もうまくいきませんでした。
そこで、対処法を調べたところ、
- iTunesをPCにインストールする
- または、「Appleデバイス」をPCにインストールする
という2つの方法があることがわかりました。
iTunesはインストールしてあったので判然としなかったのですが、試しにAppleデバイスをインストールしたところ解決しました。
キャリブレーションしよう
iPhone/iPadでトラッキングする場合も、キャリブレーションを忘れずに行いましょう。
これを行うことで、私たちの動き・表情を的確にモデルに反映させられるようになります。
やり方は簡単です。左側にあるカメラアイコンをタップしてください。そこからできます。
キャリブレーションを行ううえでのポイントは、以下のとおりです。
- iPhone/iPadを固定してから行う
- 正面を見る
- 瞬きをしない
- 真顔、無表情で、自然な状態で行う
右上にワイプでお面（マスク）付きの顔が表示されますが、カメラアイコンを再度タップすれば消えます。
また、ワイプを一瞬たりとも出したくない場合は、カメラアイコン右隣りにあるアイコンからキャリブレーションできます。
OBSと連携する設定にしよう
以上の設定で、iPhone/iPadを使ってトラッキングができるようになりました。
あとはPC側でOBS Studio（以下OBS）の設定を行うだけです。
モデルをOBSに映す（背景を透明にする）
OBSの画面にモデルを映す設定をしましょう。
やり方は簡単です。
- OBSで「ゲームキャプチャ」を追加する。
- PC版VTSで透過についての設定を行う。
- モデルの背景が透明になり、モデルだけがOBSに映る。
上記「透過についての設定」というのは、設定することでモデルの後ろに映っているもの（背景）を透明にできます。
このあたりの詳細については、下記ページをご覧ください。Webカメラ用の記事ですが、iPhone/iPadの場合も基本的に同じ設定です。
iPhone/iPadの画面が暗くなる？
トラッキング中、iPhone/iPadの画面は暗くなります。
これは、iPhone/iPad版VTSの初期設定で「配信モード」がONになっているからです。不具合ではありません。
同モードはOFFにもできますが、ONにしておいてください。熱対策、バッテリー消費対策として機能しています。
まとめ
iPhone/iPadを使ってトラッキングする方法は4ステップです。
- iPhone/iPad、PCの両方にVTSをインストールする。
- PC版VTSにモデルを入れる。
- iPhone/iPadとPCを接続する。
- モデルをOBSに映す。
本文中にも少し書きましたが、iPhone/iPadの設置場所には苦労するかもしれません。
- PCモニターにiPhone/iPadが被らないような位置にする（被るとゲームしづらい）
- かつトラッキングに支障が出ない位置にする
という2つの条件を満たすためには、スマホホルダーやスマホアームなどの道具が重要です。
その点には注意してください。通常のよくあるスマホホルダーだと、トラッキング中は使いづらいもしれません。
なお、YouTubeやTwitchで配信する場合の設定方法については、下記ページにまとめました。
2006年から15年以上、ゲーム実況のやり方の解説記事を書いています。書いた記事数は1,000本以上。ゲーム配信、ゲーム録画、動画編集の記事が得意です。
記事はていねいに、わかりやすく！ゲーム実況界の教科書をめざしています。