2026/08/27

スマートフォンのカメラモーション参照でAI動画を操る方法

スマートフォンで自然なカメラムーブを記録して参照に変換し、3Dアニメーションなしで、その参照データでAI動画モデルにカメラ動作を正確に指示する方法を解説します。

スマートフォンのカメラモーション参照は、「ハンドヘルド」や「シネマティック」といった言葉の解釈をAI動画モデルに任せるのではなく、カメラがどのように動くべきかを示します。パス、スピード、ポーズ、小さな人間らしい不完全性をまず記録します。その後、動画モデルはそのクリップをモーションガイダンスとして使用し、プロンプトとスティル参照が最終的な被写体とビジュアルスタイルを定義します。

完成されたセットや磨き上げられた参照フィルムは必要ありません。部屋、いくつかのボックス、そして被写体の代わりになる人が1人あればそれで十分です。このチュートリアルでは、被写体シーンをiPhoneで仮想的にブロック処理したいクリエイター向けのオプションのAR ワークフローもカバーします。

TL;DR

開始フレーム、終了フレーム、そしてメインのカメラムーブを記録する前に決定します。
スタンドインまたはシンプルなオブジェクトを使用して、被写体の位置とスケールを示します。
デバイストラッキングとビジュアルフィーチャーが明確に保つため、明るくテクスチャのある空間でゆっくり記録します。
参照をクリーンなムーブ1つだけになるようトリミングし、最初と最後の誤ったリフレーミングを削除します。
モデルに対して、ビデオから何をコピーして何を無視するかを伝えます。
パス、スピード、フレーミング、視差、被写体の接触をビジュアルスタイルとは別に確認します。

ブロック済みシーンから記録された参照、AI生成、モーション確認までのビギナー向けスマートフォンカメラモーションワークフロー

なぜモーション参照がカメラ形容詞より上手くいくのか

テキストはショットに名前をつけるのに有用です。人間が操作するカメラの完全なパスを説明するのにはあまり正確ではありません。「遅いハンドヘルドプッシュイン」は複数の決定を開いたままにします：歩行速度、高さ、横方向のドリフト、減速の瞬間、シェイクの量、レンズが停止する場所です。

参照クリップはそれらの決定をモーションとして含んでいます。ByteDanceはSeedanceのビデオ参照をコンポジション、カメラ言語、そしてムーブメントリズムをガイドする方法として説明しています。^[1]生成されたショットはフレームバイフレームのコピーではありませんが、モデルには従うべき具体的な軌跡があります。

入力を別々の部門として考えてください：

入力	メインの役割
スマートフォン参照ビデオ	カメラパス、スピード、ポーズ、シェイク、空間リズム
スタイル画像または開始画像	キャラクター、プロダクト、ワードローブ、パレット、ライティング
プロンプト	シーンの意味、アクション、制約、各参照が何を操るか
音声参照（使用時）	タイミング、ボイス、ミュージック、またはサウンドキャラクター

これらの役割がクリーンであればあるほど、失敗の診断は簡単です。

ビギナー向けの2つの記録方法のいずれかを選択する

方法A：物理的なブロックアウトを撮影する

これは最速ルートです。最終的な被写体がある場所に椅子、ボックス、ランプ、または友人を置きます。意図したカメラムーブでスマートフォンを持ち歩いて記録します。オブジェクトは最終的なシーンのように見える必要はありません。位置、サイズ、オクルージョンを保つだけで十分です。

この方法を使用する場合：

テーブルの上の製品へのプッシュ；
パフォーマーの周りのハンドヘルドオービット；
壁または前景オブジェクトの後ろからのリビール；
動く被写体の横のロートラッキング移動；
前景から背景への前景から背景へのリフレーミング。

方法B：ARで仮想ブロックアウトを記録する

ARツールは仮想シーン内にスタンドインを配置し、物理的なスマートフォンの動きを記録されたカメラパスに変換できます。例えば、オープンソースのFilm Spaceプロジェクトは、フィギュアスタンドイン、レンズプリセット、シーンブロッキング、カメラモード、記録を備えたSwiftUI仮想スタジオを提供します。^[2]

このルートはより多くのセットアップが必要です。Apple開発環境とデバイスが必要だからです。その利点は、物理的なロケーションまたは被写体が存在しない場合でもショットをリハーサルできることです。

ARKitは、カメラ分析とモーションセンシングを組み合わせてデバイス移動を推定します。Appleは、見える場面の詳細、予測可能なライティング、および制御されたモーションを推奨します。暗いスペース、白い表面、ブラー、または非常に高速なモーションはトラッキング品質を低下させます。^[3]

完全に新しい場合は、物理的なブロックアウトから始めてください。仮想スタンドインまたは繰り返し可能な空間マークが必要な場合にのみARに移動してください。

ステップ1：カメラムーブカードを記述する

ショットが定義された開始と終了を持つまで、歩き始めないでください。

{
  "shot": "product reveal",
  "duration": "6 seconds",
  "start_frame": "wide, product hidden behind foreground box",
  "path": "move 1.5 meters right while advancing 0.5 meters",
  "height": "chest height, constant",
  "subject_rule": "product becomes centered at 4 seconds",
  "end_frame": "medium close view, hold for 1 second",
  "shake": "small natural walking drift",
  "avoid": "fast rotation, digital zoom, subject leaving frame"
}

このカードはビギナーの一般的な問題を防ぎます：編集可能なフレームで終わらない興味深いムーブメントを記録すること。

ステップ2：被写体と前景をブロック処理する

最終的な被写体位置にスタンドインを配置します。大まかな高さと幅に合わせてください。最終的なシーンにテーブル、ドアウェイ、または前景リビールがある場合は、同じ深度に単純なオブジェクトを含めます。

除去可能なテープを使用して3つのフロア位置をマークします：

カメラスタート；
リビールが発生するポイント；
カメラストップ。

モデルは深度を理解するために視差の手がかりを必要とします。白い壁に対する1人の人は、前景、ミッドグラウンド、背景オブジェクトを備えた人よりも少ない空間情報を示します。

ステップ3：クリーンなテイクを記録する

スマートフォンを横向きにして16:9出力にするか、縦向きにして9:16出力にします。ムーブ中はレンズの選択を固定のままに保ちます。デジタルズームを避けてください。レンズ変更と物理的な動きが混在するからです。

このリハーサルシーケンスを使用します：

スタート時に1秒間動かずに立ってください。
急な動きに飛び込む代わりに、徐々に動き始めます。
スマートフォンを計画された高さに保ちます。
あなたの足ではなく、被写体フレーミングに注目してください。
最後のマークの前に減速してください。
最後のフレームを1秒間保持します。

3つのテイクを記録します。最高の参照は通常、最も劇的なものではなく、最もシンプルなものです。速いウィップパンまたは攻撃的なシェイクが不可欠な場合は、制御されたバージョンが成功した後にのみテストしてください。

ステップ4：参照クリップを準備する

意図的なホールド、ムーブ、エンドホールドを含むようにクリップをトリミングします。レコードボタンを押す瞬間を削除します。音声を無音にしてください。ただし、モデルが使用したいタイミング情報がある場合を除きます。

その後、確認してください：

被写体は全体を通じて見えるか、または明確に表現されていますか？
カメラは計画された構成で停止していますか？
意図したスタイルに対して地平線は十分に安定していますか？
誤った人、スクリーン、またはフレーム内のプライベートな詳細はありますか？
ファイルはAPI要求で公開HTTPS URLから利用可能ですか？

使用する権利がない限り、プライベートまたは識別可能な素材をアップロードしないでください。オブジェクトを使用したブロックアウトは、多くの場合、無関係な人を記録するより安全です。

ステップ5：参照ロールプロンプトを記述する

プロンプトは、モデルが各入力から何を借りることができるかを示す必要があります。

Video 1 is camera-motion guidance only. Follow its camera path, speed,
foreground reveal, and one-second ending hold. Ignore its room appearance,
objects, colors, and lighting.

Image 1 defines the product shape, label layout, and color. Preserve the product
throughout. The final scene is a warm studio table with a dark blue background.

The camera begins wide behind a soft foreground shape, moves right and slightly
forward, reveals the product at 4 seconds, then holds on a centered medium close
view. No added text, logos, hands, or extra products. No digital zoom.

「カメラモーションガイダンスのみ」というフレーズが重要です。それがなければ、モデルはブロックアウトのライティング、部屋、またはスタンドイン外観を借りることができます。

ステップ6：参照をビデオモデルに送信する

reAPI上のSeedance 2.5は公開ビデオ参照を受け入れます。最初のテストを短く保ち、モーションが承認されるまで720pを使用してください。

curl https://reapi.ai/api/v1/videos/generations \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "doubao-seedance-2.5-face",
    "prompt": "Video 1 is camera-motion guidance only. Follow its path, speed, foreground reveal, and ending hold. Ignore its room and objects. Image 1 defines the product. Warm studio table, dark blue background. Preserve product geometry. No added text or logos.",
    "video_urls": ["https://example.com/phone-camera-reference.mp4"],
    "image_urls": ["https://example.com/product-reference.png"],
    "resolution": "720p",
    "size": "16:9",
    "duration": 6,
    "generate_audio": false
  }'

現在のreAPIルートは複数の画像とビデオ参照を許可しており、ファイル、期間、合計入力制限はSeedance 2.5 APIページに文書化されています。アップロード検証の構築前にそのページを確認してください。制限と価格は時間に敏感だからです。

ステップ7：外観の前にモーションを確認する

生成されたクリップを参照と並べて比較します。最初のパスで色と微細なテクスチャを無視してください。

確認	質問
パス	カメラは同じ一般的な方向と深さで移動しましたか？
スピード	意図した瞬間に加速、クルーズ、停止しましたか？
フレーミング	被写体は計画されたフレーム領域にとどまりましたか？
視差	前景と背景は自然に分離しましたか？
地平線	チルトは偶発的ではなく意図的ですか？
終了フレーム	カットまたはタイトルを受け入れることができるクリーンなホールドがありますか？

モーションが間違っていれば、参照を簡素化するか、コピーされた属性をより明示的に述べてください。モーションは正しいが製品がドリフトしている場合は、モーション参照を保ち、製品アンカーを強化してください。両方の問題を完全に異なるムーブを記録することで解決しないでください。

ByteDance Seed. Seedance 2.0 Official Launch. February 12, 2026. seed.bytedance.com
Max Prokopp. Film Space: SwiftUI virtual film studio with AR camera and scene recording. Retrieved August 27, 2026. GitHub
Apple Developer Documentation. Understanding World Tracking. Retrieved August 27, 2026. developer.apple.com
reAPI. Seedance 2.5 API — Parameters, Modes & Billing. Retrieved August 27, 2026. reapi.ai