Depth Pro 2とは

Depth Pro 2とは、通常のカメラで撮った写真や動画から、画面内の各点までの奥行きをメートル単位で推定する、Appleの研究用AIモデルです。

通常のカメラの写真や動画からDepth Pro 2が画面内の各点の距離を推定し、距離の地図を出す流れ

英語表記:Depth Pro 2

Appleの研究チームが2026年11月19日に論文を投稿しました。机の写真なら、手前の箱と奥の壁を見分け、それぞれがカメラからどれほど離れて見えるかを距離の地図にする仕組みです。

カメラ1台で、どうやって奥行きを表す?

写真は平面でも、近い物と遠い物では見え方が変わります。モデルは写真を構成する小さな点(画素)ごとに距離を推定して、元の画像と同じ細かさの奥行き画像を返す設計です。手前と奥を色分けすると見えてくるのが、距離が急に変わる境目。

単眼という言葉は、左右2台のカメラで同時に撮る代わりに、1つの視点から取った画像を使うという意味。写真にレンズの焦点距離の情報があれば利用でき、無ければ、レンズがどのくらい広い範囲を写したかをモデルが推定して補います。

出力は遠近の順序に加え、メートル単位の推定値を持ちます。数値がメートルで出ても、現場で測った値と同じ精度を保証するわけではありません。距離はカメラの正面方向の長さで、レンズの焦点距離の情報が1割ずれると、距離も全体に1割ずれます。寸法の合否を決める場合には、必要な精度に合わせ、別の方法で実測しましょう。

写真を1枚ずつ処理する方法との違い

旧版のDepth Proは静止画の奥行き推定を扱いました。Depth Pro 2は同じ仕組みで写真と動画を処理でき、動画では他のコマも手がかりにするため、物の輪郭を残しつつ、距離の推定がコマごとにちらつくのを抑えることを目指しています。

たとえば撮影者が廊下を歩く動画では、柱の輪郭がぼけたら、画面のどこから奥の壁が始まるか見分けられるでしょうか。同じ場所の推定距離が急に変わる場合も、背景をぼかす映像処理では、境界がちらついて見える原因に。

一連のコマをためてから処理する方式と、届いたコマに順に答えを返す方式があります。映像の滑らかさを重視する場合と、結果を待たせたくない場合では、試験で見る点も別です。

同じApple製でも、iPhoneのアップルインテリジェンスにあるビジュアルインテリジェンスは、カメラを向けた対象について情報を調べるためのもの。Depth Pro 2の研究成果は、被写体の名前よりも、画像内の各点がどれほど離れているかという幾何情報を出力します。

研究用に試すときの判断材料

公式の実行用コードにはLinuxとAppleシリコン搭載Mac向けの案内があり、4種類のモデルが配布されています。標準のH+は重みファイル約3.5GB。ノートパソコン向けに案内されるSは約97MBで、これらはダウンロードするファイルの容量で、どの大きさでも、焦点距離を推定する別のファイル(約94MB)を一緒に使います。公開されているのは動かすためのコードと重みで、学習や評価のコードは含まれません。必要なメモリーや処理時間まで分かる数字ではありません。

小さいモデルで短い動画を使って動作を確かめ、背景処理の研究なら人物の髪や持ち物の輪郭など、成果物に響く箇所を優先して点検。画面の外側や物の裏側は入力に写っていないため、出力単体で空間全体を再現する用途とは区別します。

公開された重みは、非商業の科学研究・学術開発に限って利用できます。微調整などで作った派生モデルも同じ制限の対象。商用製品の開発や商用サービスへの組み込みは、その公開ライセンスの範囲外です。コードと重みの条件が別なので、配布元が提示した双方の確認から始めましょう。

Topic使うときは普通の映像、教えるときは距離センサーも使った

研究チームは学習用の資料の一部に、スマートフォンで撮った動画と、光が跳ね返るまでの時間から測った距離を使いました。距離センサーが答えを用意するのは学習の段階。推定時にモデルへ渡すのは、普通のカメラで撮った写真や動画です。

論文には、人物やペットのいる室内外をコンピューターで描き、距離が分かる練習素材として使ったことも記されています。量ではこちらの合成データが学習の中心です。

Depth Pro 2に関するよくある質問

実験で得た距離データを表計算などで扱えますか?
公式ツールは奥行きを色で示す画像や動画に加え、指定すると各点の距離をメートル単位の数値のファイル(.npz)で出力できます。Pythonなどのプログラムで読む形式で、表計算ソフトではそのまま開けません。空の部分は極端に大きな値になることがあるため、集計の前に範囲を絞ります。
動画の途中で別のカメラに切り替わる素材も一度に流せますか?
公式の動画処理では映像全体で1つの焦点距離を使います。撮影機材や画角が明らかに変わる場合は、切り替え箇所で素材を分け、各部分で推定の具合を確認する方法があります。

あわせて読みたい記事