AIフレーム補間(えーあいふれーむほかん)とは
AIフレーム補間とは、動画の隣り合うフレーム(コマ)の間に存在しない中間画像を推定・生成する技術です。映像を滑らかにする、1秒あたりのコマ数(フレームレート)を増やす、短い動きをスローモーションで見せる用途があります。撮影済みのコマを増やすのではなく、前後の絵から間のコマを作る技術です。
中間の画像をどう推定する?
AIは前後のフレームを比べ、人物や物体がどちらへどれだけ動いたかを推定します。その動きに沿って、途中の位置、形、隠れる部分、現れる部分を合成。前後どちらにも自然につながる1枚に仕上げる流れです。
代表的な方法には、画面内の動きの向きを推定するオプティカルフロー方式と、周囲の画素をどう混ぜるかを学ぶ方式があります。近年は、細部と大きな動きを異なる尺度で読み取るモデルも登場しました。単純に同じ画像を複製するのではなく、時間の途中を推測する点が要点です。
高画質化とは何が違う?
AI動画高画質化は、各フレームの解像感を上げたりノイズを減らしたりする処理です。フレーム補間は、時間方向へ新しい画像を足す技術。古い動画を整える製品では、先に高画質化し、その後にフレームを増やすなど、両方を組み合わせることがあります。
速い動き、物体の出入り、手前の物で隠れる場面、反射、水面、点滅では推定が難しくなります。輪郭が二重になる、指やボールが変形する、場面転換に存在しない絵が混ざるといった破綻が起こることも。フレーム数ではなく、動きの厳しい場面を抜き出して品質を比べるのが実務的です。
どの制作工程で使う?
AI動画編集の一工程として、スローモーションやフレームレート変換に使えます。AIリップシンクで編集した人物動画や、AIモーションキャプチャで動かしたキャラクター映像を滑らかに見せる後処理にも応用できますが、前工程で崩れた口元や骨格そのものを直す技術ではありません。ロゴアニメーションAIの出力に使う場合も、文字や輪郭が途中で変形しないかを確認します。
事実確認には使える?
生成された中間画像は、カメラが記録した瞬間ではありません。見た目が自然でも、実際の物体の位置や形を再現している保証はないためです。広告や作品では滑らかさを評価できますが、防犯映像、事故検証、競技判定では原映像と補間部分を分けて保存し、生成したフレームを証拠のように扱わない運用が必要です。
Topic入力は動画でなく2枚の写真でもよい
Google ResearchのFILM公式実装は、近い構図の2枚の写真から中央の1枚を作り、補間を繰り返して短い映像にできます。つまり、既存動画のコマ数を増やすだけの技術ではありません。少し違う瞬間を写した静止画どうしの間を、動きとして見せる使い方もあります。
AIフレーム補間に関するよくある質問
- AIフレーム補間で元映像に映っていない事実を確認できますか?
- できません。中間フレームは前後の画像から推定して作られたもので、撮影された記録ではありません。事故、防犯、競技判定などでは原映像と生成部分を分けて扱ってください。
- フレームレートを上げれば必ず滑らかになりますか?
- 必ずしも滑らかになるとは限りません。速い動き、物体の出入り、場面転換などでは二重像や形崩れが生じ、元映像より見づらくなる場合があります。
- AIフレーム補間をすると音声の長さも変わりますか?
- 補間だけでは通常、動画全体や音声の長さは変わりません。同じ再生時間の中で映像のコマを増やします。スロー再生にする場合は、別途音声の速度や長さを調整します。