2D→3D変換の画質を見極める方法と、よくある失敗

動画の1コマと、AIで作ったその深度マップ。「明るいところほど近い」[1]。Immersityもiw3も、こうした深度マップを土台にしています[2][3]。画像：owl3d.com

AI変換ソフトがしていることと、穴ができる理由

AI変換ソフトは、フレームごとに、写っているものの各部分までの距離を推定し（深度マップ）、その奥行きに応じて画素を横にずらして、もう片方の目のための映像を描きます。Wikipedia（英語版）は、「元の画像の画素は、深度マップ、選んだ最大視差、スクリーン面の位置に応じて、左または右にずらされる」と説明しています[4]。近いものは遠いものより大きく動くので、2つ目の視点では、それまで手前のものに隠れていた背景が見えてきます。研究者はこの部分をディスオクルージョンと呼びます。「ディスオクルージョンによって、合成した視点の映像に穴が現れることがあり、画質が大きく下がる」[5]。その背景がショットのほかの場所に写っていない限り、「正確な復元はできないため、未知の領域はアーティストが描くか、インペインティングで埋めなければならない」[4]。

チェックリスト：見るべきところ

各項目について、出典に書かれていること：

• 輪郭とゴースト。 Wikipediaは難しいケースとして「髪、毛、前景のピンぼけしたもの、細いものなど、ぼやけた半透明の物体の境界」を挙げ、半透明の輪郭をうまく扱えないと「輪郭の二重化やゴースト」が起きるとしています[4]。iw3の開発者は、とても正確な深度でも「前景と背景の境目に乱れが出る」と書いています[3]。
• ガラスと煙。 深度マップは「本質的に、半透明の物体や領域を扱えない」[4]。ImmersityのFAQには、「物体の輪郭や、透明な部分・映り込みのある部分に乱れが出ることがある」とあります[1]。
• 穴。 「単純な遮蔽部の穴埋め手法」は、「物体の輪郭付近の引き伸ばし」につながります[4]。Immersityも、「輪郭で物体がいくらか引き伸ばされることがある」としています[1]。
• ちらつき。 Immersity：「各フレームを個別に処理するため、時間的な変化が起きることもある」[1]。iw3にはFlicker Reductionというオプションがあり、「奥行きの範囲の時間的な変動を安定させ」、「シーンの境目のフレーム」で状態をリセットします[3]。
• フレームの端と見やすさ。 フレームの横の端で切れているものがスクリーンより手前に見えるとき、Wikipediaはこれを「ウィンドウ・バイオレーション」と呼び、「不自然で望ましくない効果が生じる」としています[6]。遠くのものを見るとき、目は「寄り目にも離れ目にもならない」状態であるべきだとされます[6]。ファイルの左右のずれは映す画面が大きいほど大きくなるので、スマホでは楽に見られる背景が、壁に映すと目を外側に向けさせることがあります。視差と画面サイズを参照してください。
• 字幕。 焼き込み字幕は「動画と一緒に処理されるため、字幕の表示に乱れが出る可能性がある」[1]。
• 顔。 「書き割り効果（カードボード効果）」とは、ものが「段ボールでできているかのように、観客には平らに見える」状態です[4]。
• ファイルの基本。 元の動画と各結果をMediaInfoかffprobeで開き、幅、高さ、フレームレート、音声トラック、色の伝達特性（PQかHLGならHDR）を比べます。

公平な試し方

1. 短いクリップを5〜8本選ぶ。 上の項目をカバーするように選びます。髪、ガラス、横切る人、固定ショット、切り替わりのあるパン、字幕の入ったワイドスクリーンの場面、アップ。1本1分未満で十分です。
2. どのソフトにも同じファイルを入れる。 まず各ソフトの初期設定を使い、変えた設定は書き留めておきます。
3. 実際に使う画面で見る。 本当の大きさと、いつも座る距離で見ます。スマホとプロジェクターでは、目立つ乱れが違います。
4. 片目ずつの映像を見る。 サイドバイサイドのファイルを平面のまま開き、左右の両方を確かめます。元の映像を片目にそのまま使い、もう片方だけを描くソフトもあります。iw3のガイドによると、その場合、描いた側の目には「2倍の乱れやゆがみ」が出ます[3]。3Dで見ると輪郭が二重なのに、左右それぞれはきれいなら、二重の原因はファイルではなく、画面かメガネです。
5. 左右を切り替えて見比べる。 左右それぞれから同じコマを取り出し、交互に切り替えます。近いものは一方へ、遠いものは逆へずれ、スクリーン面は動かないはずです。輪郭の横で質感が変わる帯が、埋められた穴です。
6. 10分以上見る。 見やすさの問題や、ゆっくりした奥行きの波打ちは、静止画ではなく、時間をかけて見ると出てきます。

AI変換か、スタジオの変換か

Wikipediaは、「映画館や高画質の3DTV向けの高品質な半自動変換」と「低品質な自動変換」を分けています[4]。ただし、その自動変換の節で説明されているのは、動きや手がかりを使う以前の方法で、今のAI深度モデルではありません。スタジオの作業では、人が面を1つずつ切り抜き（ロトスコープ）、奥行きを形づくり、見えるようになった部分を描き直します。「時間のかかる工程は、画像の切り分けやロトスコープ、深度マップの作成、見えるようになった領域の穴埋めである」[4]。AI変換はこれらの工程を自動にするので、ライブラリ全体を変換できるほど速く、安くなります。その一方で、穴の埋め方は推定です。穴埋めの研究も同じ見方で、こうした手法は「穴に対して推定しか与えられず、それは十分でなかったり、誤っていたりすることさえある」としています[5]。

Owl3Dの位置づけ

Owl3D Cloudはブラウザで動きます。AIモデル（StereoGen V2 Large）がフレームごとに奥行きを推定し、もう片方の目のための2つ目の映像を描きます。AIによる変換であり、スタジオが制作した3D版ではありません。黒帯は映画全体で一度だけ検出され、3D変換から外され、元のまま戻されます。夜空のように横幅いっぱいに広がるとても暗い帯は、黒帯と判定されて平らなままになることがあります。Owl3Dの変換も推定なので、この記事で挙げた乱れが出ることがあります。新規アカウントは最初の3分ぶんの動画を無料で変換でき、カードの登録は要りません。このチェックリストを、手元のクリップで試せます：動画を3Dにオンライン変換。出力形式、上限、ファイルの詳細はOwl3D Cloudの仕様にあります。

よくある質問

3D変換のディスオクルージョンとは何ですか？

2つ目の視点で、手前のものの横に見えてくる背景のことです。元のカメラは、そこを一度も撮っていません。変換ソフトは、この部分を作り出さなければなりません[4][5]。

変換した3D動画がちらつくのはなぜですか？

多くの場合、奥行きをフレームごとに推定していて、フレームのあいだで少しずつ変わるためです。ImmersityのFAQは、自社のソフトについてこの原因を挙げています[1]。奥行きが動くはずのない固定ショットで確かめてください。