為什要進行2D轉3D？

傳統的數字高清2D電視已經不能滿足人們對視頻的真實感的要求，迎接3D電視的到來。

3D視頻的內容主要來自三個個方面，其一,立體攝像機直接產生的視頻；其二，將原有的2D視頻信號轉換為3D視頻信號；其三，計算機生成圖像（CGI）;

好處：

1.目前存在大量的傳統2D視頻，重現銀幕經典。

2.技術尚未完全成型，特別是在3D電視方面，如果研究出很好的算法，有很大的商業潛力！

3D 成像的基本原理

基本原理：人類的左眼和右眼在水平方向上有5～6.5cm的位移，因此左右眼所看見的畫面中對應實際物體上同一點存在一定距離，通過這種差別判斷物體的遠近和深度，即視差parallax原理。

根據“視差”原理，把同一景像用兩只眼睛視角的差距制造出兩個影像，然后讓兩只眼睛各看到對應自己一邊的影像，就能刺激大腦產生3D（3Dimensions）立體效果的。

舉例：

1、大家可以輪流閉上一只眼試試－－看同一個東西，側面不同

2、單眼對筆尖－－比雙眼困難很多

2D轉3D技術分析

簡單的說就是從場景的一副圖像或者一系列圖像中，推導出該場景的精確的三維幾何描述，并定量地確定場景中物體的性質。

主要步驟：

1.生成灰度圖

2.生成主輪廓圖，表示出圖像中重要物體的邊緣（圖像分割技術）

3.生成深度圖，表示出以觀看者為中心的圖像中各物體的深度

4.3D呈現，表示出圖像中各物體的空間幾何結構

5.最終的3D表示所謂的3D圖像對，即略微不同的圖像，其中一個為左眼圖像，另一個為右眼圖像。

幾個關鍵詞

深度線索：用來提取三維信息的圖像特征

深度圖：通常表示為灰度圖，每一個像素點的值即為該點的深度

零視差、正視差、負視差：一個點落在銀幕上、一個點介于銀幕與觀看者之間、一個點看起來在銀幕平面遠離觀看者。

3D圖的表示方法：一種是采用雙目視差圖方式的3D圖像對；另一種是采用2D圖加深度圖的方式

視差圖與深度圖的關系

深度幾何關系

z為實物到眼睛的距離，即為深度；B為左眼與右眼的距離；XL 與XR 分別為三維世界中的點 P 在左眼圖像中的銀幕坐標與點 P 在右眼圖像中的銀幕坐標。 D 為眼睛與銀幕之間的距離。

通過控制視差d我們可以達到控制可視深度的目的，通常的做法是將作為左眼圖像，并通過增加視差來產生右眼圖像。

2D轉3D的基本框架

圖像分割

圖像分割的主要目標是將圖像劃分為與其中含有的真實世界的物體或區域有強相關性的組成部分。

圖像分割算法一般是基于亮度值的兩個基本特征之一: 不連續性和相似性。

分割的越細致，通過后期的深度提取與深度賦值產生的3D世界就越有深度感。

從深度線索中提取深度

基于深度提取算法所依賴的深度線索我們可以將深度提取算法分為12類。

根據立體的效果，要不斷的調整獲取的深度信息，人工很浪費時間。

雙目視差深度線索

原理：從兩個不同視點拍攝得到的同一個場景的兩幅圖像之間存在雙目視差。雙目視差模擬了人眼觀察實物的機制，是深度感知的重要線索，通過立體匹配的方法在兩幅圖像中尋找對應的像素，計算雙目視差，視差越大，場景越近，視差越小，場景越遠；將雙目視差轉換為場景深度

P l 與P r 是3D 世界中點 P 在左圖像和右圖像上的投影, O l 與 Or 是左攝像機與右攝像機坐標系統中的原點

點P的深度值Z可通過如下公式計算:

Z= f*T/d

其中 d= x r -x l

陰影深度線索

原理：人類的大腦能夠非常好的利用陰影及一般情況下的明暗度提供的線索。檢測到的陰影不僅明確地指示了隱藏邊緣的位置和與其鄰近的表面的可能方向, 而且一般的敏感度性質對于導出深度信息有重要的價值。

一個典型的例子是人臉的照片, 從直接的2D 表示, 我們的大腦可以很好的猜出其可能的照明模型, 進而推斷出人臉的3D 性質。

分析

這些方法都是在實際操作時科研人員發現的單目深度技術比較困難，有時僅僅有一幅圖像得到的僅僅是深度關系，而不是實際的深度。

目前的主流算法是利用雙目深度線索，結合多幅圖像在空間維度與時間維度上相關性來獲取場景的深度信息，特定環境下采用單目技術。

沒有一個系統的普遍的算法，這也是2D轉3D技術研究中的難題。

由深度圖進行3D圖合成！

從深度圖進行3D圖合成

過程：從深度圖到立體圖像對生成, 實際上是從原始圖像結合深度圖生成左眼圖像與 右眼圖像。而左右眼圖像是通過對分割后物體的平移操作獲得的。

最初的是將原始的2D圖像作為一個眼的圖像，平移得到另一個眼的圖像。

現在

原始的2D素材被當作介于左右畫面的中間畫面，左右眼的圖像都是經過的平移得到的。

減小了因為計算造成的畫面變形。

后期制作

得到3D圖像對之后，根據3D效果要對前面的步驟不斷的微調，已達到最好的3D效果。