成大電資學院院長暨敏求智慧運算學院院長詹寶珠也是技術團隊的成員，負責景深部份。詹寶珠表示，景深用人去做其實很耗時間，連續幾年研究團隊都在找如何產生景深，並讓景深變成規格可以輸入電視，讓電視要播2D或3D都可以。
《小貓巴克里》3D版為首支由成大「人工智慧3D影片轉換系統」轉換3D動畫長片；試映會現場，影片原創者邱立偉導演、國內裸眼3D螢幕製造廠商騰騏科技總經理潘群倫，以及國內3D電影製作領導廠商兔將創意影業立體製作人蘇莞筑與洪揚絢技術總監等皆出席與會。
享譽國際的臺灣原創動畫電影《小貓巴克里》導演邱立偉致詞談到，電影從黑白到彩色2D到3D，再到AR或VR，所有的發展都在提供觀眾更真實感受；「(成大)這個技術如果能夠透過系統技術大量產出，觀眾可以接收到更多內容，會是一個非常有趣體驗」。
邱立偉透露，當時《小貓巴克里》的確有考慮過直接做成3D影片，但是後來發現造價實在太高，只好放棄。「成大團隊技術成果讓我們嚇了一跳；楊老師技術團隊反而把平面變成立體，影片中有些畫面我們沒有真正搭建3D模型，沒想到(人工智慧)技術讓平面的東西反而呈現一個完全不同的風貌，等於變成另外一部電影，更有趣，更讓觀眾可以投入，讓(電影)角色栩栩如生在眼前」。
傳統3D電影製作需要大量人力、時間以及設備成本，《小貓巴克里》3D版運用國立成功大學團隊開發「基於人工智慧之3D影片轉換系統」，透過人工智慧類神經網路及深度學習技術，大幅提昇影片2D轉3D的速度及精準度，節省大量時間與人力，亦可節省後製及檢查流程，使整體成果更快、更準，3D效果更舒適。
「基於人工智慧之3D影片轉換系統」運用人工智慧來解決兩個關鍵問題，分別是像素3D資訊(深度)生成及多視角影像合成，尤其裸眼3D影片需要多視角影像。
楊家輝進一步指出，現有影片都是屬於單視角拍攝2D影片，要精確估計3D資訊，傳統需要設定許多推理條件來完成深度估測；設定推理規則時常有例外，使得推算出深度資訊有相當大誤差；「多視角影像合成，一定會產生前景邊之空洞問題；傳統演算法多半是將背景色彩做延伸來填補，因前景位移所產生空洞，這種方式在背景比較單調區域有不錯效果，但只要有非水平物件或者紋理背景，將會產生錯誤的填補資訊，並且在遮蔽資訊過多情形下就無法重建出原始物件」。
「基於人工智慧之3D影片轉換系統」利用類神經網路強大物件化特徵資訊，進而推算出單視角深度資訊，在邊緣區域將會做較銳化設計，減少模糊的不連續深度問題，同時深度學習架構可以減少輸入資訊視角數量，也能夠在填補資訊上做出更加合理答案。
除此之外，「基於人工智慧之3D影片轉換系統」利用可變形卷積方式，來對影像上面各點資訊位移來做預測，並且利用柵狀捲積來對遮蔽區域資訊做計算，避免前景區域特徵混和正確影像資訊。「對於影像連續性的問題，我們加入時序特徵計算，並且在時序上面也能夠提供被遮蔽區域相關資訊」。
「基於人工智慧之3D影片轉換系統」不只在技術上有所突破，亦突破傳統思維，重新改造影片轉換流程，設計出影片分段器。楊家輝團隊表示，每一幀畫面在進入深度生成系統前，會先被分類器分成不同種類片段；每段影片都會有較高相似性，而在這之中製作少量關鍵深度；「利用關鍵深度來對系統進行訓練，系統便可以針對每段影片做出相對應深度估測；相較於直接做單視角深度估測，比較不會產生模糊情況而且準確率相對高很多，也可以做出相應深度客製化設計」。
2009年電影《阿凡達》商業上成功，讓電影製作公司趨之若鶩，紛紛投入3D電影製作，3D影片蔚為風潮，3D影廳成為各電影院標準配備；當時，亦有人預估3D電視廣播時代亦將緊接而來；然而，過去十幾年來3D電影產量比想像中少得多，3D電視廣播亦胎死腹中，其中關鍵便是3D電影製作成本與觀賞舒適度。楊家輝表示，過去3D電影發展受阻主要是沒有內容，未來運用人工智慧把2D影片大量轉成3D，希望促進臺灣影像內容軟實力。
分類：教育學術
文章
沒有留言:
發佈留言