愛鋒貝

標(biāo)題: 聊聊曠廠黑科技 | 如何拍攝一部手機(jī)電影 [打印本頁(yè)]
作者: 爬爬科技說    時(shí)間: 2022-8-10 20:10
標(biāo)題: 聊聊曠廠黑科技 | 如何拍攝一部手機(jī)電影
大多數(shù)時(shí)候，曠視研究員給人的印象，總是散發(fā)著理科生的氣質(zhì)，有理想，但理性、追求極致，且果敢務(wù)實(shí)等等，這一次，研究員要給大家展示他們的另一面——懂浪漫。
最近，曠視上映了一部手機(jī)電影——《在一起的 1024 天》，特邀您來一同觀看。故事里的主人公，是一位被女朋友日常吐槽“不懂浪漫”的理科生，他通過手機(jī)記錄了與女朋友在一起 1024 天的點(diǎn)滴片段，將這些回憶連成一條線，串出屬于一段專屬于他們的浪漫故事。
影片中出現(xiàn)的焦點(diǎn)切換、雙重曝光、定制化光斑、人像虛化等通常在電影屏幕中才能體會(huì)到效果正是由曠視視頻特效算法提供，本期曠廠黑科技，讓我們一起走進(jìn)曠視手機(jī)電影背后的技術(shù)。
集合五大算法 曠視手機(jī)電影玩出新花樣

當(dāng) vlog、手機(jī)電影成為了人們時(shí)下表達(dá)情緒，記錄生活的重要方式，那么一臺(tái)怎樣的設(shè)備，能幫助你更好的完成影像表達(dá)呢？大多數(shù)人可能選擇手機(jī)，一臺(tái)擁有高質(zhì)量影像能力的手機(jī)，成為了人們更便捷的影像設(shè)備。隨著計(jì)算攝影的不斷發(fā)展，手機(jī)正在突破硬件局限，帶來更接近攝相機(jī)的拍攝效果，模擬出只有專業(yè)設(shè)備才能拍出的視頻特效。
在 2022 曠視技術(shù)開放日現(xiàn)場(chǎng)展示的手機(jī)電影Demo，集合了視頻人像虛化、視頻光斑特效、視頻人像留色和視頻雙重曝光四種視頻特效以及最新研發(fā)的電影模式算法。其中前四種視頻特效通過視頻人像分割算法、深度信息以及豐富而有趣的圖像處理算法，可以滿足不同場(chǎng)景和人物的拍攝需求，豐富拍攝體驗(yàn)。
(, 下載次數(shù): 19)
原片
https://www.zhihu.com/video/1538888842346369024
(, 下載次數(shù): 15)
曠視人像虛化算法
https://www.zhihu.com/video/1538889020398858240
(, 下載次數(shù): 19)
原片
https://www.zhihu.com/video/1538889111678582785
(, 下載次數(shù): 20)
曠視光斑特效算法
https://www.zhihu.com/video/1538889201587679232
(, 下載次數(shù): 15)
曠視人像留色算法
https://www.zhihu.com/video/1538889279706681346
(, 下載次數(shù): 19)
曠視雙重曝光算法
https://www.zhihu.com/video/1538889341622956032
電影模式算法則利用單攝深度信息、對(duì)焦主體檢測(cè)和多目標(biāo)跟蹤算法、圖像虛化算法，實(shí)現(xiàn)手機(jī)平臺(tái)模擬單反大光圈的視頻效果，并在此基礎(chǔ)上疊加手動(dòng)切焦技術(shù)，實(shí)時(shí)實(shí)現(xiàn)順滑的焦點(diǎn)變換，模擬出電影鏡頭般的拍攝效果，從而提高視頻故事感。
(, 下載次數(shù): 17)
其他電影效果算法（雙攝）
https://www.zhihu.com/video/1538889438809128960
(, 下載次數(shù): 20)
曠視電影模式算法（單攝）
https://www.zhihu.com/video/1538889575871459328
突破兩大核心技術(shù)難點(diǎn) 曠視手機(jī)電影走向深處

01 高精度語(yǔ)義分割

實(shí)現(xiàn)手機(jī)電影特效有2個(gè)技術(shù)難點(diǎn)，其中就視頻人像特效而言，主要是高精度語(yǔ)義分割，一張圖像可視作許多像素的集合，語(yǔ)義分割( Semantic Segmentation )就是把圖像中的每一個(gè)像素都分類到語(yǔ)義可解釋的類別中，“語(yǔ)義的可解釋性”指分類標(biāo)簽在真實(shí)世界中是有意義的，例如人物、自行車、地板等。語(yǔ)義分割任務(wù)對(duì)于分類精度以及定位精度都提出了高標(biāo)準(zhǔn)的要求: 準(zhǔn)確定位物體的輪廓邊界并對(duì)輪廓內(nèi)的區(qū)域進(jìn)行精準(zhǔn)分類。如此才能將特定物體從背景中更清晰的分割出來。
正如之前我們科普過視頻光斑特效的技術(shù)實(shí)現(xiàn)方式，如果把語(yǔ)義分割看作是美食原材料，那么輔以各種風(fēng)味的調(diào)味后，即不同的渲染手法，便能實(shí)現(xiàn)與眾不同的各類美味佳肴。
02 精準(zhǔn)的單攝深度估計(jì)

想要模擬出電影大熒幕里的不同焦點(diǎn)切換、跟焦、虛化等效果，手機(jī)解決方案的路徑各有各的不同。在這條探索路上，有人選擇了雙攝，利用兩顆攝像頭解決視差，讓視頻自帶模擬景深，從而實(shí)現(xiàn)平滑變焦和虛化、物體追蹤。不過，曠視則選了更為獨(dú)特的一條路，單攝，即一顆攝像頭便能實(shí)現(xiàn)這些操作。
一顆攝像頭，如何實(shí)現(xiàn)這些復(fù)雜要求？答案則是通過精準(zhǔn)的單攝深度估計(jì)，并實(shí)現(xiàn)自然虛化效果。深度估計(jì)是指通過像素點(diǎn)估算出畫面中物體的遠(yuǎn)近。與雙攝深度估計(jì)不同，單攝深度估計(jì)不需要雙目相機(jī)和極線矯正，在功耗和耗時(shí)毫不遜色的前提下，流程簡(jiǎn)單且成本低，已成為手機(jī)上深度估計(jì)算法的首選。憑借單攝深度估計(jì)配合圖像模糊算法和光斑，普通手機(jī)就可以獲得實(shí)時(shí)并且媲美單反相機(jī)的真實(shí)虛化背景效果。
曠視的單攝虛化算法使用神經(jīng)網(wǎng)絡(luò)模型，可快速準(zhǔn)確地計(jì)算出深度信息，深度過渡平滑、漸變效果真實(shí)，可形成主體更突出、過渡更自然的圖像虛化效果。
隨著技術(shù)的不斷創(chuàng)新，曠視用AI算法為影像表達(dá)創(chuàng)造了更多有趣的方式，手機(jī)雖然不能完全替代相機(jī)，但是卻可以擁有其更獨(dú)特的玩法，給用戶帶來不一樣的創(chuàng)作靈感，讓每個(gè)人都能成為生活的導(dǎo)演，體驗(yàn)手機(jī)帶來的影像樂趣。在不斷拓寬計(jì)算攝影應(yīng)用邊界的道路上，曠視始終在突破創(chuàng)新，創(chuàng)造更多關(guān)于 AI 的浪漫。
延展閱讀


-----------------------------



歡迎光臨 愛鋒貝 (http://7gfy2te7.cn/) Powered by Discuz! X3.4