聊聊曠廠黑科技 | 如何拍攝一部手機(jī)電影

爬爬科技說(shuō)

大多數(shù)時(shí)候，曠視研究員給人的印象，總是散發(fā)著理科生的氣質(zhì)，有理想，但理性、追求極致，且果敢務(wù)實(shí)等等，這一次，研究員要給大家展示他們的另一面——懂浪漫。
最近，曠視上映了一部手機(jī)電影——《在一起的 1024 天》，特邀您來(lái)一同觀看。故事里的主人公，是一位被女朋友日常吐槽“不懂浪漫”的理科生，他通過(guò)手機(jī)記錄了與女朋友在一起 1024 天的點(diǎn)滴片段，將這些回憶連成一條線，串出屬于一段專(zhuān)屬于他們的浪漫故事。
影片中出現(xiàn)的焦點(diǎn)切換、雙重曝光、定制化光斑、人像虛化等通常在電影屏幕中才能體會(huì)到效果正是由曠視視頻特效算法提供，本期曠廠黑科技，讓我們一起走進(jìn)曠視手機(jī)電影背后的技術(shù)。
集合五大算法 曠視手機(jī)電影玩出新花樣

當(dāng) vlog、手機(jī)電影成為了人們時(shí)下表達(dá)情緒，記錄生活的重要方式，那么一臺(tái)怎樣的設(shè)備，能幫助你更好的完成影像表達(dá)呢？大多數(shù)人可能選擇手機(jī)，一臺(tái)擁有高質(zhì)量影像能力的手機(jī)，成為了人們更便捷的影像設(shè)備。隨著計(jì)算攝影的不斷發(fā)展，手機(jī)正在突破硬件局限，帶來(lái)更接近攝相機(jī)的拍攝效果，模擬出只有專(zhuān)業(yè)設(shè)備才能拍出的視頻特效。
在 2022 曠視技術(shù)開(kāi)放日現(xiàn)場(chǎng)展示的手機(jī)電影Demo，集合了視頻人像虛化、視頻光斑特效、視頻人像留色和視頻雙重曝光四種視頻特效以及最新研發(fā)的電影模式算法。其中前四種視頻特效通過(guò)視頻人像分割算法、深度信息以及豐富而有趣的圖像處理算法，可以滿足不同場(chǎng)景和人物的拍攝需求，豐富拍攝體驗(yàn)。

• 曠視人像虛化算法：保證對(duì)焦人物清晰，背景層次虛化，實(shí)現(xiàn)你的美最清晰。
  

登錄/注冊(cè)后可看大圖

原片
https://www.zhihu.com/video/1538888842346369024

登錄/注冊(cè)后可看大圖

曠視人像虛化算法
https://www.zhihu.com/video/1538889020398858240

• 曠視光斑特效算法：在保證對(duì)焦人物清晰的前提下，使得背景層次虛化并有豐富光斑，實(shí)現(xiàn)畫(huà)面中你最閃耀。
  

登錄/注冊(cè)后可看大圖

原片
https://www.zhihu.com/video/1538889111678582785

登錄/注冊(cè)后可看大圖

曠視光斑特效算法
https://www.zhihu.com/video/1538889201587679232

• 曠視人像留色算法：通過(guò)提亮對(duì)焦人物色彩，背景黑白處理，實(shí)現(xiàn)畫(huà)面中只留存你的美麗色彩。
  

登錄/注冊(cè)后可看大圖

曠視人像留色算法
https://www.zhihu.com/video/1538889279706681346

• 曠視雙重曝光算法：將對(duì)焦人物和虛化背景的完美結(jié)合，炫酷值Max。
  

登錄/注冊(cè)后可看大圖

曠視雙重曝光算法
https://www.zhihu.com/video/1538889341622956032
電影模式算法則利用單攝深度信息、對(duì)焦主體檢測(cè)和多目標(biāo)跟蹤算法、圖像虛化算法，實(shí)現(xiàn)手機(jī)平臺(tái)模擬單反大光圈的視頻效果，并在此基礎(chǔ)上疊加手動(dòng)切焦技術(shù)，實(shí)時(shí)實(shí)現(xiàn)順滑的焦點(diǎn)變換，模擬出電影鏡頭般的拍攝效果，從而提高視頻故事感。

• 曠視電影模式算法：自動(dòng)檢測(cè)識(shí)別入鏡主體，并基于單攝，搭配虛化背景和實(shí)時(shí)順滑的焦點(diǎn)變換，模擬電影鏡頭語(yǔ)言拍攝效果。
  

登錄/注冊(cè)后可看大圖

其他電影效果算法（雙攝）
https://www.zhihu.com/video/1538889438809128960

登錄/注冊(cè)后可看大圖

曠視電影模式算法（單攝）
https://www.zhihu.com/video/1538889575871459328
突破兩大核心技術(shù)難點(diǎn) 曠視手機(jī)電影走向深處

01 高精度語(yǔ)義分割

實(shí)現(xiàn)手機(jī)電影特效有2個(gè)技術(shù)難點(diǎn)，其中就視頻人像特效而言，主要是高精度語(yǔ)義分割，一張圖像可視作許多像素的集合，語(yǔ)義分割( Semantic Segmentation )就是把圖像中的每一個(gè)像素都分類(lèi)到語(yǔ)義可解釋的類(lèi)別中，“語(yǔ)義的可解釋性”指分類(lèi)標(biāo)簽在真實(shí)世界中是有意義的，例如人物、自行車(chē)、地板等。語(yǔ)義分割任務(wù)對(duì)于分類(lèi)精度以及定位精度都提出了高標(biāo)準(zhǔn)的要求: 準(zhǔn)確定位物體的輪廓邊界并對(duì)輪廓內(nèi)的區(qū)域進(jìn)行精準(zhǔn)分類(lèi)。如此才能將特定物體從背景中更清晰的分割出來(lái)。
正如之前我們科普過(guò)視頻光斑特效的技術(shù)實(shí)現(xiàn)方式，如果把語(yǔ)義分割看作是美食原材料，那么輔以各種風(fēng)味的調(diào)味后，即不同的渲染手法，便能實(shí)現(xiàn)與眾不同的各類(lèi)美味佳肴。
02 精準(zhǔn)的單攝深度估計(jì)

想要模擬出電影大熒幕里的不同焦點(diǎn)切換、跟焦、虛化等效果，手機(jī)解決方案的路徑各有各的不同。在這條探索路上，有人選擇了雙攝，利用兩顆攝像頭解決視差，讓視頻自帶模擬景深，從而實(shí)現(xiàn)平滑變焦和虛化、物體追蹤。不過(guò)，曠視則選了更為獨(dú)特的一條路，單攝，即一顆攝像頭便能實(shí)現(xiàn)這些操作。
一顆攝像頭，如何實(shí)現(xiàn)這些復(fù)雜要求？答案則是通過(guò)精準(zhǔn)的單攝深度估計(jì)，并實(shí)現(xiàn)自然虛化效果。深度估計(jì)是指通過(guò)像素點(diǎn)估算出畫(huà)面中物體的遠(yuǎn)近。與雙攝深度估計(jì)不同，單攝深度估計(jì)不需要雙目相機(jī)和極線矯正，在功耗和耗時(shí)毫不遜色的前提下，流程簡(jiǎn)單且成本低，已成為手機(jī)上深度估計(jì)算法的首選。憑借單攝深度估計(jì)配合圖像模糊算法和光斑，普通手機(jī)就可以獲得實(shí)時(shí)并且媲美單反相機(jī)的真實(shí)虛化背景效果。
曠視的單攝虛化算法使用神經(jīng)網(wǎng)絡(luò)模型，可快速準(zhǔn)確地計(jì)算出深度信息，深度過(guò)渡平滑、漸變效果真實(shí)，可形成主體更突出、過(guò)渡更自然的圖像虛化效果。
隨著技術(shù)的不斷創(chuàng)新，曠視用AI算法為影像表達(dá)創(chuàng)造了更多有趣的方式，手機(jī)雖然不能完全替代相機(jī)，但是卻可以擁有其更獨(dú)特的玩法，給用戶(hù)帶來(lái)不一樣的創(chuàng)作靈感，讓每個(gè)人都能成為生活的導(dǎo)演，體驗(yàn)手機(jī)帶來(lái)的影像樂(lè)趣。在不斷拓寬計(jì)算攝影應(yīng)用邊界的道路上，曠視始終在突破創(chuàng)新，創(chuàng)造更多關(guān)于 AI 的浪漫。
延展閱讀


-----------------------------