放眼未來的技術(shù)“盛宴”

2022年度虛幻引擎技術(shù)開放日（Unreal Open Day）于11月17日-18日首次以線上線下同步的形式舉行。游戲開發(fā)、影視制作的從業(yè)者對(duì)虛幻引擎（Unreal Engine）都不陌生，它是由知名游戲公司Epic Games打造的強(qiáng)大游戲開發(fā)平臺(tái)，并在今年上半年發(fā)布了UE5正式版。

隨著平臺(tái)完善和技術(shù)進(jìn)步，虛幻引擎的應(yīng)用場(chǎng)景已經(jīng)不再局限于游戲制作，強(qiáng)大的Nanite與Lumen技術(shù)，不但為傳統(tǒng)游戲制作中實(shí)時(shí)渲染和全局動(dòng)態(tài)光照帶來便利，也讓虛幻引擎拓展應(yīng)用于更多領(lǐng)域。因此，兩天的開放日除了直播間主會(huì)場(chǎng)外，還帶來了媒體娛樂、汽車、建筑及仿真四個(gè)分會(huì)場(chǎng)。

虛幻引擎開放日也是行業(yè)難得的盛會(huì)，持續(xù)兩天的活動(dòng)奉上了二十余場(chǎng)精彩技術(shù)演講，既有Epic Games官方的技術(shù)解讀，也有主流制作公司帶來的精彩案例分享，涵蓋了從UGC、元宇宙、電商購物，到汽車數(shù)字應(yīng)用及當(dāng)下熱門的虛擬影視制作，可謂是一場(chǎng)放眼未來、引領(lǐng)科技發(fā)展的技術(shù)“盛宴”。

揭開虛擬影棚神秘面紗

會(huì)上，索尼（中國）有限公司消費(fèi)電子與專業(yè)系統(tǒng)本部市場(chǎng)總部總監(jiān)茂利憲一、創(chuàng)新解決方案市場(chǎng)部高級(jí)經(jīng)理尹旭暉，以及愚見觀池科技有限公司UE虛擬制片技術(shù)總監(jiān)韓冰在演講中分享了大量技術(shù)干貨，從設(shè)備選擇、影棚搭建、技術(shù)調(diào)試到實(shí)際拍攝案例分享，多維度解讀了黑彩晶虛擬制片影棚和UE5結(jié)合的相關(guān)經(jīng)驗(yàn)，并揭開了索尼和觀池聯(lián)合打造的國內(nèi)首個(gè)黑彩晶虛擬制作影棚的神秘面紗。

虛幻引擎在游戲領(lǐng)域很早就得以廣泛應(yīng)用，因此二十余場(chǎng)演講中過半都著眼于游戲制作開發(fā)，在這樣的情況下，索尼和觀池奉上的黑彩晶虛擬制片影棚和UE5結(jié)合的實(shí)戰(zhàn)案例，成為這屆開放日上唯一一個(gè)針對(duì)虛擬影視制作的分享，應(yīng)該也是虛幻引擎開放日舉辦以來，首次引入虛擬制作分享，有很重要的意義。

秉承“用創(chuàng)意和科技的力量感動(dòng)世界”的企業(yè)宗旨，索尼多年來在視聽領(lǐng)域持續(xù)深耕，得益于深厚的技術(shù)積淀及產(chǎn)品研發(fā)經(jīng)驗(yàn)，索尼成為虛擬影視制作的先行者，并積極在虛擬制作領(lǐng)域布局，聯(lián)合觀池一起打造了國內(nèi)首個(gè)黑彩晶虛擬制作影棚。

影棚位于上海城市中心愚園路靠近江蘇路，索尼提供了虛擬制作中三個(gè)核心產(chǎn)品，分別為拍攝端的索尼CineAltaV 2電影攝影機(jī)、監(jiān)看端的索尼HDR監(jiān)視器，以及顯示端索尼專門為虛擬拍攝開發(fā)的黑彩晶B系列LED屏。這三個(gè)核心產(chǎn)品從研發(fā)、生產(chǎn)到最終的質(zhì)量控制，都著力于不同設(shè)備間的色彩調(diào)校，應(yīng)用于虛擬制作系統(tǒng)中，在現(xiàn)場(chǎng)經(jīng)過簡(jiǎn)單設(shè)置就能完成一整套設(shè)備間的色彩匹配。

LED屏高度5.5米，弧長(zhǎng)15米，總面積達(dá)到83平米，弧度約在135度，水平分辨率達(dá)到9.6K，可以滿足多種拍攝需求，影棚除了搭載先進(jìn)的UE5系統(tǒng)外，還選用了OptiTrack光學(xué)動(dòng)作捕捉跟蹤系統(tǒng)，通過24個(gè)高速攝像頭準(zhǔn)確捕捉跟蹤攝影機(jī)運(yùn)動(dòng)，并同步給UE5，通過低延遲將渲染畫面實(shí)時(shí)顯示在LED屏上。

而且，索尼工程師全程參與影棚的設(shè)計(jì)，并提供了全流程服務(wù)。除了立屏和頂屏，這間影棚還精心設(shè)計(jì)了一塊移動(dòng)LED屏幕，便于攝影師完成雙機(jī)拍攝，降低渲染壓力，補(bǔ)充不同機(jī)位的拍攝效果，而且還可以完成高質(zhì)量的色彩補(bǔ)光、實(shí)時(shí)定位等工作。

聯(lián)合Epic Games發(fā)布技術(shù)白皮書

成功不是一蹴而就。索尼進(jìn)入虛擬制作領(lǐng)域得益于多年的技術(shù)積累和產(chǎn)品研發(fā)經(jīng)驗(yàn)；虛幻引擎在這個(gè)領(lǐng)域的成功運(yùn)用，同樣經(jīng)過了大量測(cè)試和實(shí)踐應(yīng)用，Epic Games的合作測(cè)試伙伴則首選了索尼。

演講中尹旭暉公開了這個(gè)重要信息，索尼和Epic Games針對(duì)虛擬應(yīng)用進(jìn)行了聯(lián)合測(cè)試，并發(fā)布技術(shù)白皮書。測(cè)試中涵蓋了決定虛擬制作品質(zhì)的三個(gè)關(guān)鍵點(diǎn)，索尼設(shè)備都有很好表現(xiàn)。

首先是拍攝LED屏幕時(shí)，極易給攝影師帶來困擾的摩爾紋。摩爾紋是物理現(xiàn)象，理論上只能盡量減弱，無法完全消除，由于黑彩晶1.58mm小間距和Micro LED芯片的優(yōu)異表現(xiàn)，在索尼CineAltaV電影攝影機(jī)的配合下，測(cè)試中在較窄范圍內(nèi)摩爾紋才會(huì)出現(xiàn)，因此攝影師可以把焦點(diǎn)更加貼近LED屏幕拍攝，拓展了拍攝創(chuàng)作的空間。

其次是暗部畫面表現(xiàn)。暗部畫面非�？简�(yàn)LED屏的實(shí)力水準(zhǔn)，測(cè)試中對(duì)比來看，2.8mm LED的部分暗部細(xì)節(jié)會(huì)丟失，1.5mm LED光照很低的部分則會(huì)顏色失真，而黑彩晶LED屏在整個(gè)暗場(chǎng)畫面中都忠實(shí)表現(xiàn)出了原始素材的細(xì)節(jié)和質(zhì)感。

第三點(diǎn)是可視角度。拍攝過程中攝影機(jī)不可能一直正對(duì)著LED屏幕進(jìn)行拍攝，會(huì)根據(jù)場(chǎng)景需要調(diào)整機(jī)位和攝影機(jī)與LED屏的角度。側(cè)拍時(shí)LED屏幕產(chǎn)生的偏色會(huì)對(duì)拍攝工作帶來影響，讓畫面失真，因此虛擬拍攝對(duì)LED屏幕的側(cè)視角性能有很高要求。

為了應(yīng)對(duì)這一點(diǎn)，索尼在研發(fā)上下了功夫，索尼開發(fā)了寬配光技術(shù)，并使用自身研發(fā)的表面涂層技術(shù)，使得LED在側(cè)視角時(shí)都有出色和一致的色彩表現(xiàn)。這項(xiàng)性能也體現(xiàn)在Epic Games的測(cè)試中，大角度拍攝時(shí)也不容易發(fā)生色彩偏移，可視角的水平垂直達(dá)到170度，為虛擬拍攝提供很大便利。

目前虛擬拍攝還處在起步階段，硬件良莠不齊、軟件亟待成熟，在這樣的現(xiàn)狀下，索尼和Epic Games完成這次測(cè)試，其意義已超越了測(cè)試本身，發(fā)布的技術(shù)白皮書有望成為行業(yè)標(biāo)桿。

案例分享全是干貨

愚見觀池科技有限公司，是目前中國頭部的商業(yè)視頻制作公司之一，涵蓋了包括視頻內(nèi)容制作及數(shù)字體驗(yàn)多個(gè)領(lǐng)域，服務(wù)過眾多國際品牌。黑彩晶虛擬制作影棚試運(yùn)營階段，就在索尼和UE虛擬制片團(tuán)隊(duì)的協(xié)助下，共同進(jìn)行了虛擬場(chǎng)景搭建優(yōu)化以及測(cè)試，并隨之完成了TVC的正式拍攝。

觀池UE虛擬制片技術(shù)總監(jiān)韓冰介紹了項(xiàng)目背景，并分享了制作經(jīng)驗(yàn)。演講過程中播放了某品牌礦泉水的廣告成片，畫面呈現(xiàn)出了不輸于電影級(jí)別的質(zhì)感，以及明媚日光、窗外就是沙灘的優(yōu)美風(fēng)景，得益于索尼黑彩晶LED屏的出色表現(xiàn)，讓人感覺不到是在虛擬影棚中拍攝。

這個(gè)精彩案例有力證明了虛擬制作能為廣告拍攝賦能。韓冰介紹說，商業(yè)TVC往往時(shí)間緊迫，通常，導(dǎo)演團(tuán)隊(duì)及美術(shù)部門完成風(fēng)格定調(diào)后，第一時(shí)間開始了預(yù)演的制作以及場(chǎng)景內(nèi)容制作，同時(shí)在相應(yīng)場(chǎng)景布局完成后確定了鏡頭以及場(chǎng)景道具的具體布置。

準(zhǔn)備就緒后，2周后就可以試拍，得益于虛擬拍攝的高效和靈活性，拍攝團(tuán)隊(duì)在次日僅用一天的時(shí)間，即可以完成約40個(gè)鏡頭的拍攝。由此可見，虛擬拍攝不但可以減輕外聯(lián)選景、道具部門置景的成本和壓力，同時(shí)將后期工作前置，有效縮短拍攝流程，未來在影視制作領(lǐng)域也大有作為。

同時(shí)韓冰也分享了兩點(diǎn)很有價(jià)值的制作經(jīng)驗(yàn)。

首先是拍攝前要做好充足的準(zhǔn)備和各部門的充分溝通，應(yīng)該讓制片團(tuán)隊(duì)盡早了解導(dǎo)演的想法以及預(yù)期，甚至參與部分創(chuàng)意內(nèi)容。盡早完成預(yù)演及技術(shù)驗(yàn)證，將內(nèi)容和技術(shù)風(fēng)險(xiǎn)解決在預(yù)打燈前，而充分溝通和交流則可以讓任何調(diào)整及問題，在第一時(shí)間得到相應(yīng)解決。

其次是拍攝過程中的色彩一致性。虛擬拍攝的色彩一致性往往會(huì)給拍攝團(tuán)隊(duì)帶來困擾，從拍攝端到顯示端，往往制作過程中的每一個(gè)環(huán)節(jié)色彩顯示都不相同，甚至?xí)�大相徑庭。這個(gè)問題不僅來自于不同顯示設(shè)備廠商色彩空間的一致性上的差異，還包括無法解決的物理燈珠或液晶發(fā)色的問題。

觀池在拍攝部分沒有采用BT.2020色域，而是使用了索尼CineAltaV 2電影攝影機(jī)支持的更寬的色彩空間S.Gamut3，亮度曲線使用了索尼常用的slog3。監(jiān)視器部分則與攝影機(jī)的輸出保持一致，得益于索尼CineAltaV2電影攝影機(jī)、HDR監(jiān)視器和索尼黑彩晶LED屏具備統(tǒng)一的色彩科學(xué)，這次拍攝色彩表現(xiàn)實(shí)現(xiàn)了一致性。

韓冰還介紹，業(yè)界也有可以解決色彩一致性的方案，但使用該方案要支付高達(dá)百萬美金的費(fèi)用，以及差不多2個(gè)月的校色時(shí)間，且僅能對(duì)應(yīng)一系列設(shè)備，目前很難投入到實(shí)際應(yīng)用。由此可見，搭載索尼核心設(shè)備的虛擬影棚，不但讓虛擬拍攝更高效，還能有效節(jié)約制作和調(diào)試費(fèi)用。

除了聯(lián)合觀池在國內(nèi)打造了首個(gè)黑彩晶虛擬制作影棚外，索尼秉承“讓科技賦能創(chuàng)作者”的使命和愿景，已經(jīng)在全球范圍內(nèi)開啟了虛擬制作影棚布局。目前日本東京的PCL清澄白河BASE黑彩晶虛擬制作影棚和美國SIS索尼創(chuàng)新工作室的虛擬制作影棚都已投入使用，并為廣告、舞臺(tái)表演、現(xiàn)場(chǎng)音樂等內(nèi)容提供服務(wù)，還完成拍攝了電影短片《凱利安的游戲》。

而在此次開放日的分享中，茂利憲一也表示索尼會(huì)將創(chuàng)作者的需求不斷反饋到產(chǎn)品開發(fā)設(shè)計(jì)部門，力求打造出更出色、能夠滿足創(chuàng)作者需求的黑彩晶虛擬制作系統(tǒng)，并希望索尼和觀池打造的黑彩晶虛擬制作影棚，能作為新時(shí)代攝影棚的標(biāo)桿，助力創(chuàng)作者，為國內(nèi)虛擬制作領(lǐng)域賦能、為行業(yè)做出更大貢獻(xiàn)。