“電影、電視劇本質(zhì)上都是聲畫藝術(shù)，影視藝術(shù)的特性決定了，主創(chuàng)要努力通過(guò)聲畫手段將觀眾帶入故事的規(guī)定性情境中，進(jìn)而讓觀眾沉浸其中、走入人物內(nèi)心，產(chǎn)生共鳴共情。”愛(ài)奇藝自制劇《理想之城》導(dǎo)演劉進(jìn)9月在接受《光明日?qǐng)?bào)》采訪時(shí)，談到了作為創(chuàng)作者，如何理解聲音與畫面在創(chuàng)作中的重要性。
如果在幾個(gè)月前讀到這句話，小林覺(jué)得自己可能會(huì)有種“知其然，但不知其所以然”的感覺(jué)。但在經(jīng)歷了一段時(shí)間“集訓(xùn)”后，作為理科生的他覺(jué)得自己對(duì)美的認(rèn)知開始“開竅了”。
作為愛(ài)奇藝的一名算法工程師，小林所在的算組團(tuán)隊(duì)從去年起開始支持幀綺映畫——融合4K+HDR+高幀率+全景聲的影院級(jí)音畫標(biāo)準(zhǔn)。適配幀綺映畫標(biāo)準(zhǔn)的內(nèi)容率先在TV端上線，直到2021年暑假，手機(jī)端也已經(jīng)全面覆蓋。
誰(shuí)曾想，隨著適配的內(nèi)容越來(lái)越多，小林的煩惱也來(lái)了。
“幀綺映畫上線以來(lái)用戶端的好評(píng)率一直穩(wěn)定在95%左右。但同時(shí)也有一些不同的看法反饋回來(lái)。例如有創(chuàng)作者就曾提出幀綺映畫的效果并沒(méi)有為某些情節(jié)的表現(xiàn)加分。”小林回憶道。
“是不是生產(chǎn)幀綺映畫的算法出了問(wèn)題？”他的第一反應(yīng)是先從自身找問(wèn)題。
“為了看懂藝術(shù)表現(xiàn)，工程師們準(zhǔn)備了一個(gè)錯(cuò)題本”
事實(shí)上，從去年七月幀綺映畫上線TV端到今年完善在移動(dòng)端的部署，小林所在的團(tuán)隊(duì)就迅速與其他團(tuán)隊(duì)協(xié)同，搭建起了一套工作流程：制片管理中心從制片方收取原始片源，這些片子可以理解為“生產(chǎn)資料”；通過(guò)綜合生產(chǎn)評(píng)估后，小林所在的算組團(tuán)隊(duì)則安排算法支持，隨后效果質(zhì)檢后在平臺(tái)各端上線。后續(xù)還會(huì)通過(guò)輿情收集，定期與算法和內(nèi)容團(tuán)隊(duì)討論優(yōu)化方向。
那些不同的看法正是制片管理中心從片方獲得的。原來(lái)，某國(guó)產(chǎn)現(xiàn)代劇的片方提出幀綺映畫版本整體色調(diào)感覺(jué)被改變了，“總之和我們?cè)诒O(jiān)視器里看到的效果不一樣。”
這條“總結(jié)式”反饋?zhàn)屗惴▓F(tuán)隊(duì)忙慘了。算法是決定幀綺映畫模式效果呈現(xiàn)的關(guān)鍵環(huán)節(jié)之一，因此質(zhì)檢同學(xué)迅速反應(yīng)，把算法來(lái)回檢查好幾遍。但的確沒(méi)發(fā)現(xiàn)有什么大問(wèn)題。
小林在困惑的同時(shí)，也在思考片方反饋中反復(fù)提到問(wèn)題——“色調(diào)“。而接下來(lái)的一件事則更勾起了小林對(duì)“畫面色調(diào)“的關(guān)注。
作為一部反映建筑工程行業(yè)的職場(chǎng)劇，愛(ài)奇藝自制劇《理想之城》上線后受到了不少爭(zhēng)議。劇中主角是長(zhǎng)期公司工地兩頭跑、熬夜做數(shù)據(jù)的造價(jià)師。在展現(xiàn)主角實(shí)現(xiàn)理想的前期，導(dǎo)演摒棄了流行的濾鏡、刻意調(diào)亮光源來(lái)還原現(xiàn)實(shí)中的人物 “疲憊、無(wú)奈、痛苦”等氛圍感，但卻被用戶吐槽”造型太土”“打光太暗”。
這是小林第一次直接感受到畫面色調(diào)對(duì)影視表達(dá)的重要性。其實(shí)在影視制作中，這一步是由專業(yè)的調(diào)色師來(lái)完成的，畢竟他們?cè)跀?shù)萬(wàn)部作品中積累了對(duì)“個(gè)性化藝術(shù)表現(xiàn)“的豐富經(jīng)驗(yàn)。“可面對(duì)藝術(shù)表達(dá)的多元性，算法的經(jīng)驗(yàn)值則更聚焦增加對(duì)比度、去除噪點(diǎn)等圖像處理方面問(wèn)題。如果讓習(xí)慣了標(biāo)準(zhǔn)化的算法去理解像《理想之城》所運(yùn)用的特殊色調(diào)表現(xiàn)，也許可能會(huì)自動(dòng)識(shí)別為‘此處需調(diào)亮’。“但這就會(huì)破壞導(dǎo)演希望通過(guò)藝術(shù)手法傳遞情緒的意圖。
那么導(dǎo)演在監(jiān)視器看到的畫面色調(diào)到底是怎樣的？現(xiàn)有算法對(duì)色調(diào)理解的調(diào)優(yōu)方向如何？對(duì)此，算法團(tuán)隊(duì)和制片管理中心、內(nèi)容生產(chǎn)運(yùn)營(yíng)團(tuán)隊(duì)坐在一起探討解決方案。
“討論如何解決問(wèn)題的過(guò)程中，矛盾、沖突肯定是有。”小林回憶說(shuō)，最終，大家還是聊出了一個(gè)共識(shí)：無(wú)論如何，要最大程度還原片方監(jiān)視器中呈現(xiàn)的效果。畢竟影視作品的第一創(chuàng)作責(zé)任人是導(dǎo)演，他追求的效果就應(yīng)該原滋原味呈現(xiàn)給觀眾。
在一次討論中，內(nèi)容生產(chǎn)的同學(xué)顏顏的一番話讓他印象很深。“大家在描述美是什么的時(shí)候，每個(gè)人都會(huì)根據(jù)主觀意識(shí)來(lái)定義。但是如果說(shuō)讓他們描述缺陷或者很明顯哪塊是不對(duì)的，各個(gè)調(diào)色老師可能是有一部分的共同認(rèn)知的。”
于是長(zhǎng)期浸泡在代碼世界的小林以及所在的算組團(tuán)隊(duì)和顏顏很快開啟了“惡補(bǔ)模式”。像學(xué)生時(shí)期一樣，他們準(zhǔn)備了一個(gè)“錯(cuò)題本”，不僅持續(xù)更新學(xué)習(xí)到的影視制作專用詞，更與其他幾位算法部的同學(xué)還拜入“三里屯調(diào)色派”（愛(ài)奇藝制片管理中心的辦公地）門下。
調(diào)色師從典型場(chǎng)景開始，手把手開始跟算法的同學(xué)講解為什么要這樣調(diào)。“一開始根本聽不懂后期調(diào)色經(jīng)常使用的術(shù)語(yǔ)。”小林說(shuō)。但是眼前的效果他服了。相比算法更關(guān)注畫面細(xì)節(jié)，調(diào)色更重要的價(jià)值是釋放畫面的整體表現(xiàn)力。“有一次去看調(diào)色老師調(diào)圖的時(shí)候，他把調(diào)色的過(guò)程分成很多步。”小林說(shuō)，“從畫面的呈現(xiàn)來(lái)看，在倒數(shù)第二步的時(shí)候，我感覺(jué)畫面顏色、細(xì)節(jié)的表現(xiàn)都已經(jīng)很好了，但老師‘還沒(méi)收手’，他又把一些背景區(qū)域的光線調(diào)得更暗了一些，結(jié)果畫面的主體感一下就變得更明顯了。”那一刻， 小林第一次有種“藝術(shù)細(xì)胞”被激活的感覺(jué)。
《世界微塵里》藍(lán)光1080P模式
《世界微塵里》幀綺映畫模式
算組的小伙伴們拿出學(xué)高數(shù)的勁頭投入調(diào)色學(xué)習(xí)中。除了“拜師學(xué)藝”外，小林也打心里感謝制片管理中心和內(nèi)容生產(chǎn)的同學(xué)。“他們還會(huì)定期嘗試與創(chuàng)作者、調(diào)色師做‘藝術(shù)交流’，將問(wèn)題匯總并貼上標(biāo)簽反饋給我們，以幫助我們更有針對(duì)性地優(yōu)化算法。”他說(shuō)。
功夫不負(fù)有心人。 幾個(gè)月后，小林和其他算組同學(xué)就已經(jīng)可以跟調(diào)色師無(wú)障礙溝通了，一些問(wèn)題就在微信上交流下，便能理解“師傅”的修改建議。
“算法迭代的同時(shí)，也少不了提升片源質(zhì)量”
“他們還在樣片庫(kù)中找到很多運(yùn)用了特別調(diào)色方式的內(nèi)容，以便更好地理解像《理想之城》這類作品特別調(diào)色的創(chuàng)作意圖，不斷幫我們輸出‘知識(shí)點(diǎn)’，豐富我們的‘錯(cuò)題本’。“小林想起這件事，仍然心存感激。
也正是經(jīng)過(guò)一段時(shí)間的學(xué)習(xí)，小林所在的團(tuán)隊(duì)對(duì)算法能力進(jìn)行了一定的優(yōu)化，在一些創(chuàng)作者的“好評(píng)”中再次獲得了成就感。同時(shí)，他們也不得不面對(duì)一個(gè)問(wèn)題——在對(duì)特別藝術(shù)表達(dá)的“理解”上，算法更多還是助攻，更有效的解法還要從根源處突破。
就拿色調(diào)來(lái)說(shuō)。在影視內(nèi)容后期制作中，經(jīng)常被用來(lái)把握色調(diào)準(zhǔn)確性的內(nèi)容輸出格式便是SDR、HDR。相對(duì)于4K在畫面清晰維度的貢獻(xiàn)，HDR的能力則更多元。相比傳統(tǒng)SDR的表現(xiàn)力，HDR在畫面豐富色彩的準(zhǔn)確呈現(xiàn)、畫面細(xì)節(jié)的增強(qiáng)、光影層次感的表現(xiàn)等方面的優(yōu)勢(shì)則更突出。
但實(shí)際操作中，以SDR格式交付的內(nèi)容仍占主流。
制片管理中心的東風(fēng)表示：“國(guó)內(nèi)整體影視工業(yè)在交付的流程和標(biāo)準(zhǔn)化比較落后，HDR版本內(nèi)容的制作流程仍然較為復(fù)雜，拍攝處理、后期剪輯的工作量非常大。”
同時(shí)劇組前期拍攝與最后的調(diào)色之間由于存在可能的時(shí)空斷層。調(diào)色師更多情況需要憑借經(jīng)驗(yàn)完成任務(wù)，難免會(huì)在藝術(shù)表現(xiàn)的理解上存在偏差。再加上趕審片和播出排期，的確是時(shí)間緊，任務(wù)重。“因此片方往往只能退而求其次先遞交SDR版本片源，可SDR片源無(wú)論對(duì)于算法調(diào)優(yōu)還是內(nèi)容生產(chǎn)都會(huì)造成一定阻礙。”
更糟糕的是，影像的動(dòng)態(tài)范圍是呈漏斗狀逐漸降低的。雖然攝像機(jī)能拍攝到擁有非常寬廣動(dòng)態(tài)范圍的影像，但通過(guò)后期制作、母版制作、壓縮等環(huán)節(jié)，影像傳輸?shù)诫娨暀C(jī)、手機(jī)中時(shí)，動(dòng)態(tài)范圍已經(jīng)減小很多了。可想而知，SDR版本的內(nèi)容真正呈現(xiàn)在用戶面前，又會(huì)丟失多少藝術(shù)創(chuàng)作的心意。
“其實(shí)對(duì)幾條片方反饋問(wèn)題的排查后，我們發(fā)現(xiàn)，最核心的問(wèn)題還是片源。”這是幾輪內(nèi)部溝通會(huì)后大家達(dá)成的一致想法。如果作為生產(chǎn)資料的片源所承載的表現(xiàn)力只有60分，那么算法也只能把分?jǐn)?shù)提到70-80，落地到播出終端后，“依然沒(méi)辦法為用戶呈現(xiàn)監(jiān)視器前看到的效果”，小林解釋道。
片源質(zhì)量提升是需要長(zhǎng)期解決的問(wèn)題。對(duì)此，制片中心已明確提出逐步向片方升級(jí)收片標(biāo)準(zhǔn)，包括涉及到更多視聽技術(shù)細(xì)節(jié)的規(guī)范。但這不止是愛(ài)奇藝需要面對(duì)的問(wèn)題，也是影視工業(yè)生態(tài)均需要解決的問(wèn)題，需要流媒體平臺(tái)、制片方、劇組等整個(gè)影視生態(tài)通過(guò)工業(yè)化提升片源質(zhì)量。如今，愛(ài)奇藝也正在通過(guò)包括《4K制作白皮書》、IMF格式封裝、系列優(yōu)化算法、幀綺映畫認(rèn)證標(biāo)準(zhǔn)、“飛躍計(jì)劃”在內(nèi)的“5個(gè)1工程”，打通從攝制端到播出端技術(shù)鏈條，建立統(tǒng)一的供應(yīng)鏈管理，為超高清畫質(zhì)建立基礎(chǔ)。
目前，幀綺映畫已摸索出一套切實(shí)可靠的生產(chǎn)流程，即及時(shí)對(duì)各端反饋進(jìn)行收集，定期分析整理給予技術(shù)算法團(tuán)隊(duì)優(yōu)化方向。當(dāng)遇到報(bào)障時(shí)則是另外一套流程，從片源、算法到播放設(shè)備進(jìn)行逐一排查，定位核心問(wèn)題后再探討解決方案，并做最后的上線評(píng)估。
“我們無(wú)論是去做幀綺映畫還是推動(dòng)影視工業(yè)化，都源自我們的使命感，更是源自我們對(duì)藝術(shù)家的尊重。我們希望通過(guò)技術(shù)創(chuàng)新以及聯(lián)動(dòng)行業(yè)的共同努力，為藝術(shù)家更豐富的靈感汲取、更高效的創(chuàng)作提供充分服務(wù)尊重。”來(lái)自制片管理中心的一番話，一直讓小林覺(jué)得很有力量。
正如巴別塔不好建，這座連接用戶和內(nèi)容創(chuàng)作者的橋也并不好搭。雖然經(jīng)過(guò)反復(fù)溝通、學(xué)習(xí)、摸索下來(lái)片源之問(wèn)題仍然存在，但幀綺映畫團(tuán)隊(duì)仍樂(lè)此不疲的奔走在“幫助技術(shù)更好地理解藝術(shù)表達(dá)”需這條路上。面對(duì)愛(ài)奇藝海量的節(jié)目數(shù)量，算法穩(wěn)定性所受考驗(yàn)可想而知，但每一個(gè)整改建議都有可能是更幫助算法更進(jìn)一步的臺(tái)階。目前，小林和他所在的算組團(tuán)隊(duì)依舊會(huì)對(duì)收集到的用戶或創(chuàng)作者反饋?zhàn)黾皶r(shí)總結(jié)，為“如何讓算法更懂色調(diào)“加速探索著更優(yōu)的迭代方向。“遇到一個(gè)問(wèn)題就解決好一個(gè)問(wèn)題，追求極致的過(guò)程雖然很難，但我們沒(méi)想過(guò)放棄。”小林這樣說(shuō)。
（小林、東風(fēng)、顏顏均為化名）
