“電影、電視劇本質(zhì)上都是聲畫藝術(shù)，影視藝術(shù)的特性決定了，主創(chuàng)要努力通過聲畫手段將觀眾帶入故事的規(guī)定性情境中，進而讓觀眾沉浸其中、走入人物內(nèi)心，產(chǎn)生共鳴共情。”愛奇藝自制劇《理想之城》導(dǎo)演劉進9月在接受《光明日報》采訪時，談到了作為創(chuàng)作者，如何理解聲音與畫面在創(chuàng)作中的重要性。
如果在幾個月前讀到這句話，小林覺得自己可能會有種“知其然，但不知其所以然”的感覺。但在經(jīng)歷了一段時間“集訓(xùn)”后，作為理科生的他覺得自己對美的認知開始“開竅了”。
作為愛奇藝的一名算法工程師，小林所在的算組團隊從去年起開始支持幀綺映畫——融合4K+HDR+高幀率+全景聲的影院級音畫標準。適配幀綺映畫標準的內(nèi)容率先在TV端上線，直到2021年暑假，手機端也已經(jīng)全面覆蓋。
誰曾想，隨著適配的內(nèi)容越來越多，小林的煩惱也來了。
“幀綺映畫上線以來用戶端的好評率一直穩(wěn)定在95%左右。但同時也有一些不同的看法反饋回來。例如有創(chuàng)作者就曾提出幀綺映畫的效果并沒有為某些情節(jié)的表現(xiàn)加分。”小林回憶道。
“是不是生產(chǎn)幀綺映畫的算法出了問題？”他的第一反應(yīng)是先從自身找問題。
“為了看懂藝術(shù)表現(xiàn)，工程師們準備了一個錯題本”
事實上，從去年七月幀綺映畫上線TV端到今年完善在移動端的部署，小林所在的團隊就迅速與其他團隊協(xié)同，搭建起了一套工作流程：制片管理中心從制片方收取原始片源，這些片子可以理解為“生產(chǎn)資料”；通過綜合生產(chǎn)評估后，小林所在的算組團隊則安排算法支持，隨后效果質(zhì)檢后在平臺各端上線。后續(xù)還會通過輿情收集，定期與算法和內(nèi)容團隊討論優(yōu)化方向。
那些不同的看法正是制片管理中心從片方獲得的。原來，某國產(chǎn)現(xiàn)代劇的片方提出幀綺映畫版本整體色調(diào)感覺被改變了，“總之和我們在監(jiān)視器里看到的效果不一樣。”
這條“總結(jié)式”反饋讓算法團隊忙慘了。算法是決定幀綺映畫模式效果呈現(xiàn)的關(guān)鍵環(huán)節(jié)之一，因此質(zhì)檢同學(xué)迅速反應(yīng)，把算法來回檢查好幾遍。但的確沒發(fā)現(xiàn)有什么大問題。
小林在困惑的同時，也在思考片方反饋中反復(fù)提到問題——“色調(diào)“。而接下來的一件事則更勾起了小林對“畫面色調(diào)“的關(guān)注。
作為一部反映建筑工程行業(yè)的職場劇，愛奇藝自制劇《理想之城》上線后受到了不少爭議。劇中主角是長期公司工地兩頭跑、熬夜做數(shù)據(jù)的造價師。在展現(xiàn)主角實現(xiàn)理想的前期，導(dǎo)演摒棄了流行的濾鏡、刻意調(diào)亮光源來還原現(xiàn)實中的人物 “疲憊、無奈、痛苦”等氛圍感，但卻被用戶吐槽”造型太土”“打光太暗”。
這是小林第一次直接感受到畫面色調(diào)對影視表達的重要性。其實在影視制作中，這一步是由專業(yè)的調(diào)色師來完成的，畢竟他們在數(shù)萬部作品中積累了對“個性化藝術(shù)表現(xiàn)“的豐富經(jīng)驗。“可面對藝術(shù)表達的多元性，算法的經(jīng)驗值則更聚焦增加對比度、去除噪點等圖像處理方面問題。如果讓習(xí)慣了標準化的算法去理解像《理想之城》所運用的特殊色調(diào)表現(xiàn)，也許可能會自動識別為‘此處需調(diào)亮’。“但這就會破壞導(dǎo)演希望通過藝術(shù)手法傳遞情緒的意圖。
那么導(dǎo)演在監(jiān)視器看到的畫面色調(diào)到底是怎樣的？現(xiàn)有算法對色調(diào)理解的調(diào)優(yōu)方向如何？對此，算法團隊和制片管理中心、內(nèi)容生產(chǎn)運營團隊坐在一起探討解決方案。
“討論如何解決問題的過程中，矛盾、沖突肯定是有。”小林回憶說，最終，大家還是聊出了一個共識：無論如何，要最大程度還原片方監(jiān)視器中呈現(xiàn)的效果。畢竟影視作品的第一創(chuàng)作責(zé)任人是導(dǎo)演，他追求的效果就應(yīng)該原滋原味呈現(xiàn)給觀眾。
在一次討論中，內(nèi)容生產(chǎn)的同學(xué)顏顏的一番話讓他印象很深。“大家在描述美是什么的時候，每個人都會根據(jù)主觀意識來定義。但是如果說讓他們描述缺陷或者很明顯哪塊是不對的，各個調(diào)色老師可能是有一部分的共同認知的。”
于是長期浸泡在代碼世界的小林以及所在的算組團隊和顏顏很快開啟了“惡補模式”。像學(xué)生時期一樣，他們準備了一個“錯題本”，不僅持續(xù)更新學(xué)習(xí)到的影視制作專用詞，更與其他幾位算法部的同學(xué)還拜入“三里屯調(diào)色派”（愛奇藝制片管理中心的辦公地）門下。
調(diào)色師從典型場景開始，手把手開始跟算法的同學(xué)講解為什么要這樣調(diào)。“一開始根本聽不懂后期調(diào)色經(jīng)常使用的術(shù)語。”小林說。但是眼前的效果他服了。相比算法更關(guān)注畫面細節(jié)，調(diào)色更重要的價值是釋放畫面的整體表現(xiàn)力。“有一次去看調(diào)色老師調(diào)圖的時候，他把調(diào)色的過程分成很多步。”小林說，“從畫面的呈現(xiàn)來看，在倒數(shù)第二步的時候，我感覺畫面顏色、細節(jié)的表現(xiàn)都已經(jīng)很好了，但老師‘還沒收手’，他又把一些背景區(qū)域的光線調(diào)得更暗了一些，結(jié)果畫面的主體感一下就變得更明顯了。”那一刻， 小林第一次有種“藝術(shù)細胞”被激活的感覺。
《世界微塵里》藍光1080P模式
《世界微塵里》幀綺映畫模式
算組的小伙伴們拿出學(xué)高數(shù)的勁頭投入調(diào)色學(xué)習(xí)中。除了“拜師學(xué)藝”外，小林也打心里感謝制片管理中心和內(nèi)容生產(chǎn)的同學(xué)。“他們還會定期嘗試與創(chuàng)作者、調(diào)色師做‘藝術(shù)交流’，將問題匯總并貼上標簽反饋給我們，以幫助我們更有針對性地優(yōu)化算法。”他說。
功夫不負有心人。 幾個月后，小林和其他算組同學(xué)就已經(jīng)可以跟調(diào)色師無障礙溝通了，一些問題就在微信上交流下，便能理解“師傅”的修改建議。
“算法迭代的同時，也少不了提升片源質(zhì)量”
“他們還在樣片庫中找到很多運用了特別調(diào)色方式的內(nèi)容，以便更好地理解像《理想之城》這類作品特別調(diào)色的創(chuàng)作意圖，不斷幫我們輸出‘知識點’，豐富我們的‘錯題本’。“小林想起這件事，仍然心存感激。
也正是經(jīng)過一段時間的學(xué)習(xí)，小林所在的團隊對算法能力進行了一定的優(yōu)化，在一些創(chuàng)作者的“好評”中再次獲得了成就感。同時，他們也不得不面對一個問題——在對特別藝術(shù)表達的“理解”上，算法更多還是助攻，更有效的解法還要從根源處突破。
就拿色調(diào)來說。在影視內(nèi)容后期制作中，經(jīng)常被用來把握色調(diào)準確性的內(nèi)容輸出格式便是SDR、HDR。相對于4K在畫面清晰維度的貢獻，HDR的能力則更多元。相比傳統(tǒng)SDR的表現(xiàn)力，HDR在畫面豐富色彩的準確呈現(xiàn)、畫面細節(jié)的增強、光影層次感的表現(xiàn)等方面的優(yōu)勢則更突出。
但實際操作中，以SDR格式交付的內(nèi)容仍占主流。
制片管理中心的東風(fēng)表示：“國內(nèi)整體影視工業(yè)在交付的流程和標準化比較落后，HDR版本內(nèi)容的制作流程仍然較為復(fù)雜，拍攝處理、后期剪輯的工作量非常大。”
同時劇組前期拍攝與最后的調(diào)色之間由于存在可能的時空斷層。調(diào)色師更多情況需要憑借經(jīng)驗完成任務(wù)，難免會在藝術(shù)表現(xiàn)的理解上存在偏差。再加上趕審片和播出排期，的確是時間緊，任務(wù)重。“因此片方往往只能退而求其次先遞交SDR版本片源，可SDR片源無論對于算法調(diào)優(yōu)還是內(nèi)容生產(chǎn)都會造成一定阻礙。”
更糟糕的是，影像的動態(tài)范圍是呈漏斗狀逐漸降低的。雖然攝像機能拍攝到擁有非常寬廣動態(tài)范圍的影像，但通過后期制作、母版制作、壓縮等環(huán)節(jié)，影像傳輸?shù)诫娨暀C、手機中時，動態(tài)范圍已經(jīng)減小很多了。可想而知，SDR版本的內(nèi)容真正呈現(xiàn)在用戶面前，又會丟失多少藝術(shù)創(chuàng)作的心意。
“其實對幾條片方反饋問題的排查后，我們發(fā)現(xiàn)，最核心的問題還是片源。”這是幾輪內(nèi)部溝通會后大家達成的一致想法。如果作為生產(chǎn)資料的片源所承載的表現(xiàn)力只有60分，那么算法也只能把分數(shù)提到70-80，落地到播出終端后，“依然沒辦法為用戶呈現(xiàn)監(jiān)視器前看到的效果”，小林解釋道。
片源質(zhì)量提升是需要長期解決的問題。對此，制片中心已明確提出逐步向片方升級收片標準，包括涉及到更多視聽技術(shù)細節(jié)的規(guī)范。但這不止是愛奇藝需要面對的問題，也是影視工業(yè)生態(tài)均需要解決的問題，需要流媒體平臺、制片方、劇組等整個影視生態(tài)通過工業(yè)化提升片源質(zhì)量。如今，愛奇藝也正在通過包括《4K制作白皮書》、IMF格式封裝、系列優(yōu)化算法、幀綺映畫認證標準、“飛躍計劃”在內(nèi)的“5個1工程”，打通從攝制端到播出端技術(shù)鏈條，建立統(tǒng)一的供應(yīng)鏈管理，為超高清畫質(zhì)建立基礎(chǔ)。
目前，幀綺映畫已摸索出一套切實可靠的生產(chǎn)流程，即及時對各端反饋進行收集，定期分析整理給予技術(shù)算法團隊優(yōu)化方向。當遇到報障時則是另外一套流程，從片源、算法到播放設(shè)備進行逐一排查，定位核心問題后再探討解決方案，并做最后的上線評估。
“我們無論是去做幀綺映畫還是推動影視工業(yè)化，都源自我們的使命感，更是源自我們對藝術(shù)家的尊重。我們希望通過技術(shù)創(chuàng)新以及聯(lián)動行業(yè)的共同努力，為藝術(shù)家更豐富的靈感汲取、更高效的創(chuàng)作提供充分服務(wù)尊重。”來自制片管理中心的一番話，一直讓小林覺得很有力量。
正如巴別塔不好建，這座連接用戶和內(nèi)容創(chuàng)作者的橋也并不好搭。雖然經(jīng)過反復(fù)溝通、學(xué)習(xí)、摸索下來片源之問題仍然存在，但幀綺映畫團隊仍樂此不疲的奔走在“幫助技術(shù)更好地理解藝術(shù)表達”需這條路上。面對愛奇藝海量的節(jié)目數(shù)量，算法穩(wěn)定性所受考驗可想而知，但每一個整改建議都有可能是更幫助算法更進一步的臺階。目前，小林和他所在的算組團隊依舊會對收集到的用戶或創(chuàng)作者反饋做及時總結(jié)，為“如何讓算法更懂色調(diào)“加速探索著更優(yōu)的迭代方向。“遇到一個問題就解決好一個問題，追求極致的過程雖然很難，但我們沒想過放棄。”小林這樣說。
（小林、東風(fēng)、顏顏均為化名）
