魚羊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
小紅書變了。
你以為它還在“美妝”、“穿搭”，但現(xiàn)在在社交媒體上，關(guān)于小紅書的不少說法畫風(fēng)卻有些令人意外。
儼然有了那么一點(diǎn)“搜索引擎”的味道。
這是發(fā)生了甚么事？
扒了扒數(shù)據(jù)，我們發(fā)現(xiàn)，去年一年，小紅書科技數(shù)碼內(nèi)容同比增長500%、體育賽事同比增長1140%，美食類消費(fèi)DAU甚至一度超過美妝。
而在小紅書的首頁，下拉菜單中的品類標(biāo)簽已經(jīng)多達(dá)30多個(gè)。做菜教程、居家指南、戶外露營、旅游攻略、考研考公甚至是創(chuàng)業(yè)，其內(nèi)容之廣泛，早已遠(yuǎn)超當(dāng)年安身立命的美妝賽道。
更有意思的一個(gè)數(shù)據(jù)是，小紅書此前對外披露，有高達(dá)30%的用戶進(jìn)入到小紅書之后會直接進(jìn)行搜索。
也就是說，不斷泛化的UGC內(nèi)容正在不斷沖擊突破小紅書的社區(qū)內(nèi)容版圖，而隨之而來的用戶行為，也已完全不同于外界對小紅書的固有想象。
從外界看去，小紅書的變化不可謂不大。從內(nèi)部技術(shù)的角度出發(fā)，面臨的挑戰(zhàn)其實(shí)也正在成倍遞增。
內(nèi)容泛化和高頻搜索，加上圖片、文字、視頻等不同模態(tài)內(nèi)容混雜，對搜索和推薦優(yōu)化來說都提出了更高的要求。
再者，互聯(lián)網(wǎng)用戶對于內(nèi)容質(zhì)量的要求日益提升，要求平臺、機(jī)器能更進(jìn)一步把握用戶心理的需求始終都在增長。
所以，背后愈加復(fù)雜的搜索、推薦機(jī)制，應(yīng)該如何應(yīng)對？
內(nèi)容社區(qū)的多模態(tài)挑戰(zhàn)
作為為數(shù)不多的大量圖文+短視頻混雜的內(nèi)容社區(qū)，小紅書給出的關(guān)鍵詞是：多模態(tài)學(xué)習(xí)。
所謂多模態(tài)，指的是文本、圖像、聲音等不同的信息表現(xiàn)形式。
而多模態(tài)學(xué)習(xí)，要做的就是建立起能把不同類型信息結(jié)合起來的統(tǒng)一模型。
簡單來說，一旦AI能夠?qū)⒉煌螒B(tài)的信息，如圖像和文字融會貫通，就能在“理解”這件事上更進(jìn)一步。
也就能達(dá)成這樣的效果：
讓AI根據(jù)“空中天使，虛幻引擎效果”的提示作畫，AI會給出如下答案。
如果說AI看文作畫還只是讓人覺得“不明覺厲”，多模態(tài)技術(shù)對于互聯(lián)網(wǎng)產(chǎn)品更實(shí)際的意義究竟在何處？
就在最近，小紅書技術(shù)團(tuán)隊(duì)舉辦的一場對外的AI公開課，就分享了他們在多模態(tài)算法上的探索。從中恰好可以一窺當(dāng)前學(xué)術(shù)界熱度正酣的“多模態(tài)學(xué)習(xí)” + 擁有海量UGC內(nèi)容的內(nèi)容社區(qū)會產(chǎn)生怎樣的化學(xué)反應(yīng)。
多模態(tài)搜索
先來看搜索。
在打開小紅書搜索結(jié)果頁時(shí)，App還會給用戶推薦更多相關(guān)的搜索詞：
以往，這些查詢詞是純文本的形式。
而在應(yīng)用多模態(tài)技術(shù)之后，現(xiàn)在，這些查詢詞多了一層更美觀且有關(guān)聯(lián)性的“底圖”。也就是說，AI會自動(dòng)篩選出與查詢詞相匹配的圖案，并在搜索結(jié)果界面展示給用戶。
別看只是這么一個(gè)簡單的改變，小紅書多模算法組負(fù)責(zé)人湯神透露，加入該功能后，UVCTR（獨(dú)立訪客點(diǎn)擊率）和PVCTR（頁面瀏覽量點(diǎn)擊率）提升了2-3倍。
除此之外，多模態(tài)技術(shù)在搜索中的另一重點(diǎn)體現(xiàn)，就是以圖搜圖。
有關(guān)商品、植物花卉等特定物品的圖片搜索，并不鮮見。不過，如果用戶想要搜索的是某種氛圍感、某種整體風(fēng)格呢？
這實(shí)際上是給AI提出了一個(gè)新的挑戰(zhàn)：復(fù)雜環(huán)境下的物體檢測與識別。
△搜表情包
為了解決這個(gè)問題，小紅書技術(shù)團(tuán)隊(duì)以三個(gè)核心模塊實(shí)現(xiàn)了離線構(gòu)建和在線索引的能力：
前置模塊
特征大規(guī)模檢索
排序模塊
在前置模塊中，技術(shù)團(tuán)隊(duì)研發(fā)了多種多模態(tài)標(biāo)簽，覆蓋目標(biāo)檢測、主題識別、商品屬性、人體屬性等諸多維度。
在特征模塊中，技術(shù)團(tuán)隊(duì)通過基于Norm Classifier的多任務(wù)學(xué)習(xí)，解決了召回結(jié)果類目不一致的問題。
在排序模塊中，技術(shù)團(tuán)隊(duì)利用OCR以及標(biāo)題中抽取出的品牌詞等NLP相關(guān)信息，進(jìn)行多模態(tài)信息集成，顯著提升了檢索準(zhǔn)確率。
內(nèi)容質(zhì)量評價(jià)體系
而如果說搜索的變化更容易被看見，多模態(tài)技術(shù)在內(nèi)容質(zhì)量評價(jià)中的應(yīng)用，則在更深層次上影響著小紅書的整體“畫風(fēng)”。
去年7、8月份開始，在給各種筆記打類目標(biāo)簽、構(gòu)建純分類多模態(tài)系統(tǒng)的基礎(chǔ)上，小紅書技術(shù)團(tuán)隊(duì)開始更多關(guān)注到筆記內(nèi)容質(zhì)量評價(jià)體系的建立。
也就是說，讓AI學(xué)會去判斷什么樣的筆記更“有用”、更具美學(xué)價(jià)值。
為此，小紅書技術(shù)團(tuán)隊(duì)列舉了兩個(gè)比較核心的基礎(chǔ)原子能力：
封面圖畫質(zhì)美學(xué)模型
多模態(tài)筆記質(zhì)量分模型
前文提到的搜索推薦詞底紋圖片，其實(shí)也是基于這樣的基礎(chǔ)能力實(shí)現(xiàn)的。另外，依托于這套內(nèi)容質(zhì)量評價(jià)體系，還能實(shí)現(xiàn)圖文、視頻等不同種類筆記的結(jié)構(gòu)化，搜索結(jié)果頁的去重等等優(yōu)化功能。
說了這么多，簡單總結(jié)一下，多模態(tài)技術(shù)在業(yè)務(wù)場景中的應(yīng)用，對于小紅書最大的影響就是：讓優(yōu)質(zhì)的內(nèi)容能更容易被需要的人看到，讓呈現(xiàn)在用戶眼前的整體畫風(fēng)和內(nèi)容審美得到提升。
如此一來，對于一個(gè)以UGC為主的社區(qū)來說，用戶與內(nèi)容生產(chǎn)者之間的正向循環(huán)也就更容易達(dá)成，對于整體的社區(qū)氛圍而言無疑是有利的。
這也正是其筆記內(nèi)容越來越多元，用戶構(gòu)成越來越多元的關(guān)鍵所在。
小紅書為什么會變？
前文已經(jīng)說到，小紅書“畫風(fēng)”的優(yōu)化，與當(dāng)下整個(gè)互聯(lián)網(wǎng)工業(yè)界的技術(shù)新趨勢不無關(guān)系。
現(xiàn)在，圖文內(nèi)容和短視頻內(nèi)容在社交媒體上已然成為主流，而傳統(tǒng)的單一模態(tài)，顯然已經(jīng)難以完整描述這些文本、圖像、聲音交匯的信息。
融合多個(gè)模態(tài)的特征信息，逐漸成為各種實(shí)際應(yīng)用場景，尤其是搜索、推薦等對內(nèi)容理解有著高要求的領(lǐng)域中普遍存在的新挑戰(zhàn)。
而小紅書本身在場景和業(yè)務(wù)角度，早已具備關(guān)鍵條件和迫切需求。
首先，從場景角度來看，小紅書上發(fā)布的內(nèi)容以圖文和視頻為主，天然擁有海量多模態(tài)數(shù)據(jù)。
并且，這些多模態(tài)數(shù)據(jù)背后，還配套有豐富的用戶反饋數(shù)據(jù)。
其次，業(yè)務(wù)高速發(fā)展中的小紅書會面臨各種corner case。比如用戶發(fā)布的內(nèi)容，不僅涵蓋美食、美妝、家居、科技產(chǎn)品等等諸多不同的類目，還可能出現(xiàn)只有圖片的沒有文字的筆記、圖片+音樂的筆記、沒有標(biāo)題的短視頻等等情況。
而這些新的挑戰(zhàn)和獨(dú)一無二的多模態(tài)應(yīng)用場景，也恰恰給多模態(tài)技術(shù)的落地提供了充足的空間。
從對內(nèi)滿足業(yè)務(wù)需求到對外輸出
實(shí)際上，為了應(yīng)對用戶需求的變化，小紅書內(nèi)部技術(shù)的積累展開得更早。并且如今已經(jīng)發(fā)展到了一個(gè)從對內(nèi)滿足業(yè)務(wù)需求，到對外實(shí)現(xiàn)技術(shù)輸出的新階段。
比如今年，小紅書技術(shù)團(tuán)隊(duì)就中了2篇CVPR論文，分別涉及視頻檢索和視頻內(nèi)容理解。
而就在這兩天，小紅書還對外開啟了“AI公開課”，上海交大、北航、上科大的博導(dǎo)教授都參與其中，著實(shí)吸引了不少來自學(xué)界的關(guān)注。
這場名為“REDtech來了”的線上直播，主題正是關(guān)注多模態(tài)在學(xué)界和工業(yè)界的最新發(fā)展趨勢。
在4月20日舉辦的上半場活動(dòng)中，北京航空航天大學(xué)教授、博導(dǎo)劉偲，上海科技大學(xué)信息學(xué)院副教授、博導(dǎo)高盛華，上海交通大學(xué)電子信息與電氣工程學(xué)院副教授、博導(dǎo)謝偉迪，以及小紅書多模算法組負(fù)責(zé)人湯神，圍繞多模態(tài)內(nèi)容理解展開技術(shù)分享。
除了前文提到的小紅書多模態(tài)技術(shù)實(shí)踐詳情，還有“AI+音樂”、“跨模態(tài)圖像內(nèi)容理解和視頻生成”，以及“自監(jiān)督學(xué)習(xí)在多模態(tài)內(nèi)容理解中的技術(shù)與應(yīng)用”等諸多干貨分享。
而針對當(dāng)前多模態(tài)研究的產(chǎn)學(xué)研現(xiàn)狀，大咖們也分享了不少精彩觀點(diǎn)。
謝偉迪老師談到：
“每個(gè)模態(tài)中含有不同的不變性和共存性。例如，在文字中，當(dāng)我們提及“吉他”，它可能對應(yīng)著視覺中的成千上萬種不同樣子的吉他。我們聽見狗叫的時(shí)候，很大概率也會在視覺上看見狗。
因此，合理地利用不同模態(tài)數(shù)據(jù)的特性進(jìn)行協(xié)同訓(xùn)練，能夠?qū)崿F(xiàn)更加高效的表征學(xué)習(xí)，向下游推理任務(wù)進(jìn)行泛化。”
“弱相關(guān)的數(shù)據(jù)集，就是相關(guān)性問題，并沒有弱相關(guān)的問題，如果做機(jī)器學(xué)習(xí)的話，一定是從輸入到輸出，中間就是學(xué)了一些function而已。”
“模態(tài)之間的不對齊一定不是弱相關(guān)，一定是會有很強(qiáng)的相關(guān)性，不然的話，網(wǎng)絡(luò)學(xué)不出來。當(dāng)然我們現(xiàn)在想嘗試去做因果性，大部分我們認(rèn)為的因果性，很多都是由相關(guān)性來決定的。”
當(dāng)然啦，除了內(nèi)容理解，隨著多模態(tài)學(xué)習(xí)研究熱潮而備受關(guān)注的，還有AI內(nèi)容創(chuàng)作，也就是包括數(shù)字人技術(shù)在內(nèi)的多模態(tài)人機(jī)交互。
比如最近，就有一個(gè)名為“Dream by WOMBO”的AI看文作圖工具，連續(xù)多日登上Apple Store圖形和設(shè)計(jì)區(qū)榜第一。
而這也正是小紅書在探索的另一大多模態(tài)技術(shù)方向。
所以“REDtech來了”的下半場技術(shù)分享，就將圍繞“多模態(tài)理解與創(chuàng)作“展開。
如果你感興趣，4月27日，在【小紅書技術(shù)團(tuán)隊(duì)】視頻號一起蹲一下直播吧~
—完—
量子位QbitAI
?"?" ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)
一鍵三連「分享」「點(diǎn)贊」和「在看」
科技前沿進(jìn)展日日相見 ~
本文首發(fā)于微信公眾號：量子位。文章內(nèi)容屬作者個(gè)人觀點(diǎn)，不代表和訊網(wǎng)立場。投資者據(jù)此操作，風(fēng)險(xiǎn)請自擔(dān)。
關(guān)鍵詞：
