魚羊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
小紅書變了。
你以為它還在“美妝”、“穿搭”，但現(xiàn)在在社交媒體上，關(guān)于小紅書的不少說法畫風卻有些令人意外。
儼然有了那么一點“搜索引擎”的味道。
這是發(fā)生了甚么事？
扒了扒數(shù)據(jù)，我們發(fā)現(xiàn)，去年一年，小紅書科技數(shù)碼內(nèi)容同比增長500%、體育賽事同比增長1140%，美食類消費DAU甚至一度超過美妝。
而在小紅書的首頁，下拉菜單中的品類標簽已經(jīng)多達30多個。做菜教程、居家指南、戶外露營、旅游攻略、考研考公甚至是創(chuàng)業(yè)，其內(nèi)容之廣泛，早已遠超當年安身立命的美妝賽道。
更有意思的一個數(shù)據(jù)是，小紅書此前對外披露，有高達30%的用戶進入到小紅書之后會直接進行搜索。
也就是說，不斷泛化的UGC內(nèi)容正在不斷沖擊突破小紅書的社區(qū)內(nèi)容版圖，而隨之而來的用戶行為，也已完全不同于外界對小紅書的固有想象。
從外界看去，小紅書的變化不可謂不大。從內(nèi)部技術(shù)的角度出發(fā)，面臨的挑戰(zhàn)其實也正在成倍遞增。
內(nèi)容泛化和高頻搜索，加上圖片、文字、視頻等不同模態(tài)內(nèi)容混雜，對搜索和推薦優(yōu)化來說都提出了更高的要求。
再者，互聯(lián)網(wǎng)用戶對于內(nèi)容質(zhì)量的要求日益提升，要求平臺、機器能更進一步把握用戶心理的需求始終都在增長。
所以，背后愈加復雜的搜索、推薦機制，應該如何應對？
內(nèi)容社區(qū)的多模態(tài)挑戰(zhàn)
作為為數(shù)不多的大量圖文+短視頻混雜的內(nèi)容社區(qū)，小紅書給出的關(guān)鍵詞是：多模態(tài)學習。
所謂多模態(tài)，指的是文本、圖像、聲音等不同的信息表現(xiàn)形式。
而多模態(tài)學習，要做的就是建立起能把不同類型信息結(jié)合起來的統(tǒng)一模型。
簡單來說，一旦AI能夠?qū)⒉煌螒B(tài)的信息，如圖像和文字融會貫通，就能在“理解”這件事上更進一步。
也就能達成這樣的效果：
讓AI根據(jù)“空中天使，虛幻引擎效果”的提示作畫，AI會給出如下答案。
如果說AI看文作畫還只是讓人覺得“不明覺厲”，多模態(tài)技術(shù)對于互聯(lián)網(wǎng)產(chǎn)品更實際的意義究竟在何處？
就在最近，小紅書技術(shù)團隊舉辦的一場對外的AI公開課，就分享了他們在多模態(tài)算法上的探索。從中恰好可以一窺當前學術(shù)界熱度正酣的“多模態(tài)學習” + 擁有海量UGC內(nèi)容的內(nèi)容社區(qū)會產(chǎn)生怎樣的化學反應。
多模態(tài)搜索
先來看搜索。
在打開小紅書搜索結(jié)果頁時，App還會給用戶推薦更多相關(guān)的搜索詞：
以往，這些查詢詞是純文本的形式。
而在應用多模態(tài)技術(shù)之后，現(xiàn)在，這些查詢詞多了一層更美觀且有關(guān)聯(lián)性的“底圖”。也就是說，AI會自動篩選出與查詢詞相匹配的圖案，并在搜索結(jié)果界面展示給用戶。
別看只是這么一個簡單的改變，小紅書多模算法組負責人湯神透露，加入該功能后，UVCTR（獨立訪客點擊率）和PVCTR（頁面瀏覽量點擊率）提升了2-3倍。
除此之外，多模態(tài)技術(shù)在搜索中的另一重點體現(xiàn)，就是以圖搜圖。
有關(guān)商品、植物花卉等特定物品的圖片搜索，并不鮮見。不過，如果用戶想要搜索的是某種氛圍感、某種整體風格呢？
這實際上是給AI提出了一個新的挑戰(zhàn)：復雜環(huán)境下的物體檢測與識別。
△搜表情包
為了解決這個問題，小紅書技術(shù)團隊以三個核心模塊實現(xiàn)了離線構(gòu)建和在線索引的能力：
前置模塊
特征大規(guī)模檢索
排序模塊
在前置模塊中，技術(shù)團隊研發(fā)了多種多模態(tài)標簽，覆蓋目標檢測、主題識別、商品屬性、人體屬性等諸多維度。
在特征模塊中，技術(shù)團隊通過基于Norm Classifier的多任務學習，解決了召回結(jié)果類目不一致的問題。
在排序模塊中，技術(shù)團隊利用OCR以及標題中抽取出的品牌詞等NLP相關(guān)信息，進行多模態(tài)信息集成，顯著提升了檢索準確率。
內(nèi)容質(zhì)量評價體系
而如果說搜索的變化更容易被看見，多模態(tài)技術(shù)在內(nèi)容質(zhì)量評價中的應用，則在更深層次上影響著小紅書的整體“畫風”。
去年7、8月份開始，在給各種筆記打類目標簽、構(gòu)建純分類多模態(tài)系統(tǒng)的基礎上，小紅書技術(shù)團隊開始更多關(guān)注到筆記內(nèi)容質(zhì)量評價體系的建立。
也就是說，讓AI學會去判斷什么樣的筆記更“有用”、更具美學價值。
為此，小紅書技術(shù)團隊列舉了兩個比較核心的基礎原子能力：
封面圖畫質(zhì)美學模型
多模態(tài)筆記質(zhì)量分模型
前文提到的搜索推薦詞底紋圖片，其實也是基于這樣的基礎能力實現(xiàn)的。另外，依托于這套內(nèi)容質(zhì)量評價體系，還能實現(xiàn)圖文、視頻等不同種類筆記的結(jié)構(gòu)化，搜索結(jié)果頁的去重等等優(yōu)化功能。
說了這么多，簡單總結(jié)一下，多模態(tài)技術(shù)在業(yè)務場景中的應用，對于小紅書最大的影響就是：讓優(yōu)質(zhì)的內(nèi)容能更容易被需要的人看到，讓呈現(xiàn)在用戶眼前的整體畫風和內(nèi)容審美得到提升。
如此一來，對于一個以UGC為主的社區(qū)來說，用戶與內(nèi)容生產(chǎn)者之間的正向循環(huán)也就更容易達成，對于整體的社區(qū)氛圍而言無疑是有利的。
這也正是其筆記內(nèi)容越來越多元，用戶構(gòu)成越來越多元的關(guān)鍵所在。
小紅書為什么會變？
前文已經(jīng)說到，小紅書“畫風”的優(yōu)化，與當下整個互聯(lián)網(wǎng)工業(yè)界的技術(shù)新趨勢不無關(guān)系。
現(xiàn)在，圖文內(nèi)容和短視頻內(nèi)容在社交媒體上已然成為主流，而傳統(tǒng)的單一模態(tài)，顯然已經(jīng)難以完整描述這些文本、圖像、聲音交匯的信息。
融合多個模態(tài)的特征信息，逐漸成為各種實際應用場景，尤其是搜索、推薦等對內(nèi)容理解有著高要求的領(lǐng)域中普遍存在的新挑戰(zhàn)。
而小紅書本身在場景和業(yè)務角度，早已具備關(guān)鍵條件和迫切需求。
首先，從場景角度來看，小紅書上發(fā)布的內(nèi)容以圖文和視頻為主，天然擁有海量多模態(tài)數(shù)據(jù)。
并且，這些多模態(tài)數(shù)據(jù)背后，還配套有豐富的用戶反饋數(shù)據(jù)。
其次，業(yè)務高速發(fā)展中的小紅書會面臨各種corner case。比如用戶發(fā)布的內(nèi)容，不僅涵蓋美食、美妝、家居、科技產(chǎn)品等等諸多不同的類目，還可能出現(xiàn)只有圖片的沒有文字的筆記、圖片+音樂的筆記、沒有標題的短視頻等等情況。
而這些新的挑戰(zhàn)和獨一無二的多模態(tài)應用場景，也恰恰給多模態(tài)技術(shù)的落地提供了充足的空間。
從對內(nèi)滿足業(yè)務需求到對外輸出
實際上，為了應對用戶需求的變化，小紅書內(nèi)部技術(shù)的積累展開得更早。并且如今已經(jīng)發(fā)展到了一個從對內(nèi)滿足業(yè)務需求，到對外實現(xiàn)技術(shù)輸出的新階段。
比如今年，小紅書技術(shù)團隊就中了2篇CVPR論文，分別涉及視頻檢索和視頻內(nèi)容理解。
而就在這兩天，小紅書還對外開啟了“AI公開課”，上海交大、北航、上科大的博導教授都參與其中，著實吸引了不少來自學界的關(guān)注。
這場名為“REDtech來了”的線上直播，主題正是關(guān)注多模態(tài)在學界和工業(yè)界的最新發(fā)展趨勢。
在4月20日舉辦的上半場活動中，北京航空航天大學教授、博導劉偲，上海科技大學信息學院副教授、博導高盛華，上海交通大學電子信息與電氣工程學院副教授、博導謝偉迪，以及小紅書多模算法組負責人湯神，圍繞多模態(tài)內(nèi)容理解展開技術(shù)分享。
除了前文提到的小紅書多模態(tài)技術(shù)實踐詳情，還有“AI+音樂”、“跨模態(tài)圖像內(nèi)容理解和視頻生成”，以及“自監(jiān)督學習在多模態(tài)內(nèi)容理解中的技術(shù)與應用”等諸多干貨分享。
而針對當前多模態(tài)研究的產(chǎn)學研現(xiàn)狀，大咖們也分享了不少精彩觀點。
謝偉迪老師談到：
“每個模態(tài)中含有不同的不變性和共存性。例如，在文字中，當我們提及“吉他”，它可能對應著視覺中的成千上萬種不同樣子的吉他。我們聽見狗叫的時候，很大概率也會在視覺上看見狗。
因此，合理地利用不同模態(tài)數(shù)據(jù)的特性進行協(xié)同訓練，能夠?qū)崿F(xiàn)更加高效的表征學習，向下游推理任務進行泛化。”
“弱相關(guān)的數(shù)據(jù)集，就是相關(guān)性問題，并沒有弱相關(guān)的問題，如果做機器學習的話，一定是從輸入到輸出，中間就是學了一些function而已。”
“模態(tài)之間的不對齊一定不是弱相關(guān)，一定是會有很強的相關(guān)性，不然的話，網(wǎng)絡學不出來。當然我們現(xiàn)在想嘗試去做因果性，大部分我們認為的因果性，很多都是由相關(guān)性來決定的。”
當然啦，除了內(nèi)容理解，隨著多模態(tài)學習研究熱潮而備受關(guān)注的，還有AI內(nèi)容創(chuàng)作，也就是包括數(shù)字人技術(shù)在內(nèi)的多模態(tài)人機交互。
比如最近，就有一個名為“Dream by WOMBO”的AI看文作圖工具，連續(xù)多日登上Apple Store圖形和設計區(qū)榜第一。
而這也正是小紅書在探索的另一大多模態(tài)技術(shù)方向。
所以“REDtech來了”的下半場技術(shù)分享，就將圍繞“多模態(tài)理解與創(chuàng)作“展開。
如果你感興趣，4月27日，在【小紅書技術(shù)團隊】視頻號一起蹲一下直播吧~
—完—
量子位QbitAI
?"?" ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
一鍵三連「分享」「點贊」和「在看」
科技前沿進展日日相見 ~
本文首發(fā)于微信公眾號：量子位。文章內(nèi)容屬作者個人觀點，不代表和訊網(wǎng)立場。投資者據(jù)此操作，風險請自擔。
關(guān)鍵詞：
