編輯：Aeneas 好困

【新智元導讀】大事件時常引「爆」熱搜，微博服務器為啥挺得??？微博到處都是我的「互聯(lián)網嘴替」，為何推薦內容如此深得我心？

2021年7月13日，勞累了一天的年輕人們，正準備躺平拿出手機，打開那熟悉的小破站App，一鍵三連自己最喜愛的up主的最新視頻。

結果突然發(fā)現(xiàn)，自己的眼前一黑：

時隔一年，B站終于揭曉了這其中的奧秘：一個「詭計多端的0」。

不過，你有沒有想過，即便是經歷著用戶的瘋狂涌入，為啥這個微博，它沒崩呢？

AI和微博有啥關系？

在揭開這個謎底之前，還需要從人工智能的發(fā)展說起。

7月27日，由中國互聯(lián)網協(xié)會指導、微博和新浪新聞主辦的「融合生態(tài) 價值共創(chuàng)」2022新智者大會順利召開。

在「智驅萬物：AI推動萬物互聯(lián)的加速到來」議題中，微博COO、新浪移動CEO、新浪AI媒體研究院院長王巍發(fā)表了題為《云為數(shù)智 技術融合應用 賦能微博復雜業(yè)務場景》的主題演講。

王巍表示，如果我們回顧機器學習的發(fā)展歷程，可以看出AI的總體發(fā)展趨勢是：訓練數(shù)據的海量化及多樣化，AI模型的復雜化及通用化，算力的高效化及規(guī)模化。

第一，是多模態(tài)數(shù)據融合。

隨著5G的快速發(fā)展，圖片、視頻類型模態(tài)內容在網絡內容中占比越來越高，所以進行模態(tài)融合非常必要。

對于微博來說，如果能同時對文本、圖片、視頻進行多模態(tài)融合，也就可以更好理解這條微博所講的內容了。

第二，是超大規(guī)模圖計算。

相對其他機器學習模型，超大規(guī)模圖計算有個特殊的優(yōu)勢：通過信息在網絡中的傳遞，促進信息的流動、匯聚與集成。

比如對于行為少的冷啟動用戶，我們可以通過他關注列表中的人，以及這些人發(fā)布的內容，通過信息傳播來推導這個用戶的興趣。

第三，是AI研發(fā)的啞鈴模式。

目前的AI研發(fā)重點，一個是越來越大的超級大模型，一個是模型小型化技術。

我們都知道，目前隨著模型參數(shù)規(guī)模越來越大，模型效果越來越好，高精度模型仍然在持續(xù)增大，比如2018年Google的Bert剛出來的時候，模型參數(shù)規(guī)模是3億，不算太大，但是之后這個數(shù)字一直在飛速增長。

OpenAI研發(fā)的GPT-2模型，參數(shù)規(guī)模15億，GPT-3模型，參數(shù)規(guī)模1750億，而到了2021年Google發(fā)布的Switch Transformer，參數(shù)規(guī)模已經達到了1.6萬億。

另一方面，雖然說模型越大效果越好，但是因為模型過大，有時會導致無法讓實際應用落地。所以研發(fā)的另外一個重點，是將這些大模型小型化、輕量化，比如模型蒸餾、模型剪枝等技術。

第四，是AI模型從專用模型走向通用模型。

谷歌在2021年下半年公開了Pathways模型框架，首先提出了這一構想，希望通過構造一個通用的大模型，達到「一個模型做千萬件事」的目標。

具體的思路是，不同任務數(shù)據輸入后，通過路由算法，選擇神經網絡的部分路徑，到達模型輸出層。不同任務既有參數(shù)共享，也有任務獨有的模型參數(shù)。

10億節(jié)點+100億邊的超大規(guī)模圖

為何講了這么半天機器學習？因為接下來要登場的，就是「微博特色推薦系統(tǒng)」了。

眾所周知，作為國內最大的社交媒體網絡，微博目前的月活用戶已經達到5.82億了！這樣大的用戶規(guī)模，必然會讓微博上的網絡環(huán)境十分復雜。

再加上內容時效性強、多樣性高，現(xiàn)在的網絡大事都會第一時間在微博上引爆。

另外，微博面臨的場景還很多元化，需要在關系流、熱點流、視頻流等眾多場景中給用戶分發(fā)他們感興趣的「千人千面」的內容。

我可以沒有手指，但不能沒有手機

面對復雜的業(yè)務場景，微博是怎樣通過AI和大數(shù)據，做出能隨機應變的推薦系統(tǒng)的呢？

王巍向我們介紹說，微博推薦系統(tǒng)整體由三部分構成：內容理解、用戶理解，以及推薦系統(tǒng)。

首先，是內容理解。

如果要想搞明白一個微博到底在說什么，僅僅理解文本內容是不夠的，必須采用多模態(tài)理解技術，融合博文、圖片、視頻等多種媒體信息。

為此，微博訓練了自己的微博多模態(tài)預訓練模型，通過「對比學習」，用這種自監(jiān)督學習方法，來進行多模態(tài)預訓練。

下圖的這例子就展示了微博是怎樣利用自帶的「話題」來自動構造訓練數(shù)據的。

比如，我們把兩個都寫著「訓練中的拉什福德」的微博當作正例，隨機選擇一些不同話題的微博作為負例，這樣就能自動構造訓練數(shù)據。

對于某條微博，其中的文本內容通過Bert編碼，圖像和視頻內容通過ViT編碼，然后通過fusion子網絡進行信息融合，形成微博的embedding編碼。這就是一種預訓練過程。

經過預訓練，學好的微博編碼器可以拿來對新的微博內容進行多模態(tài)編碼，形成embedding，應用在推薦等下游任務中。

其次，在用戶理解方面，微博采取了超大規(guī)模圖計算，來更好地理解用戶的閱讀興趣。畢竟微博自帶社交媒體屬性，天然地就和大規(guī)模圖計算非常匹配。

利用用戶和博文作為圖中的節(jié)點，以用戶間的關注關系、用戶和博文的閱讀及轉評贊等互動行為構造圖中的邊，微博建立起了包含10億規(guī)模節(jié)點、100億規(guī)模邊的超大規(guī)模圖。

通過大規(guī)模圖計算中的信息傳播、匯聚和集成，形成表征用戶興趣的embedding向量，可以更好地理解用戶興趣。

如此一來，也就可以同時搞定用戶之間的關注關系、用戶和博文的轉評贊等等的互動行為了。

在理解了用戶在講什么、理解了微博用戶的興趣之后，微博推薦系統(tǒng)就會將高質量的微博，個性化地分發(fā)給感興趣的用戶。

那么，如何在這種復雜場景下構造高效率的推薦系統(tǒng)呢？

微博采取的是采取了多場景建模的方式。最理想的情況是，只構建一個推薦模型，用它來服務多個場景。

那么如何表示場景間的共性和個性呢？可以通過網絡參數(shù)在場景間共享，或者場景自己獨享私有網絡參數(shù)，來體現(xiàn)場景的共性與個性。

比如這張模型圖，在模型的底層特征輸入層，以及網絡中間的一部分「專家子網絡」，這些網絡參數(shù)是各個場景共享的；而其他子網絡參數(shù)則是某個場景所獨有的

通過這種方式，就能夠通過一個模型服務多個場景，節(jié)省模型資源。

唐山事件：流量暴漲一倍怎么辦？

現(xiàn)在，說回到最初的那個「懸念」上來。

對于微博來說，這個保不齊什么時候就會「炸」的熱點，一直以來都是非常大的挑戰(zhàn)。

比如，最近全民關注的「唐山事件」，事件當天的熱點流量，比日常流量峰值翻了整整一倍。

對此王巍表示，微博在很早就應用了微服務+Docker容器化技術，不僅提升服務運維的效率，而且還實現(xiàn)了服務動態(tài)擴縮容能力。當前，微博已經具備了10分鐘調度超過一萬臺的擴容能力，可以有足夠的服務器來應對熱點流量。

此外，微博還建立了熱點監(jiān)測機制和熱點聯(lián)動體系，并通過微博自研的Weibo Mesh技術，實現(xiàn)不同服務間跨語言的高效調用，提升整體服務的性能，和聯(lián)動擴容效率。

最后，微博采用了在離線實時混合部署技術。利用CPU實時搶占式調度技術與容器化技術相結合，實現(xiàn)微博服務在離線實時混合部署能力。

綜合了上面這些操作之后，在有熱點流量來襲時，就可以秒級承接核心服務的熱點流量了。

最后，讓我們再來回顧下互聯(lián)網的發(fā)展歷程。

如果說PC互聯(lián)網是網絡世界的開端，那么移動互聯(lián)網的興起則讓我們將這無形的信息空間裝進了口袋。隨著大數(shù)據、云計算、人工智能等技術與移動互聯(lián)網的疊加融合，我們進入了智能信息時代。

而現(xiàn)在，最火的話題就要數(shù)元宇宙了。從去年開始，元宇宙就引發(fā)了廣泛的討論，比如數(shù)字孿生、數(shù)字人、XR、區(qū)塊鏈技術等。

王巍認為，目前基于AI、區(qū)塊鏈、XR等前沿技術的應用場景，已經體現(xiàn)了一些元宇宙的雛形。諸如游戲、社交等領域，都是元宇宙非常好的應用場景，會引爆大家參與元宇宙的熱情。

「新智者Talk」來襲！

就在今天下午，我們即將迎來「新智者Talk」圓桌論壇！

元宇宙時代，我們該如何與數(shù)量龐大的虛擬人相處？在論壇上，新智元楊靜、騰訊云蔡弋戈、商湯科技欒青、英偉達何展、奧丁科技張玥，與你一起暢聊元宇宙未來與數(shù)字新人類。

「2022新智者大會」開啟，微博、新浪新聞聯(lián)合主辦，新智元戰(zhàn)略合作：2022年7月27日本周三已上線，快來預約直播啦！