大模型最讓人印象深刻的是它們的「涌現(xiàn)」行為，數(shù)以萬(wàn)計(jì)的二進(jìn)制計(jì)算決策融合成一種仿佛人類(lèi)的理解力和創(chuàng)造力，讓金融行業(yè)看到開(kāi)發(fā)一個(gè)專(zhuān)注金融的語(yǔ)言大模型的巨大價(jià)值。

近半年時(shí)間，素來(lái)以新技術(shù)最早采用者著稱(chēng)的金融機(jī)構(gòu)以及科技公司紛紛下場(chǎng):

3月，美國(guó)彭博正式發(fā)布百億級(jí)語(yǔ)言大模型 BloombergGPT;

5月，度小滿(mǎn)推出國(guó)內(nèi)首個(gè)千億級(jí)中文金融大模型「軒轅」;

6月，開(kāi)源金融大模型貔貅（PIXIU） 、聚寶盆(Cornucopia)接踵而至

…..

9月8日，螞蟻集團(tuán)在外灘大會(huì)上正式發(fā)布工業(yè)級(jí)金融大模型（AntFinGLM） ，同時(shí)開(kāi)放了金融專(zhuān)屬任務(wù)評(píng)測(cè)集「Fin-eval」。

該測(cè)試集從五大維度（認(rèn)知、生成、專(zhuān)業(yè)知識(shí)、專(zhuān)業(yè)邏輯、安全性）28類(lèi)金融專(zhuān)屬任務(wù)評(píng)估了金融大模型能力，結(jié)果大幅超過(guò)當(dāng)前主流通用大模型。在「研判觀(guān)點(diǎn)提取」、「金融意圖理解」、「金融事件推理」任務(wù)上，金融大模型已經(jīng)達(dá)到專(zhuān)家平均水平。

巨頭做大模型一定會(huì)和自己過(guò)往的業(yè)務(wù)深度融合。除了模型層，螞蟻集團(tuán)也發(fā)布了兩個(gè)金融大模型的產(chǎn)業(yè)應(yīng)用。

用戶(hù)端的支小寶（2.0）是國(guó)內(nèi)首個(gè)應(yīng)用大模型技術(shù)的智能理財(cái)助理。內(nèi)測(cè)近半年，完成備案工作后上線(xiàn)。

產(chǎn)業(yè)端的「支小助」（類(lèi)似金融版 Copilot）也是螞蟻集團(tuán)首個(gè)基于金融大模的面向產(chǎn)業(yè)的生產(chǎn)力工具。

一、金融大模型:屹立在萬(wàn)億 Token 上的「知識(shí)力」

通用大模型缺少金融領(lǐng)域的專(zhuān)業(yè)力、知識(shí)力、語(yǔ)言力以及安全力，金融大模型實(shí)現(xiàn)落地行業(yè)是一個(gè)復(fù)雜化的系統(tǒng)工程，需要將「四力」形成合力。螞蟻集團(tuán)金融行業(yè)大模型負(fù)責(zé)人王曉航在發(fā)布會(huì)上講到。

螞蟻金融大模型具有「四力」，知識(shí)力、語(yǔ)言力、專(zhuān)業(yè)力和安全力

所謂知識(shí)力，主要是指金融大模型的底座能力，模型規(guī)模只有足夠大（通常百億以上），才會(huì)有「涌現(xiàn)」現(xiàn)象的出現(xiàn)。預(yù)訓(xùn)練大模型則需要海量數(shù)據(jù)。

從目前公開(kāi)的數(shù)據(jù)來(lái)看，BloombergGPT 的通用數(shù)據(jù)集包含3454億個(gè) Token，金融領(lǐng)域數(shù)據(jù)集由彭博在過(guò)去四十年的商業(yè)經(jīng)營(yíng)中積累而來(lái)，共包含3635億個(gè) Token。

國(guó)內(nèi)金融大模型「軒轅」（2.0）使用了自身業(yè)務(wù)中積累的金融領(lǐng)域的13B(130億) Token。恒生電子 Light-GPT 利用了超過(guò)4000億個(gè) Token 的金融領(lǐng)域數(shù)據(jù)。

螞蟻金融大模型，在萬(wàn)億量級(jí) Token 通用語(yǔ)料基礎(chǔ)上，注入了千億量級(jí) Token 金融知識(shí) —— 包括全網(wǎng)公開(kāi)的金融行業(yè)語(yǔ)料約5000億 Token 以及螞蟻獨(dú)家金融語(yǔ)料約279億 Token，行業(yè)領(lǐng)先。

就國(guó)內(nèi)數(shù)據(jù)市場(chǎng)而言，我國(guó)政府?dāng)?shù)據(jù)資源占全國(guó)數(shù)據(jù)資源比重超過(guò)3/4，但開(kāi)放規(guī)模不足美國(guó)的10%，個(gè)人和企業(yè)可資利用的規(guī)模更是不及美國(guó)的7%。在此背景下，具有私域?qū)傩缘男袠I(yè)數(shù)據(jù)的重要性就更為凸顯。螞蟻有著多年保險(xiǎn)、理財(cái)、信貸平臺(tái)經(jīng)驗(yàn)，在金融大模型布局上擁有先天優(yōu)勢(shì)。

「小模型時(shí)代，螞蟻就積累了深厚的數(shù)據(jù)資產(chǎn)和產(chǎn)業(yè) AI 的 know-how。」螞蟻集團(tuán)金融行業(yè)大模型負(fù)責(zé)人王曉航在大會(huì)上講到，他也多次提到了螞蟻的金融知識(shí)工程。

如果說(shuō)大模型是一個(gè)參數(shù)化的知識(shí)力容器，那么，知識(shí)圖譜就是另一種基于符號(hào)機(jī)制的知識(shí)力容器。對(duì)螞蟻金融大模型來(lái)說(shuō)，兩種知識(shí)力形成互補(bǔ)，缺一不可，金融知識(shí)圖譜能夠指導(dǎo)大模型對(duì)金融行業(yè)進(jìn)行正確精準(zhǔn)的認(rèn)知，提高其理解、推理決策的能力。

過(guò)去幾年，螞蟻的金融科技團(tuán)隊(duì)在金融知識(shí)工程上做了大量投入。例如，支小寶團(tuán)隊(duì)基于一些研報(bào)、新聞、大 V 資訊以及高質(zhì)量權(quán)威合作數(shù)據(jù)源和數(shù)據(jù)庫(kù)，通過(guò)合作的一些業(yè)務(wù)專(zhuān)家和策略專(zhuān)家，對(duì)于領(lǐng)域?qū)I(yè)知識(shí)進(jìn)行了提煉和萃取，形成了一個(gè)標(biāo)準(zhǔn)化基礎(chǔ)知識(shí)層。算法工程師在此基礎(chǔ)上做了一些領(lǐng)域知識(shí)的關(guān)聯(lián)和整合，嘗試建構(gòu)金融現(xiàn)象之間的因果邏輯，構(gòu)建形成匹配金融專(zhuān)業(yè)要求的知識(shí)圖譜、資產(chǎn)圖譜和事理圖譜等機(jī)器可讀可用的數(shù)字資產(chǎn)。

以支小寶（2.0）為例，背后注入了金融資訊和百科420萬(wàn) +，金融圖譜覆蓋保險(xiǎn)3000+ 險(xiǎn)種 /2萬(wàn) + 常規(guī)藥 /7000+ 常見(jiàn)病和幾十種就醫(yī)方式等萬(wàn)級(jí)實(shí)體和50萬(wàn) + 關(guān)系，金融行業(yè) / 板塊 / 機(jī)構(gòu) / 產(chǎn)品 / 管理人 / 資訊等200萬(wàn) + 實(shí)體和1100萬(wàn) + 關(guān)系，金融數(shù)據(jù)、公開(kāi)信息和條款存儲(chǔ)量達(dá)到億級(jí)。

不過(guò)，高質(zhì)量數(shù)據(jù)集和知識(shí)圖譜還只是金融大模型的「知識(shí)力」來(lái)源，大模型的業(yè)務(wù)「能力」離不開(kāi)螞蟻「從300+ 真實(shí)產(chǎn)業(yè)場(chǎng)景中提取了共60萬(wàn) + 高質(zhì)量指令數(shù)據(jù)」（貔貅 PIXIU 指令集為13.6萬(wàn)）。

金融大模型包括三個(gè)部分:上游是預(yù)訓(xùn)練語(yǔ)言模型;下游是針對(duì)通用任務(wù)或特定任務(wù)的微調(diào)。最后要與人類(lèi)對(duì)齊，基于人類(lèi)反饋進(jìn)行強(qiáng)化學(xué)習(xí)。當(dāng)我們用足夠多的高質(zhì)量指令集對(duì)它進(jìn)行微調(diào)后，大模型才能很好地勝任金融任務(wù)，包括從未見(jiàn)過(guò)的任務(wù)。

當(dāng)談到與金融大模型相伴的數(shù)據(jù)安全與隱私問(wèn)題時(shí)，金融大模型智能算法負(fù)責(zé)人陳鴻告訴我們，用戶(hù)的隱私數(shù)據(jù)在語(yǔ)料當(dāng)中會(huì)被全部清洗掉，避免用戶(hù)個(gè)人信息或者任何能識(shí)別出可聯(lián)想身份的信息進(jìn)入大模型的訓(xùn)練環(huán)節(jié)，對(duì)大模型來(lái)講，它里面不會(huì)壓入任何用戶(hù)的私人數(shù)據(jù)。

安全部分，我們也做得比較嚴(yán)格。他強(qiáng)調(diào)說(shuō)，不止是訓(xùn)練數(shù)據(jù)從入庫(kù)起的每一個(gè)環(huán)節(jié)都會(huì)做清洗和過(guò)濾，我們還做了對(duì)抗樣本的技術(shù)去訓(xùn)練模型識(shí)別這些有害內(nèi)容，有害內(nèi)容攔截率現(xiàn)在已經(jīng)到99% 以上。

二、出色的「語(yǔ)言力」，巴菲特為什么減持比亞迪?

金融大模型一定要有「語(yǔ)言力」，作為認(rèn)知和交互的「中樞」，不僅要對(duì)用戶(hù)的金融情感、金融意圖，明察秋毫，還要善于總結(jié)歸納行業(yè)資訊，推理分析行業(yè)事件。

金融情緒有自己的特定屬性。比如一些特定行情事件發(fā)生后，對(duì)于持有一些風(fēng)險(xiǎn)資產(chǎn)的人來(lái)說(shuō)，這是個(gè)好消息，他可能會(huì)很興奮。但對(duì)于一些持有債券、黃金資產(chǎn)的人來(lái)說(shuō)，反而是個(gè)壞消息，不會(huì)很開(kāi)心。

金融大模型有一個(gè)很重要的涌現(xiàn)能力 In-Context Learning，給到幾個(gè)例子，不需要調(diào)整模型參數(shù)，它就能夠很好地勝任這些情緒識(shí)別任務(wù)。螞蟻金融大模型的情緒識(shí)別準(zhǔn)確率已經(jīng)超過(guò)90%。

過(guò)去做金融意圖識(shí)別，讓器聽(tīng)懂用戶(hù)要什么，難度很大。

理財(cái)對(duì)話(huà)往往具有很強(qiáng)的時(shí)序、連續(xù)性和歷史性，用戶(hù)提問(wèn)「招商銀行怎么樣?」，很可能在此之前已經(jīng)討論過(guò)相關(guān)內(nèi)容。要想聽(tīng)懂用戶(hù)要求，機(jī)器還得有一副好記性，還要能理解上下文。

如果遇到「我要 A、B、C 這三個(gè)基金，不要 D、E、F」這樣的訴求，機(jī)器還得具備邏輯能力，否則只會(huì)一股腦兒地將用戶(hù)提及的六只基金全拋給對(duì)方。但是給機(jī)器引入邏輯符號(hào)也是一件比較困難的事情。

現(xiàn)在，用足夠多的高質(zhì)量指令集進(jìn)行微調(diào)后，螞蟻金融大模型已經(jīng)掌握金融意圖的識(shí)別，識(shí)別準(zhǔn)確率達(dá)到95%，達(dá)到了專(zhuān)家平均水平。即使從未見(jiàn)過(guò)的任務(wù)，也能勝任。

最有意思的是螞蟻金融大模型甚至可以像投研專(zhuān)家一樣解讀行業(yè)事件。比如，「巴菲特為什么減持比亞迪?」

它會(huì)先從巴菲特的投資哲學(xué)、注重什么樣的策略開(kāi)始，然后分析他在投資界的影響力、比亞迪的業(yè)務(wù)、過(guò)去幾年的財(cái)務(wù)狀況等，接著分析巴菲特買(mǎi)入 / 賣(mài)出的時(shí)點(diǎn)、價(jià)格、原因。歷經(jīng)二十多個(gè)推理環(huán)節(jié)，最后輸出它的解讀:「減持原因可能是基于對(duì)股票價(jià)格與內(nèi)在價(jià)值的判斷和風(fēng)險(xiǎn)管理的考慮」，并做出詳細(xì)解釋。

傳統(tǒng)方法難以數(shù)學(xué)建模的這么復(fù)雜的分析過(guò)程?，F(xiàn)在，螞蟻通過(guò)「仿金融專(zhuān)家多智能體協(xié)同推理」機(jī)制，實(shí)現(xiàn)了媲美人類(lèi)投研專(zhuān)家的水平。

大模型其實(shí)本來(lái)就有「一人分飾 N 角」能力，可以用不同人設(shè) prompt 召喚出它們。采用 AI Agent 的建模思路，螞蟻?zhàn)尨竽Ｐ团缮鏊膫€(gè)工作小組 —— 計(jì)劃組、執(zhí)行組、表達(dá)組和評(píng)價(jià)組 —— 執(zhí)行不同任務(wù)，就像將一個(gè)大命題分拆成幾個(gè)小的問(wèn)題。只要業(yè)務(wù)有需要，每個(gè)小組還可以繼續(xù)像這樣被分拆，派生更多智能體。這些智能體協(xié)同作業(yè)，如同一個(gè)作戰(zhàn)集群，可以快速跑出答案，給到用戶(hù)。

當(dāng)然，這里需要補(bǔ)充解釋什么是「專(zhuān)家平均水平」?金融數(shù)據(jù)的標(biāo)注需要專(zhuān)業(yè)人員來(lái)做。在螞蟻集團(tuán)，通常是兩個(gè)專(zhuān)業(yè)人員打標(biāo)，第三個(gè)人（專(zhuān)家）負(fù)責(zé)核實(shí) ground truth(比如某個(gè)內(nèi)容到底是不是合規(guī))。螞蟻金融大模型在某些任務(wù)上的識(shí)別精度已經(jīng)達(dá)到這樣的專(zhuān)家水平，高于負(fù)責(zé)打標(biāo)的專(zhuān)業(yè)人員的平均水平。

三、「專(zhuān)業(yè)力」:調(diào)用工具，給你選基

所謂專(zhuān)業(yè)力，其實(shí)是指大模型調(diào)用螞蟻的「存貨」工具，完成復(fù)雜金融任務(wù)的能力。

除了意圖識(shí)別，螞蟻金融大模型有工具理解能力。你用自然語(yǔ)言講清楚它做什么，然后舉一些例子，大模型就可以學(xué)會(huì)將用戶(hù)意圖轉(zhuǎn)換成一系列的 API 調(diào)用，完成更加復(fù)雜場(chǎng)景下的應(yīng)用。

螞蟻長(zhǎng)達(dá)十年的積累，平臺(tái)上有完備的數(shù)字化金融工具矩陣，螞蟻金融大模型可通過(guò)理解用戶(hù)語(yǔ)言，精準(zhǔn)調(diào)用螞蟻體系內(nèi)的這些專(zhuān)業(yè)工具，給用戶(hù)提供相應(yīng)專(zhuān)業(yè)服務(wù)。理財(cái)側(cè)包括理財(cái)選品、產(chǎn)品評(píng)測(cè)、行情解讀、資產(chǎn)配置等6大類(lèi)服務(wù)。保險(xiǎn)側(cè)包括產(chǎn)品解讀、家庭配置、智能核賠、智能理賠等10多個(gè)智能服務(wù)。

舉個(gè)栗子。你說(shuō)「幫我挑一只白酒基金」，大模型會(huì)先做一個(gè)行業(yè)研判（背后調(diào)用行業(yè)研判的 API）了解白酒行業(yè)。接著，它要選擇相關(guān)的基金(調(diào)用條件選基的 API)。金融大模型還會(huì)針對(duì)用戶(hù)的個(gè)人風(fēng)險(xiǎn)偏好、預(yù)期回報(bào)，做必要的投教信息輸出(投教 API)，最后形成一個(gè)完整閉環(huán)服務(wù):根據(jù)用戶(hù)指令分析相應(yīng)的基金，將要點(diǎn)信息發(fā)給用戶(hù)，并根據(jù)行情給用戶(hù)一些風(fēng)險(xiǎn)提示。

如果用戶(hù)后續(xù)反饋白酒基金怎么又跌了，金融大模型可能會(huì)調(diào)用并組合產(chǎn)品研判（API）、圖表生成(API)、投教(API)以及持倉(cāng)診斷(API)，給到用戶(hù)完整的服務(wù)。

「這里的核心還是在做 NL2API 的事情，將自然語(yǔ)言翻譯為合適的 API 調(diào)用。」陳鴻說(shuō)，大模型有代碼生成能力，可以寫(xiě) Python，SQL，自然也能寫(xiě) JSON，生成字符串給到下游工具 API。

相比之下，原來(lái)的技術(shù)做法就很機(jī)械，螞蟻積累多年專(zhuān)業(yè)工具無(wú)法被邏輯地連貫起來(lái)，沒(méi)有閉環(huán)，用戶(hù)很容易「逸出」預(yù)設(shè)的邏輯，很難獲得想要的服務(wù)。

當(dāng)然，螞蟻金融大模型給到的這種專(zhuān)業(yè)服務(wù)，不只是調(diào)用某個(gè)工具，而是這些工具的有效組合，牽涉到推理、規(guī)劃能力 —— 它知道如何將這些工具組合起來(lái)，如何將不同工具的輸出整合起來(lái)，變成一個(gè)完成、連貫的回答，給到用戶(hù)。

這就不得不提到大模型的思維鏈能力。對(duì)于這類(lèi)通常由多個(gè)步驟構(gòu)成的復(fù)雜任務(wù)（比如數(shù)學(xué)競(jìng)賽、寫(xiě)代碼、生成腳本），當(dāng)大模型大到一定臨界點(diǎn)時(shí)，就會(huì)涌現(xiàn)出思維鏈能能力，過(guò)去基本不能解決的問(wèn)題，變得能夠勝任。思維鏈就像做「因式分解」，把一個(gè)復(fù)雜的推理問(wèn)題進(jìn)行拆解，逐步解決，自然也就更容易得到高質(zhì)量答案。

現(xiàn)在訓(xùn)練大語(yǔ)言模型的企業(yè)和機(jī)構(gòu)很多，但能夠訓(xùn)練出思維鏈并應(yīng)用的很少。保險(xiǎn)核賠自動(dòng)化可以很好展現(xiàn)螞蟻金融大模型的思維鏈能力。

比如，重疾險(xiǎn)的賠付往往需要上傳許多發(fā)票、病例等資料，系統(tǒng)識(shí)別后還需人工判斷這些材料是否構(gòu)成一個(gè)完整的核賠證據(jù)鏈。螞蟻金融大模型通過(guò)做思維鏈推理就能自動(dòng)判斷證據(jù)鏈?zhǔn)欠耖]合，核賠決策準(zhǔn)確率達(dá)到98%。過(guò)去依靠人工核賠最快也要1-2天，現(xiàn)在僅需幾秒。

四、回避不了的「安全力」

「安全力」幾乎時(shí)所有圍繞大模型的討論無(wú)法回避的主題，特別是在金融這樣的強(qiáng)監(jiān)管領(lǐng)域，如何讓通用大模型這樣一個(gè)率性不羈的創(chuàng)作者懂得西裝白領(lǐng)世界的中規(guī)中矩?

從第一天開(kāi)始，我們就是奔著工業(yè)化上線(xiàn)的目的去做，所以螞蟻金融大模型的安全力功課做得比較細(xì)致。王曉航在大會(huì)后接受記者采訪(fǎng)時(shí)談道。

與主流通用大模型相比，螞蟻金融大模型有更強(qiáng)的生成內(nèi)容安全的能力，主要包括三個(gè)方面。除了和通用大模型一樣要與社會(huì)價(jià)值觀(guān)對(duì)齊，金融行業(yè)內(nèi)容生成還要遵循更嚴(yán)苛的金融合規(guī)要求。比如，不能有強(qiáng)觀(guān)點(diǎn)、不能直接去推薦買(mǎi)或者推薦賣(mài)、預(yù)測(cè)漲跌等等。

螞蟻金融大模型采用了一個(gè)關(guān)鍵技術(shù) RLHF。RLHF 使大模型基于巨量數(shù)據(jù)進(jìn)行持續(xù)反饋與強(qiáng)化學(xué)習(xí)，更好掌握人類(lèi)的偏好，結(jié)果更符合人類(lèi)預(yù)期，比如風(fēng)險(xiǎn)規(guī)避水平、投資習(xí)慣，當(dāng)然也包括安全合規(guī)。

「我們也用 RLHF 讓大模型對(duì)齊這些業(yè)務(wù)上比較復(fù)雜的適當(dāng)性要求，然后也用后置校驗(yàn)的方式去保障這個(gè)底線(xiàn)?！龟慀櫧忉屨f(shuō)。

針對(duì)大模型最后輸出，會(huì)用到 Reward model，它是強(qiáng)化學(xué)習(xí)中的一個(gè)核心概念，可以用來(lái)評(píng)價(jià) Agent 的一次行動(dòng)的獎(jiǎng)勵(lì)是多少，并以此為信號(hào)指導(dǎo) Agent 的學(xué)習(xí)。比如，通過(guò)給輸出打分，看看是否安全合規(guī)，利用打出的 Reward 對(duì)生成模型進(jìn)行迭代。

「合規(guī)要求都非常細(xì)，我們都是跟業(yè)務(wù)對(duì)出來(lái)的，然后也經(jīng)過(guò) RLHF，和人類(lèi)去對(duì)齊這些標(biāo)準(zhǔn)，所以，合規(guī)水位會(huì)比通用模型要高?！龟慀櫿f(shuō)，在線(xiàn)上實(shí)際運(yùn)行的時(shí)候還會(huì)有例行的巡檢，對(duì)各種意外的情況做毫秒級(jí)的安全攔截。

第三，金融事實(shí)是高度動(dòng)態(tài)的，尤其是一些行情數(shù)據(jù)（比如收盤(pán)價(jià)、基金漲跌幅度），我們會(huì)通過(guò)一些工具，比如檢索外部實(shí)時(shí)更新的金融數(shù)據(jù)庫(kù)去確保事實(shí)準(zhǔn)確性，要求也會(huì)比通用大模型更高。

針對(duì)大模型的幻覺(jué)問(wèn)題，在大規(guī)模產(chǎn)業(yè)級(jí)應(yīng)用里（比如核賠），螞蟻采用了大模型與知識(shí)圖譜相結(jié)合的雙輪驅(qū)動(dòng)，確保生成內(nèi)容的專(zhuān)業(yè)和嚴(yán)謹(jǐn)。此外，螞蟻還讓大模型生成思維鏈，一步一步展開(kāi)思考過(guò)程，用概率圖模型來(lái)檢驗(yàn)這些推理鏈條的置信度，確保事實(shí)性幻覺(jué)問(wèn)題的大幅下降。

螞蟻集團(tuán)首席技術(shù)官、平臺(tái)技術(shù)事業(yè)群總裁何征宇在大會(huì)上表示，建設(shè)大模型安全能力也是未來(lái)螞蟻持續(xù)探索和精進(jìn)大模型的五大能力方向之一。

五、「四力合一」的上與下:底層支持與產(chǎn)業(yè)應(yīng)用

強(qiáng)大底層算力設(shè)施為螞蟻金融大模型提供了一個(gè)好的基礎(chǔ)和起點(diǎn)。

之前 AI 應(yīng)用里，很多訓(xùn)練的任務(wù)都是單卡或單機(jī)就能完成，但在大模型時(shí)代，需要千卡、萬(wàn)卡來(lái)完成一個(gè)任務(wù)。這就需要構(gòu)建智算集群，能夠支持萬(wàn)卡級(jí)別的高速互聯(lián)，并且支持各種異構(gòu)算力，包括 CPU、GPU 等算力的高速互聯(lián)。

螞蟻金融大模型走純自研的技術(shù)路線(xiàn)，全棧布局，在底層基礎(chǔ)設(shè)施方面，目前已建成萬(wàn)卡 AI 集群，為大模型落地應(yīng)用提供有力支撐。

不過(guò)，高性能 GPU 卡多了，在現(xiàn)有工程條件下保證大量的卡的長(zhǎng)時(shí)間穩(wěn)定運(yùn)行，極有挑戰(zhàn)性。因?yàn)橹虚g容易出現(xiàn)各種狀況，導(dǎo)致重啟，拉低訓(xùn)練效率。螞蟻也歷經(jīng)了許多試錯(cuò)，目前千卡規(guī)模訓(xùn)練 MFU 業(yè)界平均水平約50% 左右。螞蟻的千卡規(guī)模訓(xùn)練 MFU 可達(dá)到40%。另外，集群有效訓(xùn)練時(shí)長(zhǎng)占比90% 以上。

值得注意的是，螞蟻金融大模型是直接面向生產(chǎn)的工業(yè)級(jí)大模型，因此也做了很多推理上的工作。比如，提升系統(tǒng)每秒吐出的 Token 數(shù)量。

ChatGPT 推理輸出時(shí)，都是一個(gè)字一個(gè)字地出，等它把最后一個(gè)字出完了，機(jī)器才能執(zhí)行。系統(tǒng)反應(yīng)完成大概需要十幾秒，在真實(shí)應(yīng)用場(chǎng)景下，這種體驗(yàn)會(huì)很差。

目前，螞蟻金融大模型的「RLHF 訓(xùn)練在同等模型效果下，訓(xùn)練吞吐性能相較于業(yè)界方案提升3.59倍，推理性能相較于業(yè)界方案提升～2倍，處于業(yè)界先進(jìn)水平?！?/p>

離開(kāi)底層再往上看，金融大模型能否與應(yīng)用場(chǎng)景結(jié)合，解決產(chǎn)業(yè)真問(wèn)題，一直是螞蟻的關(guān)注點(diǎn)。王曉航在大會(huì)上表示，銷(xiāo)售、服務(wù)、風(fēng)險(xiǎn)管理、投研、理賠等，金融業(yè)務(wù)鏈條上每一個(gè)關(guān)鍵職能，「都值得用大模型技術(shù)重做一次?！?/p>

具體到消費(fèi)端，支小寶（2.0）完成從檢索式 AI 飛躍到生成式 AI，服務(wù)水平趨近于專(zhuān)家水平，能幫助用戶(hù)深度解讀市場(chǎng)信息、并結(jié)合用戶(hù)的財(cái)務(wù)目標(biāo)、投資偏好等，提供個(gè)性化的配置策略。

這里需要補(bǔ)充一點(diǎn) —— 支小寶的「情商」也有顯著提升。理財(cái)市場(chǎng)朝著權(quán)益凈值化方向發(fā)展，更好更專(zhuān)業(yè)的陪伴也成為一種必然趨勢(shì)。陪伴小白用戶(hù)更理性持有理財(cái)產(chǎn)品，「情商」不可或缺。

支小寶（2.0）在回答用戶(hù)提問(wèn)后，還會(huì)自動(dòng)「反思」回答準(zhǔn)確度，進(jìn)行自我糾偏。

這種「自省」，主要是指判斷自己給到的答案是不是可信。陳鴻解釋說(shuō)。比如，客戶(hù)問(wèn)白酒為什么漲，第一步可能是理解他想問(wèn)什么，接下來(lái)可能要調(diào)取相應(yīng)的服務(wù)和工具去生成相應(yīng)回應(yīng)，最后還會(huì)評(píng)價(jià)自己剛才的生成的結(jié)果到底有多可靠。

它知道自己這句話(huà)的置信度，然后決定要不要「認(rèn)慫」，這在小模型時(shí)代是很難做到的。

除了支小寶（2.0），螞蟻也首次推出了面向產(chǎn)業(yè)的金融版 Copilot——「支小助1.0」，包含「服務(wù)專(zhuān)家版」、「投研專(zhuān)家版」、「理賠專(zhuān)家版」、「保險(xiǎn)研判專(zhuān)家版」等六個(gè)版本。

以保險(xiǎn)行業(yè)為例。因?yàn)闂l款、專(zhuān)業(yè)術(shù)語(yǔ)很多，保險(xiǎn)行業(yè)招募培訓(xùn)保險(xiǎn)代理人員的成本居高不下，核賠等后端服務(wù)也是人力密集，人們常說(shuō)理賠才是服務(wù)開(kāi)始，成本居高不下。

現(xiàn)在，「服務(wù)專(zhuān)家版」「支小助1.0」可以為銷(xiāo)售提供個(gè)性化的話(huà)術(shù)培訓(xùn)。擁有思維鏈能力（以及多模態(tài)能力）的理賠專(zhuān)家版「支小助1.0」大幅提升了核賠自動(dòng)化水平:

它不僅將復(fù)雜單據(jù)的整案提取準(zhǔn)確率由80% 提升到98%，也讓核賠決策在98% 準(zhǔn)確率的前提下，覆蓋率從40% 提升至70%，讓門(mén)診險(xiǎn)理賠和30% 以上的住院醫(yī)療險(xiǎn)理賠能夠完全自動(dòng)化。

保險(xiǎn)研判專(zhuān)家版「支小助1.0」研判觀(guān)點(diǎn)提取不僅比主流通用模型優(yōu)秀，甚至超過(guò)專(zhuān)家平均水平。

投研版「支小助1.0」對(duì)每日事件實(shí)現(xiàn)媲美人類(lèi)專(zhuān)家平均水平的主觀(guān)分析與決策，將事件解讀效率從每周10篇提升到每日400+，還能幫忙生成金融工程代碼。

通用大模型無(wú)法在專(zhuān)業(yè)嚴(yán)謹(jǐn)?shù)念I(lǐng)域直接對(duì)外商用，只有走向垂直行業(yè)大模型，才能帶來(lái)產(chǎn)業(yè)價(jià)值。螞蟻探索出了一條路:

以行業(yè)大模型為認(rèn)知和交互的中樞，調(diào)用領(lǐng)域知識(shí)和專(zhuān)業(yè)服務(wù)，這是一個(gè)「大模型 + 知識(shí) + 服務(wù)」驅(qū)動(dòng)的架構(gòu)，為消費(fèi)者和產(chǎn)業(yè)應(yīng)用，提供「四力」的支撐。

不過(guò)，金融行業(yè)本質(zhì)是一個(gè)關(guān)于數(shù)字、邏輯、復(fù)雜決策的領(lǐng)域，初出茅廬的金融大模型的局限性和它的優(yōu)點(diǎn)一樣明顯:對(duì)金融長(zhǎng)文本的理解能力很差、缺乏數(shù)量推理能力和否定判定與生成能力，等等。

金融大模型產(chǎn)業(yè)化應(yīng)用的征程才剛剛開(kāi)始，選擇在外灘發(fā)布或許也有這樣一種意味:

一個(gè)世紀(jì)之前，這里中國(guó)第一輛汽車(chē)上路的地方。從這里出發(fā)，科技助力人類(lèi)越走越遠(yuǎn)，從上海走向全中國(guó)、走向世界，上天入地、一步步走向日常生活……