魚羊 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
說出來你可能不信，有一只AI剛剛被證明，處理語音的方式跟大腦謎之相似。
甚至在結構上都能相互對應——
科學家們在AI身上直接定位出了“視覺皮層”。
這項來自Meta AI等機構的研究一經(jīng)po出，立馬在社交媒體上炸開了鍋。一大波神經(jīng)科學家和AI研究者前往圍觀。
LeCun稱贊這是“出色的工作”：自監(jiān)督Transformer分層活動與人類聽覺皮層活動之間，確實密切相關。
還有網(wǎng)友趁機調侃：Sorry馬庫斯，但AGI真的快要來了。
不過，研究也引發(fā)了一些學者的好奇。
例如麥吉爾大學神經(jīng)科學博士Patrick Mineault提出疑問：
我們發(fā)表在NeurIPS的一篇論文中，也嘗試過將fMRI數(shù)據(jù)和模型聯(lián)系起來，但當時并不覺得這倆有啥關系。
所以，這到底是一項怎樣的研究，它又是如何得出“這只AI干起活來像大腦”的結論的？
AI學會像人腦一樣工作
簡單來說，在這項研究中，研究人員聚焦語音處理問題，將自監(jiān)督模型Wav2Vec 2.0同412名志愿者的大腦活動進行了比較。
這412名志愿者中，有351人說英語，28人說法語，33人說中文。研究人員給他們聽了大約1個小時的有聲書，并在此過程中用fMRI對他們的大腦活動進行了記錄。
模型這邊，研究人員則用超過600小時的無標簽語音來訓練Wav2Vec 2.0。
對應志愿者的母語，模型也分為英語、法語、中文三款，另外還有一款是用非語音聲學場景數(shù)據(jù)集訓練的。
而后這些模型也聽了聽志愿者同款有聲書。研究人員從中提取出了模型的激活。
相關性的評價標準，遵照這個公式：
其中，X為模型激活，Y為人類大腦活動，W為標準編碼模型。
從結果來看，自監(jiān)督學習確實讓Wav2Vec 2.0產(chǎn)生了類似大腦的語音表征。
從上圖中可以看到，在初級和次級聽覺皮層，AI明顯預測到了幾乎所有皮層區(qū)域的大腦活動。
研究人員還進一步發(fā)現(xiàn)了AI的“聽覺皮層”、“前額葉皮層”到底長在哪一層。
圖中顯示，聽覺皮層與Transformer的第一層（藍色）最吻合，而前額葉皮層則與Transformer的最深一層（紅色）最吻合。
此外，研究人員量化分析了人類感知母語和非母語音素的能力差異，并與Wav2Vec 2.0模型進行對比。
他們發(fā)現(xiàn)，AI也像人類一樣，對“母語”有更強的辨別能力，比如，法語模型就比英語模型更容易感知來自法語的刺激。
上述結果證明了，600小時的自監(jiān)督學習，就足以讓Wav2Vec 2.0學習到語言的特定表征——這與嬰兒在學說話的過程中接觸到的“數(shù)據(jù)量”相當。
要知道，之前DeepSpeech2論文認為，至少需要10000小時的語音數(shù)據(jù)（還得是標記的那種），才能構建一套不錯的語音轉文字（STT）系統(tǒng)。
再次引發(fā)神經(jīng)科學和AI界討論
對于這項研究，有學者認為，它確實做出了一些新突破。
例如，來自谷歌大腦的Jesse Engel稱，這項研究將可視化濾波器提升到了一個新的層次。
現(xiàn)在，不僅能看到它們在“像素空間”里長啥樣，連它們在“類腦空間”中的模樣也能模擬出來了：
又例如，前MILA和谷歌研究員Joseph Viviano認為，這個研究還證明了fMRI中的靜息態(tài)（resting-state）成像數(shù)據(jù)是有意義的。
但在一片討論中，也出現(xiàn)了一些質疑的聲音。
例如，神經(jīng)科學博士Patrick Mineault除了指出自己做過相似研究但沒得出結論外，也給出了自己的一些質疑。
他認為，這篇研究并沒有真正證明它測量的是“語音處理”的過程。
相比于人說話的速度，fMRI測量信號的速度其實非常慢，因此貿然得出“Wav2vec 2.0學習到了大腦的行為”的結論是不科學的。
當然，Patrick Mineault表示自己并非否認研究的觀點，他自己也是“作者的粉絲之一”，但這項研究應該給出一些更有說服力的數(shù)據(jù)。
此外也有網(wǎng)友認為，Wav2vec和人類大腦的輸入也不盡相同，一個是經(jīng)過處理后的波形，但另一個則是原始波形。
對此，作者之一、Meta AI研究員Jean-Rémi King總結：
模擬人類水平的智能，確實還有很長的路要走。但至少現(xiàn)在來看，我們或許走在了一條正確的道路上。
你認為呢？
論文地址：https://arxiv.org/abs/2206.01685
參考鏈接：[1]https://twitter.com/patrickmineault/status/1533888345683767297[2]https://twitter.com/JeanRemiKing/status/1533720262344073218[3]https://www.reddit.com/r/singularity/comments/v6bqx8/toward_a_realistic_model_of_speech_processing_in/[4]https://twitter.com/ylecun/status/1533792866232934400
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態(tài)
