極客號（Daydx.com）8月24日 消息:最近，來自波士頓大學的鴨嘴獸-70B模型登頂了HuggingFace的開源大模型排行榜，成為目前全球開源領(lǐng)域中表現(xiàn)最強的語言模型。鴨嘴獸的變強有以下三個關(guān)鍵原因:
首先，鴨嘴獸使用了一個經(jīng)過優(yōu)化的開源數(shù)據(jù)集Open-Platypus進行訓練。該數(shù)據(jù)集由11個開源數(shù)據(jù)集組合而成，主要包含人工設(shè)計的問題，只有約10%的問題是由語言模型生成。同時，研究人員對數(shù)據(jù)集進行了處理，刪除了相似和重復(fù)的問題，最大限度地減少了數(shù)據(jù)冗余。這有助于模型在更小的數(shù)據(jù)集上獲取更強大的能力。
其次，研究人員使用了低秩逼近（LoRA）和參數(shù)高效微調(diào)(PEFT)對鴨嘴獸模型進行了微調(diào)。與完全微調(diào)不同，LoRA只訓練轉(zhuǎn)換層中的可訓練參數(shù)，從而大大降低了計算訓練成本。PEFT則主要微調(diào)了非注意力模塊，如門控單元和上下采樣模塊，這進一步提升了模型性能。相比僅優(yōu)化注意力模塊，這種方法取得了更好的效果。
論文地址:https://arxiv.org/pdf/2308.07317.pdf
最后，研究人員深入探索了開放式語言模型訓練中存在的數(shù)據(jù)污染問題，并針對鴨嘴獸的數(shù)據(jù)集進行了嚴格過濾。他們開發(fā)了一套啟發(fā)式方法，仔細檢查訓練集中與測試集相似的問題，刪除或以任何方式將其標記為潛在的測試數(shù)據(jù)泄露，避免了測試數(shù)據(jù)非故意地進入訓練集，保證了模型評估的公平性。
通過數(shù)據(jù)集優(yōu)化、模型微調(diào)技巧以及數(shù)據(jù)質(zhì)量控制，鴨嘴獸-70B得以在眾多開源大模型中脫穎而出，登上榜首。這為語言模型的訓練提供了寶貴經(jīng)驗，也使開源社區(qū)對自主研發(fā)強大AI模型更具信心。如果社會各界能堅持開放創(chuàng)新、合作共贏的理念，我們離強人工智能的到來就不會太遠了。
