極客號(hào)（Daydx.com）8月25日 消息:最近，研究人員使用插值技術(shù)將開(kāi)源語(yǔ)言模型LLaMA的上下文窗口從原來(lái)的約3，200個(gè)token擴(kuò)大了10倍，達(dá)到約32，000個(gè)token，由此開(kāi)發(fā)出新的開(kāi)源語(yǔ)言模型Giraffe。該版本有130億個(gè)參數(shù)版本，并且擁有所有開(kāi)源 LLM 中最大的上下文窗口之一。
Giraffe適用于需要處理數(shù)十頁(yè)文本的各種商業(yè)應(yīng)用場(chǎng)景。像GPT-3這樣的語(yǔ)言模型上下文窗口有限，對(duì)長(zhǎng)文本理解能力較弱。而Giraffe具有更大的“記憶”，能更好地處理這樣的用例。
作為開(kāi)源研究，Giraffe研究還提供了對(duì)語(yǔ)言模型內(nèi)部運(yùn)作以及不同的上下文窗口擴(kuò)大技術(shù)的重要見(jiàn)解。研究發(fā)現(xiàn)，位置嵌入的線性縮放對(duì)增加上下文長(zhǎng)度最為有效。
研究同時(shí)也凸顯了當(dāng)前技術(shù)的局限性，因?yàn)闇?zhǔn)確率會(huì)隨上下文窗口增加而下降。這表明僅用困惑度來(lái)衡量語(yǔ)言模型的表現(xiàn)是不夠的，對(duì)長(zhǎng)上下文任務(wù)需要定制化的測(cè)試。
目前，開(kāi)源的Giraffe-v2-13b-32k模型已在Hugging Face平臺(tái)上線，代碼也在GitHub上開(kāi)源。
項(xiàng)目網(wǎng)址:
https://github.com/abacusai/Long-Context
https://huggingface.co/abacusai/Giraffe-v2-13b-32k
