極客號（Daydx.com）9月5日 消息:卡內(nèi)基梅隆大學(xué)和清華大學(xué)的研究人員開發(fā)了prompt2Model系統(tǒng)，可以根據(jù)提示自動生成專用NLP模型。
當(dāng)然，prompt2Model 并不是GPT-4的替代品，而是用于特殊用途 NLP 模型的自動化管道，這些模型可以很好地執(zhí)行特定任務(wù)，比大型模型小得多，因此可以在低端的的硬件上本地運(yùn)行。
prompt2Model系統(tǒng)首先將提示分解為結(jié)構(gòu)化語句，然后查找可能對當(dāng)前任務(wù)有用的數(shù)據(jù)集。之后利用OpenAI的GPT-3.5Turbo生成針對該任務(wù)的合成訓(xùn)練數(shù)據(jù)。接著識別合適的預(yù)訓(xùn)練模型進(jìn)行微調(diào)。
研究人員在三項(xiàng)基準(zhǔn)測試中評估了prompt2Model的結(jié)果。在兩項(xiàng)任務(wù)中，結(jié)果的Flan-T5模型表現(xiàn)優(yōu)于GPT-3.5Turbo。但在第三項(xiàng)基準(zhǔn)測試中，prompt2Model明顯落后于OpenAI模型。
prompt2Model目前主要局限在僅支持英語的任務(wù)上。團(tuán)隊(duì)表示，GPT-3.5Turbo本身的語言支持有限是其原因。而prompt2Model依賴OpenAI模型生成數(shù)據(jù)也限制了其商業(yè)應(yīng)用，OpenAI禁止利用自己的模型訓(xùn)練可能與其競爭的模型。
不過，團(tuán)隊(duì)正在探索集成大規(guī)模開源語言模型來減少對專有API的依賴。
項(xiàng)目網(wǎng)址:https://github.com/neulab/prompt2model
