極客號(Daydx.com)8月4日 消息:近期研究人員提出了一種名為 LEVER 的技術(shù),通過學習驗證生成的程序與執(zhí)行結(jié)果來改善自然語言到代碼的生成。LEVER 使用自然語言描述、程序表面形式和執(zhí)行結(jié)果的組合表示進行訓練,以識別和拒絕錯誤的程序。
論文地址:https://arxiv.org/abs/2302.08468
為了評估,研究人員在代表不同領(lǐng)域的四個數(shù)據(jù)集上進行了實驗,包括表 QA、數(shù)學 QA 和基礎(chǔ) Python 編程,以評估 LEVER 的功效。使用 code-davinci-002的性能提升范圍為4.6% 到10.9%,并且結(jié)果始終優(yōu)于基本代碼 LLM。在所有數(shù)據(jù)集中,LEVER 都取得了全新的最先進結(jié)果,證明了其在根據(jù)自然語言描述生成精確且上下文相關(guān)的代碼方面的優(yōu)越性。
LEVER 的技術(shù)可以提高代碼 LLMs 將自然語言描述轉(zhuǎn)化為可執(zhí)行代碼的能力,有潛力改善數(shù)據(jù)庫接口、機器人控制和虛擬助手等人工智能應(yīng)用。