昨天（8月25日）的我:在代碼生成方面開源 LLM 將在幾個月內(nèi)擊敗 GPT-4?，F(xiàn)在的我:實際上是今天。
昨天，meta 開源專攻代碼生成的基礎(chǔ)模型Code Llama，可免費用于研究以及商用目的。
Code Llama 系列模型有三個參數(shù)版本，參數(shù)量分別為7B、13B 和34B。并且支持多種編程語言，包括 Python、C++、Java、PHP、Typescript （Javascript）、C# 和 Bash。
meta 提供的 Code Llama 版本包括:
Code Llama，基礎(chǔ)代碼模型;
Code Llama-Python，Python 微調(diào)版;
Code Llama-Instruct，自然語言指令微調(diào)版。
就其效果來說，Code Llama 的不同版本在 Humaneval 和 MBPP 數(shù)據(jù)集上的一次生成通過率（pass@1）都超越 GPT-3.5。
此外，Code Llama 的「Unnatural」34B 版本在 Humaneval 數(shù)據(jù)集上的 pass@1接近了 GPT-4（62.2% vs67.0%）。不過 meta 沒有發(fā)布這個版本，但通過一小部分高質(zhì)量編碼數(shù)據(jù)的訓(xùn)練實現(xiàn)了明顯的效果改進(jìn)。
圖源:https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/
一天剛過，就有研究者向 GPT-4發(fā)起了挑戰(zhàn)。他們來自 Phind（一個組織，旨在構(gòu)造一款為開發(fā)人員而生的AI 搜索引擎），該研究用微調(diào)的 Code Llama-34B 在 Humaneval 評估中擊敗了 GPT-4。
Phind 聯(lián)合創(chuàng)始人 Michael Royzen 表示:「這只是一個早期實驗，旨在重現(xiàn)（并超越）meta 論文中的「Unnatural Code Llama」結(jié)果。將來，我們將擁有不同 CodeLlama 模型的專家組合，我認(rèn)為這些模型在現(xiàn)實世界的工作流程中將具有競爭力。」
兩個模型均已開源:
研究者在 Huggingface 上發(fā)布了這兩個模型，大家可以前去查看。
Phind-CodeLlama-34B-v1:https://huggingface.co/Phind/Phind-CodeLlama-34B-v1
Phind-CodeLlama-34B-Python-v1:https://huggingface.co/Phind/Phind-CodeLlama-34B-Python-v1
接下來我們看看這項研究是如何實現(xiàn)的。
微調(diào) Code Llama-34B 擊敗 GPT-4
我們先看結(jié)果。這項研究用 Phind 內(nèi)部數(shù)據(jù)集對 Code Llama-34B 和 Code Llama-34B-Python 進(jìn)行了微調(diào)，分別得到兩個模型 Phind-CodeLlama-34B-v1以及 Phind-CodeLlama-34B-Python-v1。
新得到的兩個模型在 Humaneval 上分別實現(xiàn)了67.6% 和69.5% pass@1。
作為比較，CodeLlama-34B pass@1為48.8%;CodeLlama-34B-Python pass@1為53.7%。
而 GPT-4在 Humaneval 上 pass@1為67%（OpenAI 在今年3月份發(fā)布的「GPT-4Technical Report」中公布的數(shù)據(jù)）。
圖源:https://ai.meta.com/blog/code-llama-large-language-model-coding/
圖源:https://cdn.openai.com/papers/gpt-4.pdf
談到微調(diào)，自然少不了數(shù)據(jù)集，該研究在包含約8萬個高質(zhì)量編程問題和解決方案的專有數(shù)據(jù)集上對 Code Llama-34B 和 Code Llama-34B-Python 進(jìn)行了微調(diào)。
該數(shù)據(jù)集沒有采用代碼補全示例，而是采用指令 – 答案對，這與 Humaneval 數(shù)據(jù)結(jié)構(gòu)不同。之后該研究對 Phind 模型進(jìn)行了兩個 epoch 的訓(xùn)練，總共有約16萬個示例。研究者表示，訓(xùn)練中沒有使用 LoRA 技術(shù)，而是采用了本地微調(diào)。
此外，該研究還采用了 DeepSpeed ZeRO3和 Flash Attention2技術(shù)，他們在32個 A100-80GB GPU 上、耗時三個小時，訓(xùn)練完這些模型，序列長度為4096個 token。
此外，該研究還將 OpenAI 的去污染（decontamination）方法應(yīng)用于數(shù)據(jù)集，使模型結(jié)果更加有效。
眾所周知，即便是非常強大的 GPT-4，也會面臨數(shù)據(jù)污染的困境，通俗一點的講就是訓(xùn)練好的模型可能已經(jīng)接受評估數(shù)據(jù)的訓(xùn)練。
這個問題對 LLM 非常棘手，舉例來說，在評估一個模型性能的過程中，為了進(jìn)行科學(xué)可信的評估，研究者必須檢查用于評估的問題是否在模型的訓(xùn)練數(shù)據(jù)中。如果是的話，模型就可以記住這些問題，在評估模型時，顯然會在這些特定問題上表現(xiàn)更好。
這就像一個人在考試之前就已經(jīng)知道了考試問題。
為了解決這個問題，OpenAI 在公開的 GPT-4技術(shù)文檔《 GPT-4Technical Report 》中披露了有關(guān) GPT-4是如何評估數(shù)據(jù)污染的。他們公開了量化和評估這種數(shù)據(jù)污染的策略。
具體而言，OpenAI 使用子串匹配來測量評估數(shù)據(jù)集和預(yù)訓(xùn)練數(shù)據(jù)之間的交叉污染。評估和訓(xùn)練數(shù)據(jù)都是通過刪除所有空格和符號，只保留字符（包括數(shù)字）來處理的。
對于每個評估示例，OpenAI 隨機(jī)選擇三個50個字符的子字符串（如果少于50個字符，則使用整個示例）。如果三個采樣的評估子字符串中的任何一個是處理后的訓(xùn)練樣例的子字符串，則確定匹配。
這將產(chǎn)生一個受污染示例的列表，OpenAI 丟棄這些并重新運行以獲得未受污染的分?jǐn)?shù)。但這種過濾方法有一些局限性，子串匹配可能導(dǎo)致假陰性（如果評估和訓(xùn)練數(shù)據(jù)之間有微小差異）以及假陽性。因而，OpenAI 只使用評估示例中的部分信息，只利用問題、上下文或等效數(shù)據(jù)，而忽略答案、回應(yīng)或等效數(shù)據(jù)。在某些情況下，多項選擇選項也被排除在外。這些排除可能導(dǎo)致假陽性增加。
關(guān)于這部分內(nèi)容，感興趣的讀者可以參考論文了解更多。
論文地址:https://cdn.openai.com/papers/gpt-4.pdf
不過，Phind 在對標(biāo) GPT-4時使用的 Humaneval 分?jǐn)?shù)存在一些爭議。有人說，GPT-4的最新測評分?jǐn)?shù)已經(jīng)達(dá)到了85%。但 Phind 回復(fù)說，得出這個分?jǐn)?shù)的相關(guān)研究并沒有進(jìn)行污染方面的研究，無法確定 GPT-4在接受新一輪測試時是否看到過 Humaneval 的測試數(shù)據(jù)。再考慮到最近一些有關(guān)「GPT-4變笨」的研究，所以用原始技術(shù)報告中的數(shù)據(jù)更為穩(wěn)妥。
不過，考慮到大模型評測的復(fù)雜性，這些測評結(jié)果能否反映模型的真實能力依然是一個有爭議的問題。大家可以下載模型后自行體驗。
參考鏈接:
https://benjaminmarie.com/the-decontaminated-evaluation-of-gpt-4/
https://www.phind.com/blog/code-llama-beats-gpt4
