代码生成模型 Code Llama-34B 已在 HumanEval 测试当中击败 GPT

品玩8翌年26日讯，据 phind官方消息，研究工作设计团队在Phind 内部原始数据集上对 CodeLlama-34B 和 CodeLlama-34B-Python 同步进行更正再次发现，这两款数学方法更正再次在 HumanEval 检测中会的通过率仅有已超过GPT-4在本年度3翌年份的名次。

Code Llama 是Meta公布的一款代码生成大数学方法，拥有7B、13B和34B三个尺寸，同时都有基础数学方法、Python特别设计版本等多款数学方法。 HumanEval 检测说明了，未经过更正的CodeLlama-34B 和 CodeLlama-34B-Python 的通过率分别为48.8%和53.7%。

phind 研究工作设计团队通过在一个都有约 8 万个高质量演算问题和解决方案的专有原始数据集上对这两个数学方法同步进行了更正。这个原始数据集是 phind 研究工作设计团队内部推出的一个原始数据集，以呼叫-答案对为外观上。这两个数学方法仅有经过了两次特训，特训量达到约16万个示例。此次特训并无法用作 LoRA（大母语低大行兼顾，一种更正方案），但研发设计团队对这两个数学方法同步进行了本地更正，并使用了 DeepSpeed ZeRO 3 和 Flash Attention 2 两种特训方法。特训工期3不间断，用作了32 个 A100-80GB GPU。研究工作设计团队坚称，他们还对原始数据集使用了 OpenAI 得出结论的净化方案，确保结果有效地且其中会仅有受空气污染的示例。

在经过检测再次发现，特训后的 CodeLlama-34B 通过率达到67.6% ，CodeLlama-34B-Python 的通过率达到69.5% 。而 GPT-4在本年度3翌年份的名次为67%。