北大李戈课题组 投稿99bt工厂2013

量子位

代码模子SFT对王人后，虚浮进一步偏勤学习的问题有解了。

北大李戈教悔团队与字节配合，在模子稽查过程中引入偏勤学习，提议了一个全新的代码生成优化框架——CodeDPO。

在部分模子上，比拟于单独使用SFT，CodeDPO大略将模子的HumanEval得分再多莳植10个百分点，最高增幅接近1/3。

监督微调（SFT）等现存稽查要领，尽管莳植了代码质料，但在代码生成过程中存在要害局限——莫得王人备稽查模子在正确与失扭曲决决议之间作念出偏好采纳。

当经受SFT要领稽查模子时，跟着偏好输出的可能性加多，生成不睬思输出的概率也随之飞腾，导致性能出现瓶颈。

为搞定这一问题，北京大学李戈教悔团队与字节跨越配合，CodeDPO因此而生。

该框架将偏勤学习融入代码模子稽查中，诈欺代码自考证机制，显贵莳植代码生成的准确性和实行效力。

SFT对代码生顺利率的莳植存在局限

代码生成任务，即凭据当然说念话描摹自动生成代码，正日益受到平凡温雅。

大模子在大限制数据集上进行了充分的稽查，在这一界限展现出高大的才能。

这些代码大模子一样会进一步通过指示监督微调（SFT）等要领进行微调，以最大截至莳植其代码生成才能。

辩论词，尽管SFT要领莳植了模子的代码生顺利率，但其并未王人备稽查模子在正确与失扭曲决决议之间作念出偏好采纳。

以Phi-2-2.7B模子为例，在后来稽查过程中，不同正确性和效力的代码生成概率的变化情况如下图所示。

传统的SFT战略难以造就模子更倾向于生成正确搞定决议，而非失误或实行安祥的决议。

因此，在代码模子的后稽查中更新稽查战略，关于校正这些代码模子以应酬千般代码生成任务至关遑急。

本文提议新式代码生成优化框架CodeDPO，将偏勤学习融入代码模子稽查中，基于两个要害身分——正确性和效力——界说了代码偏好。

其中，正确性指代码是否准确搞定问题，而效力是指推测代码运行的速率。

参谋团队祈望在代码模子的稽查过程中，莳植模子对正确、高效代码的偏好性。

稽查代码模子代码偏好

如图所示，CodeDPO要领包含四个要害法子：

数据种子构建：最初从开源代码库中汇集数据种子并生成编程任务辅导；

正确性优化与自考证评分：同期生成代码与测试，通过自考证机制构建用于正确性优化的数据集；

实行时辰效力优化：参谋团队在采用的实在测试集上测量实行时辰，以构建效力优化数据集；

模子偏好稽查：从上述两个阶段汇集数据集，并使用DPO要领来稽查多种代码模子。

其中，自考证评分凭据生成代码是否通过测试进行迭代更新。

（如上图所示，经过两次迭代后，代码-1的评分从1变为1.75再至2.7，因其通过更可靠的测试并在每次更新中取得更高评分，标明其正确的概率更大）

★代码自考证机制

CodeDPO 通过自考证机制从实在代码库构建数据集，其中代码和测试用例被同期生成并用于评估。

团队假定，能被更多代码片断实行的测试更为可靠，而通过更多测试的代码则更有可能是正确的。

为此，CodeDPO经受了一套自考证过程：

每个代码片断和测试用例最初取得一个自考证分数，随后使用一套类PageRank的算法进行迭代更新。

该算法通过磋议交叉考证中的干系，来退换每个代码片断和测试的实在分数，优先基于正确性和效力采纳搞定决议。

在启动阶段，总共代码片断和测试用例的自考证得分均设为1。

跟着考证过程的进行，代码和测试用例的得分会凭据通过率渐渐更新。具体而言，测试用例被更多的代码片断通过，它的自考证得分就会越高；

通过越多高实在度测试用例的代码片断，其自考证得分也越高。自考证得分的更新公式如下：

其中，d为阻尼因子，Link(c，t)示意代码片断c是否通过测试用例t。

经过屡次迭代后，评分渐渐经管，最终反应了代码片断和测试用例的正确性质料。

除了代码正确性，代码的实行效力亦然代码生成模子优化的遑急成见。

在 CodeDPO 中，团队通过记载每个代码片断在测试用例中的实行时辰，来优化其实行效力。

辩论词，并非总共测试用例都能准确反应代码的实行效力。

为了确保效力评估的可靠性，该团队采纳在正确性优化阶段评分最高的代码片断所通过的测试用例，四肢“实在测试集”，以此四肢效力评估的轨范。

关于通过实在测试集的代码片断，实行时辰越短，其效力评分越高。

最终，这些效力较高的代码片断将被用于稽查数据衔尾，以进一步优化模子生成代码的实行效力。

CodeDPO的最终数据集，包含了从正确性优化与实行效力优化阶段汇集到的数据。

通过整合两方面的数据集，确保了模子不仅能生成正确的代码，还能生成高效的代码搞定决议。

完满的数据构造经过如下图所示：

准确性与效力均有莳植

测试终结露馅，经过CodeDPO优化后，代码模子的生成准确率和效力，都取得了一定莳植。

★代码准确性实验

参谋团队在HumanEval（+），MBPP（+）和DS-1000三个数据集上进行了平凡实验，涵盖8种主流代码生成模子，包含Base模子和SFT模子。

团队不雅察到CodeDPO在总共模子上均带来了显贵莳植，不管其启动性能怎样。

超过值得一提的是，在DeepSeekCoder-6.7B的基础上，配合已有的SFT战略（MagiCoder-S-DS-6.7B），以及本文CodeDPO的增强，最终模子在HumanEval上达到了83.5%的通过率。

此外，CodeDPO在更具挑战性的HumanEval+上也展现出显贵进步，解释了其在更严格评估下的鲁棒性。

成绩于CodeDPO的数据构建战略，构建一个可靠的偏好数据集，匡助模子倾向于高质料输出，从而终了更可靠的代码生成。

CodeDPO在代码模子的后期稽查阶段阐扬着要害作用，显贵莳植了举座性能。

在DS-1000数据集上，该团队进一步评估了CodeDPO在不同Python库中的阐扬。

需要留神的是，在数据构建过程中，并未融入特定Python库的先验学问。

尽管在Torch和TensorFlow下团队不雅察到了微细的性能着落，可能是由于这些库在数据集构建中的占比较低。

辩论词，CodeDPO总体上露馅出对其各自基线模子的性能莳植。

DS-1000在数据体式和评估的编程技巧方面与HumanEval和MBPP等基准有所不同，其数据构造过程确保其险些不被任何模子的稽查集所包含，从而使得团队在DS-1000上不雅察到的校正具有可靠性。

这些终结标明，CodeDPO不单是妥当于HumanEval等轨范编程基准，也解释了CodeDPO大略在更复杂和千般化的场景中莳植模子的编程才能。

★代码实行效力实验

关于代码实行效力这一问题，该团队通过测量生成代码的实行时辰并计较加快比来评估。

同期团队还评估了应用CodeDPO前后代码优化百分比，其中轨范若比基线快至少10%则视为已优化。

这些成见基于在应用CodeDPO前后都能被搞定的编程问题所组成的杂乱上来进行实验。

团队采纳HumanEval+和MBPP+进行评估，因其test case的构造显贵推广了测试用例的千般性，使得这两个增强数据集涵盖了千般角落情况。

下图展示了屡次实验终结的远离情况。

CodeDPO握续莳植代码性能，使生成的代码平均加快1.25至1.45倍，约20%-45%的生成代码搞定决议得到了校正，阐明了其在莳植代码效力方面的有用性。

★消融实验

进一模式，作家探讨了CodeDPO提议的自考证机制得到的排序分数，关于最终代码生顺利率的影响。

实验中采纳了一些其他的常见排序战略，如：

全测试过滤，即假定总共生成的测试用例均正确，并诈欺它们来判断代码的正确性；

按通过测试数目排序，即统计总共生成测试中每段代码通过的测试数目，以通过测试最多和最少的代码四肢偏好对；

马上采纳，即从生成的代码中马上选取两个代码搞定决议四肢偏好对。

实验终结标明，本文提议的自考证机制以及计较得到的排序分数，在确保偏好数据集构建的正确性和可靠性方面起着至关遑急的作用，显贵莳植了CodeDPO框架的性能。

著作还探讨了不同偏好优化战略（DPO、KTO和SFT）对代码生成模子性能的影响。

SFT稽查战略经受构建的数据衔尾最好的代码搞定决议。

在KTO稽查战略中，参谋团队在框架顶用KTO替代了DPO。

下图终结露馅，在这些战略中，DPO阐扬最好。

成绩于新式的数据构建要领，团队大略取得远离平衡的正负偏好对，从而增强了DPO中的对比机制。

CodeDPO的框架不仅考证了自生成、考证机制和偏勤学习在代码生成界限的有用性，还为夙昔更大限制的代码偏好优化奠定了坚实基础。

CodeDPO的特质在于，不需要有多半优质的测试用例，减少了对外部资源的依赖，使得该框架大略在高质料测试数据可能非凡的施行场景中优化代码模子。

作家觉得，跟着时代的阻挡发展，CodeDPO有望在内容应用中匡助设立团队生成更优质、更适合需求的代码，显贵莳植软件的可靠性与录用质料。

作家简介

本文的通信作家是北京大学计较机学院长聘教悔李戈。

第一作家为李戈教讲课题组博士生张克驰，本科毕业于北京大学信息科学时代学院，参谋场地为智能化软件工程、代码示意与代码生成。

他曾以第一作家在当然说念话处理、软件工程等界限的海外会议上发表多篇论文，曾取得2023年ACM隆起论文奖（ACM SIGSOFT Distinguished Paper Award in International Conference on Program Comprehension）。

论文地址：

https://arxiv.org/abs/2410.05605

— 完 —99bt工厂2013