自 GPT-3 问世以来,大模型技术蓬勃发展,表现出强大的文本生成能力。在软件工程领域,大模型也同样影响着自动化代码生成这一终极课题。
为了提升大模型在真实编程场景下的能力,北京大学金芝教授和李戈教授团队提出了一种基于 Agent 的项目级别代码生成框架。
该方法允许大模型调用多种精心设计的辅助工具,通过大模型和各种工具的交互,自主完成项目级别代码生成的全流程。
相关论文近期被国际计算语言学年会(ACL,Annual Meeting of the Association for Computational Linguistics)2024 主会接受,是全球最早基于 agent 项目级别代码生成学术成果之一。
在处理代码生成任务时,当下的大模型仍然存在两方面问题。
其一,无法保证生成代码的质量和可靠性。
由于大模型的幻觉等问题,其在生成具体的代码时,可能存在使用错误的应用程序编程接口(API,Application Programming Interface)等现象。
其二,原生的大模型方法难以处理复杂的项目级别代码生成问题。
虽然以 HumanEval 为代表的代码生成效果测评集,能在一定程度上评估大模型的代码生成能力,但是相对 HumanEval 中简单独立的算法问题,真实世界的软件开发通常涉及多样的库和函数调用。这些复杂的内容既无法直接作为大模型的输入,也不利于大模型解决此类难题。
据了解,北京大学软件研究所在深度学习和代码生成领域深耕多年。研究团队发现,传统的代码生成方法在面对真实编程场景时存在一些局限性,而这主要源于以下几个方面。
第一,API 选择的困难。
在真实编程场景中,选择合适的 API,对于实现特定功能来说至关重要。传统代码生成模型往往难以准确理解上下文,从而选择错误的 API 或生成不存在的 API,尤其是在使用第三方库或私有库时。
第二,缺乏上下文理解。
真实编程场景通常涉及复杂的代码库和项目结构,代码片段之间存在依赖关系。传统方法可能无法充分理解这些上下文信息,导致生成的代码不能与现有代码库无缝集成。
第三,独立代码单元的局限。
许多传统代码生成模型专注于生成独立的代码单元,如单个函数或语句。但在现实项目中,代码往往需要跨多个文件和模块交互,这要求代码生成模型能够处理更复杂的结构和依赖。
第四,缺乏动态交互能力。
真实编程过程中,开发者会使用各种工具来辅助编码,如搜索引擎、文档阅读器、代码测试工具等。传统代码生成方法通常缺乏与这些工具交互的能力,限制了它们在复杂任务中的性能。
为攻克上述问题,帮助大模型更好地生成代码,近期,北京大学团队提出两款工具增强型代码生成方法——ToolCoder[1]和 CodeAgent[2],开创了一种新的针对复杂代码生成的研究路径。
实验证明,这些方法通过集成 API 搜索工具、代码测试工具和其他编程辅助工具,增强了代码生成模型在真实编程场景中的应用能力,提供了更加准确、可靠和适应性强的代码生成解决方案。
其中,ToolCoder以CodeGen-350M 和 CodeGen-2B 模型为基础,训练出能够使用 API 搜索工具的 ToolCoder-350M 和 ToolCoder-2B 两个模型,在五个公共和私有库的代码生成基准测试(MonkeyEval、BeatNumEval、NumpyEval、PandasEval、TorchDataEval)中表现出色。
与最先进的方法相比,平均 pass@1 指标提高了至少 6.21%,平均 pass@10 指标提高了 9.64%。
![](http://dingyue.ws.126.net/2024/0726/e698a6e5j00sh7x090079d200u000gjg00id00a4.jpg)
图丨ToolCoder的流程(来源:arXiv)
CodeAgent 的基础模型涵盖 GPT-4、GPT-3.5、GPT-3、Claude-2、LLaMA2-70B-chat、CodeLLaMA、Deepseekcoder 和 Vicuna 等。
在该团队自行构建的 101 个项目级别代码生成数据上,CodeAgent 框架显著提高了大模型的性能,pass@1 通过率指标在不同模型上的提高最多可达到 15.8%。同时,在 HumanEval 数据集上,不同模型 pass@1 指标提高了 6.1% 到 9.7%,足以证明该方法的有效性。
![](http://dingyue.ws.126.net/2024/0726/4fd95335j00sh7x0a005vd200k200hmg00id00g4.jpg)
图丨CodeAgent 概览和智能体策略说明(来源:ACL 2024)
前一项成果的相关论文以《ToolCoder:指导代码生成模型使用 API 搜索工具》(ToolCoder:Teach Code Generation Models to Use API Search Tool)为题发在预印本平台 arXiv 上[1]。
![](http://dingyue.ws.126.net/2024/0726/72042cf7j00sh7x0b001wd200u0006hg00id003y.jpg)
图丨相关论文(来源:arXiv)
后一项成果的相关论文则以《CodeAgent:通过集成工具的 Agent 系统提升代码生成,解决现实世界中的项目级别代码生成挑战》(CodeAgent:Enhancing Code Generation with Tool-integrated Agent Systems for Real-World Repo-level Coding Challenges)为题被 ACL 2024 接收[2]。
来自北京大学的博士生张克驰和李佳是第一作者,金芝教授和李戈教授担任共同通讯作者。
![](http://dingyue.ws.126.net/2024/0726/43ee2cddj00sh7x0c0039d200u0008hg00id0056.jpg)
图丨相关论文(来源:ACL 2024)
值得一提的是,在审稿过程中,审稿人对 CodeAgent 的创新性、有效性及其在更广泛领域的应用潜力,给予了积极的评价。
基于此,2023 年春节期间,金芝和李戈两位教授在组会上提出,能否利用软件工程领域积累的诸多传统工具,帮助大模型提高代码生成能力。
“从那时起,我们便定下了工具增强的代码生成这一课题内容。”博士生张克驰表示,“之后不久,ChatGPT 的 plugin 功能迅速上线,Toolformer 等一系列优质工作证明了将工具和大模型结合这一思路的有效性。”
在接下来数周时间里,团队广泛讨论了如何将工具结合进大模型的生成过程中,并于 2023 年 4 月完成 ToolCoder 相关工作,随后收获诸多业界同行的关注。
有了这个相对较小的工具增强代码生成模型的成功经验后,该团队希望能将这种思想应用到更大规模的模型上,挑战更复杂的编程任务场景。
具体来说,大模型在 HumanEval 这一类简单的代码生成任务上表现优异。不过,现实世界的软件开发往往涉及复杂的代码库,而它们具有复杂的依赖关系和广泛的文档。
因此,为填补这一空白,他们转向了一个更实际的设定,即真实世界下项目级别的代码生成。
自 2023 年 6 月起,团队开始收集和学习 Github 上优质的代码库,力图全面定义项目级别代码生成这一新的任务情景。后续数月,团队不断地精调、打磨 CodeAgent 框架,最终形成 CodeAgent 一文。
另一方面,团队系统地整理了大模型技术的优势,以及当前基于大模型的代码生成工作中存在的诸多问题,并给出了工具增强的代码生成工作的两种实现思路——基于微调和基于上下文学习,将 ToolCoder 和 CodeAgent 两个工作统一起来。
为加速技术成果向实际生产力的转化,团队已联合 aiXcoder(孵化自北京大学软件工程研究所)将相关研究应用于航天等领域。
在这些真实工业项目中,团队发现工具增强的大模型代码生成方法具有诸多优势,可以支持企业实际复杂业务场景,并能够生成更可靠的代码。
不过,由于不同行业、不同领域存在大量的先验知识,因此也特化出不同的需求场景和编程场景,但那些通用的代码生成模型或框架,却很难很好地处理这些问题场景。
在未来的研究中,北大团队计划借助之前积累的工具增强代码生成经验,找到针对此类情景的有效方案,解决业界这一痛点难题,从而实现通过大模型力量解放生产力的最终目标。
论文第一作者介绍:张克驰,本科毕业于北京大学信息科学技术学院,师从金芝教授和李戈教授。研究方向为智能化软件工程、代码表示与代码生成,以第一作者在自然语言处理、软件工程等领域的国际会议上发表多篇论文,曾获得 2023 年 ACM 杰出论文奖(ACM SIGSOFT Distinguished Paper Award in International Conference on Program Comprehension)。
参考资料:
1.K.,Zhang,H.,Zhang,G.,Li.et al.ToolCoder:Teach Code Generation Models to Use API Search Tool.arXiv:2305.04032. https://doi.org/10.48550/arXiv.2305.04032
2.K.,Zhang,J.,Li, G.,Li.et al.CodeAgent:Enhancing Code Generation with Tool-integrated Agent Systems for Real-World Repo-level Coding Challenges.Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics(ACL 2024),Bangkok,Thailand,Aug.11-16,2024.(Accepted)
运营/排版:何晨龙
01/
02/
03/
04/
05/
![](http://dingyue.ws.126.net/2024/0726/3900d3cfj00sh7x0d0022d200ig00x1g00id00wv.jpg)
热门跟贴