自 GPT-3 问世以来，大模型技术蓬勃发展，表现出强大的文本生成能力。在软件工程领域，大模型也同样影响着自动化代码生成这一终极课题。
为了提升大模型在真实编程场景下的能力，北京大学金芝教授和李戈教授团队提出了一种基于 Agent 的项目级别代码生成框架。
该方法允许大模型调用多种精心设计的辅助工具，通过大模型和各种工具的交互，自主完成项目级别代码生成的全流程。
相关论文近期被国际计算语言学年会（ACL，Annual Meeting of the Association for Computational Linguistics）2024 主会接受，是全球最早基于 agent 项目级别代码生成学术成果之一。
在处理代码生成任务时，当下的大模型仍然存在两方面问题。
其一，无法保证生成代码的质量和可靠性。
由于大模型的幻觉等问题，其在生成具体的代码时，可能存在使用错误的应用程序编程接口（API，Application Programming Interface）等现象。
其二，原生的大模型方法难以处理复杂的项目级别代码生成问题。
虽然以 HumanEval 为代表的代码生成效果测评集，能在一定程度上评估大模型的代码生成能力，但是相对 HumanEval 中简单独立的算法问题，真实世界的软件开发通常涉及多样的库和函数调用。这些复杂的内容既无法直接作为大模型的输入，也不利于大模型解决此类难题。
据了解，北京大学软件研究所在深度学习和代码生成领域深耕多年。研究团队发现，传统的代码生成方法在面对真实编程场景时存在一些局限性，而这主要源于以下几个方面。
第一，API 选择的困难。
在真实编程场景中，选择合适的 API，对于实现特定功能来说至关重要。传统代码生成模型往往难以准确理解上下文，从而选择错误的 API 或生成不存在的 API，尤其是在使用第三方库或私有库时。
第二，缺乏上下文理解。
真实编程场景通常涉及复杂的代码库和项目结构，代码片段之间存在依赖关系。传统方法可能无法充分理解这些上下文信息，导致生成的代码不能与现有代码库无缝集成。
第三，独立代码单元的局限。
许多传统代码生成模型专注于生成独立的代码单元，如单个函数或语句。但在现实项目中，代码往往需要跨多个文件和模块交互，这要求代码生成模型能够处理更复杂的结构和依赖。
第四，缺乏动态交互能力。
真实编程过程中，开发者会使用各种工具来辅助编码，如搜索引擎、文档阅读器、代码测试工具等。传统代码生成方法通常缺乏与这些工具交互的能力，限制了它们在复杂任务中的性能。
为攻克上述问题，帮助大模型更好地生成代码，近期，北京大学团队提出两款工具增强型代码生成方法——ToolCoder[1]和 CodeAgent[2]，开创了一种新的针对复杂代码生成的研究路径。
实验证明，这些方法通过集成 API 搜索工具、代码测试工具和其他编程辅助工具，增强了代码生成模型在真实编程场景中的应用能力，提供了更加准确、可靠和适应性强的代码生成解决方案。
其中，ToolCoder以CodeGen-350M 和 CodeGen-2B 模型为基础，训练出能够使用 API 搜索工具的 ToolCoder-350M 和 ToolCoder-2B 两个模型，在五个公共和私有库的代码生成基准测试（MonkeyEval、BeatNumEval、NumpyEval、PandasEval、TorchDataEval）中表现出色。
与最先进的方法相比，平均 pass@1 指标提高了至少 6.21%，平均 pass@10 指标提高了 9.64%。
图丨ToolCoder的流程（来源：arXiv）
CodeAgent 的基础模型涵盖 GPT-4、GPT-3.5、GPT-3、Claude-2、LLaMA2-70B-chat、CodeLLaMA、Deepseekcoder 和 Vicuna 等。
在该团队自行构建的 101 个项目级别代码生成数据上，CodeAgent 框架显著提高了大模型的性能，pass@1 通过率指标在不同模型上的提高最多可达到 15.8%。同时，在 HumanEval 数据集上，不同模型 pass@1 指标提高了 6.1% 到 9.7%，足以证明该方法的有效性。
图丨CodeAgent 概览和智能体策略说明（来源：ACL 2024）
前一项成果的相关论文以《ToolCoder：指导代码生成模型使用 API 搜索工具》（ToolCoder：Teach Code Generation Models to Use API Search Tool）为题发在预印本平台 arXiv 上[1]。
图丨相关论文（来源：arXiv）
后一项成果的相关论文则以《CodeAgent：通过集成工具的 Agent 系统提升代码生成，解决现实世界中的项目级别代码生成挑战》（CodeAgent：Enhancing Code Generation with Tool-integrated Agent Systems for Real-World Repo-level Coding Challenges）为题被 ACL 2024 接收[2]。
来自北京大学的博士生张克驰和李佳是第一作者，金芝教授和李戈教授担任共同通讯作者。
图丨相关论文（来源：ACL 2024）
值得一提的是，在审稿过程中，审稿人对 CodeAgent 的创新性、有效性及其在更广泛领域的应用潜力，给予了积极的评价。
基于此，2023 年春节期间，金芝和李戈两位教授在组会上提出，能否利用软件工程领域积累的诸多传统工具，帮助大模型提高代码生成能力。
“从那时起，我们便定下了工具增强的代码生成这一课题内容。”博士生张克驰表示，“之后不久，ChatGPT 的 plugin 功能迅速上线，Toolformer 等一系列优质工作证明了将工具和大模型结合这一思路的有效性。”
在接下来数周时间里，团队广泛讨论了如何将工具结合进大模型的生成过程中，并于 2023 年 4 月完成 ToolCoder 相关工作，随后收获诸多业界同行的关注。
有了这个相对较小的工具增强代码生成模型的成功经验后，该团队希望能将这种思想应用到更大规模的模型上，挑战更复杂的编程任务场景。
具体来说，大模型在 HumanEval 这一类简单的代码生成任务上表现优异。不过，现实世界的软件开发往往涉及复杂的代码库，而它们具有复杂的依赖关系和广泛的文档。
因此，为填补这一空白，他们转向了一个更实际的设定，即真实世界下项目级别的代码生成。
自 2023 年 6 月起，团队开始收集和学习 Github 上优质的代码库，力图全面定义项目级别代码生成这一新的任务情景。后续数月，团队不断地精调、打磨 CodeAgent 框架，最终形成 CodeAgent 一文。
另一方面，团队系统地整理了大模型技术的优势，以及当前基于大模型的代码生成工作中存在的诸多问题，并给出了工具增强的代码生成工作的两种实现思路——基于微调和基于上下文学习，将 ToolCoder 和 CodeAgent 两个工作统一起来。
为加速技术成果向实际生产力的转化，团队已联合 aiXcoder（孵化自北京大学软件工程研究所）将相关研究应用于航天等领域。
在这些真实工业项目中，团队发现工具增强的大模型代码生成方法具有诸多优势，可以支持企业实际复杂业务场景，并能够生成更可靠的代码。
不过，由于不同行业、不同领域存在大量的先验知识，因此也特化出不同的需求场景和编程场景，但那些通用的代码生成模型或框架，却很难很好地处理这些问题场景。
在未来的研究中，北大团队计划借助之前积累的工具增强代码生成经验，找到针对此类情景的有效方案，解决业界这一痛点难题，从而实现通过大模型力量解放生产力的最终目标。
论文第一作者介绍：张克驰，本科毕业于北京大学信息科学技术学院，师从金芝教授和李戈教授。研究方向为智能化软件工程、代码表示与代码生成，以第一作者在自然语言处理、软件工程等领域的国际会议上发表多篇论文，曾获得 2023 年 ACM 杰出论文奖（ACM SIGSOFT Distinguished Paper Award in International Conference on Program Comprehension）。
参考资料：
1.K.,Zhang,H.,Zhang,G.,Li.et al.ToolCoder：Teach Code Generation Models to Use API Search Tool.arXiv:2305.04032. https://doi.org/10.48550/arXiv.2305.04032
2.K.,Zhang,J.,Li, G.,Li.et al.CodeAgent：Enhancing Code Generation with Tool-integrated Agent Systems for Real-World Repo-level Coding Challenges.Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics（ACL 2024）,Bangkok,Thailand,Aug.11-16,2024.（Accepted）
运营/排版：何晨龙
01/
02/
03/
04/
05/
热门跟贴