标题： NoCode-bench：一种用于评估自然语言驱动功能添加的基准 显示英文标题

标题： NoCode-bench: A Benchmark for Evaluating Natural Language-Driven Feature Addition

摘要： 自然语言驱动的无代码开发允许用户使用自然语言（NL）而不是编辑源代码来指定软件功能，有望提高生产效率和实现开发的民主化。 大型语言模型（LLMs）在实现这一范式方面显示出潜力。 在此背景下，软件文档充当功能的NL规范。 这项工作引入了NoCode-bench，这是一个设计用于评估LLMs在现实世界中自然语言驱动的功能添加任务的基准，包含10个项目中的634个任务和114k个代码更改。 每个任务将文档更新与相应的代码实现配对，并通过开发者编写的测试用例进行验证。 其中一部分114个高质量、人工验证的实例，称为NoCode-bench Verified，确保了可靠的评估。 我们的实验表明，尽管使用了大量的标记，最好的LLMs的任务成功率仅为15.79%，突显了跨文件编辑、代码库理解和工具调用方面的挑战。 这些发现表明，LLMs尚未准备好用于完全的自然语言驱动的无代码开发。 NoCode-bench为该领域未来的进步奠定了基础。 显示英文摘要

摘要： Natural language-driven no-code development allows users to specify software functionality using natural language (NL) instead of editing source code, promising increased productivity and democratized development. Large language models (LLMs) show potential in enabling this paradigm. In this context, software documentation acts as an NL specification for functionality. This work introduces NoCode-bench, a benchmark designed to evaluate LLMs on real-world NL-driven feature addition tasks, consisting of 634 tasks across 10 projects and 114k code changes. Each task pairs documentation updates with corresponding code implementations, validated by developer-written test cases. A subset of 114 high-quality, human-verified instances, NoCode-bench Verified, ensures reliable evaluation. Our experiments reveal that, despite high token usage, the best LLMs achieve a task success rate of only 15.79%, highlighting challenges in cross-file editing, codebase understanding, and tool calling. These findings indicate that LLMs are not yet ready for fully NL-driven no-code development. NoCode-bench lays the foundation for future advances in this area.