约束衰减：LLM智能体在后端代码生成中的脆弱性

Abstract: 大型语言模型（LLM）智能体在宽松规格下的自主代码生成中展现出强大性能。然而，生产级软件要求严格遵守架构模式、数据库和对象关系映射等结构约束。现有基准测试往往忽略这些非功能需求，奖励功能正确但结构随意的解决方案。我们通过系统研究评估了智能体在多文件后端生成中处理结构约束的能力。通过统一80个新建生成任务和20个覆盖八个Web框架的功能实现任务的API契约，我们利用端到端行为测试和静态验证器的双重评估隔离了结构复杂度的影响。我们的发现揭示了一种约束衰减现象：随着结构需求累积，智能体性能显著下降。从基线到完全指定任务，性能优越的配置在断言通过率上平均下降30个百分点，而某些较弱的配置几乎归零。框架敏感性分析暴露了显著的性能差异：智能体在最小化、显式框架（如Flask）中成功，但在惯例密集的环境（如FastAPI、Django）中平均表现更差。最后，错误分析确定数据层缺陷（如不正确的查询组合和ORM运行时违规）是主要根本原因。本工作强调，同时满足功能性和结构性需求仍是编码智能体面临的关键开放挑战。