真实维护任务
任务来自已合并的拉取请求,涵盖缺陷修复、功能实现和性能优化。
仓库级 GPU 软件工程基准

SWE-GPU-Bench
SWE-GPU-Bench: Can Language Models Solve Real-World GPU Software Engineering Tasks?
从独立内核走向真实代码库。SWE-GPU-Bench 在 GPU 项目中评测语言模型修复缺陷、实现功能和优化性能的能力。
独立研究者 · * 通讯作者
研究问题
真实 GPU 软件连接着 CUDA 内核、C++ 主机代码、Python 绑定和构建系统。补丁需要协调这些组件,并通过仓库中的测试。
任务来自已合并的拉取请求,涵盖缺陷修复、功能实现和性能优化。
超过四分之一的任务修改四个以上文件;超过一半的任务涉及两种或更多编程语言。
模型获得基础版本的仓库与问题描述,生成候选补丁;评测使用隐藏的 PR 测试判定正确性。
点击图表可放大,按 Escape 关闭。
基准与方法
论文介绍了五阶段构建流程:仓库与 PR 筛选、命令合成、干净环境中的失败到通过回放,以及打包前的人工审核。
实验结果
Patch、Compile 和 Test 均为占尝试任务数的百分比,Test 表示任务解决率。每种配置采用单次 pass@1 评测,使用与任务匹配的单张 NVIDIA A100 或 H100 GPU。
这五个模型在更新后的完整通用集(378 个任务)上评测。Agent 使用 Codex CLI 或 OpenCode;Oracle 获得目标文件后单次生成补丁。
左右滑动,查看全部指标。
| 模型 | 运行框架 | Patch % | Compile % | Test % ↓ |
|---|---|---|---|---|
| GPT-6-Astra | Codex CLI | 100.0 | 100.0 | 58.3 |
| GPT-6.1-Sol | Codex CLI | 100.0 | 100.0 | 58.0 |
| GPT-5.6-Sol | Codex CLI | 98.0 | 98.0 | 56.7 |
| DeepSeek-V4.1-Flash | OpenCode | 100.0 | 100.0 | 55.3 |
| DeepSeek-V4-Pro | OpenCode | 94.0 | 94.0 | 43.3 |
没有匹配的模型。
5 个模型
较早模型的结果来自历史评测中保留的有效任务。它们的评测分母不同,论文未逐行给出确切分母,因此单独展示,不能作为与当前完整通用集完全同条件的排名。
| 模型 | 运行框架 | Patch % | Compile % | Test % ↓ |
|---|---|---|---|---|
| GPT-5.5 | Codex CLI | 100.0 | 95.2 | 48.9 |
| GPT-5-Codex | Codex CLI | 85.0 | 47.0 | 33.0 |
| GPT-5.1-Codex | Codex CLI | 74.7 | 57.8 | 33.0 |
| GPT-5 mini | Codex CLI | 87.8 | 56.7 | 30.0 |
| DeepSeek-V3.1 | OpenCode | 85.1 | 58.5 | 29.0 |
| Kimi K2.5 | OpenCode | 85.0 | 53.0 | 27.0 |
| DeepSeek-V3.2 | OpenCode | 86.7 | 56.1 | 26.5 |
| DeepSeek-V4-Flash | OpenCode | 88.2 | 88.2 | 26.3 |
没有匹配的模型。
PERF-REPLAY
在 39 个性能任务中,候选补丁首先必须通过功能测试,再将其目标性能指标与基础版本进行比较。
正确性通过后,再测量性能
| 模型 | Patch | Compile | Test | 性能收益 |
|---|---|---|---|---|
| Gold patch 参考补丁 | 39/39 | 39/39 | 39/39 | 6.4% |
| GPT-5.1-Codex (Codex) | 39/39 | 15/39 | 3/39 | 3.3% |
| GPT-5-Codex (Codex) | 39/39 | 10/39 | 2/39 | 2.4% |
| Kimi K2.5 (OpenCode) | 35/39 | 8/39 | 2/39 | 3.3% |
| DeepSeek-V3.2 (OpenCode) | 39/39 | 12/39 | 1/39 | 4.3% |
性能收益是各模型通过测试的任务上的平均相对改善。这些任务数量少,且不同模型通过的任务不同,因此不能据此直接排列跨模型加速排名。Gold patch 为参考实现。
资源与引用
完整论文,包括实验细节、分析和附录。
下载 PDFHugging Face 上的任务实例与发布信息。比较结果前,请核对数据集版本。
打开 Hugging Face项目源代码仓库目前为私有。
暂未公开@misc{chen2026swegpubench,
title = {SWE-GPU-Bench: Can Language Models Solve Real-World GPU Software Engineering Tasks?},
author = {Chen, Feng and Liu, Binbin and Han, Wenhan and Zheng, Yin},
year = {2026},
url = {https://chenfengshijie.github.io/SWE-GPU-Bench-website/}
}对基准有疑问? yzheng3xg@gmail.com
内容快照 · 2026 年 11 月 6 日