仓库级 GPU 软件工程基准

抱着 GPU 显卡、手持扳手的羊驼工程师

SWE-GPU-Bench

真实代码仓库跨语言补丁GPU 执行验证

语言模型能解决真实世界的 GPU 软件工程任务吗?

SWE-GPU-Bench: Can Language Models Solve Real-World GPU Software Engineering Tasks?

从独立内核走向真实代码库。SWE-GPU-Bench 在 GPU 项目中评测语言模型修复缺陷、实现功能和优化性能的能力。

Feng ChenBinbin LiuWenhan HanYin Zheng*

独立研究者 · * 通讯作者

417论文任务数
30GPU 代码仓库
378通用集任务
39Perf-Replay 任务

研究问题

一个内核,只是代码库的一部分。

真实 GPU 软件连接着 CUDA 内核、C++ 主机代码、Python 绑定和构建系统。补丁需要协调这些组件,并通过仓库中的测试。

设备端代码CUDA · GPU 内核
主机端与绑定C++ · Python
构建与验证CMake · Bazel · 测试

真实维护任务

任务来自已合并的拉取请求,涵盖缺陷修复、功能实现和性能优化。

跨文件推理

超过四分之一的任务修改四个以上文件;超过一半的任务涉及两种或更多编程语言。

基于执行的评测

模型获得基础版本的仓库与问题描述,生成候选补丁;评测使用隐藏的 PR 测试判定正确性。

评测流程 · 智能体修改基础仓库,隐藏测试检查正确性。Perf-Replay 仅对通过正确性测试的补丁测量性能。

点击图表可放大,按 Escape 关闭。

基准与方法

将真实拉取请求转化为可执行任务。

论文介绍了五阶段构建流程:仓库与 PR 筛选、命令合成、干净环境中的失败到通过回放,以及打包前的人工审核。

数据构建 · 规则与语言模型筛选 → 命令合成 → 干净环境回放 → 任务打包。完整验证协议见论文。
任务来源仓库分布
参考补丁涉及的语言数量
任务类型分布

实验结果

从成功应用补丁,到真正通过测试。

Patch、Compile 和 Test 均为占尝试任务数的百分比,Test 表示任务解决率。每种配置采用单次 pass@1 评测,使用与任务匹配的单张 NVIDIA A100 或 H100 GPU。

当前通用集评测

论文报告结果 · 表 2

这五个模型在更新后的完整通用集(378 个任务)上评测。Agent 使用 Codex CLI 或 OpenCode;Oracle 获得目标文件后单次生成补丁。

左右滑动,查看全部指标。

当前通用集评测
模型运行框架Patch %Compile %Test % ↓
GPT-6-AstraCodex CLI100.0100.058.3
GPT-6.1-SolCodex CLI100.0100.058.0
GPT-5.6-SolCodex CLI98.098.056.7
DeepSeek-V4.1-FlashOpenCode100.0100.055.3
DeepSeek-V4-ProOpenCode94.094.043.3

5 个模型

展开历史结果

历史结果 · 保留的有效子集

较早模型的结果来自历史评测中保留的有效任务。它们的评测分母不同,论文未逐行给出确切分母,因此单独展示,不能作为与当前完整通用集完全同条件的排名。

历史结果 · 保留的有效子集
模型运行框架Patch %Compile %Test % ↓
GPT-5.5Codex CLI100.095.248.9
GPT-5-CodexCodex CLI85.047.033.0
GPT-5.1-CodexCodex CLI74.757.833.0
GPT-5 miniCodex CLI87.856.730.0
DeepSeek-V3.1OpenCode85.158.529.0
Kimi K2.5OpenCode85.053.027.0
DeepSeek-V3.2OpenCode86.756.126.5
DeepSeek-V4-FlashOpenCode88.288.226.3

PERF-REPLAY

先保证正确,再衡量速度。

在 39 个性能任务中,候选补丁首先必须通过功能测试,再将其目标性能指标与基础版本进行比较。

39 个性能任务

正确性通过后,再测量性能

论文报告的 Perf-Replay 结果(表 3)
模型PatchCompileTest性能收益
Gold patch 参考补丁39/3939/3939/396.4%
GPT-5.1-Codex (Codex)39/3915/393/393.3%
GPT-5-Codex (Codex)39/3910/392/392.4%
Kimi K2.5 (OpenCode)35/398/392/393.3%
DeepSeek-V3.2 (OpenCode)39/3912/391/394.3%

性能收益是各模型通过测试的任务上的平均相对改善。这些任务数量少,且不同模型通过的任务不同,因此不能据此直接排列跨模型加速排名。Gold patch 为参考实现。

资源与引用

进一步了解这项研究。

论文

完整论文,包括实验细节、分析和附录。

下载 PDF

数据集

Hugging Face 上的任务实例与发布信息。比较结果前,请核对数据集版本。

打开 Hugging Face

评测代码

项目源代码仓库目前为私有。

暂未公开

引用

@misc{chen2026swegpubench,
  title = {SWE-GPU-Bench: Can Language Models Solve Real-World GPU Software Engineering Tasks?},
  author = {Chen, Feng and Liu, Binbin and Han, Wenhan and Zheng, Yin},
  year = {2026},
  url = {https://chenfengshijie.github.io/SWE-GPU-Bench-website/}
}

对基准有疑问? yzheng3xg@gmail.com

内容快照 · 2026 年 11 月 6 日