Benchmark

SWE-Bench Verified

reasoning frontend_development code text

A verified subset of 500 software engineering problems from real GitHub issues, validated by human annotators for evaluating language models' ability to resolve real-world coding issues by generating patches for Python codebases.

Top 10

榜单概览

1Claude Fable 595.02Claude Opus 4.888.63Claude Sonnet 585.24Ornith 1.0 397B82.45DeepSeek V4 Pro80.66MiniMax-M380.57Qwen3.7 Max80.48Kimi K2.680.29MiniMax-M2.779.910DeepSeek V4 Flash79.0
数据说明

分数为 0-100 百分制综合成绩(Elo 榜为相对评分,仅供同榜内比较)。评测分数属事实数据,整理自公开评测体系与厂商公开资料,部分分数为厂商自报口径,不同榜单的评测方法与数据集可能存在差异,请结合多个榜单交叉参考。

Ranking

模型排名

名次 模型 机构 分数 来源
1 Claude Fable 5 Anthropic 95.0 来源
2 Claude Opus 4.8 Anthropic 88.6 来源
3 Claude Sonnet 5 Anthropic 85.2 来源
4 Ornith 1.0 397B DeepReinforce 82.4 来源
5 DeepSeek V4 Pro DeepSeek 80.6 来源
6 MiniMax-M3 MiniMax 80.5 来源
7 Qwen3.7 Max Alibaba Cloud / Qwen Team 80.4 来源
8 Kimi K2.6 Moonshot AI 80.2 来源
9 MiniMax-M2.7 MiniMax 79.9 来源
10 DeepSeek V4 Flash DeepSeek 79.0 来源
11 MiMo-V2.5-Pro Xiaomi 78.9 来源
12 Hy3 Tencent 78.0 来源
13 Mistral Medium (latest) Mistral AI 77.6 来源
14 Mistral Medium 3.5 Mistral AI 77.6 来源
15 Qwen3.6 27B Alibaba Cloud / Qwen Team 77.2 来源
16 Step 3.7 Flash StepFun 76.5 来源
17 Qwen3.5 397B-A17B Alibaba Cloud / Qwen Team 76.4 来源
18 MiniMax-M2.5 MiniMax 75.8 来源
19 Ornith 1.0 35B DeepReinforce 75.6 来源
20 GPT-5 OpenAI 74.9 来源
21 GPT-5 Codex OpenAI 74.5 来源
22 Claude Opus 4.1 Anthropic 74.5 来源
23 Hy3 preview Tencent 74.4 来源
24 Step 3.5 Flash StepFun 74.4 来源
25 MiniMax-M2.1 MiniMax 74.0 来源
26 GLM-4.7 Zhipu AI 73.8 来源
27 Qwen3.6 35B-A3B Alibaba Cloud / Qwen Team 73.4 来源
28 Claude Haiku 4.5 Anthropic 73.3 来源
29 GLM-5 Zhipu AI 72.8 来源
30 Qwen3.5 27B Alibaba Cloud / Qwen Team 72.4 来源
31 Qwen3.5 122B-A10B Alibaba Cloud / Qwen Team 72.0 来源
32 MAI-Code-1-Flash Microsoft 71.6 来源
33 Kimi K2 Thinking Moonshot AI 71.3 来源
34 Laguna XS 2.1 Poolside 70.9 来源
35 Grok Code Fast 1 xAI 70.8 来源
36 Kimi K2.5 Moonshot AI 70.8 来源
37 Nemotron 3 Ultra 550B A55B NVIDIA 70.7 来源
38 MiniMax-M2 MiniMax 69.4 来源
39 Ornith 1.0 9B DeepReinforce 69.4 来源
40 GLM-4.6 Zhipu AI 68.0 来源
41 DeepSeek-V3.2-Exp DeepSeek 67.8 来源
42 North Mini Code Cohere 67.6 来源
43 Kimi K2-Instruct-0905 Moonshot AI 65.8 来源
44 GLM-4.5 Zhipu AI 64.2 来源
45 GLM-4.7-Flash Zhipu AI 59.2 来源
46 GLM-4.5-Air Zhipu AI 57.6 来源