Benchmark

MMLU-Pro

language reasoning math general text

A more robust and challenging multi-task language understanding benchmark that extends MMLU by expanding multiple-choice options from 4 to 10, eliminating trivial questions, and focusing on reasoning-intensive tasks. Features over 12,000 curated questions across 14 domains and causes a 16-33% accuracy drop compared to original MMLU.

Top 10

榜单概览

1Nemotron 3 Ultra 550B A…86.82DeepSeek-V3.2-Exp85.03GLM-4.584.64Qwen3-235B-A22B-Thinkin…84.45Qwen3-Next-80B-A3B-Thin…82.76Kimi K2 090582.57GLM-4.5-Air81.48Kimi K2-Instruct-090581.19Qwen3-Next-80B-A3B-Inst…80.6
数据说明

分数为 0-100 百分制综合成绩(Elo 榜为相对评分,仅供同榜内比较)。评测分数属事实数据,整理自公开评测体系与厂商公开资料,部分分数为厂商自报口径,不同榜单的评测方法与数据集可能存在差异,请结合多个榜单交叉参考。

Ranking

模型排名

名次 模型 机构 分数 来源
1 Nemotron 3 Ultra 550B A55B NVIDIA 86.8 来源
2 DeepSeek-V3.2-Exp DeepSeek 85.0 来源
3 GLM-4.5 Zhipu AI 84.6 来源
4 Qwen3-235B-A22B-Thinking-2507 Alibaba Cloud / Qwen Team 84.4 来源
5 Qwen3-Next-80B-A3B-Thinking Alibaba Cloud / Qwen Team 82.7 来源
6 Kimi K2 0905 Moonshot AI 82.5 来源
7 GLM-4.5-Air Zhipu AI 81.4 来源
8 Kimi K2-Instruct-0905 Moonshot AI 81.1 来源
9 Qwen3-Next-80B-A3B-Instruct Alibaba Cloud / Qwen Team 80.6 来源