认识 Mellum 2.1
先说个挺罕见的场面：厂商在自己的发布博客里，公开承认上一代产品不行。
JetBrains 原话是这么写的——"Mellum2 很快，但它没法在一个代码仓库里达到我们想要的水平。"
翻译成人话：能补全，不能干活。让它续写一行代码没问题，让它自己翻仓库、找到失败测试的根因、改完文件再自己验证一遍，它做不到。在 SWE-bench Verified 这个真实 GitHub issue 修复基准上，Mellum2 的得分是 2.0%——一百个真实 bug，修好两个。
一个夏天之后，同样的架构、同样的参数量，这个数字变成了 47.0%。
架构一行没改。变的，是预训练之后那部分。
这几年大家都在卷参数、卷上下文、卷榜单第一。Mellum 2.1 有意思的地方在于：它证明了"把 RL 从收尾环节提到训练主体"，比再堆 20B 参数管用得多。
什么是 Mellum 2.1
Mellum 2.1 是 JetBrains 于 2026 年 10 月 8 日发布的开源权重大模型，Apache 2.0 协议，商用无限制。对，就是做 IntelliJ IDEA、PyCharm、GoLand 的那家捷克公司，自家 IDE 里的代码补全就跑着 Mellum。
它的定位非常克制，也很清楚：不是去跟前沿大模型比谁更聪明，而是做编码 Agent 系统里那个跑得快、能干活、可以塞进你自己机房的执行者。
规格上它是一个紧凑的 MoE（混合专家）模型：
| 项目 | 数值 |
|---|---|
| 总参数 / 每 token 激活 | 12B / 2.5B |
| 层数 | 28 |
| 专家数 / 每 token 激活专家 | 64 / 8 |
| 注意力 | GQA，32 个 Q 头、4 个 KV 头 |
| 上下文窗口 | 131,072 token |
| 滑动窗口 | 1,024 token |
| 词表 | 98,304 |
| 精度 | bfloat16 |
| 协议 | Apache 2.0 |
架构自 2026 年 6 月的 Mellum2 起完全没有改动。这次发布的全部工作量，都在后训练。
Mellum 2.1 的特点
- RL 从"收尾"变成"主体"：以前强化学习只是预训练后一个短暂的收尾阶段，这次它成了训练的主要部分。这是 2% → 47% 的全部原因
- 在真实环境里练，不是在题面上练：JetBrains 自建了能同时跑数千个 RL 环境的基础设施，训练期间启动了数百万个沙盒。模型在真实仓库里拿着 shell 和文件编辑工具干活，测试跑通才给奖励
- 数据进训练前先过一遍筛子：数学、竞赛编程、科学、工具调用、软件工程五类任务都补了新题，但开源 RL 数据集里常见"测试是坏的""答案没法验证""题目太简单或根本做不了"，每个来源都先过滤
- 真的会自己检查改动：探索代码库、编辑文件、验证自己的修改——这是官方列出的三项核心能力，也是 Mellum2 缺失的那部分
- 快，而且有量化依据：后训练没动架构，所以速度和 Mellum2 一样；单张 H200 高负载下，每秒服务的 token 数接近 Qwen3.5-9B 的两倍
- MTP 再叠一层：多 token 预测（一次预测多个 token），单请求场景再快约 1.6 倍
- 131K 上下文：整个仓库的骨架塞进去不成问题，滑动窗口 1,024 的设计让长上下文不至于把算力吃光
- 三个 checkpoint：Base、Instruct（直接回答、低延迟）、Thinking（先吐思考链再回答）。做编码 Agent 一般用 Thinking
- Apache 2.0，可商用：不是"权重开放、训练代码闭源"的半开源，协议层面没有坑
- 官方 GGUF 已上线：
JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF，llama.cpp / Ollama / LM Studio 直接能用 - 可私有化部署：代码和数据一行都不出你的机房，这是 JetBrains 反复强调的卖点
- 也能当通用助手：数学和推理题能一步步推，AIME 25/26 拿到 83.3
跑分：赢在短任务，输在长任务
先看 JetBrains 自己公布的这组数字（thinking 模式，统一用开源 Agent harness Pi v0.73.1 评测）：
| 基准 | Mellum2.1 | Mellum2 | Qwen3.5-9B | Gemma 4 E4B |
|---|---|---|---|---|
| SWE-bench Verified | 47.0 | 2.0 | 50.0 | 23.0 |
| SWE-bench Pro | 28.0 | 0.0 | 38.0 | 4.0 |
| Terminal-Bench 2.1 | 17.4 | 0.6 | 21.7 | 3.4 |
| LiveCodeBench v6 | 82.0 | 69.4 | 75.4 | 69.4 |
| BFCL v4（工具调用） | 62.3 | — | 58.5 | — |
| AIME 25/26 | 83.3 | 60.1 | 86.7 | 45.0 |
| GPQA Diamond | 64.6 | 51.0 | 77.8 | 53.1 |
| HumanEval+ | 91.5 | — | — | — |
| IFEval | 90.6 | — | — | — |
| HarmBench（越低越好） | 8.5 | 21.5 | 6.6 | 38.1 |
怎么读这张表？一句话：Mellum 2.1 赢短任务，Qwen3.5-9B 赢长任务。
编程竞赛题（LiveCodeBench v6）、工具调用（BFCL v4）它都领先；但一旦进入"在真实仓库里改一堆文件"这个尺度（SWE-bench Verified / Pro / Terminal-Bench），Qwen3.5-9B 还是更强。硬科学问答（GPQA）和数学（AIME）也是 Qwen 领先。
所以对它的正确期待是：一个又快又便宜的执行单元，不是全能主力。
JetBrains 的算盘其实很实在：命中率低 3 个点，但吞吐翻倍 —— 对"批量修测试失败"这种量大、难度中等的活儿，翻倍的量能盖过那 3 个点。这笔账只有在你真的跑很多 Agent 时才成立。
场景：它到底该放哪儿
1. Agent 系统里的执行者
这是官方给的第一定位。一个 Agent 的完整计划里有很多零碎环节：定位失败测试的根因、起草修复方案、验证结果。这些环节不值得调用最贵的模型，但要求快、要求能反复试。Mellum 2.1 就是为这个位置设计的。
2. 子智能体（sub-agent）并发
多智能体架构里同时跑五六个子 Agent 是常态，这时候单请求的绝对速度不重要，并发下的总吞吐才重要。这正是 Mellum 2.1 声称领先的地方，也是它最值得试的场景。
3. 代码不能出机房的团队
金融、政企、军工这类环境，代码一行都不能发给第三方 API。JetBrains 自己在这条路上已经铺了几年：2025 年 6 月 Mellum 就作为首批模型之一上线 NVIDIA NIM，可以在自己基础设施上以容器化微服务跑；也上架了 Amazon Bedrock Marketplace。AWS 官方案例里提到，JetBrains 用 NVIDIA B200 / H200 训练 Mellum，还是首个使用 Amazon EC2 P6（Blackwell）实例的 AWS 客户。
需要说明的是：JetBrains AI Assistant 里跑的是 Mellum 的增强专有版本，跟 Hugging Face 上这份开源权重不是一回事。开源版给你的是灵活自部署，IDE 里的那版集成更深、体验更完整。
4. 不只是写代码
数学和推理能力是这次 RL 训练的外溢收益——AIME 从 60.1 涨到 83.3。日常问答也能用，但说实话，这属于"顺带能干"，不是买它的理由。
初体验：把它跑起来
方式一：vLLM（现在就能用）
vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \
--reasoning-parser qwen3 \
--max-model-len 32768要开工具调用的话，加上 Hermes 风格的解析器：
vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser hermes \
--max-model-len 131072方式二：llama.cpp / Ollama / LM Studio（官方 GGUF）
官方仓库 JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF 给了五个档位：
| 量化 | 体积 | 与 BF16 的 KL 散度 ↓ | top-token 一致率 ↑ |
|---|---|---|---|
| BF16 | 24.3 GB | — | — |
| Q8_0 | 12.9 GB | 0.008 | 96.1% |
| Q6_K | 10.9 GB | 0.020 | 93.9% |
| Q4_K_M（推荐） | 8.1 GB | 0.075 | 88.0% |
| MXFP4_MOE（最小） | 7.0 GB | 0.115 | 85.6% |
一条命令拉起来：
llama-server -hf JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M \
--ctx-size 131072 --temp 0.6 --top-p 0.95 --top-k 20它会在 http://localhost:8080/v1 暴露一个 OpenAI 兼容接口，你现有的 Agent 框架基本不用改代码。
几个上手就得注意的点：
- 采样参数照抄官方的：
temperature=0.6、top_p=0.95、top_k=20。这是跟着它的思考链调过的，别自作主张改成 0.2 - Thinking 模型的思考过程包在
<think>块里，做流式输出时记得处理 - 显存：BF16 约 24 GB，一张 4090 / 3090 刚好；Q4_K_M 压到 8.1 GB，12GB 的消费级卡也能跑
- 没有托管 API，也没有定价。想要 API 得自己找，或者自己部署
丑话也说几句
- 所有跑分都是 JetBrains 自己跑的，目前没有第三方复现。 官方倒是统一了评测设置（同 harness、同 thinking 模式），这点比很多厂商诚实，但"自己评自己"这个前提没变，你的场景请自己测
- 1.6 倍那个加速，依赖还没发布的 MTP head。 官方把它列在"coming soon"里。所以你现在能拿到的，只有"高负载吞吐接近 Qwen3.5-9B 两倍"这一条
- 在真实仓库类任务上，Qwen3.5-9B 仍然更强。 SWE-bench Verified 50.0 对 47.0、Pro 38.0 对 28.0、Terminal-Bench 21.7 对 17.4。如果你已经在自部署 Qwen3.5-9B 且效果满意，没有理由换
- 它不适合当主力聊天模型。 GPQA 64.6 对 Qwen 的 77.8，差得不小。通用知识和硬推理不是它的强项
- 架构是老的。 这一版完全没有动架构，意味着 Mellum2 时代的那些限制大概率还在
我自己的判断：Mellum 2.1 最值得注意的不是 47% 这个数，而是它把"小模型 + 大量真实环境 RL"这条路走通了。过去一年大家默认"Agent 能力是大模型的特权"，一个 12B 的模型能在真实仓库里改对近一半的 bug，这个信号比名次重要。别把它当 Qwen 的替代品，把它当一条新的成本曲线。
进阶
想认真评估它，别跑榜单。拿你自己仓库里最近 50 个失败的 CI 任务，用同一个 harness 分别喂给 Mellum 2.1 和 Qwen3.5-9B，只统计两个数：每秒 token 数，和真正修好的工单数。前者乘上你的 GPU 账单，后者才是你真正买的东西。
另外值得留意的是时间点：2026 年 10 月这一周，Clef、Kolibri、Beam、Mellum 2.1 密集放出，全都是开放权重、全都在强调"跑在你自己的机器上"。开源模型的竞争维度，已经从"谁更聪明"挪到了"谁让你用得起、用得安心"。
更多开源技术干货和学习资料，关注公众号「遇码」，领取专属福利。