---
url: /mellum/introduction.md
description: >-
  Mellum 2.1 是 JetBrains 于 2026 年 10 月 8 日开源的 12B MoE 编码智能体模型，Apache 2.0
  可商用，靠强化学习把 SWE-bench Verified 从 2% 拉到 47%，单张 H200 吞吐接近 Qwen3.5-9B 两倍，是私有化部署编码
  Agent 的新选择。
---

# 认识 Mellum 2.1

先说个挺罕见的场面：**厂商在自己的发布博客里，公开承认上一代产品不行。**

JetBrains 原话是这么写的——"Mellum2 很快，但它没法在一个代码仓库里达到我们想要的水平。"

翻译成人话：能补全，不能干活。让它续写一行代码没问题，让它自己翻仓库、找到失败测试的根因、改完文件再自己验证一遍，它做不到。在 SWE-bench Verified 这个真实 GitHub issue 修复基准上，Mellum2 的得分是 **2.0%**——一百个真实 bug，修好两个。

一个夏天之后，同样的架构、同样的参数量，这个数字变成了 **47.0%**。

架构一行没改。变的，是预训练之后那部分。

> 这几年大家都在卷参数、卷上下文、卷榜单第一。Mellum 2.1 有意思的地方在于：它证明了"把 RL 从收尾环节提到训练主体"，比再堆 20B 参数管用得多。

## 什么是 Mellum 2.1

Mellum 2.1 是 **JetBrains** 于 **2026 年 10 月 8 日**发布的开源权重大模型，Apache 2.0 协议，商用无限制。对，就是做 IntelliJ IDEA、PyCharm、GoLand 的那家捷克公司，自家 IDE 里的代码补全就跑着 Mellum。

它的定位非常克制，也很清楚：**不是去跟前沿大模型比谁更聪明，而是做编码 Agent 系统里那个跑得快、能干活、可以塞进你自己机房的执行者。**

规格上它是一个紧凑的 MoE（混合专家）模型：

| 项目 | 数值 |
| --- | --- |
| 总参数 / 每 token 激活 | 12B / 2.5B |
| 层数 | 28 |
| 专家数 / 每 token 激活专家 | 64 / 8 |
| 注意力 | GQA，32 个 Q 头、4 个 KV 头 |
| 上下文窗口 | 131,072 token |
| 滑动窗口 | 1,024 token |
| 词表 | 98,304 |
| 精度 | bfloat16 |
| 协议 | Apache 2.0 |

架构自 2026 年 6 月的 Mellum2 起**完全没有改动**。这次发布的全部工作量，都在后训练。

## Mellum 2.1 的特点

* **RL 从"收尾"变成"主体"**：以前强化学习只是预训练后一个短暂的收尾阶段，这次它成了训练的主要部分。这是 2% → 47% 的全部原因
* **在真实环境里练，不是在题面上练**：JetBrains 自建了能同时跑数千个 RL 环境的基础设施，训练期间启动了**数百万个沙盒**。模型在真实仓库里拿着 shell 和文件编辑工具干活，**测试跑通才给奖励**
* **数据进训练前先过一遍筛子**：数学、竞赛编程、科学、工具调用、软件工程五类任务都补了新题，但开源 RL 数据集里常见"测试是坏的""答案没法验证""题目太简单或根本做不了"，**每个来源都先过滤**
* **真的会自己检查改动**：探索代码库、编辑文件、验证自己的修改——这是官方列出的三项核心能力，也是 Mellum2 缺失的那部分
* **快，而且有量化依据**：后训练没动架构，所以速度和 Mellum2 一样；单张 H200 高负载下，每秒服务的 token 数**接近 Qwen3.5-9B 的两倍**
* **MTP 再叠一层**：多 token 预测（一次预测多个 token），单请求场景再快约 **1.6 倍**
* **131K 上下文**：整个仓库的骨架塞进去不成问题，滑动窗口 1,024 的设计让长上下文不至于把算力吃光
* **三个 checkpoint**：Base、Instruct（直接回答、低延迟）、Thinking（先吐思考链再回答）。做编码 Agent 一般用 Thinking
* **Apache 2.0，可商用**：不是"权重开放、训练代码闭源"的半开源，协议层面没有坑
* **官方 GGUF 已上线**：`JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF`，llama.cpp / Ollama / LM Studio 直接能用
* **可私有化部署**：代码和数据一行都不出你的机房，这是 JetBrains 反复强调的卖点
* **也能当通用助手**：数学和推理题能一步步推，AIME 25/26 拿到 83.3

## 跑分：赢在短任务，输在长任务

先看 JetBrains 自己公布的这组数字（thinking 模式，统一用开源 Agent harness Pi v0.73.1 评测）：

| 基准 | Mellum2.1 | Mellum2 | Qwen3.5-9B | Gemma 4 E4B |
| --- | --- | --- | --- | --- |
| SWE-bench Verified | **47.0** | 2.0 | 50.0 | 23.0 |
| SWE-bench Pro | 28.0 | 0.0 | 38.0 | 4.0 |
| Terminal-Bench 2.1 | 17.4 | 0.6 | 21.7 | 3.4 |
| LiveCodeBench v6 | **82.0** | 69.4 | 75.4 | 69.4 |
| BFCL v4（工具调用） | **62.3** | — | 58.5 | — |
| AIME 25/26 | 83.3 | 60.1 | 86.7 | 45.0 |
| GPQA Diamond | 64.6 | 51.0 | 77.8 | 53.1 |
| HumanEval+ | 91.5 | — | — | — |
| IFEval | 90.6 | — | — | — |
| HarmBench（越低越好） | **8.5** | 21.5 | 6.6 | 38.1 |

怎么读这张表？一句话：**Mellum 2.1 赢短任务，Qwen3.5-9B 赢长任务。**

编程竞赛题（LiveCodeBench v6）、工具调用（BFCL v4）它都领先；但一旦进入"在真实仓库里改一堆文件"这个尺度（SWE-bench Verified / Pro / Terminal-Bench），Qwen3.5-9B 还是更强。硬科学问答（GPQA）和数学（AIME）也是 Qwen 领先。

所以对它的正确期待是：**一个又快又便宜的执行单元，不是全能主力。**

> JetBrains 的算盘其实很实在：命中率低 3 个点，但吞吐翻倍 —— 对"批量修测试失败"这种量大、难度中等的活儿，翻倍的量能盖过那 3 个点。这笔账只有在你真的跑很多 Agent 时才成立。

## 场景：它到底该放哪儿

**1. Agent 系统里的执行者**

这是官方给的第一定位。一个 Agent 的完整计划里有很多零碎环节：定位失败测试的根因、起草修复方案、验证结果。这些环节不值得调用最贵的模型，但要求快、要求能反复试。Mellum 2.1 就是为这个位置设计的。

**2. 子智能体（sub-agent）并发**

多智能体架构里同时跑五六个子 Agent 是常态，这时候单请求的绝对速度不重要，**并发下的总吞吐**才重要。这正是 Mellum 2.1 声称领先的地方，也是它最值得试的场景。

**3. 代码不能出机房的团队**

金融、政企、军工这类环境，代码一行都不能发给第三方 API。JetBrains 自己在这条路上已经铺了几年：2025 年 6 月 Mellum 就作为**首批模型之一**上线 **NVIDIA NIM**，可以在自己基础设施上以容器化微服务跑；也上架了 **Amazon Bedrock Marketplace**。AWS 官方案例里提到，JetBrains 用 **NVIDIA B200 / H200** 训练 Mellum，还是**首个使用 Amazon EC2 P6（Blackwell）实例的 AWS 客户**。

需要说明的是：**JetBrains AI Assistant 里跑的是 Mellum 的增强专有版本**，跟 Hugging Face 上这份开源权重不是一回事。开源版给你的是灵活自部署，IDE 里的那版集成更深、体验更完整。

**4. 不只是写代码**

数学和推理能力是这次 RL 训练的外溢收益——AIME 从 60.1 涨到 83.3。日常问答也能用，但说实话，这属于"顺带能干"，不是买它的理由。

## 初体验：把它跑起来

**方式一：vLLM（现在就能用）**

```bash
vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \
  --reasoning-parser qwen3 \
  --max-model-len 32768
```

要开工具调用的话，加上 Hermes 风格的解析器：

```bash
vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes \
  --max-model-len 131072
```

**方式二：llama.cpp / Ollama / LM Studio（官方 GGUF）**

官方仓库 `JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF` 给了五个档位：

| 量化 | 体积 | 与 BF16 的 KL 散度 ↓ | top-token 一致率 ↑ |
| --- | --- | --- | --- |
| BF16 | 24.3 GB | — | — |
| Q8\_0 | 12.9 GB | 0.008 | 96.1% |
| Q6\_K | 10.9 GB | 0.020 | 93.9% |
| Q4\_K\_M（推荐） | **8.1 GB** | 0.075 | 88.0% |
| MXFP4\_MOE（最小） | 7.0 GB | 0.115 | 85.6% |

一条命令拉起来：

```bash
llama-server -hf JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M \
  --ctx-size 131072 --temp 0.6 --top-p 0.95 --top-k 20
```

它会在 `http://localhost:8080/v1` 暴露一个 OpenAI 兼容接口，你现有的 Agent 框架基本不用改代码。

**几个上手就得注意的点：**

* **采样参数照抄官方的**：`temperature=0.6`、`top_p=0.95`、`top_k=20`。这是跟着它的思考链调过的，别自作主张改成 0.2
* **Thinking 模型的思考过程包在 `<think>` 块里**，做流式输出时记得处理
* **显存**：BF16 约 24 GB，一张 4090 / 3090 刚好；Q4\_K\_M 压到 8.1 GB，12GB 的消费级卡也能跑
* **没有托管 API，也没有定价**。想要 API 得自己找，或者自己部署

## 丑话也说几句

* **所有跑分都是 JetBrains 自己跑的，目前没有第三方复现。** 官方倒是统一了评测设置（同 harness、同 thinking 模式），这点比很多厂商诚实，但"自己评自己"这个前提没变，你的场景请自己测
* **1.6 倍那个加速，依赖还没发布的 MTP head。** 官方把它列在"coming soon"里。所以你现在能拿到的，只有"高负载吞吐接近 Qwen3.5-9B 两倍"这一条
* **在真实仓库类任务上，Qwen3.5-9B 仍然更强。** SWE-bench Verified 50.0 对 47.0、Pro 38.0 对 28.0、Terminal-Bench 21.7 对 17.4。如果你已经在自部署 Qwen3.5-9B 且效果满意，**没有理由换**
* **它不适合当主力聊天模型。** GPQA 64.6 对 Qwen 的 77.8，差得不小。通用知识和硬推理不是它的强项
* **架构是老的。** 这一版完全没有动架构，意味着 Mellum2 时代的那些限制大概率还在

> 我自己的判断：Mellum 2.1 最值得注意的不是 47% 这个数，而是它把"小模型 + 大量真实环境 RL"这条路走通了。过去一年大家默认"Agent 能力是大模型的特权"，一个 12B 的模型能在真实仓库里改对近一半的 bug，这个信号比名次重要。别把它当 Qwen 的替代品，把它当**一条新的成本曲线**。

## 进阶

想认真评估它，别跑榜单。拿你自己仓库里最近 50 个失败的 CI 任务，用同一个 harness 分别喂给 Mellum 2.1 和 Qwen3.5-9B，只统计两个数：**每秒 token 数**，和**真正修好的工单数**。前者乘上你的 GPU 账单，后者才是你真正买的东西。

另外值得留意的是时间点：2026 年 10 月这一周，Clef、Kolibri、Beam、Mellum 2.1 密集放出，全都是开放权重、全都在强调"跑在你自己的机器上"。开源模型的竞争维度，已经从"谁更聪明"挪到了"谁让你用得起、用得安心"。

更多开源技术干货和学习资料，关注公众号「遇码」，领取专属福利。