Step 5 Preview 权重开源 —— 6000 亿参数终于能拉回家了，但协议里藏着一行小字

我盯着日历等了 25 天。

9 月 20 日那篇 《认识 Step 5 Preview》 我写过一句："权重官方称 10 月 15 日开源，目前仅 API 可用，暂无可自托管产物。"写过这句话的人都会懂那种心情——你把一个模型吹得再好，只要权重不落地，它就只是一家云厂商的租赁业务。

10 月 15 日，东西真的到了。

然后我做的第一件事不是下载，是翻 LICENSE。翻完我愣了一下：那不是 Apache-2.0。

先把话说清楚，这不是黑稿。我很高兴它开源了，真的。但这两件事必须同时讲——它开源了，和它不是 OSI 意义上的开源——只讲前半句是宣传，只讲后半句是刻薄。所以这篇就干一件事：把这次真正到货的东西、该怎么跑起来、以及那行小字到底写了什么，一件件摆出来。

开放权重（open weights）和开源（open source）是两件事。前者是把权重给你，后者是把自由给你。这一步跨过去之前，别急着改 PPT。

这次到底开源了什么

一句话：2026 年 10 月 15 日，阶跃星辰（StepFun）按此前承诺的日期，把 Step 5 Preview 的权重放上了 Hugging Face 和 ModelScope，同时放出的还有技术博客、配套开源开发工具和部署指南。

先摆在这的是两个主检查点：

版本	仓库	体量
FP8	stepfun-ai/Step-5-Preview	约 650 GB，28 个 safetensors 分片
BF16	stepfun-ai/Step-5-Preview-BF16	约 1.2 TB

两个仓库都没设访问申请（不用填表等审批，这点好评）。GitHub 上的同名仓库只有 README、中英文协议文件、贡献者名单和素材，不含权重，别下错地方。此外有第三方报道提到还存在同名 NVFP4 版本仓库，这一条我没能在官方口径里交叉验证，先当存疑信息看。

再看参数口径，这里有个挺有意思的细节：官方说法是"600B 总参数、27B 激活"，而 Hugging Face 上 safetensors 的实际统计合计是 6043 亿。 600B 是取整，真实数字多出来 43 亿。FP8 仓库里约 5647 亿参数以 FP8 存放，另有约 396 亿仍保留 BF16 精度——哪些层舍不得压，本身就是一条技术线索。

顺手补一句背景：截至 2026 年 10 月 15 日，Step 5 Preview 在 OpenRouter 的 Token 用量周榜和日榜都排在全球第二，近七日用量约 18.8 万亿 Token。 也就是说，这次开源的是一个正在被大规模真实调用的模型，不是实验室里放出来的样品。

那行小字：StepFun Model License 1.0

这是我认为每一个打算商用的人，必须读完的一段。

它的协议是自有的 StepFun Model License 1.0，风格接近 Apache-2.0，但不是 Apache-2.0，也没有通过 OSI 认证。要点如下：

• 你可以：免费使用、复制、分发、修改这段权重。
• 署名门槛：如果你的商业产品月活超过约 1 亿，或者月收入超过约 2000 万美元，需要在产品里显著标注 "Powered by StepFun AI"。
• 另签条款：硬件出厂内置、**大规模 MaaS（模型即服务）**这类场景，在达到约定门槛前需要另外签商业许可。

翻译成人话：个人研究、创业公司自托管、企业内部系统接入，基本随便用；等你做到一定体量，或者你想把模型塞进硬件里卖、想转手卖 API，就得回来谈。

平心而论，这在 2026 年的开放权重阵营里属于常规操作，不算苛刻。但"开源"这两个字被我们用了三十年，它自带的是 OSI 那一整套含义。这次是开放权重，不是开源。 你写进投标文件、写进合规审查表的时候，这个词的区别会值很多钱。

特点

一、92 层的"窄而深"，是为了给 Agent 留出推理纵深

Step 5 Preview 是 92 层的稀疏 MoE，每个 token 从 352 个路由专家里挑 8 个，外加 1 个共享专家；92 层里 88 层是 MoE 层，4 层是稠密层。

为什么非要堆到 92 层？官方给的解释我很喜欢：Agent 任务里多跳依赖无处不在，但频繁调用工具会产生很长的预填充，模型很少有机会执行充分的显式思维链。 Transformer 在预填充阶段的信息流沿时间轴和深度轴都是单向的，语义表示必须随 token 往后推进、不断移向更深的层。深度不够，模型会在长预填充里"用尽"网络层，潜在的多跳推理就完不成了。

所以它的深度和 Qwen 3.8 max、Kimi K3 这些超大号开源模型相当，但总参数和激活参数只有它们的 1/4 和 1/3 左右。

二、3:1 交错的注意力 + Sparse GQA，把 100 万上下文的成本打下来

注意力层按 3:1 的比例交错排列：高效注意力用门控滑动窗口注意力（Gated SWA），全注意力部分用门控 GQA 加稀疏索引，也就是 Sparse GQA。

官方做过对比实验：更复杂的线性注意力方案和 Gated SWA 的性能差距有限，而后者更容易高效实现，尤其对推测解码友好。 这个取舍很工程。

Sparse GQA 的实现细节值得记一下：索引器把相邻历史位置压缩成一个块表示，块大小设为 8 后，索引器与 top-k 选择成本降低 8 倍；预填充阶段对相邻 token 的 top-k 结果取并集，把高度重叠的零散计算合并起来提高 GPU 利用率。最终配置是 B=8、k=4096（选 512 个块），Token 覆盖率 78.06%——接近更贵的 B=1、k=2048 配置的 79.09%。

三、把 FP8 深层训练从"会炸"调到"可控"

"窄而深"一旦往上堆规模，就会出现数值爆炸和梯度尖峰，而这类现象在更浅或更宽的网络里很少见。官方从三个层面处理，我认为这是整篇技术博客里最实在的部分：

• FP32 隐藏状态：深层网络里少数巨幅激活值会在 BF16 里迅速爆炸，把隐藏状态及其梯度改成 FP32，峰值再降近一个数量级，而训练开销增加很小。
• FP32 RMSNorm 缩放因子：它用的是以零为中心的 RMSNorm，巨幅值所在维度的 γ_i 接近 -1，而 BF16 在 -1 附近精度不足，可能让 γ_i 偶尔恰好等于 -1，导致对应通道反复关闭重启、输出振荡。改成 FP32 之后这段就平滑了。
• 细粒度梯度钳制：梯度尖峰多产生于中间层、几层之内放大几个数量级。由于异常梯度非常稀疏，每层只钳制 0.00004% 的梯度值，就能明显抑制尖峰、改善收敛。

每层 0.00004%。 我看到这个数字的时候笑了一下——为了压住尖峰动这么小的手术刀，说明问题本身有多局部。

一个模型的工程水平，不看它宣称堆了多少参数，看它在哪些地方忍住了没堆。

四、上下文压缩被写进了端到端策略训练

这条容易被漏掉，但我认为是给长程 Agent 用的关键：官方把上下文压缩纳入了端到端策略训练，让模型自己学会整理任务状态后继续执行。

真实场景：不是跑分，是它连续干了 24 小时

跑分我放一边，先说几个我觉得更能说明问题的落地痕迹。

24 小时，把 MLA GPU Kernel 从零优化到 508 TFLOPS

官方给它 24 小时、一张 NVIDIA H100，让它从零优化一个 MLA GPU Kernel（Head Dimension 512、Batch Size 1、64 Heads、8192 Tokens）。它自己实现、自己跑、看吞吐结果决定下一步；如果某个版本能跑通但不如当前最佳，它会主动放弃那一版，从更优解往下搜。

每个模型独立跑 4 次取最佳，Step 5 Preview 在约 22 小时后达到前向与反向合计 508 TFLOPS，是本次对比的最高结果。

24 小时，把 Qwen3-30B-A3B 的 AIME24 从 53.3% 提到 60%

第二个实验同样是 24 小时，要求它通过自动化后训练提升一个 Qwen3-30B-A3B 基座模型的数学能力。它可以调用一个接入生产数据的 API annotator，自行决定怎么标注、怎么调整后训练数据，再根据下游效果迭代。

最终在 AIME24 官方测试集上达到 60% 准确率，相比后训练前的 53.3% 有明显提升——这个结果与 Claude Opus 5 持平，但消耗的 annotator tokens 更少。

一次 Agent Action，950 次 Web Fetch

在一项覆盖 1000 个地点、25 年时间跨度的气候研究里，它在一次 Agent Action 中完成了 950 次 Web Fetch，整理出横跨 11 个变量、30 万条月度记录的数据集，并进一步分析出不同地区太阳季节性差异——发现欧洲和大洋洲样本的峰值月份分别落在一年中相反的时段。

另一项柴油附加费分析，它交出的是一份包含 17 个 Sheet 的工作簿，底层数据、计算过程和最终结论之间的链路完整保留，可以逐层往下追溯，直接拿去做合同和采购复核。

谁在用

落地到产品侧，公开信息里有两个名字比较明确：Step 5 Preview 已上线腾讯 AI 办公工作台 WorkBuddy（承接深度研究、信息检索、数据分析、文档与 PPT 生成），也进入豆包旗下 AI 开发产品 TRAE，承担软件工程工作流里的漏洞修复、重构、性能调优。

跑分：挑挑拣拣地说

官方口径的几项硬成绩（均为厂商公布值，对比对象取其 Max/High 档）：

基准	Step 5 Preview	对比
DeepSWE v1.1	67.7	略高于 Kimi K3（67.5）、GLM-5.3（66.9）
StepCodeBench（内部）	49.0	高于 Kimi K3（43.9）、GLM-5.3（40.2）
FrontierFinance	66.4	高于 GLM-5.3（64.1）、DeepSeek V4.1 Flash（63.0）
DRACO	83.3	高于 GLM-5.3（82.3）、Claude Opus 5（87.6 除外的最高档之一）
ALE-CLI	29.5	高于 GLM-5.3（28.6）、Kimi K3（27.6）
FinStepBench - DeepResearch	55.8	高于 GLM-5.3（53.3）、DeepSeek V4.1 Flash（50.2）

短板也得说，不然这篇就成了通稿。 它的 Terminal-Bench v4 只有 33.3，明显落后 GLM-5.3（41.9）和 GPT-6 Astra（57.9）；长 PDF 理解 GDP.pdf 只有 14.8，在这张表里是最低的那一档；SWE-Marathon v1.1 部分得分 72.7，也低于 Kimi K3（84.4）。

一句话总结这张表：它在"完整交付一件专业工作"上很强，在"纯终端长跑"和"超长文档啃读"上偏弱。

厂商标出的短板，比厂商标出的强项更值得读——强项通常有第三方复核，短板只有它自己会说。

初体验：真想把它拉回家，你得先准备 1.5TB 硬盘

这部分写给手头有卡的人。老实说，如果你只有一张 4090，先别折腾，等社区量化版。

硬件门槛

精度	官方建议配置
FP8	单节点 8 张 H200；vLLM 另支持单节点 8 张 B300（第三方报道称 4 卡 B300 亦可起步）
BF16	双节点共 16 张 H200

磁盘按 BF16 下载约 1.2 TB 算，建议预留 1.5 TB 以上（下载加工作空间）。FP8 版大约 650 GB。

下载权重

pip install modelscope

# FP8 版
modelscope download --model stepfun-ai/Step-5-Preview \
  --local_dir "$HOME/models/Step-5-Preview"

# BF16 版
modelscope download --model stepfun-ai/Step-5-Preview-BF16 \
  --local_dir "$HOME/models/Step-5-Preview-BF16"

用官方 vLLM 镜像起一个 OpenAI 兼容服务

阶跃提供了专用镜像 vllm/vllm-openai:step-5-preview，省掉自己编译的痛苦：

docker pull vllm/vllm-openai:step-5-preview

docker run -it --gpus all --ipc=host --network=host \
  --volume "$HOME/models:/models:ro" \
  --entrypoint /bin/bash \
  vllm/vllm-openai:step-5-preview

进容器之后：

export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

vllm serve /models/Step-5-Preview \
  --host 0.0.0.0 --port 18000 \
  --served-model-name step5 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --data-parallel-backend mp \
  --distributed-executor-backend mp \
  --disable-custom-all-reduce \
  --max-model-len 1048576 \
  --max-num-batched-tokens 16384 \
  --max-num-seqs 64 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --spec-method mtp --spec-tokens 3 \
  --reasoning-parser step5 \
  --enable-auto-tool-choice \
  --tool-call-parser step5

然后就可以按 OpenAI 的格式调了：

curl http://127.0.0.1:18000/v1/chat/completions \
  --header 'Content-Type: application/json' \
  --data '{
    "model": "step5",
    "messages": [{"role": "user", "content": "Hello!"}],
    "max_tokens": 4096,
    "stream": true
  }'

几个参数别漏：--max-model-len 1048576 是它 100 万上下文的开关，--reasoning-parser step5 和 --tool-call-parser step5 是官方自带的推理/工具调用解析器，用错了会解析不出工具调用结果。

SGLang 路线

拉 lmsysorg/sglang:step-5-preview 镜像，官方给的方案配了 EAGLE 多层推测解码、Triton MoE 后端、FlashAttention-3 注意力后端，适合已经在用 SGLang 的团队：

docker pull lmsysorg/sglang:step-5-preview
docker run -it --gpus all --ipc=host --network=host \
  --volume "$HOME/models:/models:ro" \
  --entrypoint /bin/bash \
  lmsysorg/sglang:step-5-preview

容器内用 tp 8 --ep-size 8 起服务即可，完整命令见官方模型卡。

只想先摸一下，不想买卡

两条零成本的路：魔搭社区模型页面的 API-Inference 可以免费体验；或者直接调用官方 API——缓存命中读只要 0.35 元/百万 token。

进阶

写到这，我的立场已经很清楚了：这次开放权重是国产旗舰模型里一次实打实的交付，承诺了日期、按时到货、还给了两条自托管路线，这本身就值得好评。

但你手上这份东西叫 StepFun Model License 1.0。它给了你使用权、修改权和分发权，也在你做大之后留了署名和商谈条款。用之前花十分钟读完 LICENSE，比事后法务来找你便宜得多。

另外别忘了那张短木板：Terminal-Bench v4 只有 33.3，长 PDF 理解只有 14.8。 如果你的场景正好是"长时间对着终端敲命令"或者"啃几百页 PDF"，它的表现可能会让你失望。选型这件事，从来是看弱项能不能忍，而不是看强项有多亮。

更多开源技术干货和学习资料，关注公众号「遇码」，领取专属福利。