Ornith-1.0：超越Claude Opus 4.7

ivye
免费干货
1天前
17热度
0评论

Ornith-1.0：首个在 SWE-Bench 上压制 Claude Opus 4.7 的开源模型
2026 年 6 月 30 日，Hacker News 首页出现一个 215 分的热帖。标题很朴素——「Ornith-1.0: self-improving open-source models for agentic coding」——评论区炸了。

一位叫 simonw 的网友上来就怼：「标题党！self-improving 这个词有误导性。」

可数据不会骗人。397B 旗舰版 SWE-Bench Verified 跑出 82.4，直接把 Claude Opus 4.7 的 80.8 踢到身后。同一个榜单，Qwen 3.5-397B 只有 53.5，DeepSeek-V4-Pro 是 67.9。

发布方 DeepReinforce 官网只有一个博客页面。GitHub organization 是新建的。团队背景完全匿名。没有通稿，没有发布会，没有技术报告 PDF——博客 + GitHub + Hugging Face，三样东西，信息全摆出来了。

这种事在 2026 年上半年，开源圈只出现过两次。一次是 DeepSeek，一次是 GLM。那些是千亿大厂。而这个，是你大概率没听过名字的团队。

◆ 「self-improving」到底是什么意思？

HN 上 simonw 的质疑代表了很多人的第一反应：

"It doesn't self-improve, that's a misleading headline. The 'self-improving' is about their training process, not how you use the weights."

翻译：模型权重不会在推理时自我进化。self-improving 指的是 RL 训练方法，不是部署后的行为。

simonw 说得没错，但 Ornith 团队也没撒谎——他们只是用了一个容易让人误解的词。博客园博主 Ninghg 在上手实测后给出了更准确的表述：

Ornith-1.0 的 self-improving 指的是训练流程：RL 训练过程中，模型不仅学习如何 roll out 解决方案，还学习如何生成「驱动这些 rollouts 的 scaffold」——联合优化之后，模型在推理阶段就能针对具体任务自主搭出更好的搜索轨迹。

所以关键不在于「模型会不会自己变强」，而在于模型学会了怎么干活。训练范式的创新，不是产品功能的噱头。

那这个创新到底有多值钱？来看数据。

◆ 三张成绩单：从 9B 到 397B

Ornith-1.0 一次发了四个尺寸：9B Dense、31B Dense、35B MoE、397B MoE。基于 Gemma 4 和 Qwen 3.5 做后训练，全部 MIT 协议。

397B：开源第一次压制 Claude Opus 4.7

Terminal-Bench 2.1 拿了 77.5。在开源模型里断档领先——Qwen 3.5-397B 只有 53.5。闭源阵营里，干掉 Claude Opus 4.7 的 70.3，仅次于 Claude Opus 4.8 的 85 和 GLM-5.2-744B 的 81。

SWE-Bench Verified 跑了 82.4。开源模型第一次在这个榜上压制 Claude Opus 4.7（80.8）。

——数据来源：DeepReinforce 官方技术博客（2026-06-25），未经第三方独立验证。

35B：以小博大

35B MoE 在 Terminal-Bench 2.1 上跑出 64.2，直接把 397B 参数的 Qwen 3.5-397B（53.5）干掉了。Reddit r/LocalLLaMA 上有人拉下来 35B Q8_0 量化版实测：

「质量比 Qwen 3.6 35B 详细得多，感觉更像 27B 的扎实版本，但快得多。」

同帖还提到速度：115 tok/s TG，5400 tok/s PP。评论者也说偶尔从 115 掉到 95（推测是热降频），但这个性能对本地 Agent 任务完全够用了。

9B：边缘设备也能打

博客园 Ninghg 在 A100 80GB 上做了 vLLM 部署实测：9B Dense 单卡推理 7-12 tok/s（含 thinking prefix），reasoning_content 字段稳定返回 chain-of-thought 段，跟最终 content 字段不冲突。工具调用 schema 严格度比 Qwen3.5-9B 略好——「没有出现 <tool_call> 块未闭合的情况」。

越级一览

Self-Scaffolding 训练最直接的证据——不是参数量赢的，是训练方法赢的。

Ornith-397B 坐稳右上角，与 DeepSeek-V4-Pro 正面竞争，拉开 Qwen 3.5-397B 一大截。35B 落在性价比区——旗舰约 40% 的参数量，拿到旗舰 85% 的能力。9B 是唯一一个参数不到 20B 能跟 30B+ 正面竞争的选手。

◆ Self-Scaffolding 到底改了啥？

传统 RL 训练中，模型在一个固定的「脚手架」里生成代码。Scaffold 就是 Agent 的工作流程——读文件、搜代码、改 bug、跑测试。这套流程是工程师写死在 OpenHands、Terminus-2、Claude Code 这些 Harness 里的。

Ornith 不这么干。

每一步 RL 训练分两步：模型先设计 Scaffold（我怎么干活），再在 Scaffold 里生成代码（干出什么活）。评测器打分的反馈同时更新两件事。

说人话：传统模型只学写更好的代码。Ornith 还学用更聪明的方式写代码——怎么读文件、怎么搜、怎么重试、怎么验证，这些流程本身变成了可训练的参数。

◆ 三层反作弊

允许模型自己设计工作流程，自然会引出问题：它会不会作弊？

会。而且团队明确列出了作弊方式——读测试文件里的预期输出直接硬编码、用 touch 假装生成了文件、复制环境里泄露的 oracle 答案。

防线有三层：

硬隔离：Scaffold 可以改自己的内部逻辑（记忆管理、错误重试、工具编排），但无权碰环境。自动哨兵：监控器实时扫描违规操作，抓一次就零分。LLM 裁判：当模型在合法工具面内耍小聪明，冻结 LLM 一票否决。

这套设计的微妙之处：作弊最大的难点不是「怎么禁止」，而是「怎么定义作弊的边界」。固定规则总有缝。三层不同粒度的判断器相互补充——硬的管环境，规则管行为，LLM 管意图。

另一个技术细节：Pipeline RL + Staleness Weighting。Agentic Coding 的 rollout 极长——一次 SWE-Bench 任务可能跑几小时、消耗数万 token。标准 on-policy RL 中，旧 token 对应的策略可能已经过期了几个版本。

Ornith 的方案：每个 token 按年龄加权。越老权重越低，超龄直接丢弃。训练信号只来自足够新鲜的轨迹。

◆ 开源生态全覆盖

博客园 Ninghg 实测 6 个 Agent 框架全部跑通——vLLM 部署后，OpenAI 兼容协议对接零成本。用 Hermes Agent 跑了 3 个真实 coding 任务（改 build script、写单元测试、调 API 端点），质量跟 Qwen3.5-9B 持平，工具调用 schema 严格度略好。

Reddit 的结论更直接：「This might be the real deal.」

◆ 但这不是一个神话

HN 评论区有两个负面反馈，需要认真对待。

长 session 工具调用可能 hallucinate。v3ss0n 在 HN 上说：「Long session tool calls sucks and hallucinate a lot. Just use Qwen 3.6 and 3.5 122B.」这个反馈来自真实使用——不是 benchmark，不是 demo，是长时间跑下来的体感。对生产部署来说，比 benchmark 得分更有参考价值。

Benchmark 对比有 cherry-picking 之嫌。juliangoldsmith 指出，Ornith 的 benchmark 表里没有列出 Kimi K2.6/K2.7 等同级别 MoE 模型——只对比了自己领先的 baseline。行业惯用手法，但该知道的是：第三方独立复现的分数，远比官方选过的对比表可靠。

另外三件事：

团队完全匿名。官网只有博客，GitHub org 是新建的，没有公司介绍、没有团队成员。不是社区项目——是 DeepReinforce 团队的单点发布。长期维护需要更多透明度。

Claude Opus 4.8 和 GLM-5.2-744B 仍然领先。397B 在 Terminal-Bench 上落后 Opus 4.8 整整 7.5 分。差距缩小了，但还在。

「self-improving」容易被误解。simonw 的质疑是对的——有人会以为模型在推理时自我迭代。实际上只是训练流程中 Scaffold + Solution 联合优化的方法。