Together.ai免费27B:不是慈善,是权重只剩三档

封面:27B 标价 $0.00,权重只剩三档

先摆一个反差数字:一个 27B 的推理模型,定价页输入一栏 $0.00,输出一栏也是 $0.00。

我今天专门去 Together.ai 的模型页对了一遍,还在——“Input price $0.00 / 1M tokens”,原话就挂在页面上。

Together.ai 模型页 Model specifications 卡:输入输出各 $0.00 / 1M tokens
参考图:Together.ai 模型页规格卡实拍,输入输出各 0 美元(2026-10-27)

免费模型见得多了,多数是限时限量的钩子。这个不太一样:没有倒计时,没有前 N 名限制,页面里大大方方写着“Available free on Together AI”。

所以我这回想弄明白的不是怎么领,是它凭什么。

Together.ai 为什么敢标 $0.00

这个模型叫 Ternary Bonsai 27B,出品方是一家叫 PrismML 的公司。它的玩法说白了就一句话:把神经网络里每个权重,从一堆小数,砍成只剩负一、零、正一三个档位。

普通模型权重是 FP16 格式,一个数占 16 bit。Bonsai 砍完,官方口径是 1.71 bit——官网原话“roughly 9.4x smaller than the FP16 baseline”,体积只剩原来的九分之一上下。

省下来的都是钱。模型小了九倍,占的显存就少九倍,同一张卡能塞下更多副本、接更多请求,单次推理的成本被压到几乎可以忽略。这就是 $0.00 的底气:不是平台大方,是成本先被干没了。

压缩是端到端的。官方说 embeddings、注意力、MLP、输出层一个没漏,另外每 128 个权重配一个 FP16 缩放值,给精度兜底。

顺带一提,它的底座是 Qwen3.6 27B——通义家的底子,量化的活是 PrismML 做的。

27B 官方标称:数据听听就好

官方给的数据我原样搬,你按“官方口径”四个字打个折:

· 保留 95% 的 FP16 基线性能,15 个思考模式基准平均 80.49 分

· MATH-500 拿 99.20,AIME 2025 拿 90.84,HumanEval+ 拿 93.90

· 上下文 262K,输入支持文本加图片,输出只有文字,带 JSON 模式

· 2026 年 7 月 14 日发布,跑在 Together 的 Serverless 上

多嘴一句:这些分数一条都不是我测的,全部是官方页面自报。标称和到手是两回事,这个道理在所有模型上都成立。

想调它,就三步

第一步,去 together.ai 注册账号。这是硬前提——我今天试过匿名直接调它的接口,两次都被 Cloudflare 拦在门外,换浏览器的 UA 也一样。不注册,连探活的门都摸不到。

第二步,在账号后台生成 API Key。复制好存进自己的密码本,别贴聊天记录,别截进图里。

第三步,配置填三样:

· 接口地址:https://api.together.xyz/v1

· API Key:你刚生成的那把

· 模型 ID:Prism-ML/Ternary-Bonsai-27B

OpenAI 兼容格式。原来接别家模型的配置,改个地址和模型名就能试。发一句“你好”,通了再考虑接不接进工作流。

我的对账记录:两个没人提的细节

写这篇之前我做了一轮交叉对账,两个细节值得单独说。

一是免费名单是活的。有个第三方免费模型目录,一度把这个模型标成“No Longer Free”(已不在免费档)。我拿着这条去官网对账——模型页今天还挂着 $0.00,是目录旧了。结论:任何目录、任何攻略都可能过期,包括这篇,动手前扫一眼官方定价页最稳。

二是下一代已经预告但还没上线。官网上挂了个 Ternary Bonsai 2 27B,1.76 bit,官方转述口径说精度保留更高,但页面写的是“coming soon”,让你留邮箱等通知。现在能真调的,只有这一代。

官网 Ternary Bonsai 2 27B 页面标注 coming soon 及其规格卡
参考图:官网 Bonsai 2 27B 页面,标注 coming soon(2026-10-27)

哪些活能派给这个免费 27B

判断标准一句话:这个活失败一次会怎样。

失败了无所谓、重跑一遍就行的,大胆往上派——新想法试验、对比测试、不重要又想跑的批活,成本是零,试错不心疼。

失败了要赔时间、要跟人解释的,别。挂生产、正式对外的稿子、有截止时间的重要任务,都算。

27B 的底子加 262K 上下文,长文档阅读、代码分析这类活理论上对口。但建议先拿小样试——中文长文到底什么水平,我没实测,不敢替它打包票。

丑话说在前面

· 共享池是常态。Serverless 是大家共用的,人多的时候排队、限流、超时,不是它坏了。

· 限流数字没公开标死。网上整理的资料显示按账号档位和模型走,具体得登录控制台看。

· $0.00 不是合同。免费属于平台的活动性权益,哪天定价页换了数字,别惊讶。

· 官方分数是自报的。95% 保留率很漂亮,你自己跑出来的那个结果才算数。

结论就一句:当试水池和第二意见,主力位别给它。

它真正的价值不在“免费”两个字上——是把一个 27B 压到九分之一之后,让“随便试试”这件事的成本归零了。

这类免费通道我隔三差五核一轮,名单变了我会写,关注不迷路。觉得有用点个赞,有问题评论区聊。

常见问题

免费是真的吗,会不会哪天就收费?

A:10 月 27 日官方模型页输入输出都还标 $0.00。但免费属于活动性权益,名单是活的,动手前自己扫一眼定价页最稳。

它和 Qwen 是什么关系?

A:底座是 Qwen3.6 27B,但这个版本是 PrismML 做的三值量化版,不是通义官方出的模型。

能接进 Cline、Claude Code 这类工具吗?

A:接口是 OpenAI 兼容的,改接口地址和模型 ID 就能接。建议先发一句话试通,再往工作流里挂。

能用在生产环境吗?

A:不建议。共享 Serverless 池排队限流是常态,免费档没有服务承诺,重要任务走付费或自建通道。

中文效果怎么样?

A:底座是 Qwen 系,中文底子理论上不差。但这次我没实测中文长文,别听我一面之词,拿自己的活试一小段最靠谱。