每月20亿实现token自由的更好软件 OmniRoute 来了！
- 免费干货
- 13小时前
- 21热度
- 0评论
AI时代真是一天一个样，刚推荐完 freellmapi，omniRoute 又来了：
- 内置更多的 provider。不友好的是没有预制 base url，还得自己搜去
- 不止支持大模型厂商的 API 调用，还支持WEB方式调用，这相当于无限 token 啊。但行为异常可能触发账号封禁，慎重使用。
- 内置上下文压缩功能，前面推荐的 headroom 直接使用，还有caveman，以及其他压缩算法。
-还可以添加 web search engine，firecral ，tavily 等等
可视化不错，能方便看到哪些 provider 在使用
以下内容 AI 生成，供参考
两款免费 LLM 聚合网关对比：OmniRoute vs_FreeLLMAPI
摘要：把 Google、Groq、Claude、Gemini 等几十个平台的免费额度拼在一起用，已经不再是"幻想"。OmniRoute 与 FreeLLMAPI 是目前 GitHub 上最Digest 最高的两款开口 LLM 聚合网关。这篇文章会从功能、易用性两个维度做详细对比，并重点分析大家最关心的——当某个 provider 的 quota 用完后，系统会怎么处理？
一、两个项目速览
OmniRoute
GitHub:定位：本地优先（local-first）的 AI 网关，支持 236 个 provider，其中 90+ 有免费层核心卖点：17 种路由策略、多层熔断保护、RTK/Caveman 请求压缩（可省 15-95% token）部署方式：npm install -g omniroute，一键启动；Docker、Electron 桌面版、Termux 移动版均支持开源协议：GPL-3.0
FreeLLMAPI
GitHub:定位：OpenAI-compatible 的代理层，聚合 18 个免费 LLM provider，约 161 个免费模型核心卖点：AES-256-GCM 加密存储 API key、自动 failover、context handoff、SQLite 用量记账部署方式：npm 本地 / Docker compose，提供桌面客户端（Electron）开源协议：未明确（从代码结构看是 MIT/ISC 类宽松协议）
简单总结：OmniRoute 更像一个“路由器”，强调极致的 provider 覆盖和智能路由；FreeLLMAPI 更像一个“代理层”，强调安全存储和透明的用量跟踪。
二、功能对比
1. Provider 覆盖
| 维度 | OmniRoute | FreeLLMAPI |
|---|---|---|
| 接入 Provider 总数 | 236 | 18 |
| 有免费层的 Provider | 90+ | 18 |
| 支持的模型家族 | GPT、Claude、Gemini、Llama、DeepSeek、Mistral 等主流全部覆盖 | GPT、Claude、Gemini、Groq、Mistral、DeepSeek、Llama 等 |
| 免费 Token 总量（官方宣称） | ~1.6B/月（含注册奖励约 2.1B） | ~1.7B/月 |
| 自定义 Provider | 支持添加任意 OpenAI-compatible 端点 | 同样支持 |
OmniRoute 在数量上占压倒性优势。236 vs 18 不是一个量级的，尤其如果你需要一些小众 provider（如某些国内厂商或垂直领域模型），OmniRoute 几乎是唯一选择。
2. 路由策略
| 特性 | OmniRoute | FreeLLMAPI |
|---|---|---|
| 路由策略数量 | 17 种 | 未明确列出具体策略数 |
| 预置策略 | auto、auto/coding、auto/fast、auto/cheap、auto/offline、auto/smart 等 | Router 自动选择最佳模型 |
| 自定义路由 | 支持优先级、轮询、成本优化、上下文接力、fusion 等 | 支持 |
| Fallback 层级 | 3 层（tier-1/2/3） | 支持，具体层级未明确 |
OmniRoute 策略更丰富，auto/smart模式甚至会在“质量优先”基础上随机抽取 10% 请求做探索（看看有没有更好的 provider），这对长期运行时优化路由决策很有帮助。
3. 请求压缩
| 特性 | OmniRoute | FreeLLMAPI |
|---|---|---|
| 压缩引擎 | 9 层（RTK、Caveman、LLMLingua-2、Headroom 等） | 无 |
| 压缩率 | 15-95%（Stacked 模式下可达 78-95%） | 无 |
| 适用场景 | 默认 Standard（~30%），可选 Lite/Aggressive/Ultra | 无 |
OmniRoute 的压缩功能是杀手级特性。举个例子：Standard 模式下，原本 69 tokens 的一段话可以压缩到 19 tokens，而意思基本不变。如果你在用 Claude Code、Codex 这类高频调用工具，省下的 token 可能就是省下的钱。
4. 安全与隐私
| 特性 | OmniRoute | FreeLLMAPI |
|---|---|---|
| API Key 存储 | 本地存储（SQLite），未明确加密方式 | AES-256-GCM 加密 |
| TLS/Stealth | gateway 支持 TLS + UA stealth | 未提及 |
| 运行环境 | 完全本地，不 phoning home | 本地运行，同步 model catalog 需要联网 |
| 开源协议 | GPL-3.0（强 copyleft） | 宽松协议（推测） |
FreeLLMAPI 在密钥加密这一点上做得更专业，AES-256-GCM 是目前业界标准的加密方式。OmniRoute 的文档中没有详细说明密钥存储方式，虽然也是本地运行，但对密钥安全要求高的用户可能需要自己评估。
三、易用性对比
1. 安装与启动
OmniRoute：
npminstall-g omniroute omniroute start
默认 http://localhost:20128
FreeLLMAPI：
git clone https://github.com/tashfeenahmed/freellmapi.gitcd freellmapidocker-compose up
或 npm run dev
结论：OmniRoute 更简单，一行命令启动；FreeLLMAPI 需要 docker-compose 或 npm 环境，对非开发者稍复杂。
2. 配置 Provider
OmniRoute：
启动后打开 Dashboard（http://localhost:20128）点击 "Connect Providers"，OAuth 或 API key 一键连接支持 Kiro、Qoder、Qwen、Pollinations 等免费 provider 免信用卡注册Dashboard 有/dashboard/free-tiers 页面，实时显示各 provider 免费层剩余额度
FreeLLMAPI：
启动后打开管理界面在 "Keys" 页面手动添加各 provider 的 API key支持自定义 OpenAI-compatible 端点（如本地 Ollama）用量数据存储在 SQLite，可查看 per-key usage
结论：OmniRoute 的 Dashboard更友好，尤其是对不熟悉命令行的用户；FreeLLMAPI 的界面相对朴素，胜在数据透明（你能清楚看到每个 key 用了多少）。
3. 接入 AI 工具
两者都支持通过修改 consumer 的base_url和api_key来接入。
OmniRoute：
Cursor、Claude Code、Codex、OpenClaw、Cline、Kilo Code 等16+ 种工具官方支持提供专门的 MCP（Model Context Protocol）和 A2A 集成甚至可以直接装在手机上（Termux）24×7 运行
FreeLLMAPI：
标准 OpenAI-compatible 端点，理论上任何支持 OpenAI 的 client 都能用提供 Electron 桌面客户端无专门的 MCP/A2A 文档（但标准接口兼容性没问题）
结论：OmniRoute生态系统更丰富，对于 Developer/AI Agent 场景的支持更到位。
四、重点：Quota 用尽后的处理机制
这是大家最关心的问题。两款产品都承诺“自动 failover”，但实现方式和颗粒度有所不同。
1. OmniRoute 的 Quota 处理
OmniRoute 设计了三层防护机制：
| 层级 | 作用对象 | 触发条件 | 处理方式 |
|---|---|---|---|
| Circuit Breaker（熔断器） | 整个 Provider | Provider 连续失败/超时 | 暂时拉黑，停止向该 provider 发送请求，间隔一段时间后探测恢复 |
| Connection Cooldown（连接冷却） | 单个 API Key | 某个 key 触发 rate limit（如 429轸流、429） | 跳过这个 key，其他 key 继续提供服务 |
| Model Lockout（模型隔离） | Provider + 特定 Model | 某个 model 的 quota 用尽 | 只隔离这个 model，同一 provider 的其他 model 仍然可用 |
实际效果：假设你绑定了 5 个 Google Gemini API key，gemini-2.0-flash 的 quota 用完了，OmniRoute 会：
Model Lockout 隔离 gemini-2.0-flash → 切换到同 provider 的 gemini-2.0-pro如果所有 Google 相关的 model 都不可用 → Connection Cooldown 暂时冷却 Google 的 key同时 Circuit Breaker 启动 → 后续请求自动路由到 OpenRouter、Groq 等备用 provider
切换时间：毫秒级（文档宣称）
2. FreeLLMAPI 的 Quota 处理
FreeLLMAPI 的 failover 机制相对简单，但也很实用：
| 层级 | 作用对象 | 触发条件 | 处理方式 |
|---|---|---|---|
| Rate Ledger（速率记账）reconocida | 单个 Provider | 触发 rate limit（429/503） | 标记该 provider 为"不可用"，后续请求自动路由到下一个可用 provider |
| Context Handoff（上下文接力） | Model 级别 | 请求中途切换 provider | 保留对话上下文，新 provider 无缝接续（目前文档中描述较简单，具体实现细节不详） |
| SQLite Usage Log | Per-key | N/A（预警） | 持续记录每个 key 的 token 消耗量，接近上限时可手动切换 |
实际效果：当你调用 provider A 遇到 429/503 时，FreeLLMAPI 会在下一次请求时自动切换到 provider B。但如果 provider A 只是 rate limited（限速）而非完全不可用，FreeLLMAPI 可能会把它标记为不可用并跳过，而不是等冷却后再用。
3. 关键差异总结
| 对比维度 | OmniRoute | FreeLLMAPI |
|---|---|---|
| Failover 速度 | 毫秒级 | 未明确，推测在秒级（下一个请求时切换） |
| 隔离颗粒度 | 3 层（Provider/Key/Model） | 主要1 层（Provider） |
| Rate Limit vs Quota Exhaustion | 区分处理（cooldown vs lockout） | 未明确区分，统一视为"不可用" |
| Context 保留 | 未特别说明 | 声称支持 context handoff |
| 用量透明 | Dashboard 有/free-tiers页面 |
SQLite 数据库，可查询 per-key usage |
| Recovery | 自动探测 provider 恢复 | 未明确恢复机制 |
OmniRoute 的优势：多层隔离、快速切换、智能恢复。尤其是“某个 model 不可用但同 provider 其他 model 仍可用”的场景，OmniRoute 能更精细化地调度。
FreeLLMAPI 的优势：用量数据透明。你可以精确看到每个 key 用了多少 token，对于需要精细化预算管理的用户很有价值。
五、如何选择？
| 你如果是... | 推荐选择 | 原因 |
|---|---|---|
| 刚入门，想用各种免费 LLM | OmniRoute | Provider 更多（236 vs 18），支持一键注册免费层，上手更简单 |
| 开发者，开发的 AI Agent 需要高可用性 | OmniRoute | Circuit breaker + 多层隔离，保证服务不中断 |
| 对密钥安全要求高 | FreeLLMAPI | AES-256-GCM 加密，密钥存储更安全 |
| 需要精细化用量管控 | FreeLLMAPI | SQLite per-key usage log，可以精确审计 |
| 高频调用工具（Claude Code, Codex 等） | OmniRoute | 有 RTK/Caveman 压缩，长期省钱 |
| 想快速搭建测试环境 | OmniRoute | 一行命令启动，Dashboard 可视化操作 |
| 需要构建自己的路由逻辑 | FreeLLMAPI | 代码结构清晰，路由层解耦，方便二次开发 |
一句话总结
OmniRoute= 大而全的智能路由器，强调provider 覆盖广、路由策略丰富、省 tokenFreeLLMAPI= 安全可靠的代理层，强调密钥加密、用量透明、稳定转发
如果你只是想“把各大厂免费 LLM 串起来用，quota 用完自动换下一个”，两家都能做。但如果你的需求会更复杂——比如“同一个 provider 的不同 model 要分开管理”、“某个 key rate limited 但不要弃用 provider”、“需要压缩来省钱”——OmniRoute 会更胜一筹。
六、免费额度够用吗？
| 项目 | 免费 Token 总量 | 实际体验 |
|---|---|---|
| OmniRoute | ~1.6-2.1B/月 | 个人开发者绰绰有余，小团队可用 |
| FreeLLMAPI | ~1.7B/月 | 同上 |
但需要注意：
免费 ≠ 无限：单个 provider 的 free tier 通常有 RPM/RPD 限制（如 Cerebras 1M tokens/day，Groq 40 RPM）并发有上限：免费层一般不能承受高并发，建议做 rate limit 控制政策可能变：提供商可能随时调整免费政策，建议定期关注 Dashboard
OmniRoute 官网：https://omniroute.online/
Github 开源：https://github.com/diegosouzapw/OmniRoute
转自：https://mp.weixin.qq.com/s/h3i6yzk85I2XHKQhQtBqKA
EdgeOne
ESA