OctaFuse Gateway 2.3.0 新增路由池级供应商粘性、绑定观测与运维能力,并将路由策略 ID 统一为 hash_affinity 和 weight_priority。
阅读全文OctaFuse Gateway 2.2.0 正式发布:统一 Gemini Generate Content 路由语义,支持 Route Pool priority 分层策略,并升级 Admin 配置体验。
阅读全文OctaFuse Gateway 2.1.2 优化 Admin 路由与 Provider 体验,为请求日志增加 external_system,并修复干净仓库下 Admin 本地开发解析问题。
阅读全文OctaFuse Gateway 2.1.1 统一 user+model 熔断,完善 Failover 与错误码契约,并增强上游请求失败诊断和阿里云模型预设。
阅读全文过去我们的 AI 网关,绝大多数的更新关注点在以下几个方面: - 如何统一接入 OpenAI、Anthropic、Gemini 等协议 - 如何在多个 Provider 之间路由和故障转移 - 如何管理 API Key、预算、Token、成本与调用日志 但当 Agent 真正进入业务,模型调用只是链路的一部分。它还会搜索网页、抓取正文、做深度检索,甚至调用 AI...
阅读全文如果你跟我一样,平时折腾独立产品、或者是 AI 方向的 OPC,相信你一定买了很多 Coding Plan、Token Plan 等各种 AI 资源。不论你是在各种客户端中使用,还是自己开发产品提供 AI 服务,都需要接入这些资源。由于那么多供应商都提供了单独的 BaseUrl 和 ApiKey 接入,本身管理这些信息就很麻烦,在接入方还要根据不同的需要配置不同的供应商,日常调度切换也是非常头疼。...
阅读全文台风天午休时间,从 octafuse-gatewayhttps://github.com/OctaFuse/octafuse-gateway 上拉了一批真实请求统计,做了一次国内模型供应商的缓存与可用性观察,在这里分享给大家。 这次重点不是单纯比较模型能力,而是看一个更影响 Agent 真实使用体验的问题:谁的缓存更稳,谁更适合长上下文、高频调用、容易反复请求的 Agent 场景。...
阅读全文> 海外 Agent 基础设施正在快速平台化。Vercel、Cloudflare、GitHub 这些开发者平台不只是在接模型,而是在补部署、长任务运行、沙箱、观测、模型网关、权限和成本治理。 国内现在不缺模型,也不缺 Agent 框架,缺的是一套足够顺手的工程化底座。很多团队能把 Demo 做出来,但一到上线,就要自己拼前端托管、后端函数、Agent runtime、沙箱、认证、trace...
阅读全文上一篇:《Vercel Eve 接入自定义 AI Provider》https://didispace.com/mgr/posts/485/edit里,我们把 SpringForAll 内容运营助手的模型入口改成了两条路径: - 默认走 Vercel AI Gateway; - 配置 EVEMODELBASEURL 后切换到自定义 OpenAI-Compatible Provider。...
阅读全文