dashboard.png

前段时间开源了一个自己搓的 AI 网关,没怎么宣传,其实已经线上跑了很久了,搓这个目的主要两个应用场景:

  • 个人资源的汇总,比如:买的各种 Coding Plan、Token Plan,通过在网关中同一维护,然后暴露统一的 BaseUrl 和 ApiKey 给各种 Agent 客户端使用,免去繁琐的记录和维护各种不同的 BaseUrl 和 ApiKey。

  • 企业资源汇总与统一服务,如果你跟我一样还有在开发 AI 类产品的话,那么这些产品肯定也需要消费来自各个不同地方的 Token,这些产品也可以通过统一的 BaseUrl 和 ApiKey来实现接入。同时,还提供了用户管理、ApiKey 管理、计费、审计等管理功能,你完全可以把它当做一个提供 llm 服务的基础组件来接入到你的系统,不需要再额外维护 apikey 的存储、扣费等逻辑。

其实 AI 网关很多,为什么决定自己搓一个?因为之前基于自己的需求调研了很多开源产品,但各有各得不足:

  1. 一些 PaaS 产品很强大,但都只支持接入一些官方 Provider,无法更灵活的接入多种多样 Provider。所以,OctaFuse Gateway 完全开放,你可以自定义 Provider。

  2. 一些开源产品虽然可以自定义 Provider,但是在调研验证期的时候,有的因为部署太过复杂而放弃,有的则是出过各种 Bug 感觉不可靠而放弃。

诸多原因之下,最终还是决定再造一个长期维护并投入生产使用的轮子。如果你正在调研并计划接入,可以试试。同时,如果你也对做这个感兴趣,欢迎参与贡献。

最后,奉上地址:

能给个 Star ✨ 支持一下的话更佳 🍻