API网关

共 13 篇文章

OctaFuse 2.12.0:供应商账号管理、路由工作区与多模态入口发现

OctaFuse Gateway 2.12.0 让多个供应商账号更容易管理,余额和路由更方便查询,客户端能按模型能力选择接口,手机和平板也能处理日常配置。

阅读全文

OctaFuse 2.11.0:流式请求保护、用户折扣策略与错误契约升级

OctaFuse Gateway 2.11.0 为文本流式请求补齐首包、流中空闲和记账三档保护,并增加可选的首事件超时故障转移。同时,用户级模型倍率支持新的组合策略,代理错误也有了更稳定的判断方式。 一句话看懂 2.11.0: > 长流式请求有了明确的等待边界和故障转移策略,用户折扣更容易运营,客户端也能更准确地判断失败原因。 01|流式请求更稳...

阅读全文

OctaFuse 2.10.0:路由参数强制覆盖、模型入口发现与额度审计升级

不同模型和供应商对请求格式的要求并不相同。有些参数可以交给客户端决定,有些请求头或请求体字段则必须固定;一旦客户端缺少或覆盖这些值,请求就可能失败。 OctaFuse Gateway 2.10.0 为路由请求体和上游请求头增加独立的强制覆盖开关,同时让客户端从模型列表中识别可用请求入口,并完善永久额度变更记录与审计筛选。 一句话看懂 2.10.0: >...

阅读全文

OctaFuse 2.9.0:用户限流控制、自定义转发头与管理后台升级

当一个用户同时通过网站、Agent 和自动化任务访问 OctaFuse 时,网关不仅要统一转发请求,还要控制用户与不同应用的调用频率、满足供应商对请求头的要求,并让管理员更快看清流量和异常情况。 OctaFuse Gateway 2.9.0 围绕这些日常治理场景,增加用户与 Key 双层限流、自定义上游请求头、Key 级分析和入口 Host...

阅读全文

OctaFuse 2.7.0:按星期计价、用户级模型折扣、百炼ASR模型支持优化

OctaFuse Gateway 2.7.0 重点解决三个实际问题:如何让工作日和周末使用不同价格,如何为不同用户设置专属模型价格,以及如何通过统一网关调用阿里云百炼的同步多模态语音识别。 这意味着,当模型供应商调整峰谷计费规则时,你可以直接在路由中跟进;面对签约客户、内部账号或不同服务套餐,也可以为指定模型单独设置折扣或加价。 一句话看懂 2.7.0: >...

阅读全文

OctaFuse 2.6.0:完善 Vertex AI 鉴权、图片计费与日常调试

OctaFuse Gateway 2.6.0 完善项目级 Vertex AI 服务账号鉴权,明确文生图双模式计费与异常不扣费规则,并升级路由时段计费、Playground、Simulator 及供应商目录。

阅读全文

OctaFuse 2.4.0:让 DashScope 语音能力进入统一路由

OctaFuse Gateway 2.4.0 新增 DashScope 原生 ASR、TTS 与实时音频路由,简化百炼及千问 Token Plan 接入,并以具名 Admin API Keys 替代单一 MASTER_KEY。

阅读全文

这是我见过最蛋疼的注册中心与API网关实践!

2021-04-28 16:55 架构设计 API网关 微服务

之前因为在做顾问与咨询的时候,见到了一种关于API网关和注册中心的错误用法。在我的星球里分享了一下这个案例,没想到最近又碰到了两个类似的案例。也许这样的问题还存在不少团队的应用中,所以再拿出来分享一下,希望可以帮助读者更好的理解注册中心与API网关的作用,并将它们用对地方! 在微服务架构中,我们都会使用API网关来作为暴露服务的唯一出口。这样可以讲与业务无关的各项控制,集中的在API网关中进行统一...

阅读全文

API网关 Zuul1.0 和 2.0 我们该如何选择?

2018-07-16 16:56 架构设计 API网关 微服务

在今年5月中,Netflix终于开源了它的支持异步调用模式的Zuul网关2.0版本,真可谓千呼万唤始出来。从Netflix的官方博文附录1中,我们获得的信息也比较令人振奋: > The Cloud Gateway team at Netflix runs and operates more than 80 clusters of Zuul 2, sending traffic to about...

阅读全文

自建API网关-架构设计篇

2018-03-28 16:48 架构设计 API网关

传统企业正在做微服务架构转型的开发人员或者架构师,希望本文对您能起到一定的引导作用。 API网关介绍 网关一词较早出现在网络设备里面,比如两个相互独立的局域网段之间通过路由器或者桥接设备进行通信, 这中间的路由或者桥接设备我们称之为网关。 相应的API网关将各系统对外暴露的服务聚合起来,所有要调用这些服务的系统都需要通过API网关进行访问,基于这种方式网关可以对API进行统一管控,例如:认证、鉴权...

阅读全文