ZenteiQ 用 GKE Inference Gateway 将批量推理吞吐提升 4 倍

报道讲了什么

• ZenteiQ 在 vLLM 加速器池前部署由 llm-d 驱动的 GKE Inference Gateway，替换标准 ClusterIP 轮询负载均衡。
• 每 1000 块加速器的日生成 token 从 14.7 亿增至 59.7 亿。

可以做什么

• 按 vLLM 实时队列深度与 KV 缓存利用率路由请求，把重负载请求导向有空闲容量的节点。
• 用同一网关统一路由生成、评估与护栏检查三类请求，覆盖多个模型池。

怎么使用

1. worker pod 从 Cloud Storage 拉取科学种子文档与领域分类，扩展为多步提示批次。
2. 批次经 GKE Inference Gateway 分发到各模型池，通过评估与护栏检查后去重打包，供 MaxText 预训练使用。

结果与限制

• 4.07 倍为 ZenteiQ 自身流水线的聚合吞吐结果，非单请求延迟，也未说明可复用于其他场景。
• 优化前吞吐在单次运行内波动可达一半，源于队列不均与重复前缀计算。

使用入口与依据