ZenteiQ用GKE网关将批量推理吞吐提升4倍

ZenteiQ 公布，其批量合成数据生成推理流水线在改用由 llm-d 驱动的 GKE Inference Gateway 后，总吞吐提升 4.07 倍，每 1000 块加速器日生成 token 从 14.7 亿增至 59.7 亿。 这一结果来自 Google Cloud AI 基础设施官方资讯，属于 ZenteiQ 部署后的公布数据。该网关依据 vLLM 实时队列深度和 KV 缓存利用率路由请求，替代原先的轮询负载均衡，以缓解队列不均和重复前缀计算。 ZenteiQ 称，其数据准备和 MaxText 预训练任务原本就运行在 GKE 上，因此可在同一 Kubernetes 平台管理数据生成与模型训练；由于算力分配固定，生成和验证训练数据占用的加速器时间会直接挤占预训练。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。