AWS 宣布 Amazon SageMaker HyperPod Inference Gateway，可作为 EKS 托管插件部署在现有 HyperPod 集群中。网关根据 KV 缓存利用率、队列深度、LoRA 适配器驻留、前缀缓存命中率和运行中请求等 GPU 信号选择后端，AWS 称在示例场景中可把首 token 延迟从 4.4 秒降到 800 毫秒以内。第一阶段负责集群内路由，跨集群和跨区域的全局路由仍列为后续能力。

编辑提示

以上摘要基于原始来源整理；如需完整上下文、数据和限定条件，请打开原文核对。