AWS 汇总了 2026 年以来 Amazon SageMaker AI 在两条推理路径上的 13 项能力更新：面向低运维负担的托管端点，以及面向 Kubernetes 原生控制的 HyperPod Inference。更新覆盖推理推荐、容量感知实例池、OpenAI 兼容 API、容器缓存、可观测性、内联异步请求、KV 缓存、数据捕获、分离式 prefill/decode、模型缓存和前缀感知路由。AWS 给出的个别延迟和吞吐数字来自其示例或基准，不应直接视为所有工作负载的保证。

编辑提示

以上摘要基于原始来源整理；如需完整上下文、数据和限定条件，请打开原文核对。