谷歌推出TPU 8tx与TPU 8i Max：机密推理与超大上下文，第八代一年内扩至四款系统

导读

2026年11月9日，谷歌人工智能与基础设施高级副总裁兼首席技术专家 Amin Vahdat 撰文宣布，公司扩展第八代 TPU 产品组合，推出两款新系统：TPU 8tx 面向安全、机密推理，也适合小规模训练；TPU 8i Max 面向超大上下文窗口，并提供该系列中最高的单机架计算密度。加上今年4月在 Google Cloud Next 上推出的训练型 TPU 8t 与实时推理型 TPU 8i，这是谷歌首次在一年内推出 四款 TPU 系统。

官方将新系统放在“智能体时代”的需求变化中：计算正从人类规模转向智能体规模，企业希望加速器能够跨越模型庞大的上下文窗口进行推理；受监管客户则要求针对特定工作负载的专用加密能力。文中还提到，TPU 最初为语音识别和翻译等内部需求设计，如今已用于训练和提供 Gemini、智能体工作负载、向云客户提供服务，以及让客户把 TPU 部署进自有数据中心。谷歌称 TPU 现为增长迅速的业务，客户接近 100 家，涵盖前沿实验室、交易公司、零售商和大学等。

新芯片与新系统的区别

文章特别区分了“新芯片”和“新系统”。设计一款新芯片意味着在晶圆上布置数十亿晶体管，受物理定律和漫长制造周期约束；系统则是围绕芯片组织计算、网络与存储，包括封装方式，以便更快响应新的客户需求与研究场景。谷歌称，自第一代 TPU 起就把系统设计成 AI Hypercomputer 中的积木，以便在数月而非数年里交付专用超级计算机。

第四代之后，第八代组合被描述为：TPU 8t 负责大规模基础模型训练、追求每瓦“有效智力”（goodput）；TPU 8i 作为推理引擎，意在打破内存墙，并把芯片间通信延迟最高缩短约一半。官方回顾称，TPU 8t 与 8i 相较上一代分别可提供最高约 2.7倍 的训练性能，以及约 80% 更优的推理性价比。这两项对比属于今年4月已公布的基线，并不等于今天两款新系统的实测数字。

TPU 8tx：把机密计算做到硬件层

TPU 8tx 是第八代中的第三款系统，针对受监管企业和政府在处理敏感数据的同时运行前沿或自有模型、以及自主智能体的场景。文章写道，数据通常在存储或网络传输时加密，但在内存中处理时必须解锁；8tx 与 TPU 8t 使用同一硅片，并与 第5代 AMD EPYC 主机处理器搭配，把安全做进硬件层，使敏感数据和模型权重在使用过程中仍保持受保护与隔离。

网络方面，8tx 采用谷歌为实时推理打造的低延迟 Boardfly 网络。官方称，与 TPU 8t 相比，延迟最高可降低约 2倍，性能损失接近于零。把训练级算力与快速推理网络放在同一系统上，也意味着机构可以在同一套系统上同时运行和定制模型：用私有数据微调、把大模型蒸馏成小模型，并通过强化学习训练智能体，而不必在不同集群之间迁移敏感数据。

同日 AMD 新闻稿从主机侧呼应了这一设计：第5代 EPYC 为谷歌云 TPU 8tx 提供主机基础设施，并称这是首个具备硬件强制机密计算的云 TPU 系统。谷歌云 AI 与计算基础设施副总裁 Mark Lohmeyer 表示，把第5代 EPYC 与第八代 TPU 架构放在 AI Hypercomputer 中，是首次把硬件强制的机密计算带入云 TPU。AMD 还提到，系统利用 EPYC 的 SEV（安全加密虚拟化）能力，并把机密计算保护从 CPU 延伸到相连的加速器。

TPU 8i Max：双芯片封装冲击内存墙

第四款系统 TPU 8i Max 针对另一个问题：内存墙。当数十个智能体同时处理整个代码库或数小时视频时，内存带宽会迅速成为瓶颈。谷歌的做法是把两颗低延迟的 TPU 8i 芯片封装到同一封装中。官方称，8i Max 使计算与内存同步扩展，提供相当于 TPU 8i 两倍 的算力、两倍 的 SRAM 和 两倍 的 HBM 带宽，从而减少大型工作负载停滞；同时在既有机架占地内放入两倍硅片，以提高单位面积和单位功耗的算力。

四款第八代系统被概括为：8t 负责规模化训练，8i 负责低延迟推理，8tx 负责机密计算，8i Max 负责超大上下文和最高机架密度。

软件栈：降低使用门槛

文章用不少篇幅谈软件开放，并把它与当天的硬件发布并列：

• 开源 TorchTPU，使 PyTorch 代码和 Hugging Face 模型能在 TPU 上原生运行，并为 vLLM、SGLang 等开源推理引擎提供开箱即用的 TPU 后端；预览中的开源 TPU agent suite 可接入 Claude Code、Cursor 和 Google Antigravity 等编码工具，用自然语言完成接入、诊断瓶颈和自动调优自定义 kernel。生产部署还可使用开源 XLA Serving Engine，在 Python 中训练后直接在低延迟 C++ 运行时上于 TPU、GPU 和 CPU 之间提供服务。
• 官方称，在面向真实智能体编程和长上下文工作的 InferenceX 与 AgentX 基准上，TPU 上的原生 vLLM-TorchTPU 软件栈取得了最先进的性价比成绩。文中未在这段给出具体分数。
• 新的 Agent Compute Engine 软件会在智能体等待数据库查询、外部工具或人工反馈而暂停时自动挂起并恢复空闲会话，以减少闲置算力浪费。
• 开源 TPU Sync，作为 TPU 集群的模型状态层，把芯片 HBM、主机 DRAM、共享存储和数据中心网络收成一套协同设计的内存层次，在毫秒级把大型 KV cache 分层移出芯片，并在分离的 prefill 与 decode 节点之间流式传输上下文。官方称，它可将 KV 传输延迟和首 token 时间（TTFT）降低 90%以上。
• Cloud Pathways 现已在 Google Kubernetes Engine 上正式可用，把支撑 Gemini 的 Google DeepMind 运行时交给云客户，用单控制器架构把多个 slice 编排得像一台本地机器；并提供同驻 Python sidecar、亚分钟级 slice 热替换和弹性重分片。
• GKE dynamic slicing 也已正式可用，用光电路交换（OCS）把物理供给与逻辑 slice 解耦，动态把 TPU cube 组成更大拓扑或拆成更小的隔离负载。官方称，这使作业启动时间最高缩短约 5倍，故障恢复最高加快约 4.5倍。

谷歌还提到，正越来越多用 AI 来构想和构建下一代 AI 基础设施，包括用 DeepMind 的 AlphaChip 强化学习系统，以及用 Gemini 在数小时而非数周内给出芯片布局。文章邀请读者收听当天太平洋时间上午9点的直播，以了解更多细节。

来源

Google The Keyword，Amin Vahdat，Our newest TPUs: 8tx and 8i Max, built for the agentic era，2026年11月9日。主机与机密计算细节同时参考 AMD 新闻稿 AMD EPYC Expands Its Leadership at the Foundation of AI（同日）。