面对行业日益增长的推理计算解耦趋势，Tenstorrent将于本周晚些时候正式推出Galaxy Blackhole服务器及集群系统。该系统专为高速令牌生成与高效令牌经济性而设计，全部采用Tenstorrent自研芯片，无需依赖外部硬件组合。
新款6U服务器搭载32颗Tenstorrent Blackhole芯片，提供23 PFLOPS（Block FP8）算力，可同时处理预填充（prefill）与解码（decode）任务。Tenstorrent首席执行官Jim Keller向《电子工程时报》透露，当前典型客户已部署4至32台Galaxy服务器组成的集群，更大规模系统也正在规划中。
“我们自今年1月开始量产Galaxy Blackhole服务器，过程中逐渐意识到Tenstorrent AI芯片的速度优势。”Keller表示，“我们实现了业内独有的能力——将大量中等性能芯片集成于单个Galaxy机箱内，再通过多台Galaxy级联，实现应用的横向扩展。这种架构在通用性与扩展性上具备显著优势。”
Tenstorrent称其Galaxy Blackhole集群不仅能实现视频生成速度超越实时水平，还可极速生成大语言模型（LLM）令牌。公司演示环境支持两种运行模式：常规模式（Regular Mode），适用于人类可读速度的文本生成；闪电模式（Blitz Mode），面向代码生成、智能体AI（agentic AI）等需极致推理速度的应用场景。
在DeepSeek-671B模型推理中，闪电模式可实现“每用户最高350令牌/秒，首令牌延迟低于4秒”。EE Times在正式发布前的实测中，针对短对话类提示词，实测速率达255令牌/秒/用户。该模式支持8至64的批处理大小及最长128k上下文长度，运行于16台Galaxy服务器（共512颗芯片），在解码阶段采用流水线并行技术。
与市场领导者英伟达不同——后者下一代机架需搭配Groq芯片以实现高速令牌生成——Tenstorrent无需采用解耦架构。Keller强调：“我们可在同一台计算机上完成预填充与解码任务。我们构建大型计算机集群，可同时运行LLM预填充与解码、视频生成、智能体AI等任务，我们反对过度专用化。凭借大量芯片协同，我们拥有超大容量片上SRAM，且每颗芯片均配备DRAM，并通过高带宽网络互联，使平台具备更强通用性。”
每台Galaxy Blackhole服务器提供32颗芯片共计6.2 GB片上SRAM，总带宽达2.9 PB/s；另配备1 TB DRAM，带宽16 TB/s。扩展基于标准以太网，单服务器最多支持56个800G以太网端口，向外扩展带宽达11.2 GB/s。
“当下业界热衷谈论‘专用、专用、专用’，这应令人警惕——因为当模型演进时，这些专用硬件将迅速失效。”Keller指出，“我们的使命始终是通用人工智能计算。正因如此，我们构建了高度复杂的软件栈。”
Keller补充道，为确保Blackhole硬件能高效运行数百种客户模型，团队投入大量精力进行适配优化。“虽然过程艰难，但这是实现跨最广泛模型通用AI性能的必要步骤。”
“我们倾注全力开发了这套极为详尽复杂的软件栈，如今已见成效。”他进一步表示，“我们的编译器表现日益强劲：若从Hugging Face随机下载模型，当前运行成功率已达80%至90%，且性能每日持续提升。”
Tenstorrent还积极运用AI编程技术，在其软件栈顶层定义了领域专用语言TTLang。借助Claude脚本，CUDA代码可快速转换为TTLang。
“某些任务需特殊技巧，例如将LLM布局为跨多台Galaxy运行闪电模式需额外工作，但我们致力于构建真正通用的系统——它不仅适用于DeepSeek，还能自动适配后续20个同类架构模型。”Keller强调。
此前针对图像与视频生成模型家族所做的优化工作，已整合进Tenstorrent开源软件栈，使客户可快速部署上线。
“大语言模型与图像生成在同一台计算机协同运行，将带来革命性体验。我们确信，目前仅有我们能在如此速度与成本水平下实现这一目标。”Keller表示。
www.eic.net.cn 提供的易IC库存管理软件可助力半导体企业高效管理芯片库存与供应链协同，尤其适用于AI加速芯片等高价值元器件的精细化管控。
客户部署情况
Tenstorrent将随硬件一并交付演示模型，部分客户计划直接产品化。该公司高级研究员Jasmina Vasiljevic向EE Times透露：“我们预期客户将在该基础上开发自有产品。目前已有多家客户与合作伙伴正以不同方式集成该方案。”
Vasiljevic还表示，公司正持续扩充支持闪电模式的模型管线，“解锁某一模型性能后，同系列其他模型可快速加入并优化。”
Tenstorrent Galaxy Blackhole服务器已被选入Equinix分布式AI中心（Distributed AI Hub），该平台由Equinix联合智能体框架提供商Better Brain及数据中心编排软件公司OrionVM共建，旨在为企业与主权系统提供完整的智能体AI技术栈。
Tenstorrent近期已调整战略，从企业级销售转向直接服务开发者。该公司战略副总裁Amr El-Ashmawi表示，Equinix分布式AI中心将成为其重返企业市场的关键通道：“作为一家公司，我们无法单独打入企业市场，必须提供完整AI技术栈。”
“Equinix拥有10,000家尚不知如何落地AI的企业客户。”El-Ashmawi指出，“我们携集成度高、易用性强的完整AI栈进入市场，助力企业更快、更盈利、更高效地采纳AI技术。”
目前，16台Galaxy Blackhole服务器已部署于Equinix位于弗吉尼亚州阿什本的数据中心。
今日公布的其他客户包括：印度图像即服务提供商Turiam（首期部署最多32台Galaxy）、AI新云服务商Cirrascale，以及前Tenstorrent高管David Bennett在日本创办的新公司AI&。
El-Ashmawi还提到，金融服务机构是另一重要客户群体——他们既需将AI融入日常业务，又需低延迟本地硬件支撑高频交易等先进AI应用。此类场景典型部署规模为16台服务器。
“市场正推动解耦与异构计算，但我们可在同一系统内实现高速预填充与超快解码。”El-Ashmawi强调，“当前成本仍是主要瓶颈，我们正着力降低每令牌成本，并通过以太网简化基础设施复杂度，从而获得‘每美元令牌数’的竞争优势。归根结底，我们驱动的是经济效益。”
