将模型烘焙进金属:Taalas如何突破HBM瓶颈
每一块用于运行大语言模型的GPU都需支付一项隐性开销:它必须不断从HBM内存中提取模型权重,并将其传输至计算核心,然后才能进行运算。Taalas的方法是彻底消除这一过程。其首款芯片HC1基于台积电6nm工艺打造,芯片面积为815 mm²,集成530亿个晶体管,不再从外部内存加载Llama 3.1 8B的权重,而是将权重和数据流直接蚀刻进芯片自身的金属层中[2]。根据Taalas公布的基准测试结果,该芯片在单用户场景下可实现约每秒17,000个token的处理速度[2]——多家媒体指出,这比同等工作负载下的通用GPU快48倍至73倍不等,且功耗显著更低。SiliconANGLE援引说法称,其性能达到Nvidia H200的73倍,功耗仅为十分之一;而The Register则引用数据称,其速度是GPU的48倍、Cerebras加速器的8.5倍[1][3]。
使这一技术具备商业可行性而非一次性奇观的关键在于,为适配新模型所需更改的芯片部分极少。Taalas表示,在芯片超过100层的金属/掩模层中,仅有约两层上层负责编码模型特定的权重和矩阵维度,因此针对新模型的完整重新设计仅需约两个月,远短于行业通常的一到两年设计周期[2][4]。这正是整个赌注的核心:放弃通用可编程性,换取在速度、成本和功耗上超越GPU的表现,前提是愿意将特定模型固化进硬件。但显而易见的代价——也是AMD连同优势一并买下的风险——是这些芯片无法像软件一样重新编程;任何实质不同的模型都意味着一次新的流片,而非固件更新[1]。



