AMD如何将芯片变成一个冻结的大脑
Taalas并不构建通用处理器再事后加载模型。其模型专用集成电路(MSIC)将模型的权重和数据流直接蚀刻进芯片的晶体管和金属层中,用芯片上的Mask-ROM结构替代GPU依赖的外部高带宽内存来存储权重,并用SRAM结构处理KV缓存和微调适配器[1]。该公司HC1测试芯片基于台积电6纳米工艺打造,面积为815平方毫米,集成530亿个晶体管,在2.5千瓦的服务器配置下运行[2],以接近每秒17,000个token的速度服务Meta的Llama 3.1 8B模型,Taalas称其吞吐量是英伟达H200和B200 GPU的48至73倍,功耗却仅为后者的一小部分[12]。Cambrian AI分析师Karl Freund独立测试显示,同一芯片的吞吐量为每秒14,357个token,接近Taalas自身报告的数据[4]。代价是刚性:一旦芯片为某一模型制造完成,便无法重新编程用于其他模型。Taalas表示,更新至新模型仅需更改芯片100多个金属层中的约两层,可将完整重制缩短至约两个月的流片周期,而非从头开始重新设计[1],但每次模型切换仍意味着新的硅片,而非软件更新。



