为何内存带宽而非原始算力定义了Maia 300
Maia 300最引人注目的规格不是FLOPS数值,而是内存。该芯片将工作负载分布在多个芯片上:主计算芯片采用台积电N2P工艺制造,搭配基于更成熟3nm节点的独立内存控制器和I/O芯片 [1]。围绕这一计算核心的是八个HBM4内存堆栈,总计288GB,提供高达18 TB/s的峰值带宽,所有这些都在每个加速器950瓦的功耗预算之内 [2]。与2026年初发布的Maia 200相比,内存带宽提升了2.5倍,容量增加了33%,而原始算力仅相对 modest 地增长了36%,在FP4精度下约为13.8 petaflops,在FP8精度下为6.9 petaflops [2][3]。
内存获得更大升级的原因在于,推理任务——尤其是涉及长上下文推理和多步骤代理工作流的任务——瓶颈不在于芯片矩阵乘法的速度,而在于token-by-token的“解码”阶段,模型参数和对话上下文在内存中进出的速度。Futurum Research的Brendan Burke将Maia 300描述为从头开始为“长上下文、推理密集、解码为主”的推理场景打造的芯片 [4]。换句话说,微软并非在通用算力基准上与英伟达竞争,而是针对Copilot、GitHub Copilot和OpenAI模型在实际生产中生成的具体工作负载进行优化。


