两台Mac Studio,一个模型:苹果与Meta的硬件故事
此次发布最真正新颖的部分并非参数量,而是模型的运行环境。Meta与苹果通过MLX框架,将Muse Spark Open优化用于Apple Silicon上的本地运行,具体做法是将两台M5 Ultra Mac Studio配对为一个联合系统,拥有约1TB的统一内存[1]。每台M5 Ultra Mac Studio自身最多提供512GB统一内存和1.2 TB/s带宽,但该模型的4位量化版本占用约493GB,无法在单台设备上运行[2]。配对两台设备则解决了这一问题,将两台消费级桌面设备转变为可托管8160亿参数模型的基础设施,而此前这需要数据中心级的GPU集群。
这一配置背后的苹果-Meta合作已由Meta确认[4]。扎克伯格在X平台上感谢了苹果的John Ternus对合作的贡献,Hugging Face首席执行官Clement Delangue在发布数小时内便展示了通过llama.cpp在两台Mac Studio上运行该模型的设置。在推理方面,Meta还在SGLang中发布了定制的自动调优Helion GPU内核,在NVIDIA和AMD GPU上实现了1.03倍至3.95倍的内核级加速,并在AMD的MI350上实现了3%的端到端加速[5]。然而,这一需要两台合计成本远超10,000美元设备的硬件要求,距离普通开发者的笔记本电脑还很遥远。独立的YouTube评测也呼应了这一怀疑态度,将双Mac Studio需求视为硬件现实的检验,而非大多数开发者可触及的配置,社区整体将Mac Studio配对视为概念验证,而非大多数人的实用部署路径,而Unsloth在数小时内推出的更小GGUF量化版本则被视为在家中实际运行该模型的更现实方式。


