NVIDIA的Nemotron 3.5模型家族发布

Nemotron 3.5家族的大多数模型都依赖相同的效率逻辑：采用专家混合设计，每个token仅激活部分总参数——Super VL、Lightning和Bolt 74B-A9B已确认如此，尽管NVIDIA尚未公布Bolt E4B或Ultra的激活参数分解。Super VL拥有1200亿总参数，但每个token仅激活120亿至130亿 ^[1]，训练数据包含约26万亿个token和380万个强化学习样本 ^[12]。这种效率比例贯穿整个产品线——Lightning为300亿总参数、30亿激活；Bolt 74B-A9B为740亿总参数，仅90亿激活，并通过原生2比特量化进一步压缩，使整个模型可容纳于24GB内存中。训练方法是后训练故事的关键：NVIDIA报告称，在狭窄任务上的微调性能提升达9%至44%，例如将安全攻击抵御能力的准确率从35%提升至76% ^[1]。Super VL的混合Mamba-2/注意力层也意味着该模型无法直接接入任意推理框架——必须使用vLLM 0.27.1或更高版本，因为旧版服务引擎未编译Mamba-2内核 ^[2]，多家媒体指出这是团队在首日尝试自托管时最可能遇到的实际障碍。

NVIDIA的发布材料极力强调与前沿闭源模型的直接对比胜利，媒体报道重点突出其声称微调后的Super VL在专用基准测试中击败Claude Opus 5和GPT-6.1 Sol ^[3]。NVIDIA自己的数据也支持这一说法：在狭窄任务上，例如医疗理赔准确率从28%提升至72%，优于Claude Opus 5在同一测试中的约38% ^[1]。但这种说法仅在狭窄微调任务中成立。在Artificial Analysis的更广泛智能指数中，Super VL得分为26，而Claude Opus 5.5为58 ^[4]，不足一半，这一差距削弱了将Nemotron 3.5视为通用前沿竞争者的任何解读。Artificial Analysis自身的分析反而将其定位为领先的美国开源权重模型 ^[5]，这一说法比基准幻灯片所暗示的更为狭窄且更具可辩护性。结论是：Nemotron 3.5旨在赢得企业为其微调的特定任务，而非在所有方面超越闭源前沿模型——这正是MoE效率押注所设计的权衡。

NVIDIA将开源发布定位为战略举措而非慷慨行为。CEO黄仁勋（Jensen Huang）表示，免费AI应有利于硬件和芯片 ^[6]，The Decoder的分析明确指出：Nemotron的严肃生产部署仍需购买NVIDIA GPU，因此免费提供权重实质上是为底层芯片创造需求 ^[4]。报道称，NVIDIA在开源权重模型上的投资约为五年260亿美元 ^[7]，而“免费”框架存在上限——尽管权重本身可免费下载，但生产级支持需要每年每GPU 4,500美元的NVIDIA AI Enterprise许可证 ^[3]，这意味着一个免费下载的模型在规模化部署时仍会持续为NVIDIA带来收入。报道还指出，此次发布的时机与来自中国开源权重实验室（如DeepSeek和Moonshot.ai）的竞争压力有关 ^[5]，表明开源权重的推动既是为了争夺这一赛道，也是出于内部硬件经济的考量。

早期企业用户报告了显著的实际收益：Scale AI的Skydance供应商信用代理称推理成本降低约40倍，延迟降低5倍；Ramp在收据处理中报告吞吐量提升50%，延迟降低10倍；AI21的网络安全产品Alice在微调Super VL后，威胁分析准确率提升约40% ^[1]。CrowdStrike作为NVIDIA AI设计合作伙伴，正在基于该系列构建安全代理；Salesforce则单独定制Nemotron以自动化政府工作流程 ^[8][9]。然而，这种企业乐观情绪并未完全反映在动手实践的爱好者群体中。社区对Bolt 74B-A9B的测试持怀疑但好奇态度：尽管对其2比特量化感知技术能将740亿参数模型压缩至24GB内存感到兴奋，但对NVIDIA模型质量记录的不信任依然存在，且普遍抱怨将90亿激活参数的MoE模型与270亿级密集模型进行对比并不公平，因为MoE本质上是以牺牲原始智能换取速度。一种广为流传的理论认为，NVIDIA故意将Nemotron保持在低于前沿水平，以避免蚕食自身的企业GPU销售，值得注意的是，该发布恰在RTX Spark发布前一天。独立测试发现，较小的Lightning模型在不同硬件上与密集300亿模型相比，吞吐量表现不一，并非始终具有速度优势；此外，该模型在明确指令下仍默认使用Python而非C语言——这虽是小细节，但为该系列“专精非前沿”的定位提供了具体佐证。