英伟达推出Nemotron 3.5 Super VL多模态模型，单GPU智能体任务吞吐量最高提升5倍
Miranda 英伟达发布开放多模态模型Nemotron 3.5 Super VL，面向需要持续运行和多步骤执行的AI智能体。该模型采用混合专家架构，总参数1200亿，激活参数120亿。官方称，在单张GPU上执行智能体任务时，其吞吐量最高可达同规模其他开放模型的5倍。
该模型将推理、指令遵循、工具调用与文本、图像、文档、视频理解整合到同一模型，可用于代码测试调试、跨网站检索、文档分析、网络安全威胁识别和视频内容检索等。企业案例中，Scale AI为Skydance定制的供应商信用处理智能体预计推理成本降低97.5%、延迟降低80%；Ramp将收据图像转为结构化JSON，吞吐量最高提升50%、延迟降低90%；AI21与Alice定制的威胁情报与漏洞分析模型相关任务准确率提升40%。评测上，CharXiv图表推理得分为80.8%，结合Python代码解释后为84%；Hermes Bench和LangChain行为评估分别为63.44%和87.05%。
推理优化方面，模型采用投机解码、混合精度和上下文复用。LiLiCorr投机解码在DGX Spark上可将词元生成速度最高提升至2.3倍。NVFP4量化在Blackwell架构使用4位权重和4位激活，非Blackwell平台使用4位权重和16位激活。在16张B200 GPU、每用户每秒生成50个词元的条件下，NVIDIA Dynamo配合缓存感知路由、会话亲和性和KV缓存卸载最多服务8倍用户，首词元延迟降低85%。
本次发布包括基础模型、后训练模型、NVFP4量化权重及训练配方、数据集和强化学习环境，预训练和持续预训练使用约26万亿词元，后训练使用约380万个样本。同时推出的Nemotron 3.5 Bolt 74B-A9B 24GB采用740亿总参数、90亿激活参数，经原生2位量化压缩至24GB，支持llama.cpp、vLLM、Ollama等工具；Bolt E4B 4GB面向本地语音助手等场景，计划10月23日推出。Super VL和Bolt 74B-A9B 24GB已开放，可通过Hugging Face、OpenRouter、ModelScope获取。
