一大波开放模型上新 涉及智能体、物理AI和医疗健康

李白

03.

一大波开放模型上新
涉及智能体、物理AI和医疗健康

开放模型对AI生态发展至关重要。
作为全球最大的开源AI贡献者之一，英伟达构建并发布六大系列的开放前沿模型及训练数据配方和框架，帮开发者定制和采用。

Nemotron 3 Ultra是最强开放基础模型，在英伟达自有基础设施上完成预训练，吞吐量是此前最佳开放模型的2倍。

Nemotron 3 Omni具备音频、视觉和语言理解能力，可支持智能体从视频和文档中高效提取信息。Nemotron 3 VoiceChat支持实时对话，把自动语音识别、大语言模型处理和文本转语音功能结合在一个系统中。
上周先一步发布的Nemotron 3 Super模型是英伟达迄今最强推理模型，在其同量级中智能水平最高、效率最优，在BFCL（伯克利函数调用排行榜，专门评估大模型作为智能体大脑的能力）中登顶开源模型第一，综合排名全球第四。

面向物理AI和医疗健康AI的全新开放模型包括：
NVIDIA Cosmos 3，第一个统一合成世界生成、物理AI推理和动作模拟的世界基础模型。
NVIDIA GR00T N1.7，一个专为人形机器人构建的开放推理视觉语言动作（VLA）模型，在现实世界中部署具有商业可行性。
NVIDIA  Alphamayo 1.5，一个面向自动驾驶汽车的一种推理VLA模型。
NVIDIA BioNeMo Proteina-Complexa，一个用于蛋白质结合体设计的生成模型，可加速基于结构的药物发现和治疗。
以上模型均已在Hugging Face上发布。
黄仁勋还预告了GR00T N2，这是一个基于DreamZero研究的下一代基础模型，预计将于今年年底发布。
该模型构建于新的世界动作模型架构上，帮助机器人在新环境中成功完成新任务的频率是领先VLA模型的2倍多。

此外，英伟达宣布成立Nemotron联盟，联手Black Forest Labs、Cursor、LangChain、Mistral、Perplexity、Reflection、AI Star、Bomb、Thinking Machines Lab等顶尖AI实验室，汇聚专业知识、数据、评估体系和模型开发能力。

英伟达将使用内部DGX Cloud算力统一承担训练工作，避免每家机构在相同基础模型上重复投入，共同构建开放的共享基础。
开发者和企业随后可在此基础上，针对各自的行业、地区和应用场景进行专项定制。
联盟的第一个项目是一款全新的基础模型，正在英伟达DGX Cloud上训练，将成为即将发布的Nemotron 4系列的基础。

04.
物理AI：工业软件、机器人龙头都在用
公布L4自动驾驶、太空计算新进展

整个IT行业只有2万亿美元，而世界上其他所有行业，都需要能与真实世界交互的AI，需要能够理解、建模并与真实世界交互的AI物理模型。
从桌面到机器人、自动驾驶汽车，从AI工厂到电信网络，英伟达的AI基础设施已无处不在。
1、物理AI数据工厂蓝图
在机器人领域，算力即数据。当前的数据生成工作流极为碎片化，数据处理、生成、仿真、评估和部署分散在不同管道中。
对此，英伟达推出物理AI数据工厂蓝图，一个基于英伟达Cosmos世界模型和Osmo机器人算力编排系统的开放参考架构，让“用仿真数据大规模训练机器人”这件事有了标准化管线。
英伟达正是用这套管线构建了Alphamaya、Cosmos和GR00T等前沿开放模型。
微软Azure和Nebius是首批采用该架构的云服务商，首批客户包括Field AI、Hexagon Robotics、Milestone Systems、Skilled AI和Teradyne Robotics。
2、机器人企业们都在用英伟达计算平台
英伟达为机器人制造商提供三类计算平台，以及开放模型、库和框架，可按需组合使用。
英伟达宣布，全球众多顶级机器人企业都在这三类计算平台上进行构建：
ABB、FANUC和库卡合计占全球工业机器人装机量近半，均已将Omniverse库集成至其机器人仿真工具中。
Figure、智元机器人、1X等人形机器人企业采用Isaac Lab、Newton和Cosmos等机器人仿真库进行构建，并采用Jetson和Thor进行边缘推理。
AI原生企业如Skilled AI和Field AI均在英伟达Isaac和Cosmos技术栈上构建其通用机器人大脑。
英伟达是目前唯一一个每家机器人公司都在构建于其上的计算平台。
3、L4自动驾驶出租车试点，扩展软件安全
自动驾驶汽车是物理AI大规模落地的第一个场景，也是全球首次大规模部署机器人。
英伟达构建了全球唯一的全栈自动驾驶平台NVIDIA DRIVE，覆盖自动驾驶训练与验证所需的架构、安全系统和AI基础设施。
其核心是NVIDIA DRIVE Hyperion，一款支持L4级自动驾驶的整车参考架构，集成计算、传感器和软件，可供整个自动驾驶生态系统构建。
自动驾驶的使命是安全，英伟达宣布推出L4自动驾驶汽车的统一软件安全基础NVIDIA Halos OS、开放推理VLA自动驾驶模型的全新版本NVIDIA Alphamamya 1.5，用于自动驾驶仿真的Omniverse NuRec也普遍可用了。
英伟达DRIVE生态系统正在持续扩大。比亚迪、吉利、日产等多家全球车企新近加入，采用DRIVE Hyperion，开发下一代L4自动驾驶程序。
Uber全球L4无人驾驶出租车将采用DRIVE Hyperion，基于英伟达全栈DRIVE AV软件运行无人驾驶网络，计划于2027年在洛杉矶和旧金山启动试点，2028年底前扩展至四大洲28座城市。
4、全球工业软件巨头都在用英伟达AI
英伟达宣布Cadence、Dassault Systèmes、西门子、新思科技等主要工业软件厂商将英伟达AI、开放模型、CUDA-X、Omniverse和GPU加速工业软件及工具带到现代、本田、奔驰、联发科、百事可乐、三星、SK海力士、台积电等公司，以加速设计、工程和制造。
这些软件领导者们还推出了由英伟达驱动的智能体解决方案，用于复杂的芯片和系统工具流。
例如，本田正使用新思科技的Ansys Fluent在英伟达Grace Blackwell上运行空气动力学模拟，速度比使用CPU快了34倍。
5、英伟达、T-Mobile等将物理AI应用部署到AI-RAN基础设施
英伟达和T-Mobile宣布正与诺基亚合作，将物理AI应用部署到AI RAN基础设施。
电信网络正在演变成AI基础设施。T-Mobile试点NVIDIA RTX PRO 6000 Blackwell服务器版AI基础设施，补充AI-RAN创新中心的分布式网络，以充分发挥物理AI的潜力。
基于英伟达加速计算的AI-RAN过渡解决了物理AI扩展的关键瓶颈：缺乏低延迟、安全和无处不在的连接。
虽然Wi-Fi受到覆盖范围和安全性的限制，但T-Mobile的5G独立网络为复杂AI智能体提供了广泛的覆盖和保证服务质量。