#科技智汇#【8个国际标准数据集达领先水平 成都智算中心“空天·灵眸”发布】日前，由成都智算中心与中国科学院空天信息创新研究院共同打造的全球首个面向跨模态遥感数据的生成式预训练大模型“空天·灵眸”正式发布，这是“东数西算”工程全面启动后，川京协同联动，在成都进行的首个科研成果孵化。中国科学院空天信息创新研究院相关负责人表示，“在昇腾AI基础软硬件平台的支持下，尤其是依托昇思MindSpore AI框架原生支持大模型的能力以及成都智算中心的澎湃算力，空天·灵眸大模型的并行训练及下游任务开发得以加速实现，已在8个国际标准数据集上达到领先水平，填补了跨模态生成式预训练模型在遥感领域的空白。”https://t.cn/A6SefDmN（成都日报）
英伟达发布最强汽车芯！算力2000TOPS，车内计算全包了
原创 来自：Juice 车东西
雷神SoC来了。
英伟达再扔“核弹”，新款智能汽车芯片Thor正式发布！
这颗SoC芯片内部拥有770亿个晶体管，以此可实现2000TOPS的AI算力，或者是2000TFLOP。
图▲英伟达Thor芯片基本性能
因为参数过于强大，英伟达索性直接把它命名为了Thor雷神。对，就是漫威里甩锤子的那个男人。
因为参数过于强大，雷神SoC甚至直接取代了原本计划在2024/2025年量产的新品、也就是目前Orin的下一代产品Altan SoC（1000TOPS）。
因为参数过于强大，英伟达老板黄仁勋甚至没有把它形容为“自动驾驶芯片”，而是明确表示这颗SoC就是为汽车的中央计算架构而生，用这一颗芯片打造一个控制器，即可同时为自动泊车、智能驾驶、车机、仪表盘、驾驶员监测等多个系统提供算力。
意思很明确，就是1颗顶6颗。
图▲英伟达Thor支持驾舱融合
老黄表示，雷神SoC将在2024年量产。并且吉利旗下的电动汽车品牌极氪第一个宣布将在2025年起为旗下车型配备雷神SoC。
随着汽车智能驾驶技术的快速发展，近两年来英伟达在中高端自动驾驶芯片市场地位非常强势，像是蔚来ET7、理想L9、小鹏G9、智己L7等中高端车型基本都选择了英伟达的Orin自动驾驶芯片，以此来研发高速和城市的NOA类自动导航辅助驾驶系统。
就在Orin逐步抢占今明两年市场的同时，英伟达也在积极研发下一代的产品以保持和扩大自己在智能汽车领域的市场位置。去年春天，其发布了Atlan，单颗1000TOPS的AI算力已经技惊四座了。
结果没想到英伟达还想再玩个大的，Atlan直接被Thor雷神取代，搞出了单颗2000TOPS这么一个“核弹”级的产品，目前来看简直无敌。
并且值得注意的是，雷神这次不再主打自动驾驶芯片这张旧牌，而是用超大的算力直接立下了中央计算主芯片的标杆。待到中央计算的EE架构真正开始量产之时，英伟达凭借先发优势必将再一次获得压倒性的优势，同时还顺便干掉了其它小算力芯片的市场。
不得不说，英伟达不仅走在了前列，还第一个走向了新赛道。
01.发布全新雷神芯片 支持智驾和智舱
Thor可以同时支持ADAS系统和IVI系统，具备770亿个晶体管，算力将会达到2000TOPS以上。
黄仁勋介绍，能够实现这个目标主要有三点，分别是对CPU（Grace）、GPU（Ada Lovelace）和处理Transformer模型的引擎（Hopper）进行了升级。Hopper提供了令人惊叹的Transformer引擎和Vision Transformer的快速变革，而Ada是英伟达最新的GPU产品，基于4nm工艺打造，其多实例GPU的发明将有助于车载计算资源的集中化，可将成本降低数百美元。
图▲英伟达CEO黄仁勋
Thor中还引入了Grace CPU，同样有着良好的表现，以往所有的并行算法都由英伟达的GPU进行加速，其余工作负载往往会受到单线程限制，而Grace正好拥有非常好的单线程性能。
基于以上基础，英伟达的工程师打造了Thor，其中也包含了非常多的创新设计。
Thor可以被配置成多种模式，可以将其2000TOPS和2000FLOPs全部用于自动驾驶工作流；其2000TOPS的算力也可以分开用，如一部分用于驾驶舱AI和信息娱乐系统，另一部分用于自动驾驶。
图▲英伟达自动驾驶芯片演进过程
Thor的多计算域隔离允许并发的、对时间敏感的多进程无中断运行，可以同时在一台电脑上运行Linux、QNX和Android。
这一产品集中了众多计算资源，既降低了成本和功耗，也实现了功能的飞跃。
目前，汽车的停车、主动安全系统、驾驶员监控、摄像头镜像、集群和信息娱乐均由不同的计算设备控制。未来，这些功能都不再由单独的计算机控制，而是同时在Thor上运行，而且随着时间的推移不断改进软件所提供的功能。
图▲英伟达Thor支持驾舱融合
这一产品带来的优势也非常明显，可以显著简化汽车EE架构，缓解供应限制，而另一方面，可以降低产品的布线规模，降低车重，从而达到降低成本的作用。
极氪汽车将会在2025年开始为汽车下一代车型平台搭载Thor，这将会不断提升极氪车队的性能和体验，其安全性和智能能力也会不断升级。
图▲英伟达Thor将会首先登陆极氪汽车
极氪采用Thor也证明了汽车厂商对于经济高效的中央计算架构的认可度，这一架构可以同时满足安全可靠高度自动化驾驶能力的需求，也可以满足车载信息娱乐系统日益丰富功能背后的复杂繁重的计算需求。
02.仿真能力大提升 车企可进行虚拟开发
黄仁勋也介绍了NVIDIA DRIVE，这是英伟达打造的一个自动驾驶汽车开发和部署的端到端平台。在开发方面，DRIVE包括了Reolicator合成数据生成，NVIDIA AI基础设施如DRIVE Sim和DRIVE Map。
在部署方面，NVIDIA DRIVE包括全栈驾驶和车内AI应用，AI计算机和Hyperion自动驾驶汽车参考架构。
英伟达的工作人员开发了一个AI工作流，可以根据记录的传感器数据构建3D场景，在将3D场景导入到DRIVE Sim之后，可以一通过人工创建的内容或者AI生成的内容对其进行增强。
这一视频到3D几何图形的工作流可以在NVIDIA OVX系统上运行，这使得英伟达可以在全球范围内创建模拟场景。
举个例子来看，英伟达采用Neural Recinstruction Engine（神经再造引擎）为DRIVE Sim提供支持，几分钟内，该引擎就可以根据传感器数据为驾驶记录重建完整的3D数字孪生。
图▲英伟达DRIVE Sim可实时建立3D数字孪生
通过AI技术，英伟达方面可以对物体进行采集和重建，这些素材将会被加载到Omniverse（英伟达此前发布的计算机图形与仿真模拟平台）中，并且随时可以在DRIVE Sim中使用，在DRIVE Map的协助下，开发者可以放置动态物品如车辆或者行人，然后仿真系统可以对环境进行更改，然后进行闭环测试，从而规避更多的风险场景。
甚至开发者也可以根据采集到的场景和素材创作新的场景，可以生成合成真值数据来训练感知网络，这些场景都可以用于端到端的测试。
图▲英伟达DRIVE Sim可自建极端场景
黄仁勋表示，DRIVE Sim在构建自动驾驶系统方面发挥了很大的作用，是CI/CD持续集成/持续部署过程中非常重要的一环。
DRIVE Sim还支持车内环境模拟，未来的汽车不仅会有简单的仪表盘，还会有用于数字和物理设计的环绕显示器，汽车设计师、软件工程师和电子工程师可以在DRIVE Sim中开展协作，同时运行所有的实际计算机和软件栈。
图▲英伟达对于车舱的构思
DRIVE Sim将会成为这些工程师的虚拟设计工作室。
在机器人和自动驾驶的开发过程中，安全性非常重要，英伟达在安全系统和流程方面，投入了1.5万人工年，对500万人工代码进行了安全评估，其自动驾驶芯片和平台的设计均遵循了行业通用的安全标准。
目前英伟达在开发端到端自动驾驶方面已经取得了很大进展。现场展示的视频中可以看到，用户到达车上之后，AI助手会向用户汇报今天的行程，然后自己完成行车和泊车的一系列动作，整个过程中并不需要人工参与。
图▲英伟达自动驾驶系统可以实现端到端
目前英伟达的自动驾驶芯片产品已经登陆了四十多个车企、车企、卡车、无人出租车、无人小巴公司，其中小鹏汽车的最新旗舰车型G9就采用了Orin芯片，这款车将会在今年晚些时候正式交付。
采用了Orin芯片后，这款车将会具备高度先进的辅助驾驶功能，比如可以在主要和次要城市街道、高速公路和非公开道路上进行自动驾驶和自动泊车，还能够自动进入停车场、城市内狭窄街道和收费站等特殊场景。
03.结语：英伟达扩大汽车业务的边界
以往的GTC大会上，英伟达在汽车方面的重点始终围绕在自动驾驶方面，其已经将自动驾驶做为非常重要的市场增长点。
而在本次大会上，虽然自动驾驶仍然是英伟达的重头戏，但其也同时增加了智能座舱、仿真系统、云等方面的布局，从想要帮助车企做好自动驾驶，变成了想要帮助车企造好车。
目前，无论是特斯拉、海外老牌芯片厂，还是国内科技大公司、创企，近年来产品力都有显著提升，也都在试图撼动英伟达的地位，虽然短时间来看，并不会对英伟达产生什么影响，但居安思危还是很有必要的。
随着英伟达在汽车业务方面的布局逐渐增加，其地位或许会变的更加稳固。
原创 来自：Juice 车东西
雷神SoC来了。
英伟达再扔“核弹”，新款智能汽车芯片Thor正式发布！
这颗SoC芯片内部拥有770亿个晶体管，以此可实现2000TOPS的AI算力，或者是2000TFLOP。
图▲英伟达Thor芯片基本性能
因为参数过于强大，英伟达索性直接把它命名为了Thor雷神。对，就是漫威里甩锤子的那个男人。
因为参数过于强大，雷神SoC甚至直接取代了原本计划在2024/2025年量产的新品、也就是目前Orin的下一代产品Altan SoC（1000TOPS）。
因为参数过于强大，英伟达老板黄仁勋甚至没有把它形容为“自动驾驶芯片”，而是明确表示这颗SoC就是为汽车的中央计算架构而生，用这一颗芯片打造一个控制器，即可同时为自动泊车、智能驾驶、车机、仪表盘、驾驶员监测等多个系统提供算力。
意思很明确，就是1颗顶6颗。
图▲英伟达Thor支持驾舱融合
老黄表示，雷神SoC将在2024年量产。并且吉利旗下的电动汽车品牌极氪第一个宣布将在2025年起为旗下车型配备雷神SoC。
随着汽车智能驾驶技术的快速发展，近两年来英伟达在中高端自动驾驶芯片市场地位非常强势，像是蔚来ET7、理想L9、小鹏G9、智己L7等中高端车型基本都选择了英伟达的Orin自动驾驶芯片，以此来研发高速和城市的NOA类自动导航辅助驾驶系统。
就在Orin逐步抢占今明两年市场的同时，英伟达也在积极研发下一代的产品以保持和扩大自己在智能汽车领域的市场位置。去年春天，其发布了Atlan，单颗1000TOPS的AI算力已经技惊四座了。
结果没想到英伟达还想再玩个大的，Atlan直接被Thor雷神取代，搞出了单颗2000TOPS这么一个“核弹”级的产品，目前来看简直无敌。
并且值得注意的是，雷神这次不再主打自动驾驶芯片这张旧牌，而是用超大的算力直接立下了中央计算主芯片的标杆。待到中央计算的EE架构真正开始量产之时，英伟达凭借先发优势必将再一次获得压倒性的优势，同时还顺便干掉了其它小算力芯片的市场。
不得不说，英伟达不仅走在了前列，还第一个走向了新赛道。
01.发布全新雷神芯片 支持智驾和智舱
Thor可以同时支持ADAS系统和IVI系统，具备770亿个晶体管，算力将会达到2000TOPS以上。
黄仁勋介绍，能够实现这个目标主要有三点，分别是对CPU（Grace）、GPU（Ada Lovelace）和处理Transformer模型的引擎（Hopper）进行了升级。Hopper提供了令人惊叹的Transformer引擎和Vision Transformer的快速变革，而Ada是英伟达最新的GPU产品，基于4nm工艺打造，其多实例GPU的发明将有助于车载计算资源的集中化，可将成本降低数百美元。
图▲英伟达CEO黄仁勋
Thor中还引入了Grace CPU，同样有着良好的表现，以往所有的并行算法都由英伟达的GPU进行加速，其余工作负载往往会受到单线程限制，而Grace正好拥有非常好的单线程性能。
基于以上基础，英伟达的工程师打造了Thor，其中也包含了非常多的创新设计。
Thor可以被配置成多种模式，可以将其2000TOPS和2000FLOPs全部用于自动驾驶工作流；其2000TOPS的算力也可以分开用，如一部分用于驾驶舱AI和信息娱乐系统，另一部分用于自动驾驶。
图▲英伟达自动驾驶芯片演进过程
Thor的多计算域隔离允许并发的、对时间敏感的多进程无中断运行，可以同时在一台电脑上运行Linux、QNX和Android。
这一产品集中了众多计算资源，既降低了成本和功耗，也实现了功能的飞跃。
目前，汽车的停车、主动安全系统、驾驶员监控、摄像头镜像、集群和信息娱乐均由不同的计算设备控制。未来，这些功能都不再由单独的计算机控制，而是同时在Thor上运行，而且随着时间的推移不断改进软件所提供的功能。
图▲英伟达Thor支持驾舱融合
这一产品带来的优势也非常明显，可以显著简化汽车EE架构，缓解供应限制，而另一方面，可以降低产品的布线规模，降低车重，从而达到降低成本的作用。
极氪汽车将会在2025年开始为汽车下一代车型平台搭载Thor，这将会不断提升极氪车队的性能和体验，其安全性和智能能力也会不断升级。
图▲英伟达Thor将会首先登陆极氪汽车
极氪采用Thor也证明了汽车厂商对于经济高效的中央计算架构的认可度，这一架构可以同时满足安全可靠高度自动化驾驶能力的需求，也可以满足车载信息娱乐系统日益丰富功能背后的复杂繁重的计算需求。
02.仿真能力大提升 车企可进行虚拟开发
黄仁勋也介绍了NVIDIA DRIVE，这是英伟达打造的一个自动驾驶汽车开发和部署的端到端平台。在开发方面，DRIVE包括了Reolicator合成数据生成，NVIDIA AI基础设施如DRIVE Sim和DRIVE Map。
在部署方面，NVIDIA DRIVE包括全栈驾驶和车内AI应用，AI计算机和Hyperion自动驾驶汽车参考架构。
英伟达的工作人员开发了一个AI工作流，可以根据记录的传感器数据构建3D场景，在将3D场景导入到DRIVE Sim之后，可以一通过人工创建的内容或者AI生成的内容对其进行增强。
这一视频到3D几何图形的工作流可以在NVIDIA OVX系统上运行，这使得英伟达可以在全球范围内创建模拟场景。
举个例子来看，英伟达采用Neural Recinstruction Engine（神经再造引擎）为DRIVE Sim提供支持，几分钟内，该引擎就可以根据传感器数据为驾驶记录重建完整的3D数字孪生。
图▲英伟达DRIVE Sim可实时建立3D数字孪生
通过AI技术，英伟达方面可以对物体进行采集和重建，这些素材将会被加载到Omniverse（英伟达此前发布的计算机图形与仿真模拟平台）中，并且随时可以在DRIVE Sim中使用，在DRIVE Map的协助下，开发者可以放置动态物品如车辆或者行人，然后仿真系统可以对环境进行更改，然后进行闭环测试，从而规避更多的风险场景。
甚至开发者也可以根据采集到的场景和素材创作新的场景，可以生成合成真值数据来训练感知网络，这些场景都可以用于端到端的测试。
图▲英伟达DRIVE Sim可自建极端场景
黄仁勋表示，DRIVE Sim在构建自动驾驶系统方面发挥了很大的作用，是CI/CD持续集成/持续部署过程中非常重要的一环。
DRIVE Sim还支持车内环境模拟，未来的汽车不仅会有简单的仪表盘，还会有用于数字和物理设计的环绕显示器，汽车设计师、软件工程师和电子工程师可以在DRIVE Sim中开展协作，同时运行所有的实际计算机和软件栈。
图▲英伟达对于车舱的构思
DRIVE Sim将会成为这些工程师的虚拟设计工作室。
在机器人和自动驾驶的开发过程中，安全性非常重要，英伟达在安全系统和流程方面，投入了1.5万人工年，对500万人工代码进行了安全评估，其自动驾驶芯片和平台的设计均遵循了行业通用的安全标准。
目前英伟达在开发端到端自动驾驶方面已经取得了很大进展。现场展示的视频中可以看到，用户到达车上之后，AI助手会向用户汇报今天的行程，然后自己完成行车和泊车的一系列动作，整个过程中并不需要人工参与。
图▲英伟达自动驾驶系统可以实现端到端
目前英伟达的自动驾驶芯片产品已经登陆了四十多个车企、车企、卡车、无人出租车、无人小巴公司，其中小鹏汽车的最新旗舰车型G9就采用了Orin芯片，这款车将会在今年晚些时候正式交付。
采用了Orin芯片后，这款车将会具备高度先进的辅助驾驶功能，比如可以在主要和次要城市街道、高速公路和非公开道路上进行自动驾驶和自动泊车，还能够自动进入停车场、城市内狭窄街道和收费站等特殊场景。
03.结语：英伟达扩大汽车业务的边界
以往的GTC大会上，英伟达在汽车方面的重点始终围绕在自动驾驶方面，其已经将自动驾驶做为非常重要的市场增长点。
而在本次大会上，虽然自动驾驶仍然是英伟达的重头戏，但其也同时增加了智能座舱、仿真系统、云等方面的布局，从想要帮助车企做好自动驾驶，变成了想要帮助车企造好车。
目前，无论是特斯拉、海外老牌芯片厂，还是国内科技大公司、创企，近年来产品力都有显著提升，也都在试图撼动英伟达的地位，虽然短时间来看，并不会对英伟达产生什么影响，但居安思危还是很有必要的。
随着英伟达在汽车业务方面的布局逐渐增加，其地位或许会变的更加稳固。
添加辅助输入，Xmodal-Ctx 成为图像描述生成任务新SoTA
作者：jaelgu（GitHub）
图像描述生成目前已有很大进展，大多数模型主要依赖预训练的图像特征和后来的固定目标检测器。然而，此类方法的模型输出仅基于以对象检测器的输出，这一假设是不现实的，尤其限制了检测器跨数据集传输信息。Xmodal-Ctx 建议在以往的架构中添加一个辅助输入，用于表示缺失的信息（例如对象关系）。Xmodal-Ctx 对每个组件和预训练多模态模型的重要性进行了全面分析，验证了其在图像描述生成任务上的有效性。实验结果表明，该方法能够显著改进当前技术水平，特别是在数据集 CIDEr （+ 7.5% ）和 BLEU-4 （+ 1.3%）上。
Xmodal-Ctx 特别建议从 Visual Genome 数据集中挖掘属性和关系，并以此为基础设置描述生成模型。更重要的是，Xmodal-Ctx 使用多模态预训练模型（CLIP）来检索此类上下文描述。此外，该架构提出了一种图像适应方法，对物体检测模型的特征进行调整，使其更适应当前的数据集和任务。
如果你觉得我们分享的内容还不错，请不要吝啬给我们一些鼓励：点赞、喜欢或者分享给你的小伙伴！
如果你对我们的项目感兴趣请关注：
[微风] [用于构建模型推理流水线的框架 Towhee](https://t.cn/A6SZZgUj)
作者：jaelgu（GitHub）
图像描述生成目前已有很大进展，大多数模型主要依赖预训练的图像特征和后来的固定目标检测器。然而，此类方法的模型输出仅基于以对象检测器的输出，这一假设是不现实的，尤其限制了检测器跨数据集传输信息。Xmodal-Ctx 建议在以往的架构中添加一个辅助输入，用于表示缺失的信息（例如对象关系）。Xmodal-Ctx 对每个组件和预训练多模态模型的重要性进行了全面分析，验证了其在图像描述生成任务上的有效性。实验结果表明，该方法能够显著改进当前技术水平，特别是在数据集 CIDEr （+ 7.5% ）和 BLEU-4 （+ 1.3%）上。
Xmodal-Ctx 特别建议从 Visual Genome 数据集中挖掘属性和关系，并以此为基础设置描述生成模型。更重要的是，Xmodal-Ctx 使用多模态预训练模型（CLIP）来检索此类上下文描述。此外，该架构提出了一种图像适应方法，对物体检测模型的特征进行调整，使其更适应当前的数据集和任务。
如果你觉得我们分享的内容还不错，请不要吝啬给我们一些鼓励：点赞、喜欢或者分享给你的小伙伴！
如果你对我们的项目感兴趣请关注：
[微风] [用于构建模型推理流水线的框架 Towhee](https://t.cn/A6SZZgUj)
✋热门推荐