特斯拉autopilot研发总监Ashok在CVPR2022上的演讲：如何检测障碍物并自动避让（中）
原创 瓦砾村钱罐 瓦砾村夫
今天，我想谈一谈在视频中没有展示的某个技术，那就是，我们如何处理一般障碍物。
当开始搭建我们更高级的技术栈时，我们想用某种方法来表示一般障碍物。我们一开始使用的是图像空间的分割方法，这几乎是个标准方法。这里，图像空间的每个像素，都被标记为可驾驶或不可驾驶。然后，我们希望规划技术栈可以使用这个信息来导航场景。
但这种方法有几个问题。首先，这些关于某个像素是否可驾驶的预测是在图像空间中完成的，基于图像的uv值，或者说，某个像素是可驾驶的像素，还是不可驾驶。但为了让汽车能够在三维世界中导航，它需要在三维空间中进行预测，这样才能建立互动的物理模型，并处理驾驶任务。
但在从图像空间转变到三维空间的过程中，如果采用这样的方式，像素分割会在系统中产生不必要的瑕疵或不必要的噪声。例如，取决于我们如何将这个图像空间转换到三维空间，图像中地平线上的像素可能会产生巨大的影响。而我们不希望规划技术栈处理带有如此多噪声的可驾驶空间。而这其实并不是一个根本性的局限，只是这种表示方式的局限。
另外，这种表示方式也不能提供场景完整的三维结构，因此很难推理出所有悬空的障碍物，或者墙壁，或者其他可以遮挡场景的物体。
对一般障碍物进行建模的另一个方法，是使用密集的深度信息。在这个任务中，你可以以像素为基础，让网络预测深度，这样每个像素都会产生某个深度值。
但是，尽管这些深度图在颜色空间中进行可视化时，看起来非常漂亮，但当你使用深度值，把射线反向投影计算得到三维点，并可视化这些三维点云时，虽然它们在近处看起来很不错，但随着距离的增加，它们就变得不一致，而且数据很难被后续流程所使用。例如，局部的深度变得不一致，因此，墙就不直了，可能是弯弯扭扭的。
这个方式也有同样的问题，即靠近地平线的物体只由很少的点来表示，这使得规划技术栈很难针对障碍避让编写合理的逻辑。
这些深度图是基于每个摄像机的图像平面生成的，这也使得这个方法很难生成一个汽车周围统一的三维空间。
由于深度图通常被建模为回归目标，很难通过遮挡来进行预测，而且由于网络的特性，边界上也很难进行预测，例如，它们可能会平滑的从车辆变为背景，而这会在三维空间中产生不必要的瑕疵。
对于这个问题，我们的解决方案就是我们内部所称的占用网络(occupancy network)。下面是一个使用我们的占用网络进行预测的例子，我在这里停一下，让你们看看预测结果。
这些占用网络接收所有八个摄像机流作为输入，并生成一个汽车周围空间的体积化的占用值。每一个体素(或汽车周围的每一个位置)，网络都会生成该体素是否被占用的结果。事实上，它生成了一个该体素(或三维位置)被占用或不被占用的概率值。
如我所说，它接受所有8个摄像头作为输入，并生成了一个单一的体积化的输出。这个输出的产生，并不是通过拼接各个独立的预测结果完成的，而是网络完成所有的内部传感器融合，并产生一个单一的一致的输出空间。
这些网络能生成静态物体的占用值，比如墙壁和树木之类的东西，也能生成移动物体的动态占用值，比如车辆(大多数情况下)，但有时，也包括其他移动的障碍物，如道路上的碎片。
由于输出空间直接是在三维空间中，我们可以通过遮挡来进行预测。你可以预测一条曲线的存在，尽管它可能暂时被汽车遮挡。
最后，这个方法在内存和计算方面都非常高效，尽管表面上看可能并非如此，因为它生成了密集的三维的占用值，看起来可能体积过于庞大。但最终，在内存和计算效率上，这是一种更优的方法，因为它把分辨率分配在那些关键的地方。
如我所说，密集的深度图，或图像中的可驾驶空间，远处的分辨率非常低，而近处的分辨率非常非常高。但在占用网络中，在与驾驶有关的所有体积中，分辨率几乎都一致，这让它变得极其高效。
例如，我向各位展示的网络，在我们的计算平台上运行的时间小于10毫秒，这使得网络可以以100赫兹的速度运行，比摄像机产生图像的速度快得多。
这是如何做到的？让我们简单了解一下架构。
这里我展示了几个摄像流：鱼眼摄像头，这是一个朝向正面的广角摄像头；左立柱摄像头，这是一个面向左边的摄像头。而网络的确获取所有的摄像机作为输入。
我们首先进行归一化处理，以移除所有跟特定车辆相关的配置，比如内部校准，或图像畸变，或类似的因素。
一旦进行了归一化处理，这些图像就会被输入到目前最先进的图像主干架构中。例如，这里我们采用regnets和BiFBNs来提取图像特征，但这可以换成最先进的架构，甚至是来自于CVPR2022的。
这些主干在图像空间中生成了高维特征，但我们希望占用值定义在三维空间中，对吧，怎样才能做到呢？
我们使用基于查询的注意力(attention)，来生成这些三维的占有值特征。这其实与几年前一篇同名论文《占有网络》的出现颇为相似，那篇文章也是查询一系列三维点，以确定三维点是否被占用。
这里的网络也有类似的性质，我们接受三维的位置编码，然后将其映射为固定的查询。这些固定的查询然后参与我们每一个图像空间的特征，我们在图像空间中也嵌入了位置信息。这样，这些三维查询参与所有图像流的图像空间查询，然后生成三维的占用特征。
因为这些都是高维特征，很难在空间的每个点上直接进行计算。我们采用的方法，是在较低的分辨率下生成这些高维特征，然后使用典型的上采样技术，如反卷积(deconvs)，来生成更密的高分辨率占用值。
有趣的是，当我们开始这个项目的时候，我们最初的目标是只处理静态物体，如墙或树。因为我们有很多不同的神经网络在车内运行，处理不同类型的障碍物，我们并没有继续搭建一个主要处理移动物体的网络，如车辆，行人，自行车手等。
而这些网络也生成了车辆的完整运动学数据，如深度，速度，加速度，动力等。我们有这个移动物体的网络，我们当时想，好的，我们这里不需要处理移动物体，我们只需要处理静态物体，如树，墙等。
但事实证明，很难生成显式定义的本体树。在这个例子中，这也是来自我们自己内部的测试：这里有一辆皮卡车，看起来像一个栅栏。
原创 瓦砾村钱罐 瓦砾村夫
今天，我想谈一谈在视频中没有展示的某个技术，那就是，我们如何处理一般障碍物。
当开始搭建我们更高级的技术栈时，我们想用某种方法来表示一般障碍物。我们一开始使用的是图像空间的分割方法，这几乎是个标准方法。这里，图像空间的每个像素，都被标记为可驾驶或不可驾驶。然后，我们希望规划技术栈可以使用这个信息来导航场景。
但这种方法有几个问题。首先，这些关于某个像素是否可驾驶的预测是在图像空间中完成的，基于图像的uv值，或者说，某个像素是可驾驶的像素，还是不可驾驶。但为了让汽车能够在三维世界中导航，它需要在三维空间中进行预测，这样才能建立互动的物理模型，并处理驾驶任务。
但在从图像空间转变到三维空间的过程中，如果采用这样的方式，像素分割会在系统中产生不必要的瑕疵或不必要的噪声。例如，取决于我们如何将这个图像空间转换到三维空间，图像中地平线上的像素可能会产生巨大的影响。而我们不希望规划技术栈处理带有如此多噪声的可驾驶空间。而这其实并不是一个根本性的局限，只是这种表示方式的局限。
另外，这种表示方式也不能提供场景完整的三维结构，因此很难推理出所有悬空的障碍物，或者墙壁，或者其他可以遮挡场景的物体。
对一般障碍物进行建模的另一个方法，是使用密集的深度信息。在这个任务中，你可以以像素为基础，让网络预测深度，这样每个像素都会产生某个深度值。
但是，尽管这些深度图在颜色空间中进行可视化时，看起来非常漂亮，但当你使用深度值，把射线反向投影计算得到三维点，并可视化这些三维点云时，虽然它们在近处看起来很不错，但随着距离的增加，它们就变得不一致，而且数据很难被后续流程所使用。例如，局部的深度变得不一致，因此，墙就不直了，可能是弯弯扭扭的。
这个方式也有同样的问题，即靠近地平线的物体只由很少的点来表示，这使得规划技术栈很难针对障碍避让编写合理的逻辑。
这些深度图是基于每个摄像机的图像平面生成的，这也使得这个方法很难生成一个汽车周围统一的三维空间。
由于深度图通常被建模为回归目标，很难通过遮挡来进行预测，而且由于网络的特性，边界上也很难进行预测，例如，它们可能会平滑的从车辆变为背景，而这会在三维空间中产生不必要的瑕疵。
对于这个问题，我们的解决方案就是我们内部所称的占用网络(occupancy network)。下面是一个使用我们的占用网络进行预测的例子，我在这里停一下，让你们看看预测结果。
这些占用网络接收所有八个摄像机流作为输入，并生成一个汽车周围空间的体积化的占用值。每一个体素(或汽车周围的每一个位置)，网络都会生成该体素是否被占用的结果。事实上，它生成了一个该体素(或三维位置)被占用或不被占用的概率值。
如我所说，它接受所有8个摄像头作为输入，并生成了一个单一的体积化的输出。这个输出的产生，并不是通过拼接各个独立的预测结果完成的，而是网络完成所有的内部传感器融合，并产生一个单一的一致的输出空间。
这些网络能生成静态物体的占用值，比如墙壁和树木之类的东西，也能生成移动物体的动态占用值，比如车辆(大多数情况下)，但有时，也包括其他移动的障碍物，如道路上的碎片。
由于输出空间直接是在三维空间中，我们可以通过遮挡来进行预测。你可以预测一条曲线的存在，尽管它可能暂时被汽车遮挡。
最后，这个方法在内存和计算方面都非常高效，尽管表面上看可能并非如此，因为它生成了密集的三维的占用值，看起来可能体积过于庞大。但最终，在内存和计算效率上，这是一种更优的方法，因为它把分辨率分配在那些关键的地方。
如我所说，密集的深度图，或图像中的可驾驶空间，远处的分辨率非常低，而近处的分辨率非常非常高。但在占用网络中，在与驾驶有关的所有体积中，分辨率几乎都一致，这让它变得极其高效。
例如，我向各位展示的网络，在我们的计算平台上运行的时间小于10毫秒，这使得网络可以以100赫兹的速度运行，比摄像机产生图像的速度快得多。
这是如何做到的？让我们简单了解一下架构。
这里我展示了几个摄像流：鱼眼摄像头，这是一个朝向正面的广角摄像头；左立柱摄像头，这是一个面向左边的摄像头。而网络的确获取所有的摄像机作为输入。
我们首先进行归一化处理，以移除所有跟特定车辆相关的配置，比如内部校准，或图像畸变，或类似的因素。
一旦进行了归一化处理，这些图像就会被输入到目前最先进的图像主干架构中。例如，这里我们采用regnets和BiFBNs来提取图像特征，但这可以换成最先进的架构，甚至是来自于CVPR2022的。
这些主干在图像空间中生成了高维特征，但我们希望占用值定义在三维空间中，对吧，怎样才能做到呢？
我们使用基于查询的注意力(attention)，来生成这些三维的占有值特征。这其实与几年前一篇同名论文《占有网络》的出现颇为相似，那篇文章也是查询一系列三维点，以确定三维点是否被占用。
这里的网络也有类似的性质，我们接受三维的位置编码，然后将其映射为固定的查询。这些固定的查询然后参与我们每一个图像空间的特征，我们在图像空间中也嵌入了位置信息。这样，这些三维查询参与所有图像流的图像空间查询，然后生成三维的占用特征。
因为这些都是高维特征，很难在空间的每个点上直接进行计算。我们采用的方法，是在较低的分辨率下生成这些高维特征，然后使用典型的上采样技术，如反卷积(deconvs)，来生成更密的高分辨率占用值。
有趣的是，当我们开始这个项目的时候，我们最初的目标是只处理静态物体，如墙或树。因为我们有很多不同的神经网络在车内运行，处理不同类型的障碍物，我们并没有继续搭建一个主要处理移动物体的网络，如车辆，行人，自行车手等。
而这些网络也生成了车辆的完整运动学数据，如深度，速度，加速度，动力等。我们有这个移动物体的网络，我们当时想，好的，我们这里不需要处理移动物体，我们只需要处理静态物体，如树，墙等。
但事实证明，很难生成显式定义的本体树。在这个例子中，这也是来自我们自己内部的测试：这里有一辆皮卡车，看起来像一个栅栏。
#yo!sneakers# New Balance Tokyo Design Studio 发布全新配色 FuelCell RC Elite v2“鞋王1300JP配色”。备受欢迎的经典鞋款 1300JP 中汲取灵感，采用沉稳的钢青色作为主色调，搭配经典灰色，以 New Balance 经典的色彩搭配哲学焕新诠释高性能跑鞋模型，续写运动与潮流融合破界的新风向，竞速碳板跑鞋 FuelCell RC Elite v2 搭载持续优化的FuelCell中底科技平台。#潮闻快食#
近日，发表于《流体物理学》（Physics of Fluids）的一项研究显示，研究人员采用一种基于胃的真实解剖结构和形态的仿生电子模拟器——StomachSim，调查和量化了身体姿态及胃运动对药物生物利用度的影响。该模型是首个将胃生物力学与药物运动和溶解相结合以量化进入十二指肠活性药物成分的模型。这使研究人员能计算和比较各种生理情况下十二指肠的排空率和活性药物成分释放速度。
https://t.cn/A6SqIHks
（来源：Physics of Fluids、科学网）
https://t.cn/A6SqIHks
（来源：Physics of Fluids、科学网）
✋热门推荐