特斯拉autopilot研发总监Ashok在CVPR2022上的演讲：如何检测障碍物并自动避让（中）
原创 瓦砾村钱罐 瓦砾村夫
今天，我想谈一谈在视频中没有展示的某个技术，那就是，我们如何处理一般障碍物。
当开始搭建我们更高级的技术栈时，我们想用某种方法来表示一般障碍物。我们一开始使用的是图像空间的分割方法，这几乎是个标准方法。这里，图像空间的每个像素，都被标记为可驾驶或不可驾驶。然后，我们希望规划技术栈可以使用这个信息来导航场景。
但这种方法有几个问题。首先，这些关于某个像素是否可驾驶的预测是在图像空间中完成的，基于图像的uv值，或者说，某个像素是可驾驶的像素，还是不可驾驶。但为了让汽车能够在三维世界中导航，它需要在三维空间中进行预测，这样才能建立互动的物理模型，并处理驾驶任务。
但在从图像空间转变到三维空间的过程中，如果采用这样的方式，像素分割会在系统中产生不必要的瑕疵或不必要的噪声。例如，取决于我们如何将这个图像空间转换到三维空间，图像中地平线上的像素可能会产生巨大的影响。而我们不希望规划技术栈处理带有如此多噪声的可驾驶空间。而这其实并不是一个根本性的局限，只是这种表示方式的局限。
另外，这种表示方式也不能提供场景完整的三维结构，因此很难推理出所有悬空的障碍物，或者墙壁，或者其他可以遮挡场景的物体。
对一般障碍物进行建模的另一个方法，是使用密集的深度信息。在这个任务中，你可以以像素为基础，让网络预测深度，这样每个像素都会产生某个深度值。
但是，尽管这些深度图在颜色空间中进行可视化时，看起来非常漂亮，但当你使用深度值，把射线反向投影计算得到三维点，并可视化这些三维点云时，虽然它们在近处看起来很不错，但随着距离的增加，它们就变得不一致，而且数据很难被后续流程所使用。例如，局部的深度变得不一致，因此，墙就不直了，可能是弯弯扭扭的。
这个方式也有同样的问题，即靠近地平线的物体只由很少的点来表示，这使得规划技术栈很难针对障碍避让编写合理的逻辑。
这些深度图是基于每个摄像机的图像平面生成的，这也使得这个方法很难生成一个汽车周围统一的三维空间。
由于深度图通常被建模为回归目标，很难通过遮挡来进行预测，而且由于网络的特性，边界上也很难进行预测，例如，它们可能会平滑的从车辆变为背景，而这会在三维空间中产生不必要的瑕疵。
对于这个问题，我们的解决方案就是我们内部所称的占用网络(occupancy network)。下面是一个使用我们的占用网络进行预测的例子，我在这里停一下，让你们看看预测结果。
这些占用网络接收所有八个摄像机流作为输入，并生成一个汽车周围空间的体积化的占用值。每一个体素(或汽车周围的每一个位置)，网络都会生成该体素是否被占用的结果。事实上，它生成了一个该体素(或三维位置)被占用或不被占用的概率值。
如我所说，它接受所有8个摄像头作为输入，并生成了一个单一的体积化的输出。这个输出的产生，并不是通过拼接各个独立的预测结果完成的，而是网络完成所有的内部传感器融合，并产生一个单一的一致的输出空间。
这些网络能生成静态物体的占用值，比如墙壁和树木之类的东西，也能生成移动物体的动态占用值，比如车辆(大多数情况下)，但有时，也包括其他移动的障碍物，如道路上的碎片。
由于输出空间直接是在三维空间中，我们可以通过遮挡来进行预测。你可以预测一条曲线的存在，尽管它可能暂时被汽车遮挡。
最后，这个方法在内存和计算方面都非常高效，尽管表面上看可能并非如此，因为它生成了密集的三维的占用值，看起来可能体积过于庞大。但最终，在内存和计算效率上，这是一种更优的方法，因为它把分辨率分配在那些关键的地方。
如我所说，密集的深度图，或图像中的可驾驶空间，远处的分辨率非常低，而近处的分辨率非常非常高。但在占用网络中，在与驾驶有关的所有体积中，分辨率几乎都一致，这让它变得极其高效。
例如，我向各位展示的网络，在我们的计算平台上运行的时间小于10毫秒，这使得网络可以以100赫兹的速度运行，比摄像机产生图像的速度快得多。
这是如何做到的？让我们简单了解一下架构。
这里我展示了几个摄像流：鱼眼摄像头，这是一个朝向正面的广角摄像头；左立柱摄像头，这是一个面向左边的摄像头。而网络的确获取所有的摄像机作为输入。
我们首先进行归一化处理，以移除所有跟特定车辆相关的配置，比如内部校准，或图像畸变，或类似的因素。
一旦进行了归一化处理，这些图像就会被输入到目前最先进的图像主干架构中。例如，这里我们采用regnets和BiFBNs来提取图像特征，但这可以换成最先进的架构，甚至是来自于CVPR2022的。
这些主干在图像空间中生成了高维特征，但我们希望占用值定义在三维空间中，对吧，怎样才能做到呢？
我们使用基于查询的注意力(attention)，来生成这些三维的占有值特征。这其实与几年前一篇同名论文《占有网络》的出现颇为相似，那篇文章也是查询一系列三维点，以确定三维点是否被占用。
这里的网络也有类似的性质，我们接受三维的位置编码，然后将其映射为固定的查询。这些固定的查询然后参与我们每一个图像空间的特征，我们在图像空间中也嵌入了位置信息。这样，这些三维查询参与所有图像流的图像空间查询，然后生成三维的占用特征。
因为这些都是高维特征，很难在空间的每个点上直接进行计算。我们采用的方法，是在较低的分辨率下生成这些高维特征，然后使用典型的上采样技术，如反卷积(deconvs)，来生成更密的高分辨率占用值。
有趣的是，当我们开始这个项目的时候，我们最初的目标是只处理静态物体，如墙或树。因为我们有很多不同的神经网络在车内运行，处理不同类型的障碍物，我们并没有继续搭建一个主要处理移动物体的网络，如车辆，行人，自行车手等。
而这些网络也生成了车辆的完整运动学数据，如深度，速度，加速度，动力等。我们有这个移动物体的网络，我们当时想，好的，我们这里不需要处理移动物体，我们只需要处理静态物体，如树，墙等。
但事实证明，很难生成显式定义的本体树。在这个例子中，这也是来自我们自己内部的测试：这里有一辆皮卡车，看起来像一个栅栏。
原创 瓦砾村钱罐 瓦砾村夫
今天，我想谈一谈在视频中没有展示的某个技术，那就是，我们如何处理一般障碍物。
当开始搭建我们更高级的技术栈时，我们想用某种方法来表示一般障碍物。我们一开始使用的是图像空间的分割方法，这几乎是个标准方法。这里，图像空间的每个像素，都被标记为可驾驶或不可驾驶。然后，我们希望规划技术栈可以使用这个信息来导航场景。
但这种方法有几个问题。首先，这些关于某个像素是否可驾驶的预测是在图像空间中完成的，基于图像的uv值，或者说，某个像素是可驾驶的像素，还是不可驾驶。但为了让汽车能够在三维世界中导航，它需要在三维空间中进行预测，这样才能建立互动的物理模型，并处理驾驶任务。
但在从图像空间转变到三维空间的过程中，如果采用这样的方式，像素分割会在系统中产生不必要的瑕疵或不必要的噪声。例如，取决于我们如何将这个图像空间转换到三维空间，图像中地平线上的像素可能会产生巨大的影响。而我们不希望规划技术栈处理带有如此多噪声的可驾驶空间。而这其实并不是一个根本性的局限，只是这种表示方式的局限。
另外，这种表示方式也不能提供场景完整的三维结构，因此很难推理出所有悬空的障碍物，或者墙壁，或者其他可以遮挡场景的物体。
对一般障碍物进行建模的另一个方法，是使用密集的深度信息。在这个任务中，你可以以像素为基础，让网络预测深度，这样每个像素都会产生某个深度值。
但是，尽管这些深度图在颜色空间中进行可视化时，看起来非常漂亮，但当你使用深度值，把射线反向投影计算得到三维点，并可视化这些三维点云时，虽然它们在近处看起来很不错，但随着距离的增加，它们就变得不一致，而且数据很难被后续流程所使用。例如，局部的深度变得不一致，因此，墙就不直了，可能是弯弯扭扭的。
这个方式也有同样的问题，即靠近地平线的物体只由很少的点来表示，这使得规划技术栈很难针对障碍避让编写合理的逻辑。
这些深度图是基于每个摄像机的图像平面生成的，这也使得这个方法很难生成一个汽车周围统一的三维空间。
由于深度图通常被建模为回归目标，很难通过遮挡来进行预测，而且由于网络的特性，边界上也很难进行预测，例如，它们可能会平滑的从车辆变为背景，而这会在三维空间中产生不必要的瑕疵。
对于这个问题，我们的解决方案就是我们内部所称的占用网络(occupancy network)。下面是一个使用我们的占用网络进行预测的例子，我在这里停一下，让你们看看预测结果。
这些占用网络接收所有八个摄像机流作为输入，并生成一个汽车周围空间的体积化的占用值。每一个体素(或汽车周围的每一个位置)，网络都会生成该体素是否被占用的结果。事实上，它生成了一个该体素(或三维位置)被占用或不被占用的概率值。
如我所说，它接受所有8个摄像头作为输入，并生成了一个单一的体积化的输出。这个输出的产生，并不是通过拼接各个独立的预测结果完成的，而是网络完成所有的内部传感器融合，并产生一个单一的一致的输出空间。
这些网络能生成静态物体的占用值，比如墙壁和树木之类的东西，也能生成移动物体的动态占用值，比如车辆(大多数情况下)，但有时，也包括其他移动的障碍物，如道路上的碎片。
由于输出空间直接是在三维空间中，我们可以通过遮挡来进行预测。你可以预测一条曲线的存在，尽管它可能暂时被汽车遮挡。
最后，这个方法在内存和计算方面都非常高效，尽管表面上看可能并非如此，因为它生成了密集的三维的占用值，看起来可能体积过于庞大。但最终，在内存和计算效率上，这是一种更优的方法，因为它把分辨率分配在那些关键的地方。
如我所说，密集的深度图，或图像中的可驾驶空间，远处的分辨率非常低，而近处的分辨率非常非常高。但在占用网络中，在与驾驶有关的所有体积中，分辨率几乎都一致，这让它变得极其高效。
例如，我向各位展示的网络，在我们的计算平台上运行的时间小于10毫秒，这使得网络可以以100赫兹的速度运行，比摄像机产生图像的速度快得多。
这是如何做到的？让我们简单了解一下架构。
这里我展示了几个摄像流：鱼眼摄像头，这是一个朝向正面的广角摄像头；左立柱摄像头，这是一个面向左边的摄像头。而网络的确获取所有的摄像机作为输入。
我们首先进行归一化处理，以移除所有跟特定车辆相关的配置，比如内部校准，或图像畸变，或类似的因素。
一旦进行了归一化处理，这些图像就会被输入到目前最先进的图像主干架构中。例如，这里我们采用regnets和BiFBNs来提取图像特征，但这可以换成最先进的架构，甚至是来自于CVPR2022的。
这些主干在图像空间中生成了高维特征，但我们希望占用值定义在三维空间中，对吧，怎样才能做到呢？
我们使用基于查询的注意力(attention)，来生成这些三维的占有值特征。这其实与几年前一篇同名论文《占有网络》的出现颇为相似，那篇文章也是查询一系列三维点，以确定三维点是否被占用。
这里的网络也有类似的性质，我们接受三维的位置编码，然后将其映射为固定的查询。这些固定的查询然后参与我们每一个图像空间的特征，我们在图像空间中也嵌入了位置信息。这样，这些三维查询参与所有图像流的图像空间查询，然后生成三维的占用特征。
因为这些都是高维特征，很难在空间的每个点上直接进行计算。我们采用的方法，是在较低的分辨率下生成这些高维特征，然后使用典型的上采样技术，如反卷积(deconvs)，来生成更密的高分辨率占用值。
有趣的是，当我们开始这个项目的时候，我们最初的目标是只处理静态物体，如墙或树。因为我们有很多不同的神经网络在车内运行，处理不同类型的障碍物，我们并没有继续搭建一个主要处理移动物体的网络，如车辆，行人，自行车手等。
而这些网络也生成了车辆的完整运动学数据，如深度，速度，加速度，动力等。我们有这个移动物体的网络，我们当时想，好的，我们这里不需要处理移动物体，我们只需要处理静态物体，如树，墙等。
但事实证明，很难生成显式定义的本体树。在这个例子中，这也是来自我们自己内部的测试：这里有一辆皮卡车，看起来像一个栅栏。
皮肤基础护理 | 防晒
#健康##护肤#
很多皮肤问题都与日晒有关：如色斑、皱纹、肌肤老化、松弛、红血丝。其中罪魁祸首就是阳光中的紫外线（UV），中波紫外线（UVB）会使皮肤晒伤，而长波紫外线（UVA）会引起皮肤的老化。紫外线对皮肤的伤害是日积月累的，也就是说，每接受一次没有防护的日光照射，就向衰老走近了一步。所以防晒一定要趁早。UVA在各个季节，各种天气都存在，因此从防止光老化的角度来说，防晒没有季节性。UVA可穿透玻璃进入室内，所以在室内和密闭的车内也是需要防晒的。
除了涂抹防晒霜，可以在阳光非常强烈的时候选择物理遮挡，比如戴遮阳帽、打遮阳伞、穿长袖长裤的衣服。除了面部，要注意颈部和手部的防晒。因为面颈部和手部都属于一年四季接受紫外线照射的部位，非常容易形成光老化，一定不要忽略。眼周和唇部的防晒也很重要，需要选择专用的防晒霜。
在所有的化妆品中，似乎只有防晒霜带着特有的标记，叫做防晒系数。购买防晒霜的时候，第一个需要注意的就是防晒系数。相信很多人都有这样的疑惑：是不是防晒系数越高越好呢？那么不妨先了解一下什么时防晒系数？
1、SPF（sunprotectionfactor），称为阳光保护系数。
SPF是最早提出来的防晒系数，是针对UVB的防护系数。我们都知道，在没有任何防护的情况暴露于日光下，皮肤会被晒红，严重的时候会晒伤。引起这种伤害的主要是UVB。这里有一个最小红斑量的概念，就是指皮肤被晒出红斑的最小UVB的量，皮肤擦防晒霜后，皮肤被晒出红斑的最小UVB的量就会增加。也可以粗略理解为假设皮肤在没有任何防护的情况下，照射阳光20分钟后皮肤会有红斑，那涂抹SPF15的防晒产品后，要照射阳光20*15=300分钟后，才会有相同程度的红斑出现。
2、PA（protectionfactorofUVA，又称PFA）是针对UVA的防护系数。
人们逐渐发现阳光中的UVA虽然不会像UVB那样对皮肤造成晒伤反应，却可以不知不觉地使皮肤老化，出现色斑和皱纹，所以防护UVA同样重要。目前还没有具体指数，只分为＋、＋＋、＋＋＋三个等级，PA＋大约4个小时，PA＋＋大约8个小时，PA＋＋＋是超强防护。
实验表明，防晒系数30的产品使用正确都可以对皮肤提供足够的保护，所以我国在2005年的时候限制了对防晒产品SPF数值的表示，产品上不再允许标明SPF30以上的系数，SPF超过30的一律以SPF30＋来表示，避免对消费者的误导。
小贴士：
需要注意的是，防晒系数是在实验室中严格按照使用要求和厚度涂用而测得的。实际使用时，一般人很难把防晒霜涂到足够的厚度，又会因为出汗、擦脸等造成的损耗，如果不能及时补擦的话，就无法达到标注的数值所能提供的保护。防晒系数的高低，只是一个参考，并不能完全依赖于它。
有人选择了一个防晒系数很高的产品，以为可以高枕无忧了，结果发现还是被晒黑了，然后认为是产品不好，实际上可能是因为没有涂用足够的厚度或者没有及时补擦，所以说防晒霜的正确使用远远比系数更重要。
#健康##护肤#
很多皮肤问题都与日晒有关：如色斑、皱纹、肌肤老化、松弛、红血丝。其中罪魁祸首就是阳光中的紫外线（UV），中波紫外线（UVB）会使皮肤晒伤，而长波紫外线（UVA）会引起皮肤的老化。紫外线对皮肤的伤害是日积月累的，也就是说，每接受一次没有防护的日光照射，就向衰老走近了一步。所以防晒一定要趁早。UVA在各个季节，各种天气都存在，因此从防止光老化的角度来说，防晒没有季节性。UVA可穿透玻璃进入室内，所以在室内和密闭的车内也是需要防晒的。
除了涂抹防晒霜，可以在阳光非常强烈的时候选择物理遮挡，比如戴遮阳帽、打遮阳伞、穿长袖长裤的衣服。除了面部，要注意颈部和手部的防晒。因为面颈部和手部都属于一年四季接受紫外线照射的部位，非常容易形成光老化，一定不要忽略。眼周和唇部的防晒也很重要，需要选择专用的防晒霜。
在所有的化妆品中，似乎只有防晒霜带着特有的标记，叫做防晒系数。购买防晒霜的时候，第一个需要注意的就是防晒系数。相信很多人都有这样的疑惑：是不是防晒系数越高越好呢？那么不妨先了解一下什么时防晒系数？
1、SPF（sunprotectionfactor），称为阳光保护系数。
SPF是最早提出来的防晒系数，是针对UVB的防护系数。我们都知道，在没有任何防护的情况暴露于日光下，皮肤会被晒红，严重的时候会晒伤。引起这种伤害的主要是UVB。这里有一个最小红斑量的概念，就是指皮肤被晒出红斑的最小UVB的量，皮肤擦防晒霜后，皮肤被晒出红斑的最小UVB的量就会增加。也可以粗略理解为假设皮肤在没有任何防护的情况下，照射阳光20分钟后皮肤会有红斑，那涂抹SPF15的防晒产品后，要照射阳光20*15=300分钟后，才会有相同程度的红斑出现。
2、PA（protectionfactorofUVA，又称PFA）是针对UVA的防护系数。
人们逐渐发现阳光中的UVA虽然不会像UVB那样对皮肤造成晒伤反应，却可以不知不觉地使皮肤老化，出现色斑和皱纹，所以防护UVA同样重要。目前还没有具体指数，只分为＋、＋＋、＋＋＋三个等级，PA＋大约4个小时，PA＋＋大约8个小时，PA＋＋＋是超强防护。
实验表明，防晒系数30的产品使用正确都可以对皮肤提供足够的保护，所以我国在2005年的时候限制了对防晒产品SPF数值的表示，产品上不再允许标明SPF30以上的系数，SPF超过30的一律以SPF30＋来表示，避免对消费者的误导。
小贴士：
需要注意的是，防晒系数是在实验室中严格按照使用要求和厚度涂用而测得的。实际使用时，一般人很难把防晒霜涂到足够的厚度，又会因为出汗、擦脸等造成的损耗，如果不能及时补擦的话，就无法达到标注的数值所能提供的保护。防晒系数的高低，只是一个参考，并不能完全依赖于它。
有人选择了一个防晒系数很高的产品，以为可以高枕无忧了，结果发现还是被晒黑了，然后认为是产品不好，实际上可能是因为没有涂用足够的厚度或者没有及时补擦，所以说防晒霜的正确使用远远比系数更重要。
大牛SUV？这款积木还原也是相当可以
一个全新的1:8的SUV的科技超跑积木套装，魔域这款在比例和还原上做的都是很不错的。尤其是一些细节把控很好，拼搭的流程比较流畅，只是一些结构，在结合基础砖的地方，会显得不够牢固。但整体把控还是很好的。都是高砖零件，品质还是值得信任的，贴纸的部分不如此前高达配色的超跑，那种UV的贴纸质感很好，这个就比较普通了哈！
一个全新的1:8的SUV的科技超跑积木套装，魔域这款在比例和还原上做的都是很不错的。尤其是一些细节把控很好，拼搭的流程比较流畅，只是一些结构，在结合基础砖的地方，会显得不够牢固。但整体把控还是很好的。都是高砖零件，品质还是值得信任的，贴纸的部分不如此前高达配色的超跑，那种UV的贴纸质感很好，这个就比较普通了哈！
✋热门推荐