六周年快乐!和你们度过的时间都让我开心得忘记自己的烦恼 我比想象中更爱你们 爱7dream 爱你们每一个人 永远这个词太不现实啦 但至少我现在有对你们说永远爱你们的勇气 7dream是我的永无岛 我的八音盒 我的梦 接下来的日子一定要幸福 继续做带给同龄人希望 给哥哥姐姐慰藉的地表最强青少年队吧!永远爱你们~哎— 一古~
#汪东城824生日快乐#时光荏苒,又到了八月生日月,祝我,和我们阳光帅气的东哥同一天生日快乐,希望你一生平安顺遂,走自己所想,做自己所爱,不被流言所扰,永是那个自在如风的少年人,请继续一路向北,永远闪耀,喜欢你的第十七年我喜欢你的这件事可以坚持了这么久,我对你的喜欢和守护不变,坚定不移,不离不弃~~~
生日快乐[蛋糕][蛋糕][蛋糕][蛋糕][干杯][干杯][干杯][打call]
生日快乐[蛋糕][蛋糕][蛋糕][蛋糕][干杯][干杯][干杯][打call]
特斯拉autopilot研发总监Ashok在CVPR2022上的演讲:如何检测障碍物并自动避让
原创 瓦砾村钱罐 瓦砾村夫
这就是为什么我说,要以安全,舒适和速度合理的方式进行驾驶,需要一点点智慧。
例如,如果单纯使用纯粹基于搜索的技术来解决这个驾驶问题,需要花费很长的时间进行计算,因为你希望提前以较缓的制动进行刹车。你需要在碰撞发生前很多秒,就预测这个碰撞是可以避免,还是不可避免的,以稳稳的踩下刹车,安全平稳地避免碰撞。
这类情况的搜索空间可能相当庞大。可能需要很多秒或几分钟,才能生成一个好的解决方案。当在汽车上实时运行时,没有足够的时间来完成这样的计算。
我们采用的方法是,用神经网络来做近似计算。特别是,采用最近出现的隐式场(implicit fields),我们能够利用同样的工作来生成隐式场,对障碍避让进行编码。
我们的方法是,我们从之前的网络中获取占用值。基本上,我们把占用值编码成一个极度压缩的多层感知器(mlp),这个多层感知器用于隐式表示,在任何特定的查询状态下,某个碰撞是否可以避免。
而这个方法,在一定的时间范围内给出了某种避免碰撞的保证。例如,我们可以问,在两秒,四秒或某个时间范围内,碰撞是否可以避免?
而查询可以是某种高维向量的状态。这里,我显示的是汽车的位置,方向,速度,侧向和纵向的加速度。基于这个查询状态,网络可以输出是否会发生碰撞的概率。网络可以在几微秒的时间内,快速查询出是否会发生碰撞的大致概率。
为了说明这一点,让我们看一下这个例子。你可以看到一条道路的俯视图,这里的黑色像素是障碍物,灰色像素是道路表面,白色像素是道路指示,车道线。
在这个三维空间的俯视图中,你可以把车放在任何像素的位置上,并模拟碰撞是否可以避免。如果你把汽车想象成一个质点,而碰撞避免的时间周期设为即时,那么当前时间是否发生碰撞,实际上就只取决于障碍物的位置。
但问题是,汽车不是一个质点,它有形状,类似长方形,而且它还可以旋转。这里,当我们把这个形状和障碍物结合起来的时候,我们会立即知道,汽车是否处于碰撞状态。
这里你可以看到,随着汽车的旋转,碰撞场正在发生变化。绿色的输出意味着它处于一个安全的位置,没有发生碰撞。而红色的像素意味着,当汽车位于该像素的位置时,会处于碰撞状态。
当汽车旋转时,你可以看到这个狭窄的通道会关闭,因为在这种配置下,汽车会处于碰撞状态。但当它对齐(道路方向)时,通道就会打开,变得更绿,这意味着汽车不会处于碰撞状态。
这是一个微小的计算任务,显然我们不需要神经网络来完成这个任务。但如果延长时间范围,比如说两秒钟,那么,汽车就可以执行一些动作来避开碰撞。你需要对这个搜索空间进行搜索,以了解碰撞是否会发生。
在这个例子中,车辆的固定速度是每秒13米,而它们也正在改变方向。你可以看到,随着方向的改变,碰撞会在发生和可避免之间进行变化。
它们也可以固定方向,并改变速度。这里,车辆方向是向前的,然后我们只改变速度,增加或减少速度。你可以看到,随着速度的变化,不同的区域打开又关闭。如果你的速度很低,汽车可以非常接近某条曲线,然后调整路线。
显然,你也可以同时调整两个变量。这里,我们同时改变汽车的速度和方向。你可以看到,基于不同的配置参数,网络可以正确地识别:汽车位于不同的位置,在那里,碰撞是否可以避免。
最后,你可以结合这所有的技术,计算出某条避免碰撞的轨迹,并取得进展。
这里,我们模拟的是一位注意力不集中的司机,他只踩了油门,而没有进行转向。汽车会在必要时介入,进行转向或刹车,以避免碰撞。
车子从这里出发,然后,因为它正朝着右边的墙开去,它立即刹车,并猛烈向左转向。一旦对准了以后,然后,它发现它的轨迹会再次发生碰撞,因此它进行右转,然后将自己的状态限定在这个狭窄的通道里。
但有趣的是,一旦它进入这条狭窄的通道,即使障碍物离它很近,它也没有惊慌失措。它说,好的,没问题,我们在这里可以快速前进,因为没有碰撞的风险,或者说,碰撞可以轻易避免。
如果只是用原始的方法进行计算,会花上好几分钟的时间才能得到一个解决方案。但使用网络,它就能让我们快速查询是否会有碰撞,然后采取行动,以防止碰撞的发生。
当你进行闭环模拟时,你也可以看到,汽车能够避免碰撞。这里,常规的autopilot系统并没有在运行,运行的只是碰撞避免系统。我们模拟的是一个人类司机,并没有在专心开车。这位司机只是在踩油门,并没有碰方向盘。
然后,当碰撞快要发生的时候,碰撞避免系统就启动了。然后,系统主动转动方向盘或踩下刹车,以防止汽车发生碰撞。
综上所述,我们展示了我们如何使用多摄像机视频和图像帧,来产生密集的占有值和占有值流。我们还简要地展示了在采用视觉自动标注以外,如何使用车队大量的多视角约束来进行监督。一旦得到了占用值,我们就可以把它应用于其他神经网络,以生成一个高效的碰撞避免场。
如果我们正确地完成所有这些步骤,我们就可以生产出一辆永不会碰撞的汽车。
也许我们缺少的是,更多的工程师和科学家来和我们一起研究这个问题,以构建这项伟大的技术。
谢谢!
原创 瓦砾村钱罐 瓦砾村夫
这就是为什么我说,要以安全,舒适和速度合理的方式进行驾驶,需要一点点智慧。
例如,如果单纯使用纯粹基于搜索的技术来解决这个驾驶问题,需要花费很长的时间进行计算,因为你希望提前以较缓的制动进行刹车。你需要在碰撞发生前很多秒,就预测这个碰撞是可以避免,还是不可避免的,以稳稳的踩下刹车,安全平稳地避免碰撞。
这类情况的搜索空间可能相当庞大。可能需要很多秒或几分钟,才能生成一个好的解决方案。当在汽车上实时运行时,没有足够的时间来完成这样的计算。
我们采用的方法是,用神经网络来做近似计算。特别是,采用最近出现的隐式场(implicit fields),我们能够利用同样的工作来生成隐式场,对障碍避让进行编码。
我们的方法是,我们从之前的网络中获取占用值。基本上,我们把占用值编码成一个极度压缩的多层感知器(mlp),这个多层感知器用于隐式表示,在任何特定的查询状态下,某个碰撞是否可以避免。
而这个方法,在一定的时间范围内给出了某种避免碰撞的保证。例如,我们可以问,在两秒,四秒或某个时间范围内,碰撞是否可以避免?
而查询可以是某种高维向量的状态。这里,我显示的是汽车的位置,方向,速度,侧向和纵向的加速度。基于这个查询状态,网络可以输出是否会发生碰撞的概率。网络可以在几微秒的时间内,快速查询出是否会发生碰撞的大致概率。
为了说明这一点,让我们看一下这个例子。你可以看到一条道路的俯视图,这里的黑色像素是障碍物,灰色像素是道路表面,白色像素是道路指示,车道线。
在这个三维空间的俯视图中,你可以把车放在任何像素的位置上,并模拟碰撞是否可以避免。如果你把汽车想象成一个质点,而碰撞避免的时间周期设为即时,那么当前时间是否发生碰撞,实际上就只取决于障碍物的位置。
但问题是,汽车不是一个质点,它有形状,类似长方形,而且它还可以旋转。这里,当我们把这个形状和障碍物结合起来的时候,我们会立即知道,汽车是否处于碰撞状态。
这里你可以看到,随着汽车的旋转,碰撞场正在发生变化。绿色的输出意味着它处于一个安全的位置,没有发生碰撞。而红色的像素意味着,当汽车位于该像素的位置时,会处于碰撞状态。
当汽车旋转时,你可以看到这个狭窄的通道会关闭,因为在这种配置下,汽车会处于碰撞状态。但当它对齐(道路方向)时,通道就会打开,变得更绿,这意味着汽车不会处于碰撞状态。
这是一个微小的计算任务,显然我们不需要神经网络来完成这个任务。但如果延长时间范围,比如说两秒钟,那么,汽车就可以执行一些动作来避开碰撞。你需要对这个搜索空间进行搜索,以了解碰撞是否会发生。
在这个例子中,车辆的固定速度是每秒13米,而它们也正在改变方向。你可以看到,随着方向的改变,碰撞会在发生和可避免之间进行变化。
它们也可以固定方向,并改变速度。这里,车辆方向是向前的,然后我们只改变速度,增加或减少速度。你可以看到,随着速度的变化,不同的区域打开又关闭。如果你的速度很低,汽车可以非常接近某条曲线,然后调整路线。
显然,你也可以同时调整两个变量。这里,我们同时改变汽车的速度和方向。你可以看到,基于不同的配置参数,网络可以正确地识别:汽车位于不同的位置,在那里,碰撞是否可以避免。
最后,你可以结合这所有的技术,计算出某条避免碰撞的轨迹,并取得进展。
这里,我们模拟的是一位注意力不集中的司机,他只踩了油门,而没有进行转向。汽车会在必要时介入,进行转向或刹车,以避免碰撞。
车子从这里出发,然后,因为它正朝着右边的墙开去,它立即刹车,并猛烈向左转向。一旦对准了以后,然后,它发现它的轨迹会再次发生碰撞,因此它进行右转,然后将自己的状态限定在这个狭窄的通道里。
但有趣的是,一旦它进入这条狭窄的通道,即使障碍物离它很近,它也没有惊慌失措。它说,好的,没问题,我们在这里可以快速前进,因为没有碰撞的风险,或者说,碰撞可以轻易避免。
如果只是用原始的方法进行计算,会花上好几分钟的时间才能得到一个解决方案。但使用网络,它就能让我们快速查询是否会有碰撞,然后采取行动,以防止碰撞的发生。
当你进行闭环模拟时,你也可以看到,汽车能够避免碰撞。这里,常规的autopilot系统并没有在运行,运行的只是碰撞避免系统。我们模拟的是一个人类司机,并没有在专心开车。这位司机只是在踩油门,并没有碰方向盘。
然后,当碰撞快要发生的时候,碰撞避免系统就启动了。然后,系统主动转动方向盘或踩下刹车,以防止汽车发生碰撞。
综上所述,我们展示了我们如何使用多摄像机视频和图像帧,来产生密集的占有值和占有值流。我们还简要地展示了在采用视觉自动标注以外,如何使用车队大量的多视角约束来进行监督。一旦得到了占用值,我们就可以把它应用于其他神经网络,以生成一个高效的碰撞避免场。
如果我们正确地完成所有这些步骤,我们就可以生产出一辆永不会碰撞的汽车。
也许我们缺少的是,更多的工程师和科学家来和我们一起研究这个问题,以构建这项伟大的技术。
谢谢!
✋热门推荐