特斯拉autopilot研发总监Ashok在CVPR2022上的演讲:如何检测障碍物并自动避让(中)

原创 瓦砾村钱罐 瓦砾村夫

今天,我想谈一谈在视频中没有展示的某个技术,那就是,我们如何处理一般障碍物。

当开始搭建我们更高级的技术栈时,我们想用某种方法来表示一般障碍物。我们一开始使用的是图像空间的分割方法,这几乎是个标准方法。这里,图像空间的每个像素,都被标记为可驾驶或不可驾驶。然后,我们希望规划技术栈可以使用这个信息来导航场景。

但这种方法有几个问题。首先,这些关于某个像素是否可驾驶的预测是在图像空间中完成的,基于图像的uv值,或者说,某个像素是可驾驶的像素,还是不可驾驶。但为了让汽车能够在三维世界中导航,它需要在三维空间中进行预测,这样才能建立互动的物理模型,并处理驾驶任务。

但在从图像空间转变到三维空间的过程中,如果采用这样的方式,像素分割会在系统中产生不必要的瑕疵或不必要的噪声。例如,取决于我们如何将这个图像空间转换到三维空间,图像中地平线上的像素可能会产生巨大的影响。而我们不希望规划技术栈处理带有如此多噪声的可驾驶空间。而这其实并不是一个根本性的局限,只是这种表示方式的局限。

另外,这种表示方式也不能提供场景完整的三维结构,因此很难推理出所有悬空的障碍物,或者墙壁,或者其他可以遮挡场景的物体。

对一般障碍物进行建模的另一个方法,是使用密集的深度信息。在这个任务中,你可以以像素为基础,让网络预测深度,这样每个像素都会产生某个深度值。

但是,尽管这些深度图在颜色空间中进行可视化时,看起来非常漂亮,但当你使用深度值,把射线反向投影计算得到三维点,并可视化这些三维点云时,虽然它们在近处看起来很不错,但随着距离的增加,它们就变得不一致,而且数据很难被后续流程所使用。例如,局部的深度变得不一致,因此,墙就不直了,可能是弯弯扭扭的。

这个方式也有同样的问题,即靠近地平线的物体只由很少的点来表示,这使得规划技术栈很难针对障碍避让编写合理的逻辑。

这些深度图是基于每个摄像机的图像平面生成的,这也使得这个方法很难生成一个汽车周围统一的三维空间。

由于深度图通常被建模为回归目标,很难通过遮挡来进行预测,而且由于网络的特性,边界上也很难进行预测,例如,它们可能会平滑的从车辆变为背景,而这会在三维空间中产生不必要的瑕疵。

对于这个问题,我们的解决方案就是我们内部所称的占用网络(occupancy network)。下面是一个使用我们的占用网络进行预测的例子,我在这里停一下,让你们看看预测结果。

这些占用网络接收所有八个摄像机流作为输入,并生成一个汽车周围空间的体积化的占用值。每一个体素(或汽车周围的每一个位置),网络都会生成该体素是否被占用的结果。事实上,它生成了一个该体素(或三维位置)被占用或不被占用的概率值。

如我所说,它接受所有8个摄像头作为输入,并生成了一个单一的体积化的输出。这个输出的产生,并不是通过拼接各个独立的预测结果完成的,而是网络完成所有的内部传感器融合,并产生一个单一的一致的输出空间。

这些网络能生成静态物体的占用值,比如墙壁和树木之类的东西,也能生成移动物体的动态占用值,比如车辆(大多数情况下),但有时,也包括其他移动的障碍物,如道路上的碎片。

由于输出空间直接是在三维空间中,我们可以通过遮挡来进行预测。你可以预测一条曲线的存在,尽管它可能暂时被汽车遮挡。

最后,这个方法在内存和计算方面都非常高效,尽管表面上看可能并非如此,因为它生成了密集的三维的占用值,看起来可能体积过于庞大。但最终,在内存和计算效率上,这是一种更优的方法,因为它把分辨率分配在那些关键的地方。

如我所说,密集的深度图,或图像中的可驾驶空间,远处的分辨率非常低,而近处的分辨率非常非常高。但在占用网络中,在与驾驶有关的所有体积中,分辨率几乎都一致,这让它变得极其高效。

例如,我向各位展示的网络,在我们的计算平台上运行的时间小于10毫秒,这使得网络可以以100赫兹的速度运行,比摄像机产生图像的速度快得多。

这是如何做到的?让我们简单了解一下架构。

这里我展示了几个摄像流:鱼眼摄像头,这是一个朝向正面的广角摄像头;左立柱摄像头,这是一个面向左边的摄像头。而网络的确获取所有的摄像机作为输入。

我们首先进行归一化处理,以移除所有跟特定车辆相关的配置,比如内部校准,或图像畸变,或类似的因素。

一旦进行了归一化处理,这些图像就会被输入到目前最先进的图像主干架构中。例如,这里我们采用regnets和BiFBNs来提取图像特征,但这可以换成最先进的架构,甚至是来自于CVPR2022的。

这些主干在图像空间中生成了高维特征,但我们希望占用值定义在三维空间中,对吧,怎样才能做到呢?

我们使用基于查询的注意力(attention),来生成这些三维的占有值特征。这其实与几年前一篇同名论文《占有网络》的出现颇为相似,那篇文章也是查询一系列三维点,以确定三维点是否被占用。

这里的网络也有类似的性质,我们接受三维的位置编码,然后将其映射为固定的查询。这些固定的查询然后参与我们每一个图像空间的特征,我们在图像空间中也嵌入了位置信息。这样,这些三维查询参与所有图像流的图像空间查询,然后生成三维的占用特征。

因为这些都是高维特征,很难在空间的每个点上直接进行计算。我们采用的方法,是在较低的分辨率下生成这些高维特征,然后使用典型的上采样技术,如反卷积(deconvs),来生成更密的高分辨率占用值。

有趣的是,当我们开始这个项目的时候,我们最初的目标是只处理静态物体,如墙或树。因为我们有很多不同的神经网络在车内运行,处理不同类型的障碍物,我们并没有继续搭建一个主要处理移动物体的网络,如车辆,行人,自行车手等。

而这些网络也生成了车辆的完整运动学数据,如深度,速度,加速度,动力等。我们有这个移动物体的网络,我们当时想,好的,我们这里不需要处理移动物体,我们只需要处理静态物体,如树,墙等。

但事实证明,很难生成显式定义的本体树。在这个例子中,这也是来自我们自己内部的测试:这里有一辆皮卡车,看起来像一个栅栏。

北京邮电大学

————明光之北,蓟门之南,老城墙见证着永不消逝的电波,巍巍银杏守护着这片坚实的土地,低声诉说着“传邮万里”的家国情怀。

众所周知,国内 IT界三所顶尖学府,被称为“两电一邮”。而这独一无二的“一邮”,就是北邮。坊间常“戏说”:20世纪80年代,广电靠北邮;90年代,通信设备商靠北邮;21世纪初十年,电信运营商靠北邮;现在的十年,互联网行业靠北邮。这样说业务有些夸张,但北邮的名声的确远扬在外。甚至有圈内的人这样讲“互联网行业的昨天、今天和明天,映射的就是北邮的过去、现在和将来。”

面临就业,技术重要还是机遇重要?只有小孩才做选择,我们当然两个都要。信息技术的发展冲击着人们的生活,也影响着世界的未来,北邮作为信息通信行业的中流砥柱,不断向各个领域输送着新鲜血液。多年来就业率始终保持在99%以上,中国移动、中国联通、中国电信、阿里巴巴、百度、华为等知名企业,都纷纷向北邮学子敞开怀抱。“邮子”们的就业形势一片大好,简直如“邮”神助。

这里上网不要钱。这里是五道口沿线第一所拥有校园无限上网流量的高校!2019级新生报道现场,北邮率先用起了“刷脸”系统,只需简单刷一下脸,就可完成全部的报到流程。北邮人,从不缺新鲜的体验。北邮还是5G时代的新一代“网红”。2019北邮联合知乎发起主题为“科技共振之5G”的活动,邀请行业专家解答分享,满足了大家对5G的求知欲。

…… …… ……

除了过硬的知识技能,漂亮得竞赛成绩,北邮人更是将专业技术融入了日常生活的每个角落。你想要的样子这里都有,学在北邮,就是不停解锁校园新姿态,相信四年的北邮时光,可以让你交上一份满意的答卷。

#情感# 49岁的女人情感自述:面对着选择式的爱情,这份爱好难

49岁的我是一位从事十多年家政行业的女人了,我在这个行业已经跌跌撞撞的一个人独自闯荡了十多年了,自从离婚之后我一个独自生存之后就开始进入这个行业了。我的婚姻很是不幸,我从小出生在农村,由于家里贫穷受了很多的苦,我的父母也去世的很早,留下一个妹妹就靠我一个拉扯长大。

我虽然年龄有点大了但是长的非常漂亮,身材不但丰满而且凹凸有致,皮肤也白的如牛奶一样,我的脸是那种圆圆的脸型,脸上还有两个酒窝,认识我的人都夸我贤惠能干,我的话不是很多,但是却待人真诚,许多人都很乐意跟我成为朋友。我没有谈过恋爱,18岁那年我从农村出去外面打工了,认识了我的丈夫。那时我们都是在同一个工厂里面上班的,我遇到困难的时候他经常的帮助我,这对从小艰辛生活的我来说感到非常的温暖,也是一种难以言喻的幸福,后来时间长了他对我展开了追求,他跟我求婚的时候我并没有怎么考虑就答应了。

我们之间可以说是没有谈恋爱,只是工作中的日久生情,我们在一起之后凡事我都是听他的话,只要他说的我都会去做,就连结婚这种大事也是由他一个人决定。我们的婚礼可以说是操办的非常的简陋,就只是酒店定了几桌酒席请了一下亲戚朋友,婚房也是他父母住的老房子,和他的父母挤在一间70多平的旧房子里面。后来每当想起来他是我的这段感情的时候,我就深有感触的想到“我从小吃了很多的苦,没有人关心和疼爱,当我遇到他的求婚的时候,我也没有想太多,只想在这个城市努力生存下去,要改变自己一个人努力生存的不幸命运。所以我就没有多想,只想和他一心一意的过日子。”

我的前夫脾气不是很好,尤其是喝多了就喜欢耍酒疯,我跟他生活了十多年受了很多的苦。我都是为了孩子,要不早就跟他离婚了。我的这段婚姻如此的不幸福是我没有考虑到的,现在成了我一生痛苦的回忆。离婚以后我选择了努力生存下去,我想通过我自己的双手来创造自己的幸福。后来在朋友的介绍下我选择了家政这个行业,我觉得这个行业很合适我。我做事情很认真,做事很有耐心,洗衣做饭更是家常便饭。

我也曾经伺候过80多岁的老人,他的家里人对我的评价很好。3年前的时候我来到张先生的家里来做保姆。张先生的家里是做生意的,家里非常的富裕,他年轻的时候开始创业,吃了很多苦,才有了今天的优越生活。张先生虽然事业做的很成功,可是感情生活却是很失败,他的妻子和做生意的伙伴背叛了他走到了一起,过了很久他才发现,当他发现这一切后,果断的跟妻子离婚了,同时断绝了跟生意伙伴的合作,他同时失去了自己的爱人还有朋友,心里不仅很是痛苦而且还深受打击。

张先生离婚以后就再也没有谈过感情了,一个人也单身了十多年了。张先生对生活很是挑剔,所以选择保姆方面也很是谨慎。在我来到这里之前,张先生也不知道辞退了多少保姆了。我来到了之后把他的家里收拾的井井有条,300多平米的房子被我收拾的干干净净,洁净如新的一样,张先生对我的工作态度和耐心很是欣赏。

张先生也是一个赏罚分明的人,我做的好,他也会在工资之外给我发一个红包来奖励我,让我非常的开心,就这样我们之间相处了两年多,彼此之间可以说是很了解了。有时候张先生很晚才回来,我总是等他回来伺候他休息之后才去休息。有一次张先生很晚才回来,喝的有点多了,看见我了之后想拉着我继续喝,几瓶啤酒下去之后,张先生竟然哭了起来,向我诉说这些年来的委屈,我看在眼里,也很是同情,就抱着他安慰起来。我一边安慰着他,一边说到:“如果你愿意的话我可以这样一辈子服侍你。”张先生听了之后很是感动,连忙答应。

第二天张先生酒醒来以后,像平常一样,并没有对我多说什么。我以为昨天他只是一时酒后糊涂,没想到过了几天之后,张先生拿来了一份合同,对我说:“你不是说要和我在一起吗?你把这份合同签了我们就结婚。”我拿过来合同一看,上面写了很多的条款。意思说的很明白,将来如果我们离婚或者去世,我不能继承他的遗产,只能每个月按时领取固定金额的生活费。我看完了这些条款之后惊讶的说不出话来,也不知道该怎么去面对这份突如其来的感情?面对着这些条款,这就是我要的爱情吗?

这样的爱情难道是我自己一厢情愿的吗?感情是两个人相互理解,相互扶持,而不是用这些字面上的条款来加以约束和限制,更不能自私自利只为自己考虑,不顾别人的看法。张先生的做法只考虑了自己,忽略了我的感受,这样的一纸婚姻不是我想要的爱情,面对着这样的爱情我应不应该去接受呢?你对这份感情是如何看的呢?

(匿名用户)


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 也许有小小的遗憾,但我想了一想,其实不管你喜欢的是谁喜欢了多久,那么认真的对待别人努力的想办法的你,就非常优秀啊。你要相信这一点,任何时候想起来,都要知道,你是
  • 其实我也真的很搞不懂,为什么我们凌晨去排的人,挤出人群狂奔上四楼的人,乖乖听话遵守纪律的人,只能花2000多块加购了兔熊有一些看热闹的普通票挤在摊位门口浑水摸鱼
  • 38岁艺人锺欣潼(阿娇)去年同有台湾“医界王阳明”之称嘅赖弘国拉埋天窗,婚前落力减肥做靓靓新娘嘅佢,做咗人妻之后就不时被笑“幸福肥”但老公一样劲Like!罗仲谦
  • 背望桃花心似她,箐书悠鸣闻笔裳。箐书才人,望花其华。
  • 不过,也要警惕两个事:1,大城市会拉高各校分数;北京和上海是典型 ;2,有的学校是速生催化的“名校”水平低录取分却因大城市而过高。”#高考报志愿# 【高考报志愿
  • 祝我行走在这世间,成为最独立的自己,做自己喜欢的事,看自己心爱的风景,爱一个虔诚又温柔的人。祝我行走天涯,见证不同的风景,不同的彩霞绚烂之下,是一颗虔诚的心灵,
  • 2.黑色系 成材盘面到达高位后,炉料承压 建材方面,从近期情况来看,受环保限产消息影响,期螺大幅上涨,但 现货价格跟进乏力,华东主导钢厂市场价格售至 3950
  • @MD_摩登兄弟这世间,能够影响到我生活改变我生活的人寥寥无几,那么我也就无须去花费自己的时间和精力去关注那些无关人的生活,做最好的自己,也终会被那个会欣赏愿意
  • ✨ 不忘初心,公益始于行✨ 今日,#“为爱加码”——爱心校服公益行活动#在航隆幼儿园开展,上海市人口福利基金会理事长柴俊勇先生,副理事长孙荣初等接收捐赠并向钦家
  • 看了六场,最具代表性的公路三部曲的《德州巴黎》没抢到票,网上找到的资源竟然没有字幕,完全听不懂说的是啥,也就是感受而已,感受导演想表达的那种朦胧的感觉,这也是看
  • 希望影视能整合的不仅仅是金融圈,还有珠宝圈,奢侈品圈,高端俱乐部等。BCG预测,到2025年,中国个人奢侈品消费将保持5-6%的复合增长率,到2025年突破16
  • 承认行凶就完事儿了??
  • 尘封中那些缠绵的影像,散落在心桥相约的地方,在冗长的时光里,将岁月的风霜铺满成醉心的花香,淡雅悠长。如若可以,将岁月的温情沁满唇齿留香,让纯美的情愫幽居在心上,
  • 最后,由于这项新技术能够帮助Facebook用户完成更多的交易和商业活动,因而提升了Facebook的企业价值。首先,这项技术为Facebook创造了确立企业价
  • 将于6月28日本周五正式发售,售价为¥2199元...发售地址:男款: 女款: 笑死了我才发现小马哥的固有技能里有一个愤怒的化身EX,除了提红卡倍率外还有个效果
  • 分享歌曲:《荷塘月色》(@酷我音乐) Ny favorite is the water-lily. How stainless it rises from
  • #诗歌[超话]# 甪直,时光不向曲中求by zc周池 天假流年,虽不能积善余庆 也要燕翼诒谋 门厅上的浮雕荷花柱 还有你玲珑指纹 宅五进,宅基一进比一进高 且
  • 微信号:lyong_520 亲们有喜欢的加微号询价! 越南正品橡胶拖鞋招代中…… 重要通知:即将回国,要带东西的抓紧时间,最后一天!!正宗越南橡胶拖鞋,升级版后
  • ——纪伯伦」摘自:《人生最美是清欢》 — 林清玄在豆瓣阅读书店查看:本作品由中作华文授权豆瓣阅读全球范围内电子版制作与发行。”」摘自:《人生最美是清欢》 — 林
  • 【特朗普发推特警告伊朗:如果对美发动攻击,将以压倒性优势力量回击】Le président des États-Unis, Donald Trump, a me