自打用过AR驾车导航/AR步行导航

很多小伙伴直呼黑科技真香！

今天小德带大伙儿一块拆解AR导航

看看这款黑科技背后的秘密~

▌用什么打破次元？

在传统导航里

世界是一张已经画好的地图

存储在小德的脑海中

想要去哪

直接在地图上标出路线就好

而在AR导航里

小德面对的是摄像头实时拍摄的画面

没有一帧是小德之前见过的

比如这幅画面↑

你是不是一眼就认出了

哪里是路，哪里是车，离你大概多远

很简单不是吗？

但是在手机里

小德看到的画面约等于这样

只有几百万个没有关联的原始像素

鸿蒙初开，天地混沌

怎么分清哪儿是哪儿？

聪明的人类想了很多办法

比如iPhone 13 Pro上

有一个特殊的LiDAR传感器

它每秒可以向周围发射几十万次红外光

通过计算红外光反射花费的时间

就能算出物体和手机之间的距离

原理和雷达相似

掌握了距离

就能构建3D空间的信息

谷歌也发明了一种技术

让手机在移动过程中

拍摄多个角度的图像

通过图像对比就能算出

每个像素在现实世界里的距离

原理类似于我们人眼的3D视差

这两种方法

虽然都能让手机掌握周围的空间信息

但要么硬件成本太高，要么可用的机型有限

小德的目标是让更多人用上AR导航

只能另辟蹊径

话说回来

虽然手机拍摄的画面没办法直接理解

但还是有线索可循

通过工程师打造的深度学习算法

小德可以检测出画面中的车道线/车辆

这些元素能提供关键的行车参考信息

同时，结合手机上的相机方位参数

小德就能建立起对当前画面的空间理解

当你在某个车道上行驶时

如果路线显示前方要左转

小德会先识别左侧的车道线

结果显示它是白色虚线

OK，可以变道

接下来计算车道宽度

以及你的车辆距离左右车道线的距离

最终算出一条准确的变道引导线

然后把它以3D视角渲染到手机画面上

酷炫的AR导航就这样实现了！

▌从里到外都是细节控

大伙儿使用AR导航时

最直观的感受

就是虚拟标志和现实画面的准确配合

虚拟标志既要能指引方向

又要减少视野干扰

必须在细节上下功夫

比如在步行导航中

如果你走到离引导标志很近的地方

就会发现它开始变得透明

不会阻挡你前方的视野

引导标志往画面上叠加的时候

也不能简单粗暴地盖上去

不然你会发现引导线飞到了车顶上

就像这样↓

所以要识别正确的遮挡关系

然后把引导线做透明处理

变成这样↓

有小伙伴觉得AR导航有点像3D游戏

有一个很大的不同之处在于

游戏里的地图模型都是事先建好的

画面渲染也有高性能显卡负责

所以运行起来不存在问题

同样，自动驾驶也需要环境感知能力

所以配备了算力强大的芯片

比如特斯拉、华为、英伟达生产的车载芯片

每秒钟能运算一百万亿次以上

相比之下，在AR导航里

图像识别和渲染基本靠手机CPU来分担

它的算力只有十万亿次左右

为了尽量少占用CPU资源

工程师们使用了很多加速深度学习的方法

并对代码效率进行了极致优化

最终使得小德可以在有限的资源下

为大家提供丝滑的AR导航体验

AR驾车导航开启方法↑
选择驾车方式-点击「AR导航」

AR步行导航开启方法↑
选择步行方式-点击「开始步行导航」