网站开发和运营维护,如何做推广自己网站,做购物网站的初衷,设计网站页面设计2019杭州云栖大会上#xff0c;高德地图技术团队向与会者分享了包括视觉与机器智能、路线规划、场景化/精细化定位时空数据应用、亿级流量架构演进等多个出行技术领域的热门话题。现场火爆#xff0c;听众反响强烈。我们把其中的优秀演讲内容整理成文并陆续发布出来#xff…2019杭州云栖大会上高德地图技术团队向与会者分享了包括视觉与机器智能、路线规划、场景化/精细化定位时空数据应用、亿级流量架构演进等多个出行技术领域的热门话题。现场火爆听众反响强烈。我们把其中的优秀演讲内容整理成文并陆续发布出来本文为其中一篇。
阿里巴巴高级地图技术专家方兴在高德技术专场做了题为《向场景化、精细化演进的定位技术》的演讲主要分享了高德在提升定位精度方面的探索和实践本文根据现场内容整理而成在不影响原意的情况下对文字略作编辑更多定位技术的实现细节请关注后续系列文章。
以下为方兴演讲内容的简版实录 今天要分享的主题是关于定位的场景化、精细化。高德定位并不只是服务于高德地图本身而是面向所有的应用开发者和手机设备厂商提供定位服务。目前已有30万以上的APP在使用高德的定位服务。
用户每天会大量使用定位服务比如看新闻、打车、订外卖甚至是购物首先都是要获得位置信息有了更精准的位置信息才可能获得更好的服务体验。
高德地图有超过1亿的日活用户但是使用定位的有好几个亿每天的定位请求数量有一千亿次。如此大的数据量高德定位服务可以保持毫秒级的响应速度我们在这里面做了很多工作。此外我们还提供全场景的定位能力不管为手机、车机还是任何厂家都能提供位置服务。
我今天从四个方面介绍分别是
定位面临的挑战高德地图全场景定位分场景提升定位精度未来机遇
定位面临的挑战
大家可能都知道GPSGPS在大部分情况下可以提供很好的精度但是对于某些场景还是不够比如驾车GPS给出的精度大概是10米如果仅靠GPS定位甚至无法区分出在马路的哪一侧。
第二个场景是在室内室内收不到GPS信号这样的场景下如何实现比较准确的定位第三个场景是如何在精度和成本之间取得平衡因为不可能为了追求一个很好的精度去无限投入成本。只有通过海量大数据挖掘算法和数据质量的提升达到效果的持续优化才能达到最终对各种场景的全覆盖。
有很多技术可以选择除了GPS定位还有基于网络定位、Wifi基站原理就是通过扫描到的Wifi和基站列表、信号强度进行数据库查找找到Wifi位置定位。
除此之外还有惯性导航定位惯性导航是一种相对定位的方式可以不断计算跟上次定位的偏移量有了初始定位之后根据连续计算可以获得最终的位置。
还有根据地图匹配定位比如GPS的点落在一个湖里显然是有问题的可以通过地图匹配找到最近的一条路这时候精度就得到了提升。
还有一些定位方式最近几年变得很热门例如视觉、雷达、激光自动驾驶的概念推动了这些技术的发展这些方式各有各的定位精度和差异性。例如视觉在实践中往往需要大量计算和存储的开销。
很多时候还是要基于Wifi的定位获得初始定位然后在不同场景下不断的优化通过不同的数据源提升精度。
高德地图如何实现全场景定位
高德主要分为两个业务场景手机和车机。在手机上主要是GPS网络定位。驾车的场景下我们还会做一些根据地图的匹配实现对特殊道路的支持。
以往很多用户会反馈说会遇到GPS信号不好导致无法定位、无法导航的情形。约有60%的情况是因为用户位于地下停车场或者在隧道里约30%的情况是附近有严重的遮挡比如在高架桥下或者在很高的高楼旁。这些都会造成对GPS比较严重的遮挡。
我们打电话的时候连接的基站可能就在一公里范围内这样短的距离传输信号还时常会出现信号中断如果GPS信号距离两万多米的高度出现问题的可能性还是存在的。所以必须通过其他方式例如地图匹配或者惯性导航来对GPS进行补充。
在室内的场景需要解决的是如何去挖掘Wifi基站的位置提升精度。
在车机的场景我们会结合更多来自于汽车的数据输入来帮助我们。
定位的基础能力 网络定位本质上是一个数据闭环每个人在定位的时候实际上是发送了本身的基站和Wifi列表发送的数据一方面可以用来定位另一方面也可以用做数据训练。数据训练主要产出两种数据一个是Wifi基站的位置通过数据挖掘我们就可以获得大概的位置初始定位但是精度比较差。第二个是产生更详细的空间信号强度分布图。有了这个图以后就可以进行比较精准的定位了根据信号强度判断我距离这个基站和Wifi有多远从而对精度进行改进。
数据闭环完成以后就是一个正向的反馈数据越多训练结果越多定位结果就越准确从而吸引更多的用户来使用产生数据。这就是通过数据挖掘不断提升精度的闭环。
算法部分我们也经过了不断的迭代。最早是基于经典的聚类模型就是扫描基站Wifi列表聚类以后选择其中一处作为我的位置这个方法效率比较高很快可以得到结果但是精度很差。
第二步我们把空间进行了精细的划分在每个网格内统计一些基础的特征比如历史上的点定位的数量、定位的次数、Wifi的数量等等计算出一个网格的打分再对网格进行排序最后你的定位点就是这个网格。通过这种方法30米精度的占比提升了15%。
这种方法也有局限性人工调参带来的收益是有限的调到一定程度就没办法再提升了。所以第三步就是把机器学习算法引入这个过程利用监督的学习提升到最佳的模型和参数这样可以在特定场景下获得显著提升。主要的场景就是解决大误差的Case。
一个比较典型的问题就是扫描到的基站Wifi可能只有一个基站、一个Wifi没有别的信息了。这个基站Wifi又离的特别远无论选择基站还是Wifi都有50%的概率是算错了。有监督学习就可以把海量的配送拿出来精细化的挖掘细微的差异达到全局最优的效果在某一情况下选基站某一情况下选Wifi。把犯错的比例降低了50%。 上图就是我们的线上神经网络的模型神经网络用于在线服务现在是比较流行的方式我们在这里实际上是利用基站和Wifi的信号强度和混合特征作为特征输入同时把历史位置也作为序列放进来这个历史位置特征会放入一个RNN模型预测现在的位置使用预测的结果和基站Wifi列表特征再往下预测最后是网格的打分。最终输出一个概率最高的网格作为输出。
这个方法最大的挑战并不是在算法而是算法效果和工程上的可实现性如何能够达到最优。高德每天有上千亿次的调用延时要在10毫秒以内。 另外数据量很大所有的数据每条都有很多特征在线的数据存储大概有几十个TB这个数据量也不可能放在在线服务里做所以要做相应的优化。
我们做了三个方面的优化第一是分级排序。把定位过程变成一个显微镜步骤先做一个很粗略的定位然后逐步收敛到很精确的位置。粗略定位的时候可以用很大的网格用很少的特征快速过滤掉一些不可能的位置。
然后在很精细的网格里用更多的特征、更多的网格进行排序。通过这种方法就可以极大提升计算的效率把一些不必要的计算过滤掉。
第二是模型简化。虽然深度学习的效果很好但是不可能在线上用很复杂的模型我们通过减少层数和节点数把浮点数精度降低。
第三是特征压缩。这里面有特色的一点是我们根据模型进行的压缩原始特征的输入的数量是很大的我们增加一个编码层输入的特征经过编码层以后只输出两个字节的特征。我们把在线、离线的数据处理好以后最后在线只存储两个字节。通过这种方法在线特征的数据量降低了10倍降低到1个TB以内。以上是解决的几个主要问题。
不同场景下的精度提升
在室内场景经常会定位到室外去这跟刚才介绍的序列流程是有关系的因为采集过程更大概率是在室外序列后的Wifi位置都在马路上所以定位最后的概率也是在马路上但是这对用户体验是很差的。比如打车可能在室内叫车定位在对面的马路上但这条马路可能是不对的需要找到我在哪个楼里离哪个道路比较近。
怎么解决这个问题一种方法是通过数据采集就是在室内进行人工的采集使训练数据的数据分布跟实际的预测数据分布保持一致这种方法当然精度比较好但是主要缺陷是成本非常高目前也只是在热门商场和交通枢纽进行这样的数据采集这肯定不是一个可扩展的方法。
我们的方法是想通过引入更多的数据优化定位过程。如果能基于地图数据挖掘出Wifi和POI的关系就可以用数据关联提升精度。比如扫到一个Wifi名字叫KFC有一个可能就是你在肯德基里这个方法比较简单。实际用的方法会更加复杂。 我们是利用Wifi信号的分布反向挖掘出位置上图里蓝色的部分就是楼块的位置红色的点是Wifi的真实位置绿色的点是采集到Wifi的位置绿色越亮代表这个地方的信号强度越强通过这个图放入图像学习比如用CNN挖掘出它的位置以后我们就可以建立一个Wifi跟楼块或者跟POI的关联通过这个方法可以使全量Wifi的30%都能关联上相应的POI或者楼块。
在线的时候需要知道用户什么时候在室内什么时候在室外。我们用的是利用信号强度特征做区分的算法在室内室外扫描到的Wifi列表和强度会有很大差别通过这个差别可以训练出模型。绿色的点预测为室内的点蓝色的点是室外的点。通过这种方法定位精度提升了15%。
驾车场景导航过程中可能会遇到的常见问题。第一个问题是无法定位开到停车场或者有遮挡的地方第二个场景是点会有漂移因为GPS受到建筑或者其他遮挡的时候会产生精度下降的情况。第三种情况是无法区分主路可能会错过路口。
对于以上问题我们采用的是“软硬”融合定位软的部分包括两部分一个是基于移动定位第二个是根据地图匹配。经过两个“软硬”结合之后我们在GPS 10米精度做到90%以上可以实现高架主路和停车场的持续导航。
这里面关键的就是如何实现融合定位比较有特色的一点就是我们做车机的传感器模块是低成本的成本不到100元其他类似产品成本是比较高的可能需要几千块钱。使用低成本的器件能够更容易得到普及。缺点是精度比较差定位准确性差一些。要通过软件的方法弥补硬件上的缺点。 我们的解决办法分成三个步骤首先是航向融合。陀螺仪有相对的角度可以算出来加速器可以算出地球引力的方向这两个结合以后就可以建立一个滤波方程把真实的方向持续不断的输出。第二把三维的方向和GPS的结果进行一次融合就可以计算出修正后的位置。第三步再和地图匹配做对比因为我们知道它的方向、位置以后就知道它是在上坡还是下坡是在高架上还是高架下。还有一点匹配后的位置跟GPS原始位置做对比如果差别很大GPS可能发生了偏移我们就把GPS舍弃掉只用惯性导航推算。
这里面有三个特点第一参数动态标定不需要对器件有初始的标的我们通过三维的计算出方向用地图匹配反馈。关于地图匹配的部分核心是我们利用HMM的算法进行位置的匹配推算每个点的道路。这里面比较关键的概率一个是发射概率一个是位置转移概率。
第二我们把角度也考虑进来角度的变化同样用于决策转移概率这里面跟位置转移概率的区别就是引入了速度做变量不同的速度下发生转角的概率是不一样的速度慢了可能会转向速度快也可能转向所以我们针对每个速率都有一个曲线。 上图是定位效果红色的点是实际修正后的轨迹蓝色的点是原始的GPS点下面是在高架下的效果可以看到高架下GPS点已经非常发散了飘的到处都是但是修正之后跟绿色的点是重叠的。下面的图是在停车场里在停车场进去的时候蓝色的点就已经消失了但是红色的点可以很好的还原出用户在停车场里持续的轨迹。
高精定位方面高德主要建立两种定位能力一种是基于图像定位一种是基于融合定位。图像定位是只用图像就可以形成比较好的分米级精度融合定位主要是引入了两个新的定位技术一个是VSLAM一个是差分GPS。这两个方法分别应用于有GPS和没有GPS的情况可以提供很好的精度。VSLAM可以做到误差很小因为可以有图像的方法进行修正。
自动驾驶是一个方向并且需要从辅助驾驶过渡到自动驾驶但系统性变化到来之前会有阶段性的变化就是服务于人的导航服务的精细化即车道级导航。车道级导航需要高精地图至少是分米级的精度。
对未来定位技术发展的理解。基础能力部分我们认为5G的出现会为定位提供一种新的可能性因为5G的频率比4G更高波长会更短。它可以测距以前基于基站和Wifi的定位都是基于信号强度的。但是5G支持了测距以后它就可以提供一个很好的精度所以可能会出现一种方式基于5G的定位可以达到类似GPS的效果。 第二是融合定位随着各种新的数据源不断出现用新的算法去发挥不同数据源的特点从而达到整体效果的提升。驾车部分视觉定位和差分GPS技术的逐渐普及。室内部分有超宽带的定位除此之外还有蓝牙和Wifi的精准定位。在最新的技术标准里也都支持了测距和测角的技术也就是未来新的蓝牙或者Wifi的APP可能就能提供一部分的定位能力。
所以未来10年内我们可能会看到这几种方式相互融合精度会得到质的改变。以上就是我介绍的内容谢谢大家
原文链接 本文为云栖社区原创内容未经允许不得转载。
