家教网站建设,wordpress主题 team talk,辽宁建筑工程信息网,无锡好的网站公司来源#xff1a;机器学习研究组订阅人与AI之间最大的区别就是对常识的利用#xff01;无论各种AI模型在各大排行榜以何种性能超越了人类#xff0c;它们在常识的利用上仍然远远不及人类#xff0c;而这也正是目前AI研究中需要面临的一个巨大的挑战。对于自然语言处理的研究… 来源机器学习研究组订阅人与AI之间最大的区别就是对常识的利用无论各种AI模型在各大排行榜以何种性能超越了人类它们在常识的利用上仍然远远不及人类而这也正是目前AI研究中需要面临的一个巨大的挑战。对于自然语言处理的研究来说我们可以向模型中添加各种知识图谱、实体等信息来增强模型对于常识的感知能力但对于计算机视觉来说就没有那么容易了。视觉的常识不仅要考虑各个物体之间在现实中的空间关系还要考虑物体位置的合理性。如果有物理世界的常识能够注入到视觉系统中那就不会识别出悬空的盘子、藏在碗后面的叉子若隐若现等等「育碧」特色建模。更严重一点的说当不完善的、没有常识的视觉系统应用到自动驾驶系统时导致无法识别出行人、急救车等或者错误理解了空间位置关系那后果将不堪设想。人类的视觉和AI视觉略有不同人类的眼睛实际上是三维的能够对不同视角、不同光照、遮挡和杂乱的场景进行视觉概括。所以为了给计算机一个三维场景感知的能力MIT的研究人员最近在NeurIPS 2021上发表了一篇论文提出了一个基于概率推理的3D场景感知的生成模型3DP3。模型有了3D感知能力以后除了可以提高自动驾驶汽车的安全性之外还可以让清洁机器人感知杂乱场景下物体间的相互关系。3DP3的核心就是一个生成式的建模框架使用离散的物体及其三维形状和一个称为场景图scene graph的层次结构来表示场景其中场景图的层次结构与物体的位置和朝向有关。研究人员使用概率编程来建立框架让系统能够从输入图像中检测到物体。通过概率推理probabilistic inference的方式也可以让系统推断出场景和物体的不匹配是由噪声还是预测错误导致的增加了可解释性也有利于下一步处理中的纠正。例如给定一副RGB图像和对应的深度图3DP3就可以推断出一个层次的3D场景图。并且因为模型懂常识一个物体经常是平放lay flat在另一个物体上所以从深度图中实际上已经可以知道各个物体的位置和朝向了。除此之外文中提出的算法还可以推断什么时候这些常识是有用的紫色节点的夹子和盒子是相关的因为夹子放在了盒子上哪些物体用不上红色节点的四个物体表示一个整体没有放置在其他物体上。但从这幅图上看瞅着这「四合一」的红色节点还是放置在这个盒子上的但是文章作者对此没有进一步说明。并且3DP3使用概率编程probabilistic program的形式来表示三维场景的结构化生成模型。模型使用了两个先验概率1从数据中学习到的概率作为物体形状的先验2图形上的概率分布作为场景结构的先验。然后从世界节点world node开始对场景图进行遍历来计算物体的位置、方向和深度图的似然模型。世界节点的意思就是所有没有平放在其他物体上的节点的父节点例如图中的盒子灰色节点和四合一物体红色节点的父节点就是世界节点。图中为了简化没有画出世界节点。可以看到3DP3主要以这种物体之间的接触关系的常识和概率来进行场景图的建模而这种常识恰恰可以保证系统能够检测和纠正计算机视觉中深度学习模型常犯的错误。并且概率推断也能够更准确地推断出物体的正确相对位置。文章的作者Nishad Gothoskar也认为这和人类的推断过程是相同的如果你知道了接触关系那么你肯定会知道一个物体永远不可能漂浮在桌子上也就是说在桌子和物体之间必定还存在一个物体这对于深度学习的黑盒模型来说是一个强有力的解释操作。并且3DP3不要求对物体形状进行硬编码而是提出了一个基于体素voxel的物体形状学习方法。研究人员使用概率推理来学习三维物体形状的非参数模型考虑到了由于self-occlusion而产生的不确定性。文中主要研究了如何从包含已知类型的单一孤立物体的场景中学习到物体的形状并没有考虑对更通用的形状学习和对形状不确定性的处理。有了上面提到的基于接触关系的生成式模型后就可以搭建一个完整的场景图推理算法了。由于图像是通过实时图形和点云上的似然概率来建模的所以研究人员把三维场景的理解作为这种生成模型的近似概率推理。推理算法将数据驱动的Metropolis-Hastings核与物体姿势、场景图结构的MCMC核、物体形状的不确定性的积分以及现有的深度学习物体检测器和姿势估计器结合起来共同预测。此外这种架构能够利用生成模型中的推理来提供常识性的约束从而修复神经网络检测器所产生的错误。在实验部分研究人员使用一个标准的机器人数据集YCB-Video来训练和评估3D感知能力。首先对每个物体类型选取5张合成图像来学习图形先验然后使用一个神经6DoF姿势估计模型DenseFusion对模型的推理算法进行初始化。为了衡量姿势物体的位置和朝向预测的准确性研究人员使用ADD-S来估计物体模型上的点与预测物体姿态之间的平均最近点距离。实验结果可以看到3DP3几乎能够准确预测所有形状的物体并且在消融实验中可以看到3DP3比固定结构且没有接触关系的3DP3*更精确。这也表明了基于渲染和结构推断都有助于3DP3更准确地估计6DoF姿态。参考资料https://arxiv.org/pdf/2111.00312未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
