无锡易时代网站建设有限公司怎么样,seo网站推广的作用,石家庄微网站,建设部注册人员查询来源#xff1a; AI科技评论编译#xff1a;Antonio编辑#xff1a;陈彩娴伴随深度学习的不断日常化#xff0c;数据集中的偏见#xff08;bias#xff09;和公正性#xff08;fairness#xff09;已经成为一个热门研究方向。偏见在AI领域是一个很棘手的话题#xff1… 来源 AI科技评论编译Antonio编辑陈彩娴伴随深度学习的不断日常化数据集中的偏见bias和公正性fairness已经成为一个热门研究方向。偏见在AI领域是一个很棘手的话题有些偏见是有益的例如噪声数据可以增加模型的鲁棒性有些偏见是有害的例如倾向对有色人种识别错误。而且当我们得到一个不完美的模型的时候其中的数据集到底存在什么偏见这些偏见是如何产生的谷歌的PAIR People AI Research团队最近发表了一篇博文用一个很简单有趣的例子讨论了这些问题。原文链接https://pair.withgoogle. com/explorables/dataset-worldviews/1有偏见的分类假设我们拥有如下所示的不同形状的数据集它们对应的标签是有无阴影如下图。利用页面上的交互式分类器可以分类出如下的结果并得出相应的准确性。模型并不完美为了对结果进行纠正你可能想知道模型正在犯什么错误或者数据存在哪种类型的偏见2公正性分析由于各个图形的主要区别在于形状一个可能的偏见存在于形状的差别。通过观察你可能认为三个最主要的形状主要是圆、三角形和矩形。为了证实这个假设你要确信你的模型在面对圆、三角形和矩形的时候模型的表现能力的一样的。接下来我们来做公正性分析fairness analysis。首先我们需要对每个的形状进行标注但是一个问题是有些形状并不能很肯定地确定是什么形状这时候有两种策略一是把这种形状判断为最有可能是圆、三角形和矩形with their best guess)一种是给出一个选项上述三种形状都不是(as other)。之后我们分析模型对于每一类形状的分类准确率。该交互式页面给了两种策略的结果策略一寻找最有可能的形状第一种策略表明分类器对于矩形分类的结果最好圆次之三角形最差。不过这可以表明模型对三角形存在偏见吗我们在页面上切换第二种策略。策略二上述都不是结果发生了变化第二种策略则表明分类器对于三角形和矩形分类结果都最好圆却最差。我们对于偏见的理解因为我们制定分类的策略不同而不同换言之每一种分类方式代表着采取不同的角度看待哪些是重要的分类特征。而决定数据集和最终模型决策的是你——制定策略的人。也就是每个数据集都代表一种“世界观”其收集背后莫不代表着人的意志。所以再回过头来想想还有哪些策略或者规则的指定可能会影响我们的对于公正性的判断对我们当初对于分类的标准是依照形状比如圆、三角形或者矩形这也是我们人为定的标准如果换成”尖的“或者”圆的“呢或者“小的”或者“大的”呢下图给出了不同评价标准下正确和错误分类的个体图注当类别标准是“尖的”或者“圆的”以及其它模糊类别是“寻找最有可能的形状”的时候的分类结果图注当类别标准是“小”或者“大的”以及其它模糊类别是“寻找最有可能的形状”的时候的分类结果可以看到每当选择一种标准的时候所得到的错误分类的数据分布也都不同因而每种情况下对于实例的偏见程度或者公正性分析也都会出现偏差——偏见似乎也有了偏见。3标签在讲述故事回顾一下假设你是收集该数据集的负责成员刚开始你做出关于与偏见相关的分类类别的决策所有的形状实例到底怎么分你按照“尖的”和“圆的”也就是下图其它标注者试图回答下述问题这个图形是“尖的”还是“圆的”之后收集完毕你根据上述错误类别分析你可以得到分类器在尖的形状表现的好圆的则表现的差之后便有了如下的报告然后如果一开始的评价标准是“大的”还是“小的”重复上述步骤你却可以得到分类器在小的形状上分类效果好于是便有了这样的故事...想要避免这个问题的一个自然的解决方式是收集更多的数据和更多的特征如果我们有足够多的数据知道它们足够多的细节我们将可以避免做出不同的分类决策从而产生唯一的偏见的影响因子。不过似乎并非这样。想象一下当我们描述我们周围的一件事情的时候不管是向一个朋友讲述一件事情的时候还是告知计算机关于形状的事情的时候我们都会自觉不自觉地选择自己认为的最重要的部分或者选择用什么工具去传递它。不管我们是否这么想我们无时无刻不在做分类——正如我们在形状的例子中所看到的那样所有的选择都使得某些特征比其它的特征更加重要使得一些特征的差别是可见的一些却可被忽略都使得某些事物变得容易分类有些成为噪声点。是分类的标准在讲述整个故事。4真实的场景如果我们再回顾真实的机器学习应用比如监督学习任务中的目标检测任务。我们想象有下面一幅图片我们想在这样的数据集上打标注因而我们想先对其中的目标物体进行标注。其中的一种标注如下这样已经看起来很客观了对吗毕竟山就是山、树就是树。可是即使这样同一张图的同一个区域的标签也可能不一样比如这样山可以具体化名称树也可以具体化“没有医用的植物”。是的并没有一个普遍的方法去对待每一个物体、每一个单词或者每一张图片。数据集总是特定时间空间和条件的结果。它们是社会的产物它们有历史观它们有政治色彩。而忽略这些会带来非常现实的后果。那我们应该怎么对待这些信息呢一个很好的起点是反思数据所在的上下文并且始终对数据保持好奇。很难去判断一个数据集本身的价值——它们是客观的普遍的中立的吗——它可能只是反映一种你自己习惯的世界观。所以理解你自己的世界观可以告诉你所谓客观数据的局限性。时刻问自己你对这个世界做出了什么假设什么是感觉像是常识什么有些违背常理重要的是对于数据集不应该忘记考虑谁收集的它为什么会收集它谁付钱收集了它所谓的”真值“标签来自哪里之后你甚至可能会发现自己在质疑收集数据过程中的某些假设从而对你的分类任务有更加整体地理解。如果对你的数据有很多问题你就已经有很好的开端了。5研究团队介绍People AI Research (PAIR) 是 Google 的一个跨学科团队通过基础研究、构建工具、创建设计框架以及与不同社区合作来探索人工智能的人性方面。团队的宗旨让机器学习发挥其积极潜力因为它需要具有广泛的参与性涉及到它影响的社区并由不同的公民、政策制定者、活动家、艺术家等群体指导。该团队开发了很多有趣的可视化交互页面探讨了很多有趣的AI公正性或者可解释性的课题。快去试试吧团队官网https://pair.withgoogle.com/原文链接https://pair.withgoogle.com/explorables/dataset-worldviews/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
