免费推广网站平台,如何做介绍监控公司的网站,html在线模板,用自己的照片做头像的网站文 | Sirius几天前#xff0c;卖萌屋的一期推文《AI凉下来了#xff1f;这可能是个好事》在短短几小时内获得近百次点赞在看和800多次转发#xff0c;引起了不少小伙伴的共鸣。不过由于批判和叙事太过露骨#xff0c;打马不彻底#xff0c;导致删文。删文后#xff0c;这…文 | Sirius几天前卖萌屋的一期推文《AI凉下来了这可能是个好事》在短短几小时内获得近百次点赞在看和800多次转发引起了不少小伙伴的共鸣。不过由于批判和叙事太过露骨打马不彻底导致删文。删文后这几天来找文章的小伙伴络绎不绝精力所限无法一一回复于是采纳读者小伙伴的建议决定对原文作“和谐处理”后重新推送就有了本文。本文尽量维持了原文中心思想的表达。为防失联欢迎添加微信xixiaoyao-1吃瓜不迷路。今年的 NLU 算法领域可谓是一片萧索前有各大财力雄厚的机构接连不断祭出了各种千亿级大模型或万亿级 MoE 大模型彻底终结了榜单游戏后又有大家开始纷纷反思我们这么接连不断地打榜究竟在忙活一些什么。浪潮之后一片寂静今年各大顶会也都在如期进行但是 NLU 领域上似乎没有看到什么引起反响的工作。虽然笔者就是做 NLU 的方向在学界凉了故事没得说了总归有种风光不再的感觉。但是如今刷分游戏被终结哪怕并不是大家想清楚了而仅仅是没得刷了在笔者看来仅仅是这个现象出现了也会是一件好事儿。因为——这至少代表着那些仅仅是一些过拟合的 trick甚至可能仅仅是随机种子影响的分数但碰巧造出来了所谓“新SOTA”足以博眼球的时代暂时地过去了。笔者所在的工业界也不再轻易被那些放水的工作牵着鼻子走了随着经济形势不乐观没钱烧了工业界几乎180°大转弯转向了务实。而大模型时代的终结也意味着学界大牛们的精力可能终于要放到框架的革新上了。不过有趣的是在如今的时代在工业界里面仍有些想不清楚的人和工作在以三年前“复古”的方式努力着做着时代的“逆行者”。时代的逆行者西江月·通辽怀古小约翰三亚立夏供热重庆大暑乘凉小雪内蒙卖蚊香大寒新疆冲浪。清欢寻味川蜀麻辣觅食珠江无锡宴会不吃糖海鲜进口西藏。山神庙外谈往事飞云浦上偷tóu袭xī浔阳楼内把诗题快活林中卧携宝过黄泥。白马阵前插标首汜水关下战急奉先子师迎登基割须弃袍日跃马过檀溪。例如有的团队创新功底不足基础效果也没有做过竞品但是为证明自己的价值他们选择了“硬打出来差异”的路子。比如为了解决某个经典的NLP问题他们首先 copy 了业界的某个 SOTA 工作。但仅仅 copy 了一个工作并不能体现出自己的算法创新能力于是该团队就“开创性”地在这个 SOTA 模型上叠加了 prompt。这点改动就成了团队对内对外尬吹的“创新点”。关于 prompt卖萌屋也出过不少原创文章了格局打开带你解锁 prompt 的花式用法 中介绍了 prompt 生效的原理和前提简而言之prompt 原理就是“套话”套取模型在预训练阶段记忆到的东西。笔者愚钝想不出在一个复杂的 NLP 模型里面输入了 prompt 带来的增益会在哪里。prompt 本身的一些细微差别即可能导致隐层表示大不相同且复杂模型也会消解 prompt 所带来的分布差异。与上面案例类似的尬创新现象在工业界比比皆是。如果说10年前大家都不熟悉深度学习那做一些如今看起来明显不合逻辑的创新、试错倒也无可厚非。但如今2022年了明知一些“创新点”是在毫无道理的强行加戏却非要浪费人力、财力去尬做、尬上线最后甚至对外尬吹实在是让懂深度学习且三观正常的从业者有些看不下去。是什么造就了这种乱象那么是什么样的思潮造就了国内工业界这种浮夸的“伪创新”乱象呢笔者认为有以下几点迷信大模型分不清算指标和应用看不清需求范围迷信大模型笔者其实不止一次听工业界的朋友们说过大模型能够做一切事情大模型拥有了智能大模型能够创造出新的风格甚至包括最离谱的大模型能够做逻辑演算等等的说法。这其中也不乏如 DeepMind 为了骗股价、博眼球发表的一些乱七八糟的报告也有营销号们不加掩饰的吹嘘助长了这种浮夸的风气。卖萌屋文章 《DeepMind 发了篇论文把我看笑了》 也曾有详细的吐槽。今天笔者想在此基础上题外话的补充一下最近很火热的文生图的讨论。如今文生图模型不仅在模仿已有作画风格上有了极大的建树同时似乎也创造出了一些“离经叛道”的东西——其似乎“独创”了一些别样的艺术风格看上去它学会了“创造”。这自然又会引起大规模的讨论AI 是否要取代画师了AI 是否真正学会了艺术创作我以浅薄的艺术素养大致将艺术风格突破分为两类一种是已有不同艺术风格的融会贯通另一种则是天才的大胆突破横空出世。而第一种恰恰可以看作是一个搜索组合游戏。人借助自己的阅历各取一点他山之石生发新的东西但囿于浏览效率、精力、寿命等限制我们穷尽一生见过的、记住的、深究过的东西终究十分有限在 AI 强大算力的面前仅仅是沧海一粟所以第一种艺术风格的再创造反倒正是 AI 所擅长的。归根到底人对“美”的穷举和想象远远不及世界的尽头。甚至人对自身认知本身的认知可能也远远未达边界。正如张钹院士常引“我们不知道我们的知道”以及“我们不知道我们的不知道”远远超过了“我们知道我们的知道”。而面对 AI 穷举、展现给我们的一些筛选、优化的组合不妨拥抱它将之作为有力的助手用于创造新的美好。此时此刻恰如彼时彼刻。几年前Alpha Go Zero 横空出世几乎以压倒性的姿态打赢了彼时最强的棋手柯洁。在它之后围棋 AI 出现在各大围棋平台中成为了棋手们的训练对手。在围棋高手们的眼里AI 似乎完全没有传统认知上的“棋理”、“棋路”不会去讲究“阵型”更遑论“哲学”、“文化”其诞生的唯一目的就是赢得竞技比赛。竞技棋手们为了提升自己“赢得比赛”的能力也逐渐转向了 AI 下棋的思路通过足够多的对局追求更加有效率的取胜方式。棋手们也纷纷感叹AI 出现了之后围棋渐渐失去了它的味道。以围棋为中心所衍生出的文化以及哲学仍会在各自的领域散发光芒但是以取胜为唯一目的的竞技围棋却又变回了启发式搜索游戏我们穷极千百年无数的高手以经验主义得出的所谓棋理、棋道终抵不过 AI 海量对局得到的最优搜索路径——在固定规则中最快地找到最优解正是 AI 所擅长的。但围棋也并没有失去它作为一个游戏、一种文化本身的韵味职业竞技棋手也并未消亡。所以我们可以看到尽管大模型已经展现出了神奇的效果但是说它无所不能或者说它有了智能或许就过于得扯淡了。而如果身为业内人士相信了这路论调也只能说难怪在白费劲了。分不清算指标和应用在我们做的工作还在务虚追求所谓“影响力”的时候想要做出成果是无比简单的——拉下来公开的测试集不断地过拟合手段多样包括但不限于集成用 test 搜数据搞预训练跑个最高分然后宣称我们业界最强就行了。诚然在 test 上算指标的确是最有效率的一种评估方式工业界在评估算法的时候往往也会用这种方式来定性在标准测试集上跑出高分是某一工作成立的必要条件之一。而在这种评估方式之下错了就错了呗case 就仅仅是 case仅仅是拿出来分析的时候用一用就好了我们也不必想要去解决它。而这种方式如果直接应用在产业上则会给我们提供更大的便利——毕竟测试集都是自己定义的了如果算法调不上去我们就可以去调整测试集当然在工业界有另外一种叫法调整问题范围无论怎么样我们都能够把分数做高大家皆大欢喜——除了应用方。在卖萌屋的历史文章 《Google掀桌了GLUE基准的时代终于过去了》 中曾详细讨论了多个数据集共同计算指标的危害。这里就不多做赘述了。笔者曾经接触过一个团队的研究工作其汇报上来的测试指标非常的好但是到了实际应用中效果骤降到难以接受的水平追问之下才知道测试集是被干预过的简而言之就是测试集被一个复杂的预处理策略筛选过分布之外的数据都已经被预处理卡掉了。有没有觉得很离谱但在国内的工业界笔者对这类事情却有些看麻了。实际上真正在做应用上的算法的人真正在产业中的人从来不会把测试集上的那几个分数当作是唯一的评审依据。一个算法是否可用向来会经过复杂的检验其中包括完备的测试流程、用户表现上的反馈等等。而仅仅在极少数测试集上跑出了几个分数却有各种各样的前置条件又要满世界吹嘘自己业界最强最终也只是圈地自嗨贻笑大方而已。看不清需求范围实际上很多 NLU 的打榜任务可能仅仅是由学界假想出来或者在 case 中看到就直接收集数据集将之做成了一个基准任务了。前些年卷出天际的时候水文们看到了这样新鲜、复杂的基准任务自然要扑上去吮吸一番毕竟先到先得又能复用一批 trick又是一批顶会文章又养活了不知道多少人。但是回到工业界我们就得看看这些任务是否可以作为需求在实际的产业中存在如果可以需求范围又有多大是否达到了必须得用模型才能解决的程度例如复合词的拆解这个需求在产业中的确有用得到的地方比如拆解了之后更方便做实体归一和链指其结果可用于支持问答、搜索等场景。不过无论是用映射表构造词汇学的规则还是结合了大规模用户行为数据起码在线上应用场景复合词的归一和链指都被解决得不错。那么一个问题出现在哪儿规模多大是否一定要放在基础层解决各方案性价比是什么样子都是应当去想清楚的事情。又比如表格内容理解如将表格转换成结构化数据或者将表格里面的东西抽出来。这的确是一个可以玩一玩的问题但是在真正的工业上做这个事情是要干嘛呢例如我为什么要将一个半结构化的数据转换成另一个结构化的数据我为什么要将里面的特定信息抽出来干什么用呢搜索问答但是如果是搜索和问答的话现在 DeepQA 已经做的相当好了啊如果我把表格打平了变成 DQA 能够理解的格式喂进去是不是更香呢再延伸一下比如开放域信息抽取。当然笔者承认领域信息抽取是非常有意义的首先领域文本大多数表达方式单一、集中而将这类文本中特定的信息抽取出来或用于填槽或用于下游很多的辅助任务比如医疗领域的辅助诊疗等且领域的知识绝大多数也只存在于专业文档中。但是到了开放域问题就复杂得多了。首先就是表达形式相当多样且相当多的通用表达里面是不包含 schema 里面定义的 SPO 的意味着高质量的标注样本就很难拿到遑论把句式给训练好了。而如果记忆事实知识……这个问题卖萌屋的文章已经讨论过很多次了。其次信息抽取任务起初被设计出来是为了构造知识图谱但尴尬的是现有的大规模知识图谱基本上没有用信息抽取算法构建起来的基本都是使用大规模、多源头、由人工编辑而得的结构化数据辅之以大量的归一、消歧策略而成说一句略显嘲讽的话知识图谱构建真的是使用了“人工”智能。我们也可以放眼业界看看有哪个通用信息抽取模型真正地落了地。哪怕我们放开知识图谱不谈认为信息抽取的结果可以当作问答特征那么还是上面的问题为什么不直接拥抱 DQA 呢又例如知识图谱构建中的实体归一及 SPO 归一。实际上自动的归一方法业界几乎没有人做好过我们也能够看出些许问题。例如在飞机领域教练机和指导机如果没有相关背景是否知道它们的区别是什么桃花和山桃花如果没学过是否能够知道这两个压根不是同一个物种芒果和杧果又有什么区别甚至大熊猫、熊猫、猫熊这三者又要怎么分辨我们无法假设所有这些实体我们都有充分的语料去区分它哪怕有了语料其细微的区别我们也无法假设模型能够捕获它。我们看中深度学习模型就是看中它的泛化能力可是上面那些 case如果不特殊对待模型泛化起来谁也不知道会发生什么这在应用上一定是不允许的但是如果特殊对待了首先是否会影响模型的其他部分其次我们处理一次这种 case要枚举多少数据花费多少时间是否值得而如果我们把这类 case 都放到人工规则干预是否性价比更高些呢SPO 归一同样实际上在自然语义表达中P 的语义可以说根本是不靠谱的那么又只能像远程监督一样用 S 和 O 去约束、归一但是这又会有多少种情况呢最终是不是又变成了 garbage in garbage out 了总结综上我们可以看到不少工业界团队的问题总结起来就是太渴望创新了却又没有算法功底支撑放弃思考只想生搬硬套。他们往往过于相信大模型认为所有的问题都可以通过大模型解决同时又信了搞大模型的那些论文的邪将自己过多的精力放在了测试集打榜上从而忽略了自己的立足点——我的问题是什么这个问题到底有多大的价值。“什么问题可以放在基础模型层解决什么问题应该靠上层应用策略解决”这种策略分层能力是每个AI团队的负责人必备的素质。负责人需要有足够清醒的头脑及对行业有充分的洞察不要再为创新而创新了。后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群
