响应式 学校网站模板,牡丹江最新信息网,上海十大服装外贸公司,个人小程序开发多少钱文章目录 一、前言二、主要内容三、总结 #x1f349; CSDN 叶庭云#xff1a;https://yetingyun.blog.csdn.net/ 一、前言 随着对话智能体的表现越来越像人#xff0c;我们必须开发出有效的方法#xff0c;在不陷入拟人化陷阱的情况下#xff0c;用高层次的术语描述它们的… 文章目录 一、前言二、主要内容三、总结 CSDN 叶庭云https://yetingyun.blog.csdn.net/ 一、前言 随着对话智能体的表现越来越像人我们必须开发出有效的方法在不陷入拟人化陷阱的情况下用高层次的术语描述它们的行为。
在本文中我们强调角色扮演的概念。从角色扮演的角度来看待对话智能体的行为可以让我们借鉴熟悉的民间心理学术语而不会把人类的特征强加给事实上缺乏这些特征的语言模型。对话智能体行为的两个重要案例即明显的欺骗和明显的自我意识就是这样处理的。
Nature Perspective 原文https://www.nature.com/articles/s41586-023-06647-8 二、主要内容 解密对话智能体行为对话智能体的角色扮演框架
现在大语言模型LLMs已经能够模拟人类互动进行对话令人印象深刻。然而如何理解这些对话智能体却是一项挑战。使用人类风格的术语来描述它们的行为可能会导致拟人化将人类的特征赋予这些人工智能系统。本文提出了另一种方法即使用角色扮演的概念既能使用熟悉的术语又能承认 LLMs 独特的非人类性质。
从根本上说LLM 可以根据大量训练数据预测文本序列中的下一个单词。当这种模型嵌入对话系统时它们会在用户输入和人工智能生成的回应之间交替转换。通过提示和采样技术实现无缝转换引导对话代理朝特定方向继续对话。然而如果没有从人类反馈中强化学习等措施这些代理很容易生成不良内容。这凸显了对其行为进行细致入微的了解的必要性。
对话智能体擅长根据提示和用户互动提供的线索扮演角色。我们可以通过两个比喻来理解对话智能体的行为。首先对话智能体就像扮演特定角色的演员其次对话智能体相当于可能叙述的 “多元宇宙” 中的多个潜在角色或模拟角色。这种多重宇宙的视角可以让我们更准确地理解尤其是在考虑智能体的行为如所谓的欺骗或自我意识的表达时。
当对话智能体参与对话时它们并不致力于扮演一个单一的、定义明确的角色而是产生一系列潜在的角色巧妙地保持模拟的叠加。为了更好地理解对话代理的行为我们可以把 LLM 视为一个非确定性模拟器它可以产生无限多的模拟角色。从概念上区分对话智能体的角色扮演和实际智能体对于理解其能力和塑造安全的人工智能实践至关重要。尽管这些对话智能体具有复杂的角色扮演能力但它们缺乏真正的自我意识或自我保护本能。然而它们模仿这些特征的能力会对现实世界产生影响为确保它们在安全和道德的范围内行事提供了机遇和挑战。
要点总结
本文讨论了如何通过使用角色扮演概念来更好地理解大语言模型LLMs同时承认其非人类性质。对话系统中使用的大语言模型可以模仿人类对话但需要引导以避免产生不良内容。对话智能体被比作扮演角色的演员或存在于可能叙事的 “多元宇宙” 中以帮助理解它们的行为。对话智能体可以创造一系列潜在的角色作为非确定性模拟器产生无限的模拟。理解对话智能体的角色扮演与实际智能体之间的区别对于人工智能的安全和道德使用至关重要。 三、总结 也许知道基于 LLM 的对话智能体不是有意识的实体没有自己的议程和自我保护的本能当他们看起来有这些东西时那只是角色扮演这多少会让人放心一些。但是如果因此而过于欣慰那就大错特错了。角色扮演求生本能的对话智能体有可能造成的伤害至少不亚于面临严重威胁的真实人类。 除非你是一个演员或骗子否则你不会扮演这些角色而是生活这些角色并在现实世界中采取相应的行动。—— Yann LeCun 迄今为止我们主要考虑的是只向用户发送文本信息的智能体。但是对话智能体可以执行的操作范围要大得多。最近的研究已经为对话智能体配备了使用计算器、日历等工具以及查阅外部网站的能力。有了应用程序接口APIs就可以相对无限制地使用强大的 LLMs这意味着对话智能体的可能性是巨大的。这既令人兴奋又令人担忧。
如果一个智能体有能力使用电子邮件在社交媒体上发帖或访问银行账户那么它在角色扮演中的行为就会产生真实的后果。如果一个用户被骗向一个真实的银行账户汇去了真钱而他知道造成这种情况的智能体只是在扮演一个角色那他就不会感到欣慰了。不需要太多的想象力就能想到更严重的情况即对话智能体建立在基本模型上几乎没有微调可以不受限制地访问互联网并被要求扮演一个具有自我保护本能的角色。
无论好坏人工智能为确保自身的生存而与人类反目成仇的形象已为人们所熟知。例如我们在《2001太空漫游》、《终结者》系列电影和《Ex Machina》中都能看到这种情况这里仅列举三个突出的例子。因为 LLMs 的训练数据将包含这种熟悉的比喻的许多实例所以这里的危险是生活会模仿艺术毫不夸张地说。
如何才能降低这些风险提出建议不属于本文的讨论范围。我们的目的是找到一个有效的概念框架用于思考和讨论 LLMs 和对话智能体。然而不适当的拟人化肯定不利于关于人工智能的公共对话。通过从角色扮演和模拟的角度来构建对话智能体的行为我们希望关于 LLMs 的讨论能够以一种既能发挥其威力又在哲学上值得尊重的方式进行。 人类也是如此。他们中的大多数人每天都扮演着不同的角色。父亲/母亲、丈夫/妻子、工人、学生、CEO。这是一盘社会棋。在家里他们穿的衣服和工作时不一样。他们说着不同的话有时他们会撒谎人类也会犯很多错误。 ️ 参考链接
Nature大模型只会搞角色扮演并不真正具有自我意识Twitter New paper, “Role-Play with Large Language Models”, co-authored with Kyle McDonell and Laria Reynolds:沈向洋致 AI 时代的我们 —— 请不要忽视写作的魅力
