单品商城网站源码,网络营销策划书范文模板,定制软件开发流程,屏蔽wordpress更新来源#xff1a; 集智俱乐部作者#xff1a;梁金编辑#xff1a;邓一雪导语之前的研究表明#xff0c;还原并非总是好的科学策略#xff0c;一些情况下#xff0c;降维可以增加系统元素之间的依赖性#xff0c;使得粗粒化的宏观尺度比底层微观尺度携带更多有效信息… 来源 集智俱乐部作者梁金编辑邓一雪导语之前的研究表明还原并非总是好的科学策略一些情况下降维可以增加系统元素之间的依赖性使得粗粒化的宏观尺度比底层微观尺度携带更多有效信息这种现象被称为“因果涌现”。因果涌现理论的提出者 Erik Hoel 和同事在2022年5月发表的最新论文「作为信息转换的涌现一个统一理论」中提出了一个基于信息转换的关于涌现的数学框架证明粗粒化可以将信息从一种“类型”转换为另一种。从这个视角而言从微观到宏观的因果涌现可以理解为因果无关信息到因果相关信息的转换。本论文收录于 The Philosophical Transactions of the Royal Society A 2022年5月的主题特刊“复杂物理和社会技术系统中的涌现现象从细胞到社会”。研究领域因果涌现因果关系因果量化论文题目Emergence as the conversion of information: a unifying theory论文地址https://royalsocietypublishing.org/doi/full/10.1098/rsta.2021.0150一、因果涌现一种更高尺度的信息转换还原论是科学中的经典原理。与此同时科学本身形成了多样的树状结构包含不同时空尺度的元素如量子物理中的波、化学中的分子、生物学中的细胞一直到宏观经济学和社会学。另一方面宏观尺度的描述如细胞的生物物理模型、计算机中的机器代码或食物网中的生物体通常被认为是反映了功能的某种内在尺度不能通过还原来改进。这导致了科学的理论与实践之间存在矛盾。解决这一矛盾的一个办法是还原论的“零假设”所有宏观描述是某种形式的降维如粗粒化仅在计算约束下有用。根据这个假设这是因为底层的微观尺度包含所有信息信息压缩只是为了在宏观层面上分析和理解系统。对于给定信息源信息压缩可能是无损的或有损的但永远不可能导致总体的信息增加。既然在宏观尺度上总体信息不可能增加那是否意味着宏观尺度不能在微观尺度之外提供更多东西呢因果涌现理论从信息论视角对系统的不同尺度进行了明确比较该理论认为宏观尺度的因果关系可能比微观尺度更强比如做更多功、更有预测性、信息量更大。总的来说因果涌现理论的观点是由于宏观状态更具有确定性、更不简并它们做了最多功来选择输出有效信息可以识别功在哪个时空尺度最大化使得功最大化的尺度就是最具因果关系的尺度无论是宏观还是微观。参看《量化因果涌现表明宏观可以战胜微观》信息不可能凭空产生。系统整体的信息无论是用系统状态的熵、描述总体相关性的互信息来度量在宏观尺度上永远不可能增加。然而信息可以从一种类型转换为另一种类型除了尺度不同外没有其他变化这意味着在宏观尺度特定类型的信息可能增加。从这个角度而言可以认为因果涌现是一种更高尺度的信息转换information conversion在宏观尺度因果相关的信息增加。本文试图用互信息证明跨尺度的信息转换。以布尔网络为例其过去和未来状态之间的互信息在宏观尺度上只会减少或保持不变通过将信息分解为部分信息原子PI atoms可以看到整体信息在系统的所有元素上如何分布。研究表明经过粗粒化微观尺度的冗余信息可以转换为宏观尺度的协同信息即使在没有互信息丢失的情况下这种效应也存在。二、将信息进行原子化分解布尔网络Boolean network是复杂系统科学中的一个典型模型。在布尔网络中随着时间推移每个节点的状态可以根据其所有父节点状态的逻辑函数而变化。系统可以看作是信息从过去通过现在的通道传递到未来。我们可以通过计算网络的过去和未来状态之间的互信息来量化这种信息流。具体而言如果X表示网络的过去状态Y表示未来状态它们的互信息 I(X,Y) 量化了关于系统过去状态的知识在多大程度上减少了对未来状态的不确定性。计算互信息可以获得系统动力学中的总信息量但如果系统中包含两个以上变量互信息无法直接洞察信息在多个相互作用变量的集合上如何分布。例如考虑两个源变量X1和X2调节单个目标变量Y的情况我们很容易确定X1和Y之间共享的信息即互信息 I(X1;Y)X2与之类似也可以计算出联合互信息 I(X1, X2; Y)但无法确定哪些信息与哪些变量组合相互关联。比如一些关于Y的信息可能是X1单独提供而不包含在X2中的一些可能是X1和X2之间冗余共享的一些信息则可能只有X1和X2的联合状态才能共同揭示而不能从其中任何一个变量单独获得。部分信息分解Partial Information Decomposition, PID提供了一个方法可以将互信息进行原子化拆分。对于上面的例子两个源变量X1和X2的联合状态和单个目标变量Y之间的互信息 I(X1, X2; Y) 可以分解为如下的“部分信息原子”之和其中 Red(X1, X2; Y) 对应前面提到的X1和X2之间冗余共享的关于Y的信息我们称之为冗余信息Uniq(X1; Y|X2) 表示X1单独提供而不包含在X2中的关于Y的信息称为X1的单独信息Syn(X1, X2; Y) 表示只有X1和X2的联合状态才能共同揭示的关于Y的信息称为协同信息。一个形象的例子是我们的两只眼睛会共同接收视野中的信息传输给大脑如果闭上一只眼睛我们会发现每一只眼睛都提供了视野边缘的一些“单独信息”与此同时一些信息是两只眼睛都能捕捉到的“冗余信息”比如与颜色有关的信息往往是冗余的因为它对于识别物体非常重要眼睛通过这种冗余机制确保了视觉的稳健性与可靠性。另外关于空间深度的立体信息是需要两只眼睛相互协作才能提供的“协同信息”它帮助我们的大脑感知到第三维度。简而言之互信息分解公式可以粗略表示为互信息 单独信息 冗余信息 协同信息随着源变量的数量增加需要考虑的源变量组合的数量以超指数增长部分信息分解也变得非常复杂。不过有趣的是这些源变量的组合会自然地组织成一个部分有序的格点越是冗余的信息原子越靠近格点底部协同信息则靠近格点顶部我们称之为部分信息格点PI lattice。例如对于三个源变量的情况图1PI 格点的底部是 {0}{1}{2}表示三个源变量中冗余存在的关于目标变量的信息顶部是{012}表示只有联合考虑三个源变量时才能揭示的关于目标变量的信息不能通过任何“更简单”的源变量组合来获得。图1. 在两幅图中左侧表示三个源变量的部分信息格点右侧表示部分信息谱。根据系统的PI格点可以构建PI谱计算信息原子在格点中的相对位置以此衡量信息的协同程度。左边的系统协同偏差较低关于未来状态的大部分互信息冗余地包含在所有元素{0}{1}{2}或其他高度冗余的PI原子如{0}{1}中。右边的系统中三个元素具有高度的协同偏差关于未来状态的信息大部分只存在于三个元素的联合状态{012}中。衡量系统中的协同信息比例对于包含超过两个元素的系统我们不再能将互信息简单地拆分为冗余信息、协同信息、单独信息而是需要构建一个部分信息谱Partial Information Spectrum计算信息原子在 PI 格点中的相对位置是靠近底部还是顶部以此衡量信息的冗余和协同程度。PI 格点中越是靠近顶部的原子包含更多协同信息同一层的信息原子具有相同的冗余-协同比率因此可以将部分信息谱 S 看作一个有序序列。我们进一步定义协同偏差synergy bias定量比较不同 PI 格点顶部所包含的协同信息比例。系统的协同偏差定义为每一层的归一化部分信息Si 是第 i 层的所有信息原子占总互信息的比例乘以该层相对于格点底部的距离层数 i 除以格点总层数 |S|协同偏差越大表明大部分部分信息存在于元素的协同关系中协同偏差越小表明大部分部分信息冗余存在于多个元素中。三、跨尺度信息转换的证据1. 宏观尺度信息的协同作用增加论文首先以逻辑门为例展示跨尺度信息转换。通过将3个基本逻辑门与、或、异或分解为具有更简单机制的微观尺度逻辑门可以直接比较微观尺度和宏观尺度各自的部分信息分布。以「异或门」XOR为例如图2所示它在宏观尺度包含3个元素XOR输入A和B在微观尺度可以分解为一个「非门」、一个「与门」和一个「或门」组成的网络共包含5个元素NAND、AND、OR输入A和B。计算相同输入下宏观尺度和微观尺度的互信息可以发现在微观尺度系统的互信息为2.5比特在宏观尺度则是1比特。使用PID对结果进行分解系统的协同偏差从微观尺度的0.52增加到宏观尺度的0.83表1。也就是说虽然宏观尺度的整体互信息减少但信息的协同作用增加。对于「或门」和「与门」也是如此尽管程度较轻。图2. 三种逻辑门右侧及其底层微观尺度逻辑门网络左侧的部分信息谱。从上到下分别为与AND、或OR、异或XOR 。协同偏差和互信息如表1所示。表1. 三种逻辑门的互信息和协同偏差。从微观到宏观随着粗粒化程度提高互信息降低协同偏差增加。这表明从微观到宏观尺度虽然降维减少了系统的总信息量但“剩余”信息可以在宏观PI格点上移动到更高层级。也就是说像粗粒化这样的降维可以改变系统PI格点的信息分布即使这两种尺度只是对同一系统的不同描述。2. 随着粗粒化冗余信息转换为协同信息对于上面的例子有人可能质疑从微观到宏观尺度协同信息的比例增加或许只是因为PI格点底层的冗余信息在降维过程中丢掉了。论文提供了另一个更直接的例子来说明信息确实是从一种类型转换为另一种类型即从冗余信息转换为协同信息。首先生成一个布尔网络用转移概率矩阵TPM表示作为起始的宏观尺度然后如图3所示将这个网络上的其中一个节点分裂成两个节点然后继续分裂就从宏观系统逐步变成更小尺度的中观系统、微观系统。通过在新的扩展状态空间中重新分配转移概率可以确保随着维度增加系统的整体互信息保持不变。由于系统互信息在不同尺度保持不变协同偏差的任何变化必然来自信息转换而非信息丢失。图3. 在互信息固定的情况下从给定的宏观尺度构建微观尺度。左侧为一个三元素系统选择单个节点 (A) 扩展为两个节点 α 和 β形成一个四元素系统中选择另一个节点 (α) 再次扩展得到最终的微观系统右。在节点扩展过程中从过去到未来状态的整体互信息保持不变。下面一行是对应的转移概率矩阵Transition Probability Matrix, TPM。反过来对微观尺度不断进行粗粒化可以发现从微观到宏观转换过程中协同偏差的增加与宏观协同偏差之间具有明显的正相关关系图4。这表明即使系统的总互信息在跨尺度情况下保持不变宏观尺度上协同偏差增加微观尺度上冗余信息增加。因为总互信息保持不变宏观尺度上协同信息的增加只可能来自微观尺度上冗余信息的减少。这也证明降维可以通过将信息更多地转换为协同信息来增加系统的整体协同性。图4. 协同偏差的跨尺度变化。从微观尺度到宏观尺度协同偏差的变化与宏观协同偏差两者之间存在明显的正相关关系。四、因果涌现作为信息转换我们看到从微观尺度到宏观尺度信息转换的证据那它和关于涌现的其他信息论方法有何关系如何在捕捉因果效应的有效信息Effective information, EI测量中发挥作用研究已经证明有效信息的跨尺度变化源自确定性determinism和简并性degeneracy的变化有效信息 确定性 - 简并性其中确定性衡量从某个状态出发可以在多大程度上确定性地决定系统的未来状态一个完全确定性的系统其当前状态以概率1决定系统下一时刻的状态。简并性衡量当系统处于某个状态时可以在多大程度上确定系统的过去状态一个极端简并的系统其所有过去状态最终都收敛到相同的最终状态反之一个完全不简并的系统其过去状态会确定一个唯一的最终状态。在一个具有完美因果机制的系统中每个原因都有一个唯一的结果每个结果都有一个唯一的原因它是完全可追溯、完全可预测的。这样的系统其确定性最大化而简并性最小化有效信息在宏观尺度不可能增加因为此时没有可以转换的信息。从这个角度因果涌现可以理解为因果无关信息如状态转变的不确定性到因果相关信息有效信息的转换。未来的进一步工作可以研究协同信息在什么尺度达到峰值或者找到在什么尺度可以最大限度转换信息同时最小化丢失信息。尽管这项研究证明了一些冗余信息转换为协同信息究竟是哪些信息改变了形式还有待理解。这篇论文的假设是物理之上的其他科学学科以及一般的宏观模型涉及到冗余信息到协同信息和单独信息的转换使得这种宏观尺度对实验者非常有用。将这一点与之前的研究联系起来宏观模型可以通过使模型中变量之间的因果关系更加依赖通过增加确定性或减少简并性将因果无关的信息转换为因果相关的信息实现因果涌现。需要注意的是确定变量之间的依赖性在什么尺度更强要容易得多。例如有研究表明生物网络比技术或社会网络显示出更多的因果关系。这可能是因为宏观尺度有多种优势比如随机游走的熵更低宏观尺度有更高的全局效率。一些初步研究观察了超过1000种蛋白质相互作用组表明在宏观尺度上更有可能在演化时间内表现出因果涌现。这或许也是控制生物系统如此困难的一个原因它们将内在的功能尺度隐藏在难以发现的宏观尺度中这使得生物网络更加稳健不容易受外部变化影响。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
