石家庄做公司网站,排名好的大连网站建设,制作图官网,客户管理系统内容编辑 | 萝卜皮深度学习已经能够成功预测 DNA 序列的表观基因组图谱。大多数方法将此任务定义为二元分类#xff0c;依赖峰值调用者来定义功能活动。最近#xff0c;出现了定量模型来直接预测实验覆盖值作为回归。随着具有不同架构和训练配置的新模型不断出现#xff0c;由于…编辑 | 萝卜皮深度学习已经能够成功预测 DNA 序列的表观基因组图谱。大多数方法将此任务定义为二元分类依赖峰值调用者来定义功能活动。最近出现了定量模型来直接预测实验覆盖值作为回归。随着具有不同架构和训练配置的新模型不断出现由于缺乏公平评估所提出模型的新颖性及其对下游生物发现的效用的能力一个巨大的瓶颈正在形成。在这里美国冷泉港实验室The Cold Spring Harbor Laboratory的研究人员介绍了一个统一的评估框架并用它来比较经过训练以预测染色质可及性数据的各种二元和定量模型。他们重点介绍了影响泛化性能的各种建模选择包括预测变量效应的下游应用。此外研究人员引入了一个稳健性指标可用于增强模型选择和改进变异效应预测。该研究以「Evaluating deep learning for predicting epigenomic profiles」为题于 2022 年 12 月 5 日发布在《Nature Machine Intelligence》。深度学习DL在预测 DNA 序列的表观基因组图谱方面取得了相当大的成功包括转录因子结合、染色质可及性、甲基化和组蛋白标记。通过学习序列-功能关系经过训练的 DL 模型已被用于各种下游任务例如预测与人类疾病相关的单核苷酸变异的功能影响。在过去的几年中为解决调控基因组预测任务而提出的各种 DL 模型已大大增加。各种各样的提议模型、训练它们的数据集、数据集的处理方式以及用于训练模型的技巧使得评估哪些创新正在推动性能提升变得具有挑战性。由于预测任务的框架方式各不相同因此并不总是很容易直接比较模型性能。例如以前的方法通常将任务构建为二元分类其中二元标签表示基于峰值呼叫者的功能活动。然而在将峰的振幅和形状折叠成二进制标签时有关可能编码在这些属性中的差异顺式调节机制的信息丢失了。最近出现了定量模型同样将 DNA 序列作为输入但现在直接预测实验读取覆盖值作为回归任务从而绕过了对峰值调用者的需要并保留了表观基因组轨迹的定量信息。由于分类和回归任务的标准指标不同因此目前还不清楚如何直接比较在二元任务和定量任务上训练的模型。为了解决这个问题Kelley 团队建议使用峰值识别器对他们的定量预测进行「二值化」这样可以将重叠区域与二进制标签进行比较。然而这种方法将评估狭隘地集中在根据峰值调用者注释为功能的基因组区域该区域有噪声并且对峰值调用者的参数选择敏感。或者Avsec 团队将二元模型的性能与二元模型的增强版本进行了比较后者附加了一个同时预测定量配置文件的输出头。虽然这衡量了定量建模的额外好处但这种方法需要重新训练模型的多个版本这可能对初始化敏感并且不容易扩展到与现有模型的比较。此外预测任务中的其他建模选择使得直接进行公平比较具有挑战性。例如现有的定量模型预测表观遗传图谱的不同分辨率。Basenji 以 128 个碱基对 (bp) 的分辨率预测非重叠分箱表观基因组概况而 BPNet 以碱基分辨率预测。比较不同分辨率的模型并不简单因为合并会影响覆盖值的平滑度进而影响性能指标。此外现有方法采用不同的数据扩充并分析训练和测试数据的不同子集进一步使任何直接比较复杂化。随着应用程序数量的不断增长建模创新的瓶颈正在形成因为科学家缺乏对新提出的模型进行批判性评估的能力。在这里冷泉港实验室的研究人员提出了一个针对监管基因组学数据训练的 DL 模型的评估框架称为 GOPHERGenOmic Profile-model compreHensive EvaluatoR。无论预测任务的框架如何该框架都可以对预测性能和模型可解释性进行系统比较。图GOPHER 概述。来源论文使用此框架研究人员对染色质可及性预测任务的定量模型和二元模型进行了严格评估以阐明模型架构、训练过程和数据增强策略中的有益因素。超越预测性能研究人员使用额外的标准评估每个模型(1预测对输入序列的小扰动的稳健性(2变异效应预测(3学习表示的可解释性。虽然之前的软件如 Janggu 和 Selene有助于处理生物数据主要集中在以峰值为中心的数据和高级 API 分别在 TensorFlow 和 Pytorch 中训练神经网络模型它们不关注跨不同预测任务的下游评估。相比之下GOPHER 提供了一个全面的模型评估框架除了使用各种数据扩充训练自定义深度学习模型外还支持基于峰值的二元分类和 bigWig 轨迹的定量回归分析的数据处理。GOPHER 还结合了许多流行的模型可解释性工具例如第一层过滤器可视化、全局重要性分析和归因方法包括计算机诱变、显著图、集成梯度和 SmoothGrad。使用 GOPHER研究人员解决了几个悬而未决的问题1如何公平地比较二元模型和定量模型2损失函数的选择如何影响性能3数据集选择如何影响模型性能4如何比较在不同分辨率下进行预测的定量模型5增强策略如何影响模型性能和对平移扰动的稳健性建模选择如何影响下游6功能变异效应预测和7模型可解释性。图功能效应预测的比较。来源论文虽然此处的研究侧重于 ATAC-seq 数据但最佳架构和训练程序的具体声明可能在其他数据类型例如 ChIP-nexus 和 CAGE-seq中存在细微差别。在这种情况下可能会出现其他考虑因素例如 GC 偏差和信号归一化。研究人员表示这些方面还有待进一步研究。另外该研究中探索的许多架构都依赖于纯卷积网络。Transformer 的出现可能具有更好的归纳偏差来捕获远端交互尽管基于卷积的网络和基于 Transformer 的网络的好处的基本原理仍然是一个正在进行的研究课题。由于在 Enformer 之外缺乏已建立的基于 Transformer 的模型该研究中仅关注基于卷积的模型。此外BPNet 和 Basenji 最初是为预测非常不同的数据类型和数据集大小而开发的。因此必须对每个模型架构进行修改以使其适应本研究中使用的 ATAC-seq 数据。这些选择可能影响了它们的表现。两个模型都表现良好的事实表明这里的的超参数优化减轻了任何实质性差异。总的来说该团队的工作在很大程度上支持定量建模在保留数据和 OOD 变量效应预测方面产生更好的泛化平均。当然调整良好的二元模型可以与设计不佳的定量模型相媲美甚至更好。目前尚不清楚二元模型是否从根本上限制了它们对功能活动的处理或者在训练过程中加入更多的非活动区域是否会提高性能。此外尚不清楚定量模型的性能提升是由于学习了更好的生物信号还是它们只是更好地学习了测序实验中的噪声源。一个主要的局限性是由于关注性能而产生的——将实验测量视为基本事实尽管重复和技术噪音之间存在生物学差异。因此关注重要的下游任务例如变体效应预测和模型可解释性就像这里所做的那样提供了一条超越性能基准的途径可以转向基因组 DL 模型的有益用例——生物发现。论文链接https://www.nature.com/articles/s42256-022-00570-9相关报道https://techxplore.com/news/2022-12-ai.html人工智能 × [ 生物 神经科学 数学 物理 材料 ]「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展。欢迎关注标星并点击右下角点赞和在看。点击阅读原文加入专业从业者社区以获得更多交流合作机会及服务。
