幻觉与创新：AlphaFold3为何失败？

AlphaFold3 是一个技术杰作：

  • 它减少了多序列比对的使用（需要使用相似的例子来预测蛋白质相互作用），并引入了一个新的扩散模块来进行结构预测。

换句话说：

  • 他们在提高整体性能的同时简化了 AlphaFold2。
  • 由于使用生成扩散方法容易产生幻觉，所以这不是一件容易的事。

什么是扩散模型？
扩散模型（也称为扩散概率模型）：使用变分推理训练的马尔可夫链。

扩散模型的目标是通过对数据点在潜在空间中扩散的方式进行建模来学习数据集的潜在结构。

扩散模型于 2015 年提出，其灵感来源于非平衡热力学。

扩散模型可应用于多种任务，包括图像去噪、修复、超分辨率和图像生成。例如，图像生成模型将从随机噪声图像开始，然后在对自然图像进行逆扩散过程训练后，该模型将能够生成新的自然图像。

OpenAI 于 2022 年 4 月 13 日发布的文本到图像模型DALL-E 2就是一个最近的例子。它对模型的先验（给定文本标题生成图像嵌入）和生成最终图像的解码器都使用扩散模型。

生成模型与幻觉
一般来说，生成模型（包括但不限于生成扩散模型）容易产生幻觉。幻觉是指生成的输出看似合理，但不准确或没有基于给定的输入数据。以下是生成模型容易产生幻觉的一些主要原因：

生成模型中出现幻觉的原因

  1. 训练数据限制：
    • 质量：如果训练数据包含噪音、错误或偏差，模型可能会学习重现这些缺陷，从而导致幻觉输出。
    • 数量：训练数据不足会导致模型无法学习数据的真实分布，从而导致其产生不合理的结果。
  • 模型复杂度：
    • 过度拟合：具有许多参数的复杂模型可能会过度拟合训练数据，捕获噪声和虚假模式而不是底层数据分布。
    • 泛化：从训练数据推广到看不见的输入的挑战可能导致生成的输出不能准确反映意图
  • 概率性质：
    • 生成模型通常从学习到的概率分布中进行采样。此采样过程可以产生不直接与特定输入数据相关的输出，从而导致
  • 调理和指导：
    • 弱条件作用：如果
    • 不一致的条件：不匹配
  • 模型架构和目标：
    • 生成模型的架构和对象

    类型

    1. 生成对抗网络 (GAN)
    2. 变分自动编码器 (VAE)
    3. 自回归模型（递归模式 大模型LLM）
    4. 扩散模型

    如何避免幻觉？
    在设计生成模型时，通常需要根据应用情况平衡创造力和准确性：

    • 对于重视创新应用（例如音乐、绘画、小说、编程、科研写作），创造力至关重要，一定程度的幻觉可能是可以接受的，甚至是可取的。
    • 对于事实应用（例如新闻生成、教育内容、医疗信息），准确性至关重要，并且必须尽量减少幻觉。这部分搜索引擎已经可以完全担任。

    AlphaFold3创新来源于幻觉？
    由于使用生成扩散方法容易产生幻觉，所以这是一件有趣的事情。

    AlphaFold3 整合了已开发的用于预测特定相互作用的模型中的元素（因此您可以将其视为一种概括或预测不同类型相互作用的单一模型）。此外，该模型的分辨率要高得多。

    总而言之，AlphaFold3 的表现优于研究人员在寻找新药时使用的各种软件和模型。这一切都归功于一个模型。

    AlphaFold3 是否会产生与之前版本相同的颠覆性影响？
    AlphaFold2 发布时，所有研究人员都可以使用整个代码。但 AlphaFold3 带有“伪代码”（幻觉），无论它有多详细，都无法轻松重现模型。

    传统上，最负盛名的研究期刊对代码发布一直以来都存在模糊性，但在出现AlphaFold3伪代码情况下，就开始明确表示不能发布伪代码。

    此举激起了科学界的愤怒，并最终引发了一封公开批评信：

    我们对 AlphaFold3 在《自然》杂志上发表时缺少代码甚至可执行文件感到失望。尽管 AlphaFold3 扩展了 AlphaFold2 的功能，包括小分子、核酸和化学修饰，但它是在没有以高通量方式测试和使用该软件的手段的情况下发布的。——来源

    出乎意料的是，《自然》杂志发表社论回应了批评，解释了其同意发布 AlphaFold3 但未提供代码或模型的原因。

    在生物医学领域，只有被社区采用（复制、使用、修改和调整）的东西才算真正成功。

    LLM大语言模型
    近几个月来，一些面向健康领域的开源模型已经问世。研究人员对这些模型进行了微调，以获得能够生成新序列的LLM 。还代表原始解决方案的模型，例如蛋白质语言模型（结合大型语言模型和蛋白质模型的模型）。

    这些模型向我们展示了未来的一些趋势。研究人员正在将开源模型用于医学和生物学应用。

    • 一开始，AlphaFold2 和 ESMfold 等模型用于推理以预测蛋白质的结构。然后，生物学家在他们的出版物中或用于假设生成中使用这些结构。
    • 在第二阶段，当研究人员想要使这些模型适应特定任务时，他们会对这些模型进行微调。或者当他们需要不同的模型时（并且可用的模型不具备这些功能），他们会组合这些模型。

    AlphaFold3 将作为对学术界的“警示”
    提醒他们依赖 DeepMind 等科技公司开发和分发 AlphaFold 等工具的风险。

    AlphaFold2 已证明能够根据序列预测结构。它并不是研究的终点，因为它有几个局限性。AlphaFold3 弥补了其中一些缺陷，但是：

    • AlphaFold3 不会对社区产生同样的影响，因为它是封闭源，因此研究人员不能自由使用。
    • 幻觉也限制了它的实用性。


    这场革命分为三个阶段：

    • 在第一阶段，研究人员按原样使用 LLM。仅用于推理，并且大多数情况下通过专用服务器。这种用途主要是为了产生新的科学假设。
    • 在第二阶段，模型被修改或调整以适应特殊情况。研究人员使用专有数据对模型进行微调，或提取表示以用于其他应用程序。随着更多模型可用，社区开始将它们组合成越来越复杂的管道。
    • 在第三阶段，几个团队开始从头开始创建模型。对于许多应用来说，从头开始训练模型比修改为其他内容训练的模型更便宜。