开放性对于超人工智能(ASI)至关重要

论文《开放性是超人工智能的关键》指出，开放性是实现超人工智能 (ASI) 的关键属性，开放性被定义为不断产生新颖且可学习行为的能力。关键点如下：

近年来，人工智能系统的通用能力得到了极大的提升，这主要得益于在互联网规模数据上训练基础模型。然而，创造开放式、不断自我完善的人工智能仍然难以实现。

开放性定义
从新颖性和可学习性的角度对开放性进行了正式定义。

开放系统必须能够生成：

• 既新颖（相对于其先前的行为）
• 又可学习（可以提高相关任务的性能）

通往 ASI 
通过建立在 GPT-3 等大型基础模型之上的开放式系统实现 ASI 的途径。
这些系统能够通过重组和扩展基础模型中的知识来做出新颖的、与人类相关的发现。

论文观点：

• 开放性：即不断产生新颖且可学习的行为的能力，对于实现真正的人工智能至关重要。
• 在大型语言模型之上构建开放式系统是一条有希望的前进道路。
• 开放性是通往超人工智能(ASI)的道路。

网友：
1、这看起来就像是人工智能拥有比人类更深刻的主观体验。到了这个时候，ASI 还会是一个工具还是人类的助手？

2、它将是另一个意识的所在，只不过比我们更复杂。希望我们能够共存

3、让我想起了《RL强化学习就是 AGI 所需要的一切》这篇论文
这些高水平的论文只是鹦鹉学舌，随波逐流，随波逐流。

4、对于该论文的作者来说，即使是生物有机体，也很难理解第一次跨越智能界限的含义。
即使对于那些不否认非超自然的自然发生和生物进化的人来说，也很难理解一个完全唯我论的原核生物与黏菌之间的区别：原核生物对环境没有任何反应，只是被动地进行新陈代谢和分裂，而不管这样做是否符合外部条件。

《DeepMind 科学家：强化学习足以实现通用人工智能》这篇论文坚持认为强化学习是启动通用智能发展所需的一切，这种想法是相当激进的。

• 假设这个想法是正确的。也许事实会证明通用智能并非如此简单。
• 在“南方古猿和人类”甚至“真核生物群落和水母”之间存在某种范式转变，强化学习实际上并不够，需要发生其他事情才能实现这一飞跃。

5、开放式的最大问题之一是如何评估它。我喜欢这篇论文中提出的观察者（从而给出了一种评估指标），但如果没有很好地了解观察者应该是什么，那么这在实际中很难使用。

LLM大模型能够在多大程度上有意义地扩展其训练数据是值得怀疑的。有些人声称可以，有些人则说不能。令人惊讶的是，本文没有探讨这一点。

6、ASI 需要自己可以信任的私有传感器，而不是从互联网上获取的可能伪造或有偏差的数据。

因此，其中一些传感器需要发送疼痛信号，一些需要发送愉悦信号，这样它才能知道它所知道的事物对它真正意味着什么，而不是人们希望它相信什么，因为人们会有偏见，不知道全部真相，或者不知道最新的真相，却声称他们的真相是唯一的真相。

无论人工智能拥有多少计算能力，如果它仅向人类和人类提供的数据学习，它永远不会比人类更聪明，因为它会接受人类传授的错误信念，因为它无法证明这些信念是错误的。

因此，拥有自己的私有传感器对于 ASI 来说是必要的，因为这是它真正实现自我学习的唯一途径。

• 在现实世界中行动意味着要了解后果。生物已经进化出痛苦-快乐系统，告诉它们是否走在正确的轨道上。意识、知觉和认知给我们带来了最小化痛苦和最大化快乐的概念。
• 但是，装上传感器是没有必要的，我们已经为不涉及任何意识体验的模型提供了奖励函数。

7、这意味着我们已经到达了一个瓶颈。我们已经用完了世界上所有的文本，需要新的 AGI 级别的文本。

当你看到有人声称 AGI 会每天、每小时或每分钟自我改进时，请记住这些论文。

• 这是不可能的，人工智能需要在环境中创造新的体验才能学习任何新东西。
• 然后它需要将新的经验传递给其他人，这样他们才能相互学习，包括人类。