Geoffrey Hinton 表示，人工智能语言模型不仅仅是预测下一个符号，它们实际上以与我们相同的方式进行推理和理解，并且随着它们变得更大，它们将继续改进
Geoffrey Hinton是谁？
是一位著名的英裔加拿大计算机科学家和认知心理学家,被誉为"人工智能之父"。他在人工神经网络和深度学习领域做出了开创性的贡献,对现代人工智能的发展起到了关键作用。
ChatGPT前首席科学家伊利亚·苏茨克维尔Ilya 是Hinton在多伦多大学的学生,他们合作开发了AlexNet，是一种8层深度卷积神经网络,在2012年的ImageNet图像识别挑战赛中取得了突破性的成绩,性能远超以前的模型。 AlexNet的成功推动了深度学习在计算机视觉领域的广泛应用。2013年,lya 与Hinton共同创立了深度学习初创公司DNNresearch Inc,不久后该公司被谷歌以4400万美元收购。
网友讨论：
1、喜欢他对创造力的定义：“看到明显不同的事物之间的相似之处。”
2、克拉克第一定律：“当一位杰出但年长的科学家说某件事是可能的时，他几乎肯定是对的。当他说某事不可能时，他很可能是错的。”
3、工程师大多喜欢整齐有序的东西盒子，他们厌恶（正如我曾经共事的人经常说的那样）“模糊的概念”。我对从事软件行业并拥有哲学背景感到非常荣幸，因为所有这些都无法放在一个有序的盒子里。学习哲学是我学会拥抱灰色地带和细微差别的地方，并且以任何能力了解意识的本质都是一个相当大的灰色地带。
4、让我感到惊讶的是，一个生活在 2024 年并花了大量时间与大模型交谈的人，竟然认为他们不过是 "下一个符号预测者"。其实，它们几乎在所有方面都明显优于人类。
我问过 Llama3-70b，它给我列出了人类应该更擅长的 10 件事，而我只能指出 "幽默 "可以说是真的。我可以非常肯定地说，其他 9 项我都比较差。就智力和知识而言，我是一个高于平均水平的人。
5、“理解”和“推理”的定义很模糊
为了在回答问题时预测下一个符号，您需要对所有符号在训练数据中使用的方式如何在上下文中相互关联进行深入的统计表示。
现代人工智能的“奇迹”在于，人类的思想和交流是如此“基础”，以至于我们的整个精神宇宙都可以从我们的集体著作中推断出来。
正如埃莫·菲利普斯所说：“我曾经认为大脑是我体内最奇妙的器官。然后我就意识到是谁告诉我这件事了。”
6、我们的大脑实际上不擅长提出完全原创的想法，但我们很擅长重新混合和组合已经存在的想法
我认为这种幻觉是如此强烈，因为我们实际上并不知道自己是如何思考的，我们的大脑对我们来说似乎有点魔法，
它让我们产生一种错觉，以为自己是完全原创的、完全可以控制的，即使事实并非如此。
7、丹科·尼古拉耶夫（Danko Nikolaev）提出的智力的主导理论称为“实践生成”（Practopoeisis）。
他说，智能是从复杂的系统中产生的，并且具有多重遍历。
对于机器来说，第一次遍历的是原始数据。第二个遍历是神经网络（LLM）。第三次遍历是马尔可夫毯，
它只是一组马尔可夫链。简单地说，这可以被认为是“接下来发生的事情仅取决于现在的事态”。
因此，为了获得第三种遍历智能，需要有一个称为连续时间马尔可夫链的实时流上下文窗口。我相信这已经在 gpt-4o 中实现了，但没有任何细节或源代码我无法验证它。
这可能是这些科学家观察到的，只是他们不知道如何用语言表达。仅供参考，人类是 T3 智能，大约有 100T 个参数。GPT-4 可能是 1T 个参数。随着参数越来越大，更多的智能将会出现，系统提示和强化学习充当马尔可夫毯。
8、Hinton没有意识到语言到底有多么模糊。这就是哲学家继续玩语言游戏的原因。问 20 个人关于“自由意志”的问题，你会得到 20 个不同的答案。许多概念都是前语言的。章鱼、乌鸦和大黄蜂不需要任何语言就能展现出非凡的智力。