这篇来自麻省理工学院的文章揭示了大型语言模型 (LLM) 的一些潜在革命性的东西——它们所做的不仅仅是文字游戏。它们实际上是在自己形成时间和空间的连贯表示。
它揭示了大型语言模型 (LLM) 的潜在革命性特征。这些模型正在形成时间和空间的连贯表示。他们在这些模型中确定了负责理解空间和时间维度的特定“神经元”。
麻省理工学院的 Wes Gurnee 和 Max Tegmark 撰写的论文《语言模型代表空间和时间》探讨了大型语言模型 (LLM) 是否不仅仅学习统计数据的集合，以及它们是否能够形成连贯的世界模型。作者通过分析 Llama-2 系列模型中三个空间数据集（世界、美国、纽约地区）和三个时间数据集（历史人物、艺术品、新闻标题）的学习表示来对此进行研究。
研究发现大模型可以学习跨多个尺度的空间和时间的线性表示。该论文还识别了编码空间和时间坐标的单个“空间神经元”和“时间神经元”。这就像功能磁共振成像扫描人类大脑在不同活动期间的活动。这表明现代大模型获得了有关空间和时间等维度的结构化知识，支持了他们学习世界模型而不仅仅是肤浅的统计数据的观点。
如果像 Llama 这样的大模型正在自主开发概念，那么鉴于传闻中的 GPT-5 进步，这意味着什么？
我们正在讨论的模型据说具有多模式功能（视频、文本、图像、声音，可能还包括 3D 模型）和参数，其参数超出当前一代的一个或两个数量级。