大语言模型和语言理论之争论


这篇文章讨论了大语言模型(LLM)和语言学领域之间的关系,大语言模型和语言学:探索联系并重新开启辩论。

大型语言模型的开发主要是工程的壮举,到目前为止很大程度上与语言学领域脱节。探索这两个方向之间的联系正在重新开启语言研究中长期存在的争论。

为了开始讨论这两个领域之间的联系,需要区分计算语言学和其他类型的语言学——理论语言学、认知语言学、发展语言学等。

  • 计算语言学传统上使用计算模型来解决语言学中的问题,并与自然语言处理领域接壤,
  • 而自然语言处理又为机器翻译等实际应用构建语言模型。

虽然大模型是独立于语言学而发展的,但它们的成功正在重新引发该领域的争论:
  • 现代语言学先驱诺姆·乔姆斯基 将大模型比作推土机,它们是有用的工具,但“不是对科学的贡献”。
  • 然而,其他科学家却持有截然相反的观点:加州大学伯克利分校心理学和神经科学教授史蒂文·皮安塔多西 (Steven Piantadosi) 最近表示,大模型是语言学习的“精确而正式的描述”,他们的成功带来了乔姆斯基的影响力。

更平衡的观点承认大模型在语言生成方面的优势,但在世界知识和语用学方面存在局限性。尽管大模型擅长语言,但它们并不是思维模型——或者用语言术语来说,他们在形式能力方面取得了成功,能够生成有意义且连贯的文本并复制一些复杂的类人语言行为,但在功能能力方面却失败了,这就是与世界知识和语用学有关。


目前大模型与语言学和人类认知关系不大,未来它们的分歧可能会更大,然而,语言学领域显然受到大模型工具发展的影响,这些大模型工具是如此强大,以至于它们的输出很容易与人类生成的文本混淆。

因此虽然目前存在分歧,但语言学可能会受益于大模型作为语言习得和处理建模的工具。大模型再次重新开启了一些已经持续了数十年的语言学争论,并且希望它们能够在未来的语言研究工作中得到很好的利用。