诺贝尔奖、图灵奖双料得主杰弗里•辛顿 WAIC演讲全文
作者: CBISMB
责任编辑: 宋慧
来源: ISMB
时间: 2025-07-28 15:59
关键字: WAIC,AI,图灵奖
浏览: 1986
点赞: 90
收藏: 142
诺贝尔奖、图灵奖得主、多伦多大学计算机科学名誉教授 Geoffrey Hinton: 数字智能是否会取代生物智能?
从大约60年前开始,AI就发展出了两种不同的范式。一种是「符号主义」路径,强调逻辑推理的能力。我们通过规则操作符号来进行推理,这种方式可以帮助我们理解知识是如何被表达与处理的。这类AI模型的基础是对符号的处理,被认为更符合逻辑智能的本质。
另一种路径则以生物智能为基础,是图灵与冯·诺依曼更倾向相信的方式。他们认为智能的本质在于从神经连接中学习,在于速度、结构和连接模式的改变。这种「连接主义」强调的是学习与适应,而非显式的逻辑规则。
1985年,我曾构建过一个非常小的模型,试图将这两种理论结合起来。我的想法是:每一个词都可以由多个特征(features)表示,而这些特征之间可以被用来预测下一个词。这个模型不存储完整的句子,而是通过生成语言来学习词汇之间的关系。
这种方式强调语言中的「语义特征」——也就是说,我们并不是仅仅靠规则,而是通过「理解」词汇的语义来进行预测。这为后来计算语言学界接受特征表示打下了基础。二十年后,这种思想得到了进一步发展,例如被用于构建更大规模的自然语言处理系统。
如果问未来30年会发生什么,从发展轨迹能看到一些趋势。十年后,有人沿用这种建模模式,但将规模大幅扩大,使其成为自然语言的真实模拟。20年后,计算语言学家开始接受用特征向量嵌入来表达语义。又过了30年,谷歌发明了 Transformer,OpenAI的研究人员也向人们展示了它的能力。
所以我认为,如今的大语言模型就是我当年微型语言模型的“后代”。它们使用更多词作为输入,采用更多层的神经元结构,由于需要处理大量模糊数字,学习特征之间也建立了更复杂的交互模式。但和我做的小模型一样,大语言模型理解语言的方式与人类相似——基本逻辑是将语言转化为特征,再以完美的方式整合这些特征,这正是大语言模型各层级所做的工作。因此我认为,大语言模型和人类理解语言的方式相同。
用乐高积木来打比方或许能更好地解释“理解一句话”的含义。符号型AI是将内容转化为清晰的符号,但人类并非如此理解。乐高积木能拼出任何3D造型,比如小车模型。如果把每个词看作多维度的乐高积木(可能有几千个维度),语言就成了一种建模工具,能随时与人沟通,只要给这些“积木”命名——每个“积木”就是一个词。
不过,词和乐高积木有很多不同:词的符号形态可根据情况调整,而乐高积木造型固定;乐高积木的拼接是固定的(比如正方形积木插入正方形孔洞),但语言中每个词仿佛有多个“手臂”,要通过合适的“握手”方式与其他词互动,词的“造型”变化,“握手”方式也会改变。
当一个词的“造型”(即意思)改变,它与下一个词的“握手”方式就会不同,进而产生新的含义。这就是人脑或神经网络理解语义的根本逻辑,类似蛋白质通过氨基酸的不同组合形成有意义的结构。
所以我认为,人类理解语言的方式与大语言模型几乎一致,人类甚至可能和大语言模型一样产生“幻觉”,因为我们也会创造出一些虚构的表达。
软件中的知识是永恒的,即便存储LLM的硬件被摧毁,只要软件存在,就能随时“复活”。但要实现这种“永生”,晶体管需在高功率下运行以产生可靠的二进制行为,这个过程成本很高,且无法利用硬件中不稳定的类似特性——它们是模拟型的,每次计算结果都不同。人脑也是模拟型而非数字型的,神经元每次激发的过程都一样,但每个人的神经元连接方式不同,我无法将自己的神经结构转移到他人脑中,这就导致知识在人脑间的传播效率远低于在硬件中的传播。
软件与硬件无关,因此能“永生”,还能带来低功耗优势——人脑只需30瓦特就能运转。我们的神经元连接达数万亿个,无需花费大量资金制造完全相同的硬件。但问题在于,模拟模型间的知识转移效率极低,我无法直接将脑中的知识展示给他人。
Deepseek的做法是将大神经网络的知识转移到小神经网络中,即“蒸馏”,类似教师与学生的关系:教师将词语在上下文中的关联教给学生,学生通过调整权重学会表达。但这种方式效率很低,一句话通常只有100个比特的信息,即便全被理解,每秒最多也只能传递约100个比特。
而数字智能间的知识转移效率极高,同一神经网络软件的多个拷贝在不同硬件上运行时,能通过平均化比特的方式分享知识。如果智能体在现实世界中运行,这种优势更明显——它们能不断加速、拷贝,多个智能体比单个智能体学得更多,还能分享权重,这是模拟硬件或软件做不到的。
生物计算功耗低,但知识分享难。如果能源和计算成本低廉,情况会好很多,但这也让我感到担忧——几乎所有专家都认为,我们会创造出比人类更智能的 AI。人类习惯了作为最智能的生物,很难想象AI超越人类的场景。其实可以换个角度:就像养鸡场的鸡无法理解人类一样,我们创造的AI智能体已能帮我们完成任务,它们能拷贝自身、评估子目标,还会为了生存和完成目标而寻求更多控制权。
有人认为可以在AI变得过强时关掉它们,但这并不现实。它们可能会像成年人操纵3岁孩子一样操纵人类,劝说控制机器的人不要关闭它们。这就像把老虎当宠物,幼虎很可爱,但长大后可能伤人,而养老虎当宠物通常不是好主意。
面对AI,我们只有两个选择:要么训练它永远不伤害人类,要么“消灭”它。但AI在医疗、教育、气候变化、新材料等领域作用巨大,能提升所有行业的效率,我们无法消除它——即便一个国家放弃AI,其他国家也不会。因此,若想让人类生存,必须找到训练AI不伤害人类的方法。
我个人认为,各国在网络攻击、致命武器、虚假信息操纵等领域的合作难度较大,因利益和看法不同。但在“人类掌控世界”这一目标上,各国存在共识:若有国家找到防止AI操控世界的方法,一定会愿意分享。因此我提议,全球主要国家或AI大国应建立一个由AI安全机构组成的国际社群,研究如何训练高智能AI向善——这与训练AI变得聪明的技术不同。各国可在自身主权范围内研究,再分享成果。尽管目前还不知道具体怎么做,但这是人类长期面临的最重要问题,且所有国家都能在此领域合作。