Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

专访诺奖得主:大模型是记忆还是理解?

机器之心独家专访 2011 年诺贝尔经济学奖得主托马斯·萨金特教授

物理学家理查德·费曼曾将自然世界比作众神的游戏,比如国际象棋——我们不知道游戏规则,但却可以观察棋盘,也许只是其中的一角,然后根据这些观察,试图找出游戏规则。

费曼的比喻,道出了科学研究的核心,也生动描绘了许多经济学家的工作,他们同样致力于从纷繁复杂的经济现象中,洞悉隐藏的模式和规律。

当我们谈及人工智能,尤其是近年来蓬勃发展的大模型,似乎也能看到同样的影子。以数据为中心的人工智能(Data-Centric AI)正在改变着人类组织和解释信息的方法,并在某些领域展现出改变信息获取方式的潜力。那么,大模型能否像伽利略、牛顿、爱因斯坦一样,从数据中提炼出全新的理论,实现真正的科学发现?

对此,2011 年诺贝尔经济学奖得主托马斯·萨金特(Thomas J. Sargent)教授认为,人工智能机器学习的核心理念可以追溯至伽利略时代,都是通过构建世界模型并基于模型进行预测和决策。机器学习作为人工智能的关键组成部分,通过数据驱动的方式实现了这一过程。

萨金特教授在写于 2023 年 10 月的工作论文《Sources of Artificial Intelligence》中表示,他所理解的「人工智能」,是指那些旨在完成「智能」任务的计算机程序,而这些任务过去是由像伽利略、达尔文和开普勒这些拓展了人类认知边界的先驱完成的。很多机器学习技术利用数据、概率论和微积分来推断模式,而设计机器学习芯片、算法和代码的程序员,则是在再现(copy)伽利略的自由落体实验。

带着对人工智能和科学发现的疑问,以及对诺贝尔经济学奖得主独特视角的期待,机器之心在 2024 罗汉堂数字经济年会上对萨金特教授进行了独家专访。

人物简介

图片

                              萨金特教授在 2024 罗汉堂数字经济年会发表演讲。图片来源:罗汉堂

托马斯·约翰·萨金特(Thomas John Sargent)是一位杰出的美国宏观经济学家。他于 2002 年 9 月加入纽约大学,成为首任 W.R. Berkley 经济学和商业讲席教授。2011 年,萨金特教授与普林斯顿大学的克里斯托弗·西姆斯(Christopher A. Sims)共同获得了诺贝尔经济学奖,以表彰他们「对宏观经济中因果关系的实证研究」。

萨金特教授是理性预期学派的领军人物之一,该学派的核心理念是:经济个体能够理性地利用所有可获得的信息,并根据最佳的判断来形成对未来的预期,然后根据这些预期进行决策,反映了经济体系中「未来决定现在」的含义。他与罗伯特·卢卡斯(Robert Lucas, Jr.)和尼尔·华莱士(Neil Wallace)密切合作,为新古典宏观经济学的演进奠定了根基,做出了原创性的贡献。

萨金特教授在经济学领域享有盛誉,曾任计量经济学会、美国经济学会和经济动态学会主席。1983 年,他当选为美国国家科学院院士和美国艺术与科学院院士,并于 1997 年荣获内默斯经济学奖。他的研究对宏观经济学、货币经济学、时间序列计量经济学等领域产生了深远的影响。

萨金特教授也是罗汉堂首批学术委员会委员。罗汉堂(Luohan Academy)是 2018 年由阿里巴巴倡议,全球社会科学领域的顶尖学者在杭州共同发起的非营利性开放型研究机构。2024 年 7 月,第四届罗汉堂数字经济年会在上海举办,萨金特教授第四次现场参加活动。会议围绕人工智能对经济社会发展的影响及趋势展开,50 余名海内外学者、政策研究者、科技领军人物和企业家参与了演讲和讨论。

访谈实录

图片

                              2024 罗汉堂数字经济年会开幕前,托马斯·萨金特教授(右)接受机器之心副主编闻菲的专访。拍摄:潘敏敏

机器之心萨金特教授,非常荣幸有此机会。机器之心是一家专业的人工智能信息服务平台,我们的读者都是 AI 从业者(AI professionals)。

萨金特教授:噢,我是 AI 外行人(AI amateur)。

机器之心您太谦虚了,您指出经济学是人工智能的学科基础之一[1],我们期待您在经济学中的方法论能为人工智能的相关研究提供指导。当前人工智能领域有一大争议,有些人认为像 GPT-4 这样的大语言模型(LLM)做的只是「记忆」,其强大仅仅来自于对海量数据的统计分析和概率推理,模型并不懂得因果关系。另一些人则相信,要足够精确地预测下一个词,就意味着至少在一定程度上真正理解了上下文。对此您是怎么看的?

萨金特教授:这是一个非常古老的问题和议题了。我喜欢你提出这个问题的方式,因为人工智能涵盖了众多技术和工具,编码和解码正是其中之一。这项技术起源于 20 世纪,算得上历史悠久了。在第一次和第二次世界大战期间,许多专家开始利用数学进行编码和解码。他们使用的方法正如你所说,是利用了语言的可预测性(predictability)。他们意识到字母并非随机排列,单词和句子之间也存在着某种关联。为了破译语言,他们开始寻找其中的模式和规律,并使用了一种叫做马尔可夫链的工具,来分析事物今天的发展如何影响未来的走向。某种意义上说,这就是编码和解码的核心所在,它不仅仅是寻找模式,还是寻找跨越时间的模式(intertemporal patterns),甚至是在更长的时间范围内存在的这种跨越时间的模式(intertemporal patterns cross time)。字母的排列中蕴含着某种模式,可以帮助我们预测未来。

那么问题来了,这算是理解吗?或者说仅仅是一种模式识别?这就引出了一个更深层的、甚至可以说是哲学层面的问题:究竟什么是「理解」?我认为人们所说的「理解」,其中一部分就是对模式的深入了解,对模式的诠释,以及判断哪些模式是真正持久的,哪些只是偶然发生的。当然,这并不是一个完美的答案。

机器之心那按照现有的深度学习或者大模型方法,人工智能可以从发现相关性发展到理解因果性吗?

萨金特教授:我一直以来都在认真思考这个问题,最近还就此写了一些东西。问题的关键在于,不同的人对「因果关系」的理解并不相同,他们对因果关系的定义和所需满足的条件也存在差异。YouTube 上有一个很棒的视频,讲的是一个人与物理学家和哲学家们探讨因果关系,结果发现他们各执一词。哲学家大卫·休谟就非常重视因果关系,将因果推理视为知识的核心。休谟认为,因果性可以用特定类型的相关性来定义,也就是说,当我们观察到一件事发生在另一件事之前,并且这种情况在不同的场景下反复出现,我们就会认为这两件事之间存在因果关系。在休谟看来,相关性和因果性在某些情况下几乎可以划等号。当然,也有人对此持有不同意见,他们认为因果关系的内涵不止于此。然而,休谟坚持认为这就是因果关系的全部。这个议题很快就会上升到哲学层面,甚至触及神学,变得非常复杂。

机器之心那么我们能否跳出哲学层面的探讨,对大模型的因果推理给出一个数学上的定义或者描述呢?

萨金特教授:不能。

机器之心为什么您这么快就给出否定的回答?难道我们毫无希望吗?

萨金特教授:哦,不是的,我的意思是,我可以给出好几种数学上的定义。在我的论文里,我就给出了好几种。但问题是,有些人看了会说,「对的对的,我就是这个意思」,可另一些人则会说,「不对不对,我说的不是这个,我明明是这个意思」,这种情况很常见,而且由来已久。

机器之心我们今天面临的一大挑战是,大模型被视为「黑盒子」,其因果链(如果存在的话)极其复杂且难以定义,模型推理的原理或机制在很大程度上仍然未知。在您的经济学研究中,您一直强调对因果关系的分析。您认为是否有必要令大模型掌握因果推理?如果是的话,我们该如何做到这一点?

萨金特教授:这是一个很好的问题。我是这样看的,对于构建大模型的人来说,它并不完全是一个无法理解的黑盒子。他们使用特定的数学和统计工具,清楚地知道自己在做什么,也明白模型在理想情况下如何运作(They know conceptually what they're doing in theory)。我甚至可以解释说明这个过程。但问题是,这是否意味着大模型仅仅只是在机械地遵循指令,识别某些模式?

让我举个例子,就像华为自动驾驶汽车,它可以做出非常复杂的决定。作为一个局外人,如果你问我华为自动驾驶汽车是怎么做出某些决定的,我无法回答,但设计它的人知道。这是一个视角问题,就好比我手中的这台华为手机(从兜里拿出一台手机),对我来说这是一个黑盒子,但是对华为来说,它不是。

你的提问都很有见地,因为它们触及了一个核心问题:当我们谈论某个词,比如「黑盒子」或「因果关系」时,我们究竟指的是什么?我推荐你读一篇文章,阿根廷作家博尔赫斯的短篇小说《博闻强记的富内斯》(Funes the Memorious)。它讲了一个拥有超凡感知力的人,可以记住所见到的一切,对任何细节都过目不忘,例如你的一个动作,角度的改变,甚至阴影的变化。当你开始读这篇文章的时候,你会觉得这个人很聪明,简直无所不知。但读到一半,你就会意识到他根本不会思考,因为他拒绝做信息压缩(data reduction),无法从海量信息中提炼出模式和规律。很大程度上,模式识别就是把一大堆数据进行压缩处理,而这正是智能的关键所在。当然,这也可能导致错误,例如把人按肤色分类,说这些是黑人,那些是白人,他们是不同的,就会犯下错误……

话说远了,回到你的问题,博尔赫斯的小说揭示了一个有趣的现象。所以,当你说「因果」(cause)这个词的时候,你实际上是在说模式(pattens),但哪些模式才能真正代表因果关系呢?

实际上,我在这里(指 2024 年罗汉堂数字经济年会)有一个演讲,也会涉及相关内容,我不知道能否回答你的提问,但你可以听一下,你会看到不同的人有不同的看法。就像在日常生活中,你会遇到对因果关系持不同态度的人,我想大多数人根本不在乎,比如说我的孙子们,还有我的女儿,你一提因果她就不耐烦,她只关心漂亮的衣服、心爱的宠物。

机器之心哈哈,这不也是一种快乐的生活吗?

萨金特教授:这么说也不错,某种意义上。

注释

[1] Thomas J. Sargent, Sources of Artificial Intelligence, http://www.tomsargent.com/research/AI_Sargent.pdf

产业2024 罗汉堂数字经济年会托马斯·萨金特
相关数据
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。

https://www.huawei.com/cn/
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

因果推理技术

基于因果关系的一类推理方法,是一种常见推理模式,涉及观察到的共同效应的原因的概率依赖性。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

模式识别技术

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

微积分技术

微积分(Calculus)是高等数学中研究函数的微分(Differentiation)、积分(Integration)以及有关概念和应用的数学分支。它是数学的一个基础学科。内容主要包括极限、微分学、积分学及其应用。微分学包括求导数的运算,是一套关于变化率的理论。它使得函数、速度、加速度和曲线的斜率等均可用一套通用的符号进行讨论。积分学,包括求积分的运算,为定义和计算面积、体积等提供一套通用的方法 。

马尔可夫链技术

马尔可夫链,又称离散时间马尔可夫链,因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
推荐文章
暂无评论
暂无评论~