王海峰详解语言与智能
百度大脑斩获科学技术奖是百度多年人工智能技术积累的成果。在这波因深度学习崛起的 AI 浪潮中,自然语言处理是核心研究领域。正如王海峰所说,「理解和运用自然语言是人工智能的核心问题之一。大数据、机器学习、深度学习和知识图谱等技术的发展,正在给语言与智能的发展带来突破。」
在今年中国电子信息技术年会上发表的题为《语言与智能》的演讲中,王海峰以翻译为例介绍了人工智能技术的演进,阐释近期语言与知识技术和大数据、深度学习等技术结合带来的突破、行业应用,以及技术趋势和挑战。
王海峰是人工智能研究及应用,尤其是自然语言处理领域的领军者,在国内外学界和工业界享有盛誉。他先后为百度开创和发展了自然语言处理、机器翻译、语音、图像、深度学习、数据挖掘、知识图谱等技术方向,带领百度 AI 取得了大量领先业界的技术成果,并推动了百度大脑的对外开放工作,被业界称誉为少有的学术与工程并举的科学家。刚刚斩获 2018 年度中国电子学会科学技术奖科技进步一等奖的「百度大脑核心技术及开放平台」就是由王海峰主导研发的。
王海峰表示,通俗来讲,人工智能是让机器可以像人一样,具备听觉、视觉、语言、行为能力,可以进行逻辑计算和推理规划,并基于知识学习持续进化。
语言是人类思考的媒介,是人类特有的高级智力活动。早期的简单符号,到甲骨文,到纸质的书,以及现代互联网上的文本,语言文字这一载体让知识得以凝炼和传承,可以说,语言文字促进了人类文明的发展。因此,如何理解和运用自然语言,是人工智能需要解决的核心问题之一。
当下,大数据、知识图谱、机器学习、深度学习等技术快速发展,并与自然语言处理密切结合,推动语言智能持续发展和突破,并越来越多地应用于各个行业。
自然语言处理是人工智能皇冠上的明珠,而填补语言鸿沟的机器翻译则是自然语言处理最典型的应用技术之一。王海峰在这一领域深耕近 30 年,他以亲身经验梳理、介绍了人工智能技术的发展和演化历程。
从现代计算机诞生之初,就开始有人提出用计算机来进行语言翻译的设想。在早期发展过程中,研究者们很多采用理性主义、规则系统、知识工程的方法来进行研究。王海峰从 1993 年开始从事机器翻译的相关研究,初期便采用基于规则的方法,在国家「863」评测中获得第一。
早在 1999 年,王海峰在博士论文中即开始探索神经网络机器翻译的可能性,但由于当时算力和数据的制约,他转而尝试统计机器翻译与大规模规则翻译系统的结合,并开创性地提出枢轴语言翻译方法以解决小语种翻译语料稀缺的难题。
2008 年,王海峰主持研发的统计机器翻译系统参加了国际口语机器翻译评测比赛 IWSLT,在所参加的 5 项任务 15 个评测指标中,共取得 12 项第一、3 项第二的优异成绩。
2010 年加入百度后,他带领团队融合统计与规则、实例和神经网络等方法,实现了多方面的技术创新,打造出服务亿万用户的百度翻译,并在 2015 年率先发布神经网络翻译系统。目前,百度翻译可支持全球 28 种语言互译,覆盖 756 个翻译方向,超过 15 万家第三方应用接入百度翻译 API,每日翻译字符数超过千亿。百度翻译因此荣获 2015 年国家科技进步二等奖。
2018 年的百度世界大会上,百度又发布了世界上首个集成了预测和可控延迟的语音实时翻译系统,这是自然语言处理方面的重大技术突破。
王海峰表示,机器翻译的发展从最初运用规则系统,到统计的机器学习方法,后又解决算法、算力等各方面的问题,不断登上新的台阶。人工智能的发展脉络与机器翻译也很相似,经历多种方法的探索和实践,有过低谷和高潮,总的趋势是在持续进步。
近年来,随着深度学习的崛起,自然语言处理也由浅层统计模型步入深层神经网络。
在自然语言处理领域,深度学习模型具有比传统机器学习模型更强的数据学习能力,使得基于深度学习的依存句法分析等基础 NLP 任务得到大幅提升。
目前,深度学习领域主要有强化学习、监督学习、无/自监督学习三种学习范式,而无/自监督学习可以类比人类学习,是重要的一种学习方式。
自监督学习让基于大规模无标记语料的语言模型得到了长足的发展。近期,Google、百度分别提出了无监督文本的预训练语言模型 BERT、ERNIE,将 NLP 任务的性能提升到新高度。
百度提出的基于知识增强的 ERNIE 模型,通过建模海量数据中的实体概念等先验语义知识,学习真实世界的语义关系。相较于 Google BERT 基于字单元的语义建模,ERNIE 直接对先验语义知识单元进行建模,并通过海量文本数据学习实体间的语义关系。这种融合知识的语义建模大幅增强了模型语义表示能力,在包括语言推断、语义相似度、命名实体识别、情感分析、问答匹配等自然语言处理各类任务上的多个公开中文数据集上,ERNIE 均取得了优于 BERT 的效果。
依托深度学习技术的发展,语音、图像等感知技术取得了巨大进步,但认知技术的突破,会越来越依赖知识,需要提升对知识和大规模知识图谱的运用。在物理世界、人类社会和网络空间中,汇聚了大量的多元、异构、多模态的数据,百度借助无标签大数据开放域知识挖掘、知识体系自动扩展、知识整合等技术,基于海量数据构建起了超大规模知识图谱。
目前,百度拥有世界上最大的多元异构知识图谱,除了包含数亿实体、千亿级事实,能够满足 90% 用户需求的实体图谱,针对不同的应用场景和知识形态,百度还建立起关注点图谱、行业知识图谱、POI 图谱、事件图谱等多种知识图谱。比如在医疗领域,能够从病历等原始文本中,抽取出实体及多元关系,并进行文本结构化,最终构建起医疗图谱,同时结合医疗大数据、医疗认知计算,应用于医疗临床辅助决策服务中。
多模态知识、语音、视觉等技术结合,发展进入「多模态深度语义理解」阶段。例如,基于知识图谱的视频理解技术,能够视频中抽取结构化语义知识,真正「看懂」视频。
语言理解技术持续发展,并通过与知识图谱、深度学习等技术融合,不断提高各种应用的智能化程度。
王海峰在演讲中介绍,百度创新地融合知识图谱、自然语言处理及深度学习技术,研发了能够深刻理解用户意图、精准满足搜索需求、提供更丰富知识内容的智能搜索引擎,并结合语音、图像、AR 等感知技术能力,更便捷地与用户交互,为用户提供更精准高效的信息服务。
例如,用户用自然语言搜索「林徽因的丈夫的父亲是谁」,智能搜索引擎能够理解用户的意图,并结合知识图谱以图文并茂的形式把答案「梁启超」精准呈现给用户。又如,用户搜索「上面草字头下面句子的句是什么字」,智能搜索引擎能够为用户提供「苟」的读音、笔画、释义等丰富的信息。
除了智能搜索方面的应用,百度还基于语言理解和生成技术提供智能写作等能力。智能写作适用于财经、体育、天气、热点与娱乐事件等多领域的辅助与自动写作,大幅提升创作效率。比如,基于结构化的股票数据,可以生成关于股市的快讯新闻。结合视觉技术的智能春联,可通过刷脸检测出人物性别、年龄、微笑程度、性格特征等,生成特征词,然后基于神经网络生成技术创作出应景的春联,让人工智能技术融入大众的文化娱乐生活。
智能客服是结合自然语言处理、知识图谱和语音等技术打造的行业解决方案。在智能客服场景中,基于语音语义一体化技术,百度大脑可以准确识别出用户的话语,理解用户意图,进而通过行业知识图谱理解业务流程,为用户提供相应的服务。整个服务过程流畅自然,实现了与用户无障碍沟通,提升业务效率并满足用户需求。
百度领先的语言与知识技术,不仅广泛应用于智能搜索、深度问答、对话系统、智能写作、机器翻译等领域,为广大用户提供更智能的体验,满足用户对信息和服务的需求,还通过百度大脑平台全面开放,促进行业应用和创新。
当然,自然语言理解技术还面临着众多挑战,例如大数据环境下数据稀疏、知识的有效利用、语用等。王海峰总结,这些挑战可通过相应的研究来解决,如通过基于无标注、弱标注数据的学习方法来解决数据稀疏问题;深度融合神经网络与知识来有效利用知识;语用研究可与应用场景深度结合。
王海峰表示,「随着技术发展,我们会越来越深入地理解自然语言、掌握知识,推动人工智能发挥更大的价值,为人类社会发展提供更大的助力。」
中国电子学会年度科技奖花落百度大脑
百度高级副总裁、AI 技术平台体系 (AIG) 和基础技术体系(TG)总负责人王海峰领奖
科学技术奖是中国电子学会经国家科技奖励工作办公室批准,于 2003 年设立的奖项,主要奖励在电子信息领域科学研究、技术创新与开发、科技成果推广应用和实现产业化方面取得卓著成绩或者做出突出贡献的集体和个人。科学技术奖分为自然科学类、技术发明类和科技进步类 3 个类别,分别设一等奖、二等奖、三等奖三个奖励等级。
如今,中国电子学会科学技术奖已经成为国内电子信息技术发展的风向标。
百度作为国内最早布局人工智能的企业,近年来不断进行 AI 技术的研究探索和应用落地实践,为推动 AI 技术应用和创新积极贡献力量。
科学技术奖评议认为,百度大脑突破了听觉、视觉和语言一体化的多模态语义理解技术难题,成果支持零门槛深度学习定制化训练和千亿特征的神经网络训练,打造了一个完整的人工智能技术开放体系,并通过统一人工智能开放平台向社会共享,带动了互联网行业技术创新,推动了传统行业的智能化转型。
目前,百度大脑已获相关技术发明专利授权 200 余项,在顶级国际期刊和学术会议上发表相关论文 100 多篇,多次在 WebVision、ActivityNet、NIPS、SemEval 等国际知名人工智能竞赛或测试中夺得桂冠。百度连续三年上榜全球知名科技媒体《麻省理工科技评论》「全球十大突破性技术」榜单。国际顶级期刊 Nature 评价称「百度已成长为以 AI 技术为重心的科技巨头」。
在产业方面,百度大脑已对外开放了 160 多项领先的 AI 能力,广泛应用于互联网、交通、工业、医疗、零售、金融等诸多领域。比如,在电信、银行等行业,基于百度大脑的智能客服系统可以精准理解用户的需求、识别客户情绪并推荐合理的服务,既可以接听用户电话,也可以主动外呼,从而辅助人工客服,降低客服业务成本,提升用户体验;在医疗领域,基于百度大脑能力打造的百度灵医,布局诊疗全流程,帮助提升诊疗效率,从而惠及更多患者;在农业领域,智能摇杆拍摄光谱可以借助图像识别技术精准估算不同田地的农药使用量,有针对性地施药杀虫,减少了用药浪费的情况,也更符合环保需求;工业应用方面,基于百度深度学习平台 PaddlePaddle 打造的智能零件分拣机,分拣精度可达到 90%,预测速度较同类产品快 20%……同时,百度大脑与政府合作,如与雄安新区管委打造智能城市、与天津市政府打造「天津智港」等,提升公共服务和城市管理能力,让 AI 惠及普罗大众。
除了百度大脑项目,其他获得 2018 年中国电子学会科学技术奖科技进步奖项一等奖的项目包括北理工等完成的「基于海量知识智能理解与推理关键技术及智能政务应用」,深圳大学、华为等完成的「云数据交换与服务装备关键技术及产业化」等 7 个项目。