2019/09/23 18:30

从IJCAI 2019到NeurIPS 2019，联邦学习将再次亮相国际AI顶会

2019年12月中旬，国际人工智能顶级学术会议，被中国计算机学会列为人工智能领域的A类会议——神经信息处理系统大会NeurIPS 2019（Conference and Workshop on Neural Information Processing Systems）即将于加拿大隆重召开。

在这一机器学习领域的顶级会议中，微众银行、Google、新加坡南洋理工大学（NTU）、卡内基梅隆大学（CMU）等机构将联合举办联邦学习国际研讨会（Workshop on Federated Learning for Data Privacy and Confidentiality ），预计将有超过400名联邦学习领域的优秀研究人员与从业者参与会议。

本届联邦学习国际研讨会邀请了人工智能领域的顶级学者作为演讲嘉宾，包括微众银行首席人工智能官、香港科技大学讲席教授、第四范式联合创始人杨强教授，谷歌语音识别技术研发带头人Francoise Beaufays，网络安全领域著名专家、加州大学伯克利分校教授Dawn Song及助理教授Raluca Ada Popa，阿姆斯特丹大学机器学习首席教授、高通技术副总裁Max Welling（韦灵思）以及卡内基梅隆大学助理教授Ameet Talwalkar。

其中，微众银行首席人工智能官、香港科技大学讲席教授、第四范式联合创始人杨强教授是国际人工智能界“迁移学习”（Transfer Learning）技术的开创者，并提出“联邦迁移学习”的研究新方向，是国际人工智能协会（AAAI）首位也是至今为止唯一的华人执委，首位任IJCAI理事会主席的华人科学家。来自加州大学伯克利分校的教授Dawn Song曾获麦克阿瑟奖 (MacArthur Fellowship)、古根海姆奖(GuggenheimFellowship)与斯隆研究奖 (Alfred P. Sloan Research Fellowship)，被媒体誉为“互联网安全教母”。而深度学习领域知名科学家、VAE的提出者Max Wellings（韦灵思）曾提出规范等变卷积神经网络（G-CNN），这一研究将广义相对论和量子场论的数学原理应用到深度学习中，为3D物体识别提供了新思路。届时，他们将在现场与参会者一同分享联邦学习与数据安全、隐私保护的最前沿学术成果，解决其在实际落地过程中面临的难题，共话联邦学习发展的未来。

近年来，随着机器学习等人工智能技术的发展与普及，在各行各业的落地应用也越来越深入。但由于人工智能技术需要海量数据的支撑，落地应用过程中，数据安全与用户隐私保护成为了公众普遍关注的问题。去年5月25日，欧盟颁布的《通用数据保护条例》（General Data Protection Regulation，简称GDPR）对数据安全与隐私保护做出了严格的规定，条例强调：收集用户数据必须公开、透明。在GDPR实施之后，《2018年加州消费者隐私法案》（The California Consumer Privacy Act of 2018，简称CCPA）、《中华人民共和国网络安全法》等法案也加强了对数据安全的关注。在这一环境下，传统的数据处理模式面临着严峻的挑战。

随着数据拥有者能够接触到的敏感数据越来越多，监管也愈发严格。针对人工智能的发展与数据隐私保护这一矛盾，联邦学习提供了解决问题的全新思路，它可以保证在参与方的数据不出本地的前提下共同建模，在这一前提下，这种分布式加密机器学习可以有效避免集中收集、处理数据的风险，兼顾AI建模效果与数据保护。

联邦学习的热点研究课题包括：如何有效利用差异隐私、安全多方计算等技术，并提高联邦学习在落地过程中的工作效率等。在本次研讨会中，联邦学习领域的顶尖学者与从业者将围绕联邦学习在实际落地过程中的问题展开讨论，将其与多个行业领域的最新技术结合起来，为应对用户隐私、数据安全与AI落地的矛盾提供更加全面有效的解决方法。

据悉，这是微众银行继今年8月国际人工智能联合会议（IJCAI 2019）联邦学习国际研讨会之后，持续在国际人工智能顶级会议中举办联邦学习研讨会，本次研讨会吸引了更多学者关注。目前共收到数十篇论文投稿，汇聚了联邦学习领域的最新研究成果，围绕联邦学习算法如何优化与应用、如何增强联邦学习的安全性、如何建立起联邦学习激励机制等展开多方面多角度的探索。被收录的优秀论文将会在本次研讨会以口头报告和海报的形式发表，来自世界各地的学者将与论文作者展开对话与交流。

近两年来，联邦学习在学术研究、标准制定、行业落地等方面一路高歌猛进，成为人工智能领域引人注目的方向之一。2018年12月，联邦学习IEEE国际标准正式立项，分别于2月、6月、8月召开了三次标准工作组会议，标准初稿完成。8月，备受关注的IJCAI 2019首届联邦学习国际研讨会的成功召开标志了联邦学习国际社区的正式成立，联邦学习进入了一个新的阶段。12月，在NeurIPS 2019中举办的联邦学习主题的研讨会将吸引更多研究者与从业者的关注。相信随着联邦学习的深入研究与广泛落地，将为破解数据孤岛和隐私保护的行业痛点提供更多成功范例。

研讨会官网：http://federated-learning.org/fl-neurips-2019/

了解联邦学习：www.fedai.org.cn

产业IJCAI 2019NeurIPS 2019联邦学习

相关技术

自动化机器学习随机梯度下降迁移学习

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

物体识别技术

计算机视觉领域的一个分支，研究物体的识别任务

港科大机构

香港科技大学（The Hong Kong University of Science and Technology），位于中国香港，简称港科大（HKUST），为环太平洋大学联盟、全球大学校长论坛、东亚研究型大学协会、亚洲大学联盟、中国大学校长联谊会重要成员，并获AACSB和EQUIS双重认证，是一所亚洲顶尖、国际知名的研究型大学。该校以科技和商业管理为主、人文及社会科学并重，尤以商科和工科见长。截至2019年9月，学校设有理学院、工学院、工商管理学院、人文社会科学学院等4个学院及跨学科课程事务处；校园占地超过900亩，有教员697人，各类学生16054人，其中本科生10148人，研究生5906人。

https://hkust.edu.hk/

联邦学习技术

如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，这部分研究被称为「联邦学习」（Federated Learning）。