「AI开发者成长计划」首期公开课由机器之心与微众银行联合开设,主题为《联邦学习FATE入门与应用实战》,特邀合作伙伴 VMware 也将参与分享。 公开课为期4周,共6期课程 ,设置主题分享、项目实践、在线答疑等环节,从零入门联邦学习。
整体学习计划与加入方式请查看:《联邦学习FATE入门与应用实战》公开课上线!
3 月 26 日,机器之心联合微众银行开设的公开课《联邦学习 FATE 入门与应用实战》第六讲结课,微众银行人工智能部高级研究员谭奔为大家介绍了联邦推荐系统背景、联邦推荐系统分类以及现有工作、联邦推荐算法实现和联邦推荐在新闻推荐的应用。第六讲回顾视频:
第6课精选问答
我想这里泄露是指,数据提供方输出部分预估结果过程中,他的原始数据是否会被其他参与方或者被第三方服务器反推。这里信息泄露是不存在的。
首先在模型训练过程中,各方都是在加密环境下进行,然后各方基于自己的特征进行建模,拥有自己的模型参数并保留在本地,双方都是不知道对方模型参数的内容,另外发送给对方的预估值是模型参数和特征的乘积和,在特征交叉的场景下,特征维度和参数个数非常大,可能是上千万,所以这个预估值是几千万个数字乘积汇总成一个值,然后传送给对方。对方想要从这个值推出它的原始数据是不可能的。所以输出预估结果不存在隐私泄露的风险。
Q:目前只支持两方的联邦吗?可以拓展到更多方吗?
可以的,在这个技术分享中,我们为了将问题简化,更注重在算法逻辑的介绍,我们把联邦参与数量限制在两个进行讲解。其实它是可以非常简单的拓展到多方的。比如说以横向矩阵分解为例子,我们的server可以分别接收来自很多方的user profile梯度,进行汇总,然后再发送回去。
Q:后续会有哪些算法的支持?
目前我们支持了矩阵分解,以及矩阵分解的多个变种,还有联邦因子分解机。接下来我们会支持基于深度学习的推荐算法。
Q:有联邦推荐和普通推荐的效果数据吗?
有。联邦推荐能够联合多方数据,在保护各方数据安全和用户隐私的情况下,构建新的推荐系统,提升推荐效果。我们会比较新的联邦推荐系统和单个推荐系统的效果,它的提升非常明显。
首先在刚才的demo中有个直观的比较结果。对同一个用户,联邦推荐系统对item的排序结果相比普通推荐系统有很大变化。另外在实际应用场景中,比如我们刚提到的内容推荐,我们分流量做A/B test,可以看到联邦推荐的效果提升非常大。
Q:user profile初始化最后共享同个user profile吗?
对的,在横向联邦推荐系统中,他们有大量相同用户,item不一样,在这个场景中, user profile是共享的。