Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Ian Goodfellow论文:用于隐私训练数据的深度学习的半监督知识迁移

Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data

Synced (4).jpg

摘要

有些机器学习应用涉及敏感的训练数据,例如临床试验中患者的医疗史。一个模型可能无意中隐含地存储一些训练数据的信息;因此仔细分析模型可能会揭示其敏感信息。


为了解决这个问题,我们展示了一个普遍适用的方法,为训练数据提供了强大的隐私保证。该方法以黑盒的方式结合了用不相交数据集训练的多个模型,例如来自不同用户子集的记录。由于他们直接依赖敏感数据,因此这些模型不会公开,而是作为学生模型(student model)的教师(teacher)。学生模型的预测结果由所有教师模型的投票结果产生,学生模型不能直接访问单个教师模型或底层数据或参数。在差分隐私(differential privacy)方面,学生模型的隐私属性可以直观地(由于不知道单独的教师模型,因此学生模型无法反映单个数据集)和正式地被理解。即使敌手不仅可以查询学生模型,而且可以检查内部运作,这些隐私属性仍然成立。


与以前的工作相比,这种方法只加强了教师模型如何被训练的弱假设:它适用于任何模型,包括如 DNN 的非凸(non-convex)模型。由于使用了改进的隐私分析和半监督学习,我们在 MNIST 和 SVHN 上实现了最先进的隐私与实用的权衡。

理论论文理论Ian Goodfellow半监督学习数据安全
暂无评论
暂无评论~