伯克利新研究:评估和测试神经网络中的意外记忆
加州伯克利大学的新研究描述了一种测试方法,用于定量评估罕见或独特的训练数据序列是否会被生成序列模型无意识记忆的风险。因为这些模型有时被训练在敏感数据(例如,用户的私人消息的文本)上,所以该方法可以通过允许深度学习从业者选择最小化这种无意识记忆的训练手段来保护用户隐私。
在实验中,研究者表明,无意识的记忆是一个持久的、难以避免的问题,可能会产生严重的后果。具体而言,对于不考虑记忆而训练的模型,研究者描述了可以提取独特秘密序列的一个全新的有效方法。研究者展示了其测试策略是一个实用且易于使用的第一道防线,例如,通过描述其应用程序来定量限制 Google 的 Smart Compose 中的数据泄露。