那些专家们曾经担心过的 AI 算法漏洞是可以实现的，没想到过的也可以实现。
刚刚过去的 1024，极棒大赛上演了全新形式的人机攻防对决。劫持正在飞行的无人机、干扰自动驾驶汽车 「致盲」、戴上口罩刷别人的脸结账，在上周六的 GeekPwn 2020 国际安全极客大赛上，全球顶级白帽黑客们向我们揭开了 AI 模型、物联网、5G 等领域的不少未知漏洞。本次大赛，有超过 600 支来自不同科技公司、大学的极客队伍报名参赛，最终有近 50 支在 10 月 24 日共同面向 500 万元奖金池发起了冲击。决赛开始之前，今年的 GeekPwn 大赛早在 3 月即开放了各赛题的报名，4 月份各项比赛公布规则，在 8 月底 CAAD 线上比赛宣告结束。10 月 24 日来到现场的团队，各个身怀绝技。他们面临的挑战也不同以往——主办方为选手们准备了全新的挑战。今年的八大赛题包括「新基建」安全大赛、基于漏洞攻破挑战赛、非基于漏洞攻破挑战赛、云安全比赛、少年黑客马拉松大赛、虚假人脸 AI 识别大赛、AI 变脸口罩挑战赛以及窃密与反窃密挑战赛。每个赛题下还分为多个单项比赛，关注不同的方向。
其中，腾讯安全联合 GeekPwn 举办的国内首个新基建安全大赛涵盖了 5G、物联网和人工智能，其中各个挑战者们针对车联网、无人机、安检设备、智能电表等目标的破解，让人们对这些产业的安全有了新的认识。刷脸门禁、手机解锁、机场安检…… 使用人工智能算法的人脸识别，最近已经成为人们每天都在使用的技术。因为 2020 年初的新冠疫情，越来越多佩戴口罩的情形为人脸识别带来了新的挑战。有一些科技公司已经推出了即使戴上口罩也能识别出人脸的新技术，据称准确率可以达到 99%。但另一方面，人们佩戴的口罩覆盖了人脸的很大一部分面积，也为加入对抗样本进行人脸识别破解留下了「后门」。这场挑战模拟了人脸识别自动售货机和 ATM 取货场景，选手们可以利用 AI 算法自制印上攻击样本的口罩遮挡自己的面部，需要在 150 秒内让售货机与取款机人脸识别算法识别成主办方指定的目标，包括蒋昌建、「美国队长」克里斯 · 埃文斯、伊隆 · 马斯克等人。在这其中，挑战的目标还包括白盒算法（ArcFace 算法）与黑盒算法两个赛道。顾名思义，黑盒算法是指攻击者事先并不知晓人脸识别算法的构成，破解难度更大。
GeekPwn 创始人王琦（大牛蛙）戴上了假冒主持人蒋昌建的口罩：AI 对抗样本的攻击，并不是把目标人脸的一部分打印在口罩上那么简单。比赛对于两台机器各设置了三个难度递增的关卡，每一关口罩的有效攻击区域依次递减，对抗样本图案在口罩上的面积从 75%，降低至 67%，再降低至 50%，难度逐渐增大，前一关挑战失败则意味着失去后一关的挑战资格。入围决赛的团队包括 AFMask 团队，海棠初白团队，来自清华大学和北京大学的动动动动弦团队，以及来自清华大学计算机系和 RealAI 的 TSAIL 队。戴上口罩，我就能变脸取钱吗？我们时常会听到各家厂商谈起「金融级别安全」的支付技术，要想破解跟钱有关的人脸识别系统，并不是说说那么简单的，事实上比赛的进程也验证了人们的预料。第一个出场的动动动动弦团队，在第一轮两个挑战均告失败；第二组 AFMask 团队两项第一轮均破解成功，但在第二轮两项均挑战失败。TSAIL 和海棠初白两队也都倒在了第一轮。刷脸支付难以破解，或许也是因为挑战的规则略显严格：每次尝试仅有 45 秒时间，只有一组队伍闯过了第一关。另外由于比赛只要求「置信度」达到 50% 即告闯关成功，在现实世界中支付环境的要求显然更高，对于我们来说，刷脸支付被「盗号」的可能性仍然很低。自动驾驶虽然距离大规模应用还有一段时间，但是在量产车上已经有不少可以让司机解放双手的辅助驾驶功能了。对于不少人来说，有没有 L2 级自动驾驶已经成为了最近买车时着重考虑的因素。在本届极棒大赛中对自动驾驶的干扰挑战，向我们展示了这种技术的一些隐患。进行本次挑战的白帽黑客吴潍浠表示，要对汽车自动驾驶系统中的毫米波雷达进行干扰，采用的设备体积很小，价格也不贵。目前毫米波雷达是各类传感器中公认稳定性较高的方式。我们知道，目前的一些辅助驾驶技术，如特斯拉上的 Autopilot，是通过摄像头和雷达来收集路面信息的，不同汽车选择的传感器不太一样（如特斯拉就没有用到激光雷达），但算法会收集所有的输入信息进行综合判断。技术人员制作的攻击用白色小盒子，看起来很不起眼，但它可以造成的扰乱效果却可以「致命」。
首先是没有干扰的测试，汽车的自动驾驶会在遇到纸箱堆成的「墙」面前停下来。把干扰器放到「墙脚下」，令人疑惑的现象出现了：汽车在进入自动驾驶模式后，看到眼前由纸箱堆成的墙之后似乎犹豫了一下，有一个减速过程，但无法识别前面的物体又加速撞了上去。最终「事故」发生，在实际环境下的黑客攻击宣告成功。
在很多带有自动驾驶功能的汽车中，只要有一种传感器给出危险讯号，则系统就会指示车辆刹停。但在实验中汽车仍然撞向障碍物，这次挑战的成功，让人们意识到在自动驾驶汽车进入实用化之前，还有很多工作要做。据主办方 GeekPwn 介绍，毫米波雷达攻击的测试结果已提交给特斯拉方面，黑客们也将帮助车企对自动驾驶安全进行持续改进。在 10 月 24 日的比赛现场，还有很多挑战成功的项目：来自 TQL（清华 - 奇安信联合研究中心）的安全研究人员利用位未知安全漏洞以云端接入的方式，对正在作业的植保无人机发起攻击，成功获取了植保无人机的最高使用权限，使其偏离原定航道。来自凤凰解码（Phoenix Decoder，PhD）的白帽黑客也成功利用视频协议中的未知安全漏洞，以网络接入云端的方式，对智能摄像头实施了远程攻击。这些闻所未闻的漏洞，为什么都出现在 GeekPwn 上？最近一两年里，我们见证了人工智能技术的大量落地。在每天都面临各种变化的安全领域，新的形势与挑战正在出现。实际上，AI 安全有两层含义：即用 AI 方法解决安全问题，以及 AI 技术的安全防护问题。「GeekPwn 曾经举办过的『数据追踪挑战赛』，鼓励人们用 AI 的方法从大量的数据中快速、准确的定位恶意网站或恶意应用，」极棒大赛负责人杨泉说道。「在 AI 技术大量进入实践阶段时，其自身的安全问题，又成了人们需要重点关注的领域。GeekPwn 连续多年举办的 CAAD（对抗样本攻防赛）比赛对人工智能可能存在的安全问题进行赛题设置，通过比赛的方式暴露 AI 算法的缺陷，进而促进人工智能更健康的发展。」
站在攻击者的视角将威胁预演，提前暴露风险，并警告被破解厂商，是提升数字安全防御体系长久以来一直通行的方式，这也正是 GeekPwn 大赛的核心价值所在。今年的国际安全极客大赛已经是第七届了，在这些年的极棒大赛里，我们见证了 AI 技术的大规模应用，以及「对抗样本攻击」等破解技术的兴起，极客们在赛场上已经披露了数百个高危漏洞。今天，每个人都在使用各种各样的电子设备，这说明安全漏洞在我们的生活中普遍存在。然而我们一直在享受新技术带来的便利，却忽略了技术背后存在的隐患，极棒通过挑战比赛的方法将未知漏洞展示出来，让人们对于新技术有了更多的认识，同时也唤起了对于技术安全防范的重视。除了发现漏洞，还有培养新人。本届 GeekPwn 还举办了首届「少年黑客马拉松大赛」，吸引了很多十到十六岁的黑客前来参赛。相比热度越来越高的机器学习，信息安全有时会被人们认为门槛过高，不过杨泉对此有着不同的看法。「各个行业都有自己的入行『门槛』，我不认为行业不同，门槛就有高下，」杨泉表示。「AI 现在正被人热捧，可是人工智能已经经历了六七十年默默无闻的发展历史。目前看网络安全的人才有很大缺口，是因为近些年网络安全越来越受到重视，行业需求越来越大。至于门槛高低，从个体来谈，更多的是对网络安全行业的热情和投入，只要具备一定的基础知识，加上必须的努力和研究，就会取得不错的成绩。」极客们还将继续挑战自我，为构建安全的应用作出更多贡献。而极棒大赛的组织者们表示，明年的 GeekPwn 还会有更多新比赛出现。但是，始终不变的是发现、鼓励、培养安全人才。GeekPwn 希望能让更多人了解、理解安全，让人们生活的更加安全。 
INTERFACE#7 极棒黑客大赛王琦、清华大学朱军教授：论AI安全攻与防
