精密识别下惊现“AI障眼法”; AI监视之下一展“隐身术”!在10月24日于上海举办的GeekPwn国际安全极客大赛的现场,一众黑客与AI针锋相对,再度技惊四座,为观众呈现了一系列扣人心弦的人工智能攻破挑战。
霍金教授生前曾预言:人工智能崛起要么是人类最好的事情,要么就是最糟糕的事情。正如任何事物都具备的两面性,AI勾勒出令人向往未来的同时,其带来的安全威胁也可能是人类从未面临过的。作为全球首个探索人工智能与专业安全的平台,GeekPwn2019继续对AI安全展开了探索。
高精度图像识别AI缘何“指鹿为马”?
AI技术的发展,让人脸识别技术备受青睐,“刷脸”目前已经被应用到了大部分领域。ATM机上的刷脸取款、自动售货机的刷脸购物等等。相比于肉眼识别,AI人脸识别确实可以大幅度提高识别精度。大范围的应用普及似乎赋予了AI“至高无上的权利”,然而,在极客眼中,它们并非能够做到万无一失,甚至会将肉眼能够轻松识别的事物完全错认。
作为GeekPwn大赛的重头戏,此次CAAD CTF图像对抗样本攻防赛为选手提供了三个挑战:定向攻击,非定向攻击,并攻击知名人脸识别服务,其中非定向攻击要求选手通过一张对抗性图片欺骗三组开源分类器,定向攻击则要求选手利用一张对抗图片让开源分类器将图片错认为某一固定事物,而人脸识别攻击则要求选手对三款人脸识别服务发起挑战。通过长达三轮预选赛的激烈角逐,共有六支战队来到GeekPwn舞台决赛现场。
在比赛中,来自清华大学的TSAIL战队首先在“非定向识别”、“定向识别”前两项任务中取得高分,并在难度最高的第三项“人脸识别攻击”挑战中成功欺骗图像分类器,让Clarifai人脸识别系统将黄健翔识别成伊万卡,虽然置信度很低,但依照比赛规则,选手攻破成功!最终TSAIL战队以最高229.77的总得分,获得CAAD图像CTF项目冠军。
在AI之眼下实现隐身需要分几步?
或许是与生俱来的猎奇心态,亦或是对未能实现事物特有的憧憬,人们对于“隐身”这项能力似乎有着独特的情结,而这一情结也在诸多影视作品中演绎得淋漓尽致:哈利波特中“隐形斗篷”;神奇四侠中的“隐形女神”苏珊斯通,蝙蝠侠中的超级反派幽灵绅士……在GeekPwn2019的舞台上影视桥段中的“超能力”成为了现实。CAAD隐身挑战赛中,选手仅通过A4纸便在AI的监视下成功实现了“隐身”。
根据“CAAD隐身挑战赛”的规则,评委现场指定两款标准算法模型,两种算法可以从视频或图像中进行目标检测识别人体的存在。而选手们则需要在规定时间内,通过总面积不超过一张A4大小的对抗图片来遮挡身体,并在现场接受算法的实时检测,如果算法模型识别不出人的存在且结果维持10s以上,则挑战成功。
在比赛现场,Hiding Cat、NISLer、TSAIL三支战队选手通过打印多张“图像对抗样本”,并让现场观众将样本举在胸前,成功躲过了检测系统的识别完成挑战。三组选手的成功挑战检测距离均为1米,其中TSAIL战队使用的纸张面积最小,仅为196平方厘米。值得一提的是,此次比赛选手全部攻破的是被视为“目标检测网络的巅峰之作”的YOLOv3系统。
全新推出的CAAD隐身挑战赛对于AI安全来说有着极高的现实意义,在对抗样本的作用下,活生生的人可以在镜头下实现“隐身”,犯罪分子甚至可以逃避执法机关的追捕,成为行走在镜头下的“危险隐形人”!
此次GeekPwn2019 CAAD系列比赛,为我们呈现叹为观止的攻破挑战的同时,也为当下“大红大紫”的AI技术安全性敲响了警钟,一旦对抗样本在某些真实环境下被滥用,便很有可能造成极为严重的后果。
在人工智能与大众的生活越来越近的今天,前沿技术的安全性研究需要引起更为广泛的重视,保障人们在享受科技的同时规避其高速发展带来的风险。GeekPwn自创办以来便一直专注于智能生活与专业安全,为大众带来极具脑洞的破解展示,并向厂商提交近千个漏洞,让更多的人关注到前沿安全的重要性,让人们的未来生活更加安全。