正值午夜过后，纽约警方追踪并逮捕了一名因涉嫌一起仇恨犯罪而受到通缉的嫌疑人。一名同性恋男子遭一把银色左轮手枪枪击身亡。犯罪嫌疑人还算合作，将银色左轮手枪交给了警方，还交出了身份证。
之后，犯罪嫌疑人开始保持沉默。当警方将嫌疑人带至辖区进行登记时，发现身份证是伪造的。他拒绝告诉警方真实姓名，警方也不能提取他的指纹。
此时，刚过早上七点。工作人员给Edwin Coelle打了个电话，2011年末，纽约警察局成立面部鉴别部门（Facial Identification Section ）后，他一直领导着这个部门的工作。那天是周六，Coello在家里，还穿着睡袍，不过，接到电话后，他用手提电脑扫描了身份证，并开始工作。
一个人身着浴袍追踪案件，听起来就像是警匪片的情节。电视上，技术充当神探助手，帮助他们找到所需线索。平常日子里，在警局看到这些真探员们用真正的技术解决真实案件时，你会发现实际情况要复杂的多。Coello说，「这可不是《谍影重重》。」
在警局大楼——一座位于南曼哈顿的庞然大物——九楼办公室里，墙上挂着成排55英寸LED监视器，俨然一副不断变化着的案件艺术长廊。但是，大多数工作是在探员们位于房间中央的格子工作间里完成的。
[caption id="attachment_7340" align="aligncenter" width="1098"]
该屏幕上显示着纽约警察局面部识别科鉴别的发生在纽约以及东海岸地区的活跃案件[/caption]
[caption id="attachment_7341" align="aligncenter" width="847"]
面部识别软件中，一串数字代表着一张脸[/caption]
每个探员的隔间里有三个监视器。一个探员用鼠标转动屏幕上的脸，将他转到和登记照一样的角度。安全摄像头用鱼眼镜头拍摄的照片看起来已经变形了。她试着将这张照片与罪犯数据库里的照片进行对比，如果没有找到匹配对象，她就得调整鱼眼比率，确保照片上的人脸比例合理，从而为识别嫌疑人提供线索。另一名探员正在从来自犯罪现场的手机视频上提取相关画面。他还要浏览登记照数据库。屏幕上，线框模型正在呈现3D面部 ；这名探员正根据一张侧面图，试着做出整张面部图像。
你脸上到底有什么？
使用了最新面部识别技术后，脸看起来根本不像脸。相反，一串串数字替代了发际线、眉毛、鼻子结构、下颌线条、耳朵、伤疤或痣以及头部在图像中的位置、偏移及转动角度，比如下巴是否抬起，脸偏离中心多少等。纽约警局的软件总共考虑超过24个参考因素。算法也就是计算机用来解决问题的程式，利用这些数字来判定这是谁的脸。一个简单的表情变化就能让数字发生极大的改变，为算法制造真难题。
将照片与数据库中照片进行对比，要花去几小时甚至几天的时间。但是，那个周六早上，在家工作的Coello拿着一张直视面部的照片，一张表情自然但光线暗淡的照片，他说：「我得让照片更清楚些，照片有斑污。」
[caption id="attachment_7342" align="aligncenter" width="1149"]
曼哈顿，纽约警察局面部识别科的探员正在工作。安全摄像头或视频的画面质量较差，这种软件能帮助探员提高画面质量。[/caption]
几分钟后，他问探员，「你能看一下他，然后告诉我他脸上有疤或者什么印迹吗？」身份证照显示，他脸上没有什么印迹，不过，数据库提供的几百张脸中，有一张带有伤疤的脸能够匹配得上。探员说，嫌疑人脸上也有伤疤。Coello告诉探员，比较匹配的对象是Elliot Morales，曾六次被捕，其中一次涉嫌谋杀未遂。这次工作仅耗费一个小时，Coello继续和孩子们享受周末。
警察部门听到越来越多的同类型成功，我们发现，面部识别技术正成为打击犯罪行动中的一部分。纽约以外地区，诸如佛州 Pinellas County，警方使用这种软件已有十四年了；它曾帮助警方在例行交通拦截检查中，逮到逮捕令上的的罪犯。
[caption id="attachment_7343" align="aligncenter" width="1166"]
纽约警局的Roger Rodriguez探员演示了如何通过面部识别软件提升监控摄像头所摄照片的质量，做出一张直视面部的图片。接着，照片与数据库中的某人匹配上了。该案件发生在2013年，图中嫌疑人最终被判盗窃罪。[/caption]
纽约警察局已经将面部识别技术应用于8000多例实际案例中了，并在罪犯数据库中成功找到2000例可能的匹配。在这当中，超过1000例帮助警察找到了罪犯。在2012年时发生过一起轰动一时的案件，在一家理发店发生了一起枪击事件，一个男人朝一个正在剪头发的点头之交开了一枪。受害者和其他目击者只知道他绰号阿玛尼，但其中一人在脸书上有他的照片。警察将该照片和数据库内的人脸进行比对，成功找到一个并最终确定了他的罪行。
面部识别软件也在车辆注册情形中变得普遍起来，超过30个州利用这一技术来识别假驾驶证，并在调查中确认身份信息。
在联邦级别，国家部门之一的美国国务院外交安全局在2014年利用全新安装的面部识别系统找到了Neil Stammer，他于2000年获得保释，其罪名为鸡奸男性未成年。该机构当时正在测试这一系统，利用该系统寻找最新的FBI通缉罪犯，碰巧，Stammer的脸出现在其中。他用了个假名，居住在尼泊尔，正是他定期更新旅行护照后留下线索的地方。
2014年9月，FBI推出了新一代鉴别系统，在该数据库中，有望存放5200万条记录，这些记录均为美国及海外各类刑事民事罪犯照片和指纹数据库，所有的这些都是为了打击罪犯和恐怖主义。
老大哥，和兄弟姐妹们
所有这类政府掌控的面部识别技术都导致了无可避免的老大哥般的权利问题。只有它能够比奥威尔想象的还要入侵生活。在各大城市的各个地方遍布着监控摄像头。电子前线基金会的高级律师Jennifer Lynch说道：「风险就在于政府能够随时追踪人们的行踪。」她表示，就公民自由倡导者而言，尚无法根据公共法律记录对此进行判决，然而事实上并没有特定的法律法规来对抗这些。
而老大哥可能还有兄弟姐妹们。零售商们已经使用面部识别系统来追踪袭击店铺或连锁店不止一次的小偷们。这就跟赌场利用该技术确定已知的老千们类似，而这些老千就能被保安请出赌场。某些酒吧利用手机应用（在开发人员停止运营这一应用之前）在人们进店时扫描他们的面部。这款应用能够识别进店者的性别、年龄，并将比率报告给该应用的使用者们，以便他们决定今晚该如何度过。
纽约警察局不止一次地严肃引证道，正是考虑到公民的自由权，才只将面部拍摄用于罪犯数据库来追踪嫌犯。但某些执法机构也在当地州府将该技术链接至驾照数据库，而FBI的最新数据库已经开放给各州和当地执法机构。
目前在使用面部识别系统时还没有发生一起明显的误识别或误报情况。但这只是时间问题，类似的事情在指纹识别情况中仍有发生，而指纹识别比面部识别（有时也叫做「脸纹」）可要古老精确得多。在2004年马德里火车爆炸案后，FBI根据指纹对比将一位美国律师Brandon Mayfield当成了案犯，最终证明是错误的。他在监狱里呆了两周，之后法庭判决他获得了200万美元的赔偿以及FBI的正式道歉。
Coello强调纽约警察并不将面部识别对比结果当成逮捕某人的结论性证据。他说：「这只是侦探们的一种指引。我们用这些技术来找到正确方向。」那些在面部识别科工作的人们都是侦探，他们还会做除了识别照片以外的外勤工作，仔细调查某个可能的嫌犯的背景，比如地址等来协助调查。Coello说道：「没有人会穿过4个城镇去抢劫一家酒水铺。」
即使有了明确的匹配，面部识别组也只会说这人可能是名嫌犯。该部门说该技术仅有5次误识别，最近的一次是在2012年的3月。
纽约犯罪活动实时监测中心（含有面部识别科）的前指挥官Stephen Capasso说：「这只是一种工具。它既不是DNA，也不是指纹。然而，我认为面部识别的使用正在增加。」
大部分人都遇到过「完全守法」的面部识别，比如脸书上的照片标签，或者类似Google Photos等照片应用上的标签，这些软件的算法能够解析图片并对照片中的人们提醒可标记的名字。脸书在2010年末开发了其照片标签工具，并成为很多用户的常规功能。这显然是第一例大众消费者使用面部识别，但绝不会是最后一次。
我们如何走到了这一步？
例如，旅行者可能会在机场遇到面部识别算法。2013年底，在澳大利亚，P. Jonathon Phillips穿过了一道智能门（SmartGate）。这是一个自动化的边境控制系统，在澳大利亚境内8大国际机场使用，以加快来自8个国家（包括美国）的旅客过境处理速度。
[caption id="attachment_7344" align="aligncenter" width="877"]
P. Jonathon Phillips被认为是面部识别领域最有影响力的科学家[/caption]
Phillips将护照放在处理台上，并看着摄像机，后者自动将他的脸与护照上的照片进行比对。5分钟内，他就通过了智能门。他了解这个系统，但他仍然感叹：「看到这里，我真的惊呆了！我在面部识别领域已经工作了23年。我们一开始只是在研究『能识别』的算法。而现在当你去到某个地方时，它就真的能识别了……」
Phillips可能是面部识别领域最有影响力的科学家。他在这个领域的工作始于1993年，当时他在陆军研究所启动了FERET（Face Recognition Technology）项目，这是第一个同类项目。那时候，他们在一个拥有1200张人脸照片的数据库中测试算法，这些照片大多是乔治梅森大学的学生志愿者。现在，他是美国国家标准技术研究所（NIST）的电子工程师，并管理着NIST的面部识别项目。
他刚入行时，核实护照照片是一件困难的事。而现在，在良好光照条件下识别直视前方的正脸时，许多面部识别算法的能力已经超过了真人。
当然，面部识别算法并不会「看见」任何东西。人脸及其特征被解构成一串串数字，代表各个像素、它们的颜色以及它们在数学化的人脸中所处的位置。首先，算法要找到一张脸，然后找到人脑能立刻识别出来的特征，例如眼睛。在早期，有一种通过线性代数表征的技术叫做特征向量，可以让研究者对排列成行的相似物体进行比较。想一想驾驶证和护照照片，或者登记照，其中的人脸都是望向正面的姿态。研究者用这些技术创造出了特征脸，对人来说，这些脸就像鬼一样，但它们为算法提供了一个人脸的参考表征，用它来与新脸进行比较。
这改善了这项技术，使得人脸分析起来相对直接一些。在人脸中，眼睛和嘴总是位于同一个地方，脸型变化也不会太大——你永远不可能找到一张正方形、星形或六角形的脸。到20世纪90年代中期，面部识别成为了一项炙手可热的技术，许多创业公司都致力于将它商业化。
「这很有趣。一项新技术的初始阶段开始发芽，」Brian Martin说。他是MorphoTrust公司的研究与技术资深总监，这家公司是向美国政府和执法机构提供面部识别软件的主要供应商。1998年，他在匹兹堡大学获得了凝聚态物理博士学位。在那之前的一年，他开始在一家早期的面部识别创业公司Visionics工作。它的第一个产品是一个生物识别屏保程序，使用你的脸来作为电脑密码。Martin说，这个产品有两大卖点：一是你不需要记住密码，二是它会拍下所有试图打开你电脑的人的照片。但是，那个年代的摄像头分辨率太低，意味着这项技术有着严重的图像质量问题。
[caption id="attachment_7345" align="aligncenter" width="1218"]
Rodriguez探员演示了软件如何用监控摄像头拍下的他的照片构建模型。采用他脸上的参考点，计算机构建了一个多边形组成的3D模型，将标记点放到头部的形状上。Rodriguez脸部照片覆着在多边形模型上，创造出一个3D版本的潜在嫌疑犯。接着，图像可以被旋转，以便同警察登记照或网络截图做比较。[/caption]
[caption id="attachment_7346" align="aligncenter" width="788"]
纽约警察局面部识别科里老式的人脸识别图表，展示出人类头部的解剖特征。[/caption]
Martin说，研究者开始使用所谓的局部特征后，精度大大提高了。在其中，算法并不只使用整张脸，还会使用局部区域，例如眉毛的形状和鼻子的宽度等。这使得软件不容易被表情改变所影响。2005年左右，研究者开始将机器学习的技术用到算法中，训练算法学习如何越来越精确地匹配特征组。
脸书在2010年末开发了其照片标签工具，并成为很多用户的常规功能。这显然是第一例大众消费者使用面部识别，但绝不会是最后一次。
今天，最大的推动力在于「深度学习」——受到人脑神经连接启发而构建起来的人工智能算法。我们的神经元通过数以万亿的突触相连，就像计算机网络中的节点。这样形成的连接受到神经元之间交互次数的影响。神经网络也是由连接所组成，这些连接受到暴露的调节，实际上就是从正在发展的模式中学习。在面部识别中，当它们被「展示」了数千张照片后，这些模式就会自动浮现。当一张脸与另一张不同光照条件或不同表情的脸拥有足够多相同的特征时，算法就从数学上识别出了这张脸。神经网络理论与20世纪90年代相比，并无太多不同，但21世纪低价计算能力的爆炸和数据集的可获得性，让研究者能够充分利用这个理论的优势，将其发挥到极致。
在他们完成算法训练之后，研究者们通常就会依据可信度较高的公开基准对算法进行测试。最受到青睐的数据集是Erick Learned-Miller（来自马萨诸塞大学阿姆赫斯特分校的计算机科学家）和他的同事们收集的图片集。2003年，Learned-Miller还是加州伯克利的一名博士后研究员，他利用一个名为「Faces in the Wild」的数据集进行相关工作，「Faces in the Wild」是由David Forsyth、Tamara Berg 与其他人一起开发的。他们从各个网页新闻网站上（这也是为什么数据集被叫做「原生（wild）数据集」）收集成千上万的人脸图片来训练他们的面部识别算法。
其目的在于训练算法自动标记出照片中的人脸。2004年在关于这个算法的一篇论文发表之后，Learned-Miller开始收到多位面部识别研究员的请求，他们都想要在这个人脸数据集上测试他们自己的算法。2007年，他和一个同事整理了这个数据集，删除了重复和拍摄错误的图片，并且以「Labeled Faces in the Wild」为名发布了这5749个人组成的13233张图片的图片集。这个时间点可谓是恰到好处——面部识别算法越来越擅长识别可控环境下的人脸，譬如护照照片。研究者们想要挑战更有难度的，而这个数据集正好合适。
目前该数据集在超过1,100篇论文里被引用。过去八年间，超过60个研究团队以Learned-Miller发布在人脸标记网站上的数据为基准，向它上传了他们自己研发的算法的识别效果。脸书的DeepFace算法在过去几年中都保持着最好的效果，直到去年被中国公司Megvii的Face++算法以99.5%的准确率超越。
「面」向未来
种种数据显示Labeled Faces in the Wild似乎已经被人们征服。Learned-Miller 说是时候让面部识别的研究学者们着手到新问题上去了。这一块依然存在着很多的难题，电脑在光线条件不理想的情况下识别人脸效果很差，或是当分析的面部与直视角度超过40度时，识别效果也不好。
根据Phillips的调查，相比于1‰的（专业相机拍摄的）登记照识别失误率，日常的（按下快门就拍摄的）生活照识别失误率可以达到20%，NIST目前的面部识别项目，被称为PaSC，其数据集囊括了9,376幅静态图片和2,802段视频。Labeled Faced in the wild使用由专业摄像师拍摄的知名人士的照片，而PaSC，在2013年十月启动时就把关注点放在了世界其余范围内的所有照片：那些用手机或是简易数码相机拍摄的照片。它们的效果很模糊很糟糕。
[caption id="attachment_7347" align="aligncenter" width="1127"]
当整个区域有视频监控时，纽约警察局会记上标记，比如布鲁克林桥底。[/caption]
在其核心，面部识别是一个人工智能领域的挑战，尽管现在已经没那么难了。Phillips认为知道人类如何识别特定条件下的人脸有助于算法开发。大部分算法通常都把ba重点放在脸部中央，而人类则会利用大量与他人不同的细节，比如他们的头发。我们做得更好——在与一个人共处一个上午之后，大部分人都能在绝大多数灯光亮度或者各种角度下识别出这个人的样貌。而算法需要密集训练，就如同利用了计算速度和模式匹配的深度学习一样。
部分研究者，像Learned-Miller一样，尝试过非常不同的方法。当我拜访他所在学校的实验室时，他正在使用的工具是一个略显古怪的老式地球仪，地球仪本身并不古怪，奇怪的是它被当作了人类脑袋。他目前在研究一个算法，能够识别出这个地球仪的旋转和具体位置。这可以帮助算法更好的分辨人头的位置：比如是正面的还是侧面的照片呢？他的这种方法被我们称为无监督学习。（用很多不同姿势的大量面部照片给我们的算法模型进行训练被称之为监督学习。）
[caption id="attachment_7348" align="aligncenter" width="995"]
在马萨诸塞大学阿姆赫斯特分校任职的计算机科学家Erik Learned-Miller用一个地球仪来帮助他的算法模型识别旋转和位置角度的不同。[/caption]
在其核心，面部识别是一个人工智能领域的挑战，尽管现在已经没那么难了。
就在我访问的那一天，Learned-Miller和他的研究生Cheni Chadowitz 在观察用Matlab写的算法产生的数据，Chadowitz已经改写了一个早期由Learned-Miller写的只识别正面人脸图像的算法程序。Learned-Miller正在盯着一个散点图，它表明改进算法在获取不同图片的地理特征上取得了一定成功，比如非洲之角，并把它放到了正确的经纬度上。
这个地球仪项目在Chadowitz毕业后被暂时搁置了，但是Learned-Miller说他正在等待一个合适的学生来继续这项研究。目前，Learned-Miller正集中于解决如何在不占用大量内存的情况下提取面部表征。他正在研发一个算法——将大量图片集中到一个「大脑模型」一样的结构中，能够获取关于脸部的所有信息数据，就像一个小视频，但是体积空间都要更小。
当同行们都关注于短期科研项目时，Learned-Miller所从事的基础研究将需要十年甚至更长的时间才能影响市场。「机器视觉领域的许多专家非常热衷于从无到有的研究，而从有到优的研究才是真正困难的。」他表示，「通常我们创造的产品可能在90%的情况下都行之有效，但假使进入市场后出现那10%的偏差时，消费者们就无法接受。」
戴上他们的工作「脸」
近些年，面部识别公司如雨后春笋般兴起，虽然基本都逃不出倒闭关门或勉力经营的宿命，但从目前来看，市场已进入商业成熟期，市场规模也将近达到30亿美元，诸如 MorphoTrust, NEC 及Cognitec等行业领军企业的主营业务大多来自政府及企业安保。据估计，市场规模有望于2020年实现倍翻。
其中，部分新增市场份额源于该项技术在法务机构的推广实施，消费类APP的新增需求逐渐形成。除了识别人以外，脸部识别软件还可应用于其他场景，譬如搜索具有一定特征的人物图像，追踪头部移动机面部表情。 在中国，Megvii旷视科技公司的Face++已应用于约会服务，甚至视频游戏。Kairos公司是一家总部在美国迈阿密的面部识别程序接口供应商，企业可使用接其提供的接口与时间管理、健康管理等软件进行交互，并向游乐场游客提供拍照服务。
当前，面部识别与面部分析技术的融合是未来发展趋势之一，即基于面部表情来预测情绪，甚至诊断某些疾病。
与此同时，此类应用也凸显出隐私问题。大家可以设想下，保险公司能够完全根据客户照片判断健康水平并评分。Electronic Frontier Foundation的Lynch指出，当前没有任何法律禁止公司共享那些盗窃嫌疑人的信息。「某人在商场偷东西时被安保给抓个正着，商场有权利将他逐出」，她强调，「然而这极可能使他在其他商场中也被跟踪。」在赌场，这种情况已经屡见不鲜。
隐私法是基于公民自我保护权益而设立的。譬如黑名单计划（拒绝来电计划）当且仅当用户在官方数据库注册后才开始生效。相较而言，面部识别却大有不同，哪怕只是在街边溜达，警方安装的摄像头也经常会记录下你的一举一动。
「执法机关可以使用纳税人的钱，安装摄像头监视异见人群，并已达到按名识别的程度。」乔治城隐私与技术法中心常务理事Alvaro Bedoya说道，「我们应该好好想想那究竟是不是我们所想要的世界。」
花开两朵，各表一枝。我们在看看Coello警官截然相反的态度。他认为面部识别在实际工作中十分有用。警官们过去必须得带着照片登门走访，询问是否有人认识照片里的人。「现如今我们也不需要这样了」，他说道，「你把照片交给我们，我们将利用数据库完成余下的工作。」
虽然Bedoya表示该项技术在实际应用中很有帮助，但他也表示了一定的忧虑，公众集会可能受到阻碍，陌生人或企业随意可能通过照片就能够获悉我们的姓名，职业及住址。目前，一款名叫Nametag的应用已经可以实现上述部分功能。该应用的开发商是来自洛杉矶的Facialnetwork.com，这家公司去年还发布了一款名叫Creepfield的应用，其后台数据库包含几十万登记在册性侵罪犯的照片。六月，在国家电信与信息管理主办、商务部协办的隐私准则讨论会上，Bedoya连同八家消费者权益组织集体退席，明确指出企业缺乏足够的动机去赋予民众权利以决定自己的脸是否要被识别。
目前，还未出现任何涉及脸部识别的公民自由诉讼案件，部分原因是我们还未掌握足够的证据表明政府或者企业滥用这项技术。仅有德克萨斯州与伊利诺伊斯州立法通过了监管面部识别的商业用途。四月，Facebook因涉嫌违法隐私限制而在伊利诺伊斯州遭到起诉。如果这起案件进入庭审，那也算是开创先河了。
毫无疑问，技术是中性的，而其好与坏取决于使用者。当面部识别悄然成为一种影响范围极广的工具时，我们必须思考好如何趋利避害，物尽其用。
选自Discover，作者Michael Fitzgerald，机器之心编译出品。参与：微胖，柒柒，汪汪，Angulia，张玺，Gabrielle。 
