X射线视觉长期以来一直被当作难以置信的科学幻想，但在最近十年来MIT的计算机科学与人工智能实验室（CSAIL）教授Dina Katabi带领的团队一直在试图让我们能实现穿墙透视。
他们最新的项目“RF-Pose”使用了人工智能技术来教无线设备感知人们的姿态和移动，甚至隔了一堵墙也能做到。
研究者使用了一个神经网络来分析人们的身体反射的无线电信号，然后可以创建一个随人类动作而同步的动态火柴人行走、停下、坐下和移动肢体的图像。
该团队称RF-Pose可以用于监控疾病，例如帕金森氏症、多发性硬化症和肌肉萎缩症等，从而提供对病情发展的更好理解，让医生能根据情况调整用药。它还可以帮助老年人更加独立地生活，同时提供对摔倒、受伤和活动模式变化等状况的监控。该团队目前正与医生合作探索RF-Pose在医疗中的应用。
该团队收集的所有数据都经过了实验对象的同意，并经过匿名化和加密以保护用户隐私。对于未来的现实应用，他们计划实现一种“同意机制”，其中安装了设备的人们可以通过做出一系列的动作以提示设备开始监控环境。
“我们发现监测病人步行速度和基本活动的能力为医疗服务提供了一个全新窗口，这对于所有疾病的治疗都非常有意义，”Katabi表示，他是有关本研究的论文《Through-Wall Human Pose Estimation Using Radio Signals》的作者之一。“我们提出的方法具有一个重大优势：它不需要病人佩戴传感器，并时刻保持它们充电。”
除了医疗外，该团队还表示RF-Pose可用于新型视频游戏，其中玩家可在房间周围移动。当然也可以用于搜救任务，以帮助搜救人员快速找到幸存者。
这项研究作者是Dina Katabi教授和她的博士生赵明民（第一作者）、MIT教授Antonio Torralba、博士后Mohammad Abu Alsheikh、博士生黎天鸿、田永龙和赵行。相关的研究论文已经被CVPR 2018接收，他们将CVPR 2018上展示这项工作。
研究人员需要解决的一个问题即训练数据，因为大多数神经网络都是使用手工标注数据进行训练，而这项研究者工作的数据是没有现成的。例如在一般的图像分类中，我们可以轻松获得大型标注数据集，它可能标注每张图片到底包含还是不包含“猫”。而这一项研究中的无线电信号很难手工标注，这也就造成了数据问题。
为了解决这个问题，研究员使用无线设备和相机收集了大量的样本。他们收集了成千上万张人类活动的图片，如走路、交谈、开门和等电梯等。然后他们从这些图片中抽取出棒状的人体图以及相应的无线电信号。这些组合样本使得系统能学习无线电信号与棒状人物图之间的关系。
在训练结束后，RF-Pose能在没有相机输入图像的情况下抽取棒状特征，并只使用无线反射信号评估人体的姿势与行动等。
因为相机不能透视墙体，神经网络就无法明确的从来自墙另一边的数据训练。这也是让MIT的研究人员惊讶的地方：神经网络能够归纳自己的知识，从而掌握墙后的动作。
Torralba说，「如果你把计算机视觉系统当作老师，这就是学生超越老师的完美示例。」
上图是一个单人识别的例子，展示了MIT提出的系统在人走到墙后，甚至完全被墙遮挡后的识别结果。最上面一行：与无线电传感器配套的摄像头拍摄的图像；中间一行：仅从RF信号提取的关键点置信图，没有任何视觉输入；下面一行：从关键点置信图分析的骨架示意，即使完全被遮挡，我们也可以使用RF信号来估测人在其后的姿势。
除了感知运动，作者也表示从一队100人的人群中，使用无线信号大概在83%的时候都能准确的识别出某个人。在知道某个特定人的身份时，这一能力应用到搜救非常有帮助。
在这篇论文中，模型输出一个2D线条人物，但研究团队也在创造3D表征，从而可以表示更细微的动作。例如，能够查看老人的手是否有规律性的晃动。赵说，「通过使
用视觉数据与AI的结合来透视墙内，我们能够实现更好的场景理解与更智能的环境，从而让生活更安全、更丰富。」
论文：Through-Wall Human Pose Estimation Using Radio Signals
论文链接：http://openaccess.thecvf.com/contentcvpr2018/CameraReady/2406.pdf
本文展示了隔着墙和遮挡物也能实现准确的人类姿态估计的研究。我们利用了WiFi频率的无线信号可以穿墙并从人体反射的事实。我们引入了一种神经网络方法来解析这种无线电信号，以估计2D的姿态。由于人类不能标注无线电信号，我们使用了当前最佳的视觉模型来提供跨模态监督。具体来说，在训练期间，系统使用同步的无线信号和视觉输入，从视觉流中提取姿态信息，然后将其用于指导训练过程。一旦训练完成，网络仅使用无线信号就可以进行姿态估计。我们的实验表明当在可见场景中进行测试时，基于无线电的系统几乎和用于训练的基于视觉的系统一样准确。然而，和基于视觉的姿态估计不同，基于无线电的系统可以穿墙估计2D姿态，即使从未在这种场景中训练过。
原文地址：http://news.mit.edu/2018/artificial-intelligence-senses-people-through-walls-0612
