结构光

结构光是将已知图案（通常是栅格或水平条）投射到场景上的过程。这些物体在撞击表面时变形的信息来在视觉系统中计算场景中物体的深度和表面信息，如在结构光3D扫描器中使用的。

结构光是一组由投影仪和摄像头组成的系统结构。用投影仪投射特定的光信息到物体表面后及背景后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。

不可见Invisible（或不可察觉，imperceptible）的结构光可以只使用结构光，并且不干扰投影图案或混合其他计算机视觉任务。示例方法包括使用红外光或在两个完全相反的图案之间交替使用极高的帧速率。

许多警察都使用结构光在3D场景中拍摄指纹。以前他们会用胶带提取指纹并将其压平，现在他们可以使用摄像机和数字化压平指纹，这允许在警官离开现场之前就开始识别过程。

Structured light systems致力于以高准确率来3D构图。精确的结构光技术是在智能手机中实现的用户面部识别的背景。结构光产品和设计专业技能帮助客户快速进入市场并迅速扩大生产规模。

Structured light sources on display at the 2014 Machine Vision Show in Boston-在Boston2014机器视觉展览结构光展示

这些产品提供了一流的性能，包括VCSEL（激光）阵列，投影光学和衍射光学。ams提供的产品还包括系统设计（包括点模式）以及装配和系统集成方面的专业知识。

【出处：https://en.wikipedia.org/wiki/Structured_light   】

 上图是一个结构光系统的架构，里面包含分别是camera和projector，前者是相机，而后者是一个点阵投影仪。从数学上说，一部分投影仪是可以用逆向针孔相机模型描述的，也就是说如果我知道投影面上的某一个点，我就可以知道由这个点投影出的一条射线，这条射线遇到一个面，线面相交的点就会被投影仪点亮。

【来源：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.838.117&rep=rep1&type=pdf   】

3D结构光案例：

 iPhone X的结构光方案

所谓3D结构光，就是通过红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。

与过往的2D方案相比，3D传感方案由于能同时获取目标物体的深度信息和平面信息，构建出目标物体的3D特征，这就使得它能够有效地防御面具、照片等2D人脸识别常见的攻击，将人脸识别的安全性提高到一个新的级别，这就可以满足目前对人脸识别倍感兴趣的手机解锁、支付、场景优化、美颜、没怕、门禁和汽车等市场的需求。

2. 发展历史

描述

根据发明家威廉·肯尼迪·迪克森William Kennedy Dickson的说法，托马斯·爱迪生和他的研究人员在1887年前后进行了第一批针对运动图像的实验，其中包括“放在圆柱形外壳上的显微针尖照片”。 圆柱体的大小与留声机圆柱体相对应，因为他们想要将活动图像与录音结合起来。 在图像放大时，出现了清晰图像的“显着速度”和感光乳剂的“粗糙度”问题。 显微镜下的针尖照片很快就被废弃了。1893年，电影放映机终于在电影胶片上出现了活动图像。 记录这些图像的摄像机，被称为显像管，装有镜头。

第一台实用的反光相机是1928年的Franke&Heidecke Rolleiflex中型TLR。 尽管单镜头和双镜头反光相机已经问世几十年了，但它们体积太大，无法获得太大的人气。 然而，Rolleiflex足够紧凑，以实现广泛的普及，中格式的TLR设计成为流行的高端和低端相机。

而这些都是基于单目摄像机而言，之后，双目摄像头进入人们的视野。它可以获取单目摄像头无法获得的高度或深度信息。双目摄像头的原理与人眼相似。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3D电影能够使人有立体层次感知的原因。

特征点的缺失是双目测距的一大痛点，有学者就提出，既然缺少特征点不如我就造一些特征点出来，这就是结构光。iPhone X的人脸识别用的就是这一项技术。

结构光中代表应用就是3D打印

3D打印如今已是一项众所周知的技术，因为那些极具创新性的3D打印机的推出在相当一段时间内成了主流科技媒体的宠儿。然而，很少有人知道3D扫描仪，这台机器可能比3D打印机更具冲击力。

3D扫描仪能够从现实世界中的项目中捕获数据，然后转换该数据并将其发送到数字管道。 3D扫描带来的一些好处包括：

• 提高关键任务项目的可靠性，速度和准确性;
• 更实惠的成本，以帮助拓宽市场
• 自动化和简单性超越了专家
• 在主流工程中非常有用包括PLM在内的多种应用的灵活性和便利性

结构光扫描的历史

原始的3D扫描仪是在20世纪60年代引入的，涉及投影仪设备，灯光和照相机的使用。由于受那个时代技术的限制，其结果不够准确。此外，原始扫描仪在数字上重新创建项目的能力非常有限。

shirai 和suwa在1971年将structured light sensor该技术用于多面体识别中。

然而，到1985年，激光和白光开始使用，以加快过程并提高准确性。

几年后，推出了蓝光和第一款结构光3D扫描仪，提供的功能超越了当今其他类型的3D扫描仪。

三角测量(Triangulation)是现代结构光3D扫描设备背后的主要概念。 光以精确的parttern（通常是多条平行线）投射，然后在物体表面变形。 摄像机从多个角度捕获失真，三角测量计算物体上某些点的距离。 这些三维坐标用于以极其详细的方式数字化地重建项目。

蓝光和白光均可用于结构化照明扫描。 即使每个都提供有效的速度和准确度，蓝光比白光有一些好处，包括：

• 使用持续时间更长的LED光源。
• 这些机器在包含额外光源的房间中具有更高的扫描容差。
• 它们的工作温度比白光机低。

在1992年，Straduss提出一个三维的感知系统基于tructured light sensor。解决的问题很简单：

光投射器相对于狭缝的单个正交平移,更加确保了单个且明确的匹配。但是它的花费是巨大的。

为了解决这个扫描的时间花费，最后一个解决方案包括投射多条纹图案，网格或多个点 : 这就是一个二维图案。如介绍中的图三，四。will 和pennington 就是这个领域的先驱者，它们提出了grid coding技术。Hu jian sotckman 的工作解决了对于一些模型的coding pattern的问题，它们的工作使得获取的光线可以很好的区别于其他的光线。当然一个基于光结构的code pattern 的回顾，如1998年论文《Recent progress in coded structured light as a technique to solve the correspondence problem: a survey》，在2004年进行了更新《 Pattern codification strategies in structured light systems.》。

2017年可以说是手机3D结构光技术的元年，iPhone X推出的Face ID正是基于这项技术，相较于ToFTOF（Time of flight）等其他3D技术路线，结构光在人机互动距离内有数倍的精度优势。但将结构光应用于手机的挑战在于要在高性能要求下降低模组的成本、体积和功耗。苹果花费时间时间，才将其产品化，并建立了建立了极高的专利和供应链壁垒，给安卓市场效仿跟进设立了障碍。

2018年9月，3D视觉创业公司光鉴科技首次发布了智能手机所需的3D结构光模组。该模组的厚度小于5mm，可以直接和手机集成，并已实现针对主流手机系统的接入调试，且方案价格可以做到10美元以下，这使得3D技术有可能在中低端手机应用并普及。

【出处： https://blog.csdn.net/app_12062011/article/details/52486299   】

主要事件

3. 发展分析

瓶颈

结构光系统的基本问题

•校准结构光 Calibration of structured light

•通信 Correspondences

首先将结构光投射至物体表面，再使用摄像机接收该物体表面反射的结构光图案，由于接收图案必会因物体的立体型状而发生变形，故可以试图通过该图案在摄像机上的位置和形变程度来计算物体表面的空间信息。普通的结构光方法仍然是部分采用了三角测距原理的深度计算。

与结构光法不同的是，Light Coding的光源称为“激光散斑”，是激光照射到粗糙物体或穿透毛玻璃后随机形成的衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同而变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源标定。

激光器发出的编码光斑容易太阳光淹没掉

结构光方案中的激光器寿命较短，难以满足7*24小时的长时间工作要求，其长时间连续工作很容易损坏。因为单目镜头和激光器需要进行精确的标定，一旦损坏，替换激光器时重新进行两者的标定是非常困难的，所以往往导致整个模块都要一起被换掉

未来发展方向

Light Coding不需要特制的感光芯片，只需要普通的CMOS感光芯片等特点也是获取深度的一种方式。

今天的消费级无人机，一般采取两种感知解决方案，一种是双目视觉技术，比如大疆的某些产品；一种是结构光传感器，比如微软的Kinect。而这两种主流方案都是有一定局限的，比如感知范围都有限，难以完成远距离作业。再比如双目视觉技术在黑夜中会失灵，所以无人机夜拍一直是个大坑，然而结构光技术应对不来强光，一到中午无人机就石乐志也是很心塞的。

更好的解决方案，在于将传感器与智能摄像头结合起来，达成可以适应不同天候与天气，并且可以长距离感知的新型传感系统解决方案。

今天，用机器视觉技术中的很多算法，协调不同的传感设备工作，让无人机变成“多眼无人机”，正在成为流行的解决方案。机器视觉算法大量加入无人机传感器，还可能带来轨迹拍摄能力提升，让无人机获得拍摄整体环境，或者精准捕捉动态物体，比如说运动中的动物和车辆的能力。

以上几个技术趋势，都可能成为机器视觉和图形学应用的下一步热点。这个领域看似偏门，事实上却能影响今天科技市场中的风吹草动。

让机器看到立体世界的游戏才刚刚开始，机器与人类在某一天可以用同样的视角相互凝视，或许才是这个故事的终点。

【来源: https://www.iyiou.com/p/87897.html  】

Contributor: Ruiying Cai