ToF深度相机技术白皮书

弁言：

短短几年, 3D视觉手艺从传统意义上只应用于专业领域的高端手艺变成了消费级产物。基于三角法和航行时间的深度丈量方案是当下两种主流3D视觉手艺,而今年苹果公司公布的新款iPadpro上搭载了d-ToF手艺的深度相机，给3D视觉手艺在消费场景的应用推动了新的机遇。

连系当前学术界的功效以及工业界的生长状态，光鉴科技于克日公布了《ToF深度相机手艺白皮书》。本文主要剖析了ToF深度相机的基本事情原理和差别手艺路径的优势和挑战。与此同时，为了辅助读者加倍详细地领会3D视觉手艺方案，文中还进一步对照了ToF与双目和结构光手艺方案的优劣势。基于基本的手艺特点，结构光和双目方案更适合近距离高精度的应用场景，例如识别、建模等；ToF手艺更适合远距离的应用，好比SLAM，AR等。

光鉴科技以为:“d-ToF产业成熟需要很长一段历程。在此历程中，i-ToF另有很大的潜力可以挖掘，正在先一步抢占3D行业市场份额；而随着工艺和产业链的成熟，d-ToF将逐步从高端消费电子往下渗透。在较长的时间周期中，与i-ToF各自占有主要的市场份额。”

另一方面，当前ToF行业现状，d-ToF手艺在激光功耗、抗滋扰、远距离精度等方面有显著优势，但在工艺和产业链均离成熟尚远，仍需较长时间打磨；i-ToF芯片在工艺和产业链虽已趋于成熟，但到达的效果却不尽完善，从而导致其应用受阻。

随着2020年公布的iPad Pro等高端消费电子领域的延续关注，d-ToF手艺将进入快速迭代生长阶段，手艺生长偏向可能会集中在：SPAD工艺升级（包罗DCR、PDE、jitter等），片上集成度提升（包罗片上直方图/深度图算法，I/O，Memory等），TRX系统协同设计等方面；随着工艺和产业链的成熟，d-ToF的手艺优势也会逐步释放，占有一定市场空间。

与此同时，i-ToF仍有很大潜力可以延续挖掘，岂论是在算法端，亦或是系统端和应用端均有望通过软硬件的协同设计，填补原理上的非理想效应以光鉴科技的mToF (modulated ToF) 方案为例，通过在系统端连系软硬件，引入调制光场的观点，通过空域、频域、时域上的巧妙设计，创新硬件协同前沿算法，在物理上提升i-ToF抗滋扰、抗噪声能力，解决i-ToF在现实应用场景中面临的要害痛点，一定程度上可以媲美d-ToF的性能。

现在消费电子中ToF 应用以手机为主，华为、三星已在前后摄都搭载ToF 摄像头，今年苹果机型有望也最先搭载ToF手艺；另外，ToF手艺在头部终端厂商的推动下也最先在消费电子领域、机械人领域、安防监控&轨道交通领域以及无人驾驶&工业自动化逐步实现渗透。

ToF深度相机手艺白皮书

修订于2020年3月31日

本文为深圳市光鉴科技有限公司原创并依法对其享有完整的著作权。未经书面授权，任何小我私家、机构或其它主体不得编辑、修改、复制、转载、摘编或另作其它商业使用。本公司亦不接受任何主体在未经书面授权而作出的类似“本文泉源于网络，版权归原作者”之一切表达。若需获得书面授权使用者，请联系我司并支付响应待遇。对不遵守本声明或其他违法、恶意使用本文任何内容者，我司保留追究其法律责任的权力。

目录

1  3D视觉先容... PAGEREF _Toc36545567 \h 4

2   3D视觉方案先容... PAGEREF _Toc36545568 \h 5

2.1 双目手艺... PAGEREF _Toc36545569 \h 5

2.2 结构光手艺... PAGEREF _Toc36545570 \h 6

2.3 双目、结构光及ToF手艺对照... PAGEREF _Toc36545571 \h 7

3 ToF基本原理... PAGEREF _Toc36545572 \h 8

3.1 i-ToF原理... PAGEREF _Toc36545573 \h 8

3.1.1 延续波调制(CW-iToF) PAGEREF _Toc36545574 \h 8

3.1.2 脉冲调制(PL-iToF) PAGEREF _Toc36545575 \h 9

3.1.3 CW-iToF与PL-iToF对比... PAGEREF _Toc36545576 \h 10

3.2  d-ToF原理... PAGEREF _Toc36545577 \h 10

4 ToF手艺挑战... PAGEREF _Toc36545578 \h 12

4.1 i-ToF挑战... PAGEREF _Toc36545579 \h 12

4.1.1 飞点噪声（Flying pixels）... PAGEREF _Toc36545580 \h 12

4.1.2 多径滋扰(Multi-Path Interference, MPI) PAGEREF _Toc36545581 \h 13

4.1.3 强度误差(Intensity Related Error) PAGEREF _Toc36545582 \h 15

4.1.4 远距离-高精度矛盾(Trade-off between range and precision) PAGEREF _Toc36545583 \h 15

4.1.5 高频驱动... PAGEREF _Toc36545584 \h 15

4.1.6 片上集成... PAGEREF _Toc36545585 \h 16

4.2 d-ToF挑战... PAGEREF _Toc36545586 \h 16

4.2.1 暗计数率(Dark Count Rate, DCR) PAGEREF _Toc36545587 \h 16

4.2.2 子探测效率(Photon Detection Efficiency,PDE) PAGEREF _Toc36545588 \h 17

4.2.3 串扰(Cross talk) PAGEREF _Toc36545589 \h 17

4.2.4 时间精度... PAGEREF _Toc36545590 \h 18

4.2.5 SPAD阵列3D集成... PAGEREF _Toc36545591 \h 18

5 ToF生长偏向... PAGEREF _Toc36545592 \h 18

6 ToF手艺应用... PAGEREF _Toc36545593 \h 20

7 总结... PAGEREF _Toc36545594 \h 22

8 参考文献... PAGEREF _Toc36545595 \h 23

1 3D视觉先容

3D视觉手艺能够获取现实三维场景完整的几何信息，行使带有深度信息的图像来实现对于场景的精准的数字化，从而实现高精度的识别、定位、重修、场景明白等机械视觉的要害功效。以2010年的Kinect和2017年的iPhone X的公布为标志，3D视觉手艺从传统意义上只应用于专业领域的高端手艺变成了消费级产物。

Figure STYLEREF 1 \s 1‑SEQ Figure \* ARABIC \s 1 1二维空间到三维空间示意图。

现行专业级或者消费级的3D相机接纳两种主流手艺，三角法(Triangulation)和飞时法(Time-of-Flight, ToF)[1]。接纳三角法的3D视觉手艺包罗双目手艺和结构光手艺，基本原理接纳三角几何视差来获得目的到相机的距离信息。这种方式在近距离有着很高的精度，然则误差会随着距离增大而快速变大。ToF手艺丈量相机是指自动投射出的光束经由目的外面反射后被相机吸收这个历程的往返的航行时间，基于光速即可获得目的到相机的距离。ToF手艺在差别距离的误差相对三角法更稳固，在远距离有着更好的精度[2]。

在本文中，我们将先容消费级的3D视觉手艺的主要手艺路径。针对ToF手艺，我们将先容其主要实现方式的详细事情原理，各自的优劣势以及手艺挑战。凭据行业的现状，我们将连系学术界的最新功效，先容解决当前ToF相机痛点的一些方式。最后，我们也将连系现下行业需求，先容ToF的一些主要的应用场景。

2 3D视觉方案先容

常见的3D视觉方案主要包罗双目、结构光和ToF三个手艺偏向。这三种方式各有优劣。虽然本文主要先容的是ToF手艺，本章节将简要地先容和对照其他两种手艺方案，辅助读者周全地领会3D视觉手艺方案。

2.1 双目手艺

双目深度重修行使的是三角测距法盘算被测物体到相机的距离。详细的说，就是从两个相机考察统一物体，被观察物体在两个相机中拍摄到的图像中的位置会有一定位置差。正如将一只手指放在鼻尖前，左右眼看到的手指位置会有一个错位的效果。这个位置差称为视差，被摄物离相机越近，视差就越大；距离越远，视差就越小。在已知两个相机间距等相对位置关系的情形下，即可通过相似三角形的原理盘算出被摄物到相机的距离。

Figure STYLEREF 1 \s 2‑SEQ Figure \* ARABIC \s 1 1双目手艺示意图。

双目深度重修的原理虽然简朴，但在现实使用中遇到了两个挑战：盘算量大，依赖被摄物的纹理及环境光照。下面临这两个挑战划分睁开先容。

要盘算一幅图中每个像素的深度值，我们需要获得每个像素在两幅图中的一一对应关系。这个关系的确立通常是接纳块匹配(blockmatching)的方式。详细的说，在一幅图中，以一个像素为中央，选取一个牢固巨细的窗口，在另一幅图中寻找最相似的窗口，从而获得该像素在另一幅图中的对应像素。块匹配算法有很高的盘算庞大度，其盘算量正比于O(NMWHD)，其中N, M为图像的行数和列数，W, H为匹配窗口的宽和高，D为匹配寻找最相似像素的局限。为了到达更好的效果，会接纳一些更庞大的改善算法（如Semi-GlobalBlockMatching, SGBM），这就更进一步提高了盘算量和庞大度。鉴于此缘故原由，业界常见的方式是将算法固化到特制的ASIC芯片中，从而解决盘算量的大的问题，但这一增添了分外的硬件成本和迭代转变周期。

双目深度重修的另一大挑战是依赖于被拍摄物体的外面纹理和环境光照。行使双目原理重修外面没有任何纹理的物体时，例如拍摄一面白墙，会遇到无法找到匹配的对应像素的问题。另一方面，当拍摄环境的光照很弱的情形下，例如黑灯环境下，匹配也会遇到很大的挑战。结构光手艺为解决这两个问题提供了新的思绪。

2.2  结构光手艺

结构光方案是一种自动双目视觉手艺。每个结构光相机包罗两个基本组件：一个红外激光投射端和一个红外摄像头。其基本思绪是将已知的结构化图案投影到被观察物体上，这些结构化图案将凭据物体的几何形状和拍摄距离而发生响应的形变。红外摄像头从另一个角度举行考察，通过剖析观察图案与原始图案之间发生的形变，可以获得图案上各像素的视差，再凭据相机的内外参恢复出深度。

FigureSTYLEREF 1 \s 2‑SEQ Figure \* ARABIC \s 1 2结构光手艺示意图

结构光方案可以看成双目方案的一种特例。已知的投射端结构化图案和红外摄像头拍摄到的图案可视为左右双目的观察。结构光重修算法和双目重修算法接纳了相似的头脑，也面临着类似的挑战，主要包罗高盘算量和深度突变处的数据缺失。

为解决这两方面的挑战，光鉴创新地研发了一套高效软核重修算法，将盘算量降低了两个数目级，只需一颗通俗的ARM嵌入式处置器即可完成高精度深度重修。与此同时，行使多传感融合与深度学习，该算法大幅提升了常见的深度图缺失问题。

和尺度的双目方案相比，结构光方案更为鲁棒，这得益于结构光方案接纳的自动光源和投射的结构化图案。详细的说，投射端发出的红外激光照亮了被拍摄物体，这使得拍摄端无需依赖环境光源即可获得亮度稳固的图像输入；另一方面，投射的结构化图案为被拍摄物体增添了外面纹理，这使得拍摄外面没有任何图案的物体也能精准地重修出深度。

2.3     双目、结构光及ToF手艺对照

为了更直观的对照双目、结构光和ToF手艺路径的优劣势，我们汇总了各个每个方案的要害手艺参数的对照。其中，i-ToF和d-ToF手艺将在之后的章节中详细先容。

3      ToF基本原理

相比双目视觉和结构光方案，ToF 的方案实现起来会相对简朴，主要包罗发射端和吸收

端，ToF 传感器给到光源驱动芯片调制信号，调制信号控制激光器发出高频调制的近红外光，遇到物体漫反射后，吸收端通过发射光与吸收光的相位差或时间差来盘算深度信息。现大部门ToF 传感器接纳背照式CMOS工艺手艺，该工艺大幅度提高了感光面积，提升了光子网络率和测距的速率，响应时间能够到达纳秒级，在远距离情形下也能保证高精度。

3.1 i-ToF原理

i-ToF，即indirect ToF，通过传感器在差别时间窗口采集到能量值的比例关系，剖析出信号相位，间接丈量发射信号和吸收信号的时间差，进而获得深度。i-ToF 凭据调制方式的差别，可分为两种：延续波调制（CW-iToF）和脉冲调制（PL-iToF）,划分发射延续的正弦信号和重复的脉冲信号；前者是通过剖析正弦信号相位剖析深度，而后者是剖析脉冲信号相位来剖析深度。

3.1.1    延续波调制 (CW-iToF)

通常接纳正弦波调制方式，吸收和发射端正弦波的相位偏移和物体距离摄像头的距离成正比, 通过相位偏移来丈量距离

相位偏移 (φ) 和 深度(D) 是由积分能量值C1、C2、C3、C4从上述公式剖析获得,这几个积分能量值，是四个差别相位延迟的吸收窗口采集到的能量，划分对应于在相位采样点0°、90°、180°、270°采样，即：

其中A为吸收到正弦信号的幅度。

精度方面，CW-iToF精度主要受制于随机噪声和量化噪声，前者与吸收光信号信噪比（Signal to Noise Ratio, SNR）成反比，后者与正弦波调制频率成反比。因此，为了提升精度，CW-iToF一样平常接纳大功率短积分时间采样，提高接受光信号SNR；同时提高调制频率以抑制量化噪声。

量程方面，CW-iToF可剖析的相位局限为[0~2π],因此其最大量程为Dmax=c2fm。即，频率越高，精度越高，量程也越小。跨越量程的深度，将泛起周期性的相位卷绕（Phase wrap），丈量值错误的落在[0~Dmax]内。

FigureSTYLEREF 1 \s 3‑SEQ Figure \* ARABIC \s 1 1CW-iTOF事情示意图

3.1.2    脉冲调制(PL-iToF)

在PL-iToF 系统中，激光光源发射带有振幅信息 A和时间TP的光脉冲，凭据光的航行速率C，可盘算获得最远探测距离dMAX=TP*C/2。反射光信号、靠山光以及探测器的噪声集成在三个差别时间段内。PL-iToF通过双采样手艺提高精度，同激光脉冲同步的第一个窗口W0，同激光信号正交的第二个窗口W1，是累积反射光信号的两部门，且每个窗口与目的距离成比例；第三个窗口WB在没有光脉冲发射时开启，仅网络靠山光信号。若是C0,C1,C划分示意在窗口W0,W1,WB的光子数，目的距离D，吸收到的有用光强度AR，靠山光B可由以下公式获得

Figure STYLEREF 1 \s 3‑2 PL-iToF的基本事情原理

3.1.3    CW-iToF与PL-iToF对比

CW-iToF在事情历程中，岂论目的物体的距离是多少，系统都采集了完整时长的反射光。相比之下，PL-iToF在两个窗口内采集的信号的信噪比与距离直接相关。在有靠山噪声的情形下，若是目的距离的很近，W1窗口的能量险些为零，因此，W1信噪比异常差；类似的，在较远的距离，W0

中的信号很弱，导致W0的信噪比差。这种效应会导致PL-iToF在近和远距离都有对照大的误差。

相比CW-iToF延续波调试方式，PL-iToF解算深度更简朴、盘算量更低，对于平台后端处置能力要求也响应更低。然而，PL-iToF 的精度取决于发光次数，发光次数越多，精度越高，但同时也会带来功耗的增添。纵然在相同平均功耗的情形下，PL-iToF不仅精度弱与CW-iToF，而且对于靠山噪声和暗噪声加倍敏感。

因此，现下的主要手机厂商，包罗华为、三星、Oppo等，以及ToF芯片厂商，包罗索尼，三星，英飞凌等都接纳了CW-iToF的方案。

3.2     d-ToF原理

d-ToF即direct ToF，相比于i-ToF手艺用丈量信号的相位来间接地获得光的往返航行时间，d-ToF (direct Time-of-Flight) 手艺直接丈量光脉冲的发射和吸收的时间差。由于激光平安的限制以及消费类产物的功耗限制，ToF相机发射的脉冲能量有限，然则需要笼罩完整的视场区域。光脉冲在经由反射回到吸收器时，能量密度降低了跨越一万亿倍。于此同时，环境光作为噪声，会滋扰吸收器对于信号的检测和还原。在这种情形下，探测器获取的信噪比不足以直接还原脉冲的模拟信号，进而导致直接丈量深度存在很大的误差。因此，d-ToF方式需要有灵敏度极高的光探测器来检测微弱的光信号。

单光子雪崩二极管(Single Photon Avalanche Diode, SPAD)具有探测单个光子的灵敏度。SPAD在事情状态是一个偏置了高逆向电压的二极管。反向偏压在器件内部形成了一个壮大的电场。当一个光子被SPAD吸收转化为一个自由电子时，这个自由电子被内部的电场加速，获得足够的能量撞击其他原子时发生自由电子和空穴对。而新发生的载流子继续被电场加速，撞击发生更多的载流子。这种几何放大的雪崩效应使得SPAD具有险些无穷大的增益，从而输出一个大电流脉冲，实现对于单个光子的探测。

FigureSTYLEREF 1 \s 3‑3 SPAD雪崩效应示意图. (a)雪崩二极管示意图，光子在吸收区被吸收，转化为自由电子。自由电子在穿过PN结的历程中被电场加速。在获得足够能量时，在放大区发生雪崩效应，使得器件输出一个大电流脉冲。(b)SPAD的CMOS示意图。详细的、结构参数取决于器件接纳的CMOS工艺。

d-ToF手艺接纳SPAD来实现高灵敏度的光探测，而且接纳时间相关单光子手艺方式(Time-Correlated Single-Photon Counting, TCSPC)来实现皮秒级的时间精度。光脉冲的第一个被SPAD捕捉的光子即可出发SPAD，发生电流脉冲信号。系统的时间数字转换器(Time-to-DigitalConverter, TDC)可以转换这个电流脉冲相对于发射时间的延时。SPAD捕捉一段脉冲内哪一个瞬间到达的光子具有一定的随机性，这种随机性的概率与光脉冲在该瞬间的能量近似成正比。因此，d-ToF相机重复许多次（好比数千次）发射和探测相同的脉冲信号即可获得每次探测的电流脉冲延时的统计漫衍。这个统计直方图即恢复了发射脉冲能量随着时间的转变，进而获得了脉冲往返的航行时间。

FigureSTYLEREF 1 \s 3‑4 TCSPC方式. 系统控制激光器发射出激光脉冲，通过光学系统投射到目的物体外面。反射回的光脉冲被接受器的光学系统成像到d-ToF传感器上。光脉冲触发SPAD，输出电流脉冲。TDC凭据电流脉冲的时间来输出数字化的脉冲时序。一次成像会重复几千到几十万次的脉冲，从而获得TDC输出的统计直方图，重修光脉冲及获得航行时间。 

4 ToF手艺挑战

4.1i-ToF挑战

在现实应用中，i-ToF手艺面临着诸多的挑战，真实环境的庞大多变，给深度丈量引入了大量的滋扰和噪声。这也是i-ToF手艺提出已经有数十年的时间，但现实应用却十分有限的主要缘故原由。本章节对i-ToF手艺面临的诸多问题举行简要的原理定性剖析。

4.1.1 飞点噪声（Flying pixels）

在i-ToF丈量的深度图中，物体边缘处往往存在大量错误的深度丈量值，天生3D点云后,视觉上表现为飞在空中的无效点（如REF _Ref36451624 \h Figure 4‑1所示），称为飞点噪声。飞点噪声使得i-ToF无法有用获取物体边缘的3D信息，这也是当下i-ToF能否获得广泛应用的一大挑战。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 1典型的i-ToF丈量点云，边缘处存在飞点噪声

如REF _Ref36451688 \h Figure 4‑2所示，飞点噪声发生的主要缘故原由在于：i-ToF传感器上，每个像素都具有一定的物理尺寸，在丈量物体边缘时，单个像素会同时吸收到远景和靠山反射回来的光线；二者发生的能量叠加在一起，使得传感器获取的原始数据中包罗多个距离的信息，使用3.1节原明白算相位盘算距离时将获得错误的深度丈量值。另外，镜头散射及像素间串扰，有时也会引起飞点噪声，甚至造成靠山的大局限变形。

通过边缘检测等图像算法，可以在一定程度上检测并去除边缘飞点噪声，但对散射和串扰引起的变形难以根除，同时，误检也会造成大量有用深度丈量值的丢失。

FigureSTYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 2飞点噪声发生原理示意图：ToF传感器上的蓝色像素仅吸收到单一深度信息(远景or 靠山)，可以获取准确的丈量值(蓝色点)；ToF传感器上的绿色像素同时吸收到远景和靠山反射的光线,两个深度信息叠加在一起无法区分，iToF丈量获得错误的深度值(橙色点)。

4.1.2 多径滋扰(Multi-Path Interference,MPI)

真实场景中存在庞大的漫反射甚至镜面反射，MPI在原理上会使得丈量值变大，严重影响三维重修的效果。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 3多径滋扰发生原理示意图：图示以丈量墙角为例,投射模块投向左边的光线(虚线)经两次反射,与投向右边的光线(实线)同时被ToF传感器吸收到 。双重的深度信息导致ToF丈量值错误.

以REF _Ref36451782 \h Figure 4‑4的场景为例，投向桌面的光线经尺度件二次反射后被i-ToF传感器吸收到，MPI效应导致丈量到的尺度件形状扭曲；投向尺度件的光线经桌面二次反射后被i-ToF传感器吸收到，MPI效应导致桌面丈量值的错误，桌面近似于一个镜面，桌面丈量值接近于尺度件的镜像。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 4多径滋扰示意图：多径滋扰导致尺度件丈量点云形状扭曲（绿色），以及桌面错误地丈量成尺度件镜像（红色）

MPI是困扰i-ToF多年的主要问题，一直是i-ToF广泛应用的最大障碍。在已往的十年中，微软，MIT，Waikato大学等诸多研究机构在解决MPI问题上做出了大量算法和系统层面的实验，但仍无法根除该问题。

4.1.3 强度误差(Intensity RelatedError)

在i-ToF传感器丈量到的深度图上，存在一类特殊的误差，即统一平面上差别反射率的区域体现出差别的深度，如REF _Ref36451832 \h Figure 4‑5所示。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 5强度误差示意图，统一平面上差别反射率区域出现差别深度，玄色和灰色区域从平面上凸起。

i-ToF的强度误差与距离、反射率、积分时间等因素都存在关联，究其发生的原理，就笔者领会所限，误差的剖析尚未完全明确。PMD等研究机构在该问题上做出了一些剖析和实验，能够缓解强度误差，但难以在全场景消除强度误差的影响。

4.1.4 远距离-高精度矛盾(Trade-offbetween range and precision)

在i-ToF的两种类型上，量程和精度都存在典型的矛盾：

CW-iToF：调制频率决议量程，频率越低量程越远；同样的相位剖析精度下，深度丈量精度随频率降低而降低；

PL-iToF：脉冲宽度决议量程，脉宽越大量程越远；同样的相位剖析精度下，深度丈量精度随脉宽增添而降低；

同时，i-ToF往往接纳泛光投射，传感器探测到的能量随距离的平方快速衰减，远距离丈量的信噪比极差，进一步恶化上述矛盾。远距离和高精度这一对矛盾，在原理上很难和谐，通常需要凭据现实应用举行权衡，选取最合理的模式设置。

4.1.5 高频驱动

i-ToF投射端需要特定驱动芯片（driver IC）驱动激光器发出调制的光信号。一样平常情形下，为了保证丈量精度，CW-iToF接纳提高调制频率的方式，PL-iToF则接纳窄脉冲高峰值功率的驱动方式。综合起来，iToF对于驱动芯片的主要需求是高调制频率和高峰值功率；同时，驱动芯片的温度系数与i-ToF丈量的温漂慎密相关，需要尽可能保证线性。这些需求对芯片工艺，尤其是CMOS工艺有着较高的要求。

4.1.6 片上集成

片上集成对于i-ToF芯片的设计提出了较高的要求。一方面，为保证足够的探测灵敏度和丈量动态局限，i-ToF往往需要有足够的像素尺寸；另一方面，i-ToF芯片相对于通俗图像传感器，增添更庞大的时序控制电路和相关采样电路，整体集成难度更大。

而消费电子行业，尤其是手机等产物，对芯片有着很高的尺寸限制。在上述要求之下，i-ToF芯片很难集成较高的分辨率，现在市面上主流的i-ToF传感器像素一样平常在QVGA（320x240）上下；近几年最先，逐步有VGA分辨率的i-ToF传感器进入市场，但其像素尺寸一样平常不大于7um，且性能上会有一定折扣。

4.2  d-ToF挑战

d-ToF手艺的误差在正常事情局限内不随距离转变，而且受到多径等因素的滋扰较小。在远距离、庞大环境的应用有着优势。然而，d-ToF的手艺成熟面临着一系列的挑战，需要在芯片设计、系统设计、制造工艺等方面周全突破才气真正兑现d-ToF手艺答应的优势，并实现在消费场景的普及。本章节将从原理上剖析d-ToF手艺存在的手艺挑战及优化偏向。

4.2.1 暗计数率(Dark Count Rate,DCR)

相比于传统的摄像头图像传感器(Camera Image Sensor, CIS)，SPAD输出的是数字化的脉冲，因此受到电子噪声的影响较小。然则由于在雪崩区域内泛起的单个自由电子即可触发计数，从而导致错误的计数，SPAD受到暗噪声的影响较大。

暗计数率DCR的主要泉源包罗探测器内由于热发生的自由电子。由于制造工艺和掺杂工艺，器件内部存在Shockley-Read-Hall(SRH)缺陷，释放和捕捉载流子。在尺寸为深亚微米(DeepSub-Micron, DSM)的CMOS工艺下，电压下降要求更高的掺杂浓度以及更小的PN结尺度。这导致更高的缺陷密度以及更强的加速电场，使得暗计数效应更为严重。相比于高电压的定制工艺，DSM的CMOS工艺暗计数率要高几个数目级。因此，DCR主要取决于制造工艺的特征和优化。

此外，在雪崩历程中，存在自由电子被缺陷捕捉的情形。这些被捕捉的电子基于SRH统计速率被重新释放，制造SPAD的暗计数。这被称为AP(after-pulsing)征象。这种征象可以通过在SPAD配合的自动猝熄电路(quenching circuit)来设置一个适合的关闭时间(hold-offtime)来解决。在SPAD被触发输出脉冲后，保持一段时间不开启吸收新的光子触发，让这些被捕捉的电子有足够时间重新释放而不会重新引起雪崩。这个关闭时间通常需要几十到几百纳秒。这段时间被称为SPAD两次探测状态之间的空滞时间(deadtime)。空滞时间成为了单元时间内重复丈量的脉冲次数的限制。

通常更大尺寸的工艺有更低的DCR，这与CMOS集成的要求是相悖的。稀奇对于SPAD阵列，每个像素的SPAD都要配合一个自力的淬火电路，大尺寸的CMOS工艺会导致淬火电路占有像素可观的面积，而且发生更高的功耗。而手机等产物有着很高的尺寸限制，VGA像素的ToF相机的像素尺寸不大于7um。因此，3D集成工艺是SPAD阵列优化暗计数率和感光率的一定要求。即，用大尺寸的制造工艺制作SPAD的感光部门，用更小尺寸的制造工艺制作高集成度的辅助电路，然后将差别工艺的模块3D堆叠。这对SPAD阵列的制造提出了更高的要求。

4.2.2 光子探测效率(PhotonDetection Efficiency, PDE)

光子探测效率是另一个主要的手艺挑战。光探测效率是感光面积的占比FF(Filling factor)与吸收率以及雪崩触发率的乘积。

对于尺寸受限的SPAD阵列，每个像素的面积尺寸异常有限。这些有限的面积也无法完全用来感光。首先，每个像素之间需要设置珍爱区域，用于防止像素间的串扰。此外，淬火电路也将占有可观的面积。另外，对于FSI(Front Side Illumination)工艺，用于吸收光子的厚度异常有限，限制了光子的吸收率。

因此，接纳3D集成和BSI工艺将大幅提升PDE。BSI工艺用晶圆的后头接受照射作为光吸收层，吸收厚度获得了数目级的提升。此外，每个像素的辅助电路和光吸收不再共享统一个外面积，因而大幅提升了。

提升PN结偏置电压可以辅助提升PDE，然则高电压会带来更高的功耗和发烧以及更高的DCR。针对于详细的应用场景，偏置电压可以作为权衡优化详细某个指标的杠杆。

4.2.3 串扰(Cross talk)

接纳CMOS工艺的SPAD阵列有共享的电极，辅助提升集成度。然则，一个像素的自由电子被加速后，有可能渗透到相邻的像素，进而出发相邻像素触发计数，造成图像的模糊。传统的CIS也有串扰效应，然则每个像素的自由电子没有被强电场加速，以是渗透到其他像素的情形要远少于SPAD。

在CMOS设计中，护环(guard ring)被用于防止差别像素的自由电子的串扰。护环有多种设计方式，包罗接纳STI(Shallow Trench Isolation)和buriedn-well等。这些护环的方式和工艺在集成电路设计中都很成熟。然则，由于护环自己占有面积，而且其掺杂会带来四周区域更高的缺陷，因此会影响SPAD的DCR和PDE。

4.2.4 时间精度

d-ToF要求亚厘米级或厘米级的丈量精度，考虑到光速为每秒30万公里，对应的时间精度要求为皮秒级。时间丈量误差主要泉源于系统的时序发抖(timing jitter)。激光发射器、系统电路等部门的jitter有许多优化的设施。SPAD中自由电子被加速和渗透的历程是一个随机历程，渗透时间一定存在jitter，是d-ToF系统的时间精度的极限。常见的jitter在100ps左右，对应于1cm左右的误差。更薄的吸收层和有源层可以减小jitter，但如之前PDE的剖析所述，降低吸收层厚度会降低PDE。

4.2.5     SPAD阵列3D集成

为了有足够的重复次数来获得时序的统计，一帧深度图需要有几千到几十万次的统计数据来实现。SPAD阵列的每个像素都在以1MHz左右的速率重复丈量脉冲，而每次触发，TDC都市发生一个时间的数字输出。以100X100像素的SPAD阵列为例，数据量就到达了几十Gbps。而VGA像素的SPAD阵列则将发生1Tbps以上的数据流。在芯片以外去处置这样的数据量是不现实的，要求有25条以上的40Gbps的PCIE通道和几瓦甚至10瓦以上的功耗。以是，提高d-ToF的像素就需要在d-ToF芯片上集成存储和数字处置的能力。芯片需要能够存储每一帧丈量历程中的每个像素和每个脉冲对应的TDC的数据，在一帧丈量完成后，举行数据处置，盘算出每个像素的时序统计，然后输出其往返的航行时间。

片上集成对于d-ToF芯片的设计提出了异常高的要求。在一个芯片上需要堆叠用于光探测的SPAD、淬火电路，TDC、存储单元以及运算单元。这要求设计团队同时具有SPAD器件的设计能力和SoC的设计能力。此外，消费类的应用要求芯片的功耗控制在几百毫瓦以内，否则功耗和散热都将成为应用的瓶颈。在这些庞大度之上，需要有足够好的良率，以保证个位数美元的芯片单价。

5  ToF生长偏向

当前ToF行业现状，d-ToF手艺在激光功耗、抗滋扰、远距离精度等方面有显著优势，但在工艺和产业链均离成熟尚远，仍需较长时间打磨；i-ToF芯片在工艺和产业链虽已趋于成熟，但到达的效果却不尽完善，从而导致其应用受阻。

随着2020年公布的iPad Pro等高端消费电子领域的延续关注，d-ToF手艺将进入快速迭代生长阶段，手艺生长偏向可能会集中在：SPAD工艺升级（包罗DCR、PDE、jitter等），片上集成度提升（包罗片上直方图/深度图算法，I/O，Memory等），TRX系统协同设计等方面；随着工艺和产业链的成熟，d-ToF的手艺优势也会逐步释放，占有一定市场空间。

与此同时，i-ToF仍有很大潜力可以延续挖掘，岂论是在算法端，亦或是系统端和应用端均有望通过软硬件的协同设计，填补原理上的非理想效应。以光鉴科技的mToF (modulatedToF) 方案为例，通过在系统端连系软硬件，引入调制光场的观点，通过空域、频域、时域上的巧妙设计，创新硬件协同前沿算法，在物理上提升i-ToF抗滋扰、抗噪声能力，解决i-ToF在现实应用场景中面临的要害痛点，一定程度上可以媲美d-ToF的性能。

综上所述，我们以为：在d-ToF产业链成熟之前，i-ToF另有很大的潜力可以挖掘，有望先一步抢占3D行业市场份额；而随着工艺和产业链的成熟，d-ToF将逐步从高端消费电子往下渗透，在较长的时间周期中，与i-ToF平分秋色，各自占有主要的市场份额。在d-ToF方案成熟之后，i-ToF在像素、成本等方面有着优势，而d-ToF在功耗、距离以及抗滋扰方面有着优势。而岂论基于何种手艺门路，ToF系统的成像芯片只能解决若何探测和处置返回的光信号；而作为一个3D成像系统，光学系统的设计、投射光的调制和控制、图像数据的算法处置等因素也将决议了一种手艺方案是否能够充实发挥出其原理的优势，实现真正适合应用需求的方案。

6 ToF手艺应用

ToF 的精度取决于其脉冲延续时间，相比双目视觉、结构光方案，ToF 精度不会随着距离增进而显著降低， d-ToF 是远距离应用的要害手艺。

随着2020年苹果iPad Pro 的公布，接纳了激光雷达扫描仪ToF 传感器 ，势必会动员ToF 在消费类电子应用的进一步发作。现在消费电子中ToF 应用以手机为主，华为、三星已在前后摄都搭载ToF 摄像头，今年苹果机型有望也最先搭载ToF手艺。

3D ToF手艺在其他领域应用也最先逐步渗透，现在照样主要依赖头部终端厂商的推动,主要的应用领域包罗以下场景：

消费电子

Figure 6-1 ToF在消费类电子领域应用:（a）ToF体积小，在对于精度要求不高的场景下可以用于简朴的人脸活体识别（b）3D 感应人体要害部位，体感互动游戏(c) 追踪手部位置和姿势，举行手势控制(d)构建三维信息，虚拟与真实环境举行交互

机械人

Figure 6-2 ToF在机械人领域应用（a）ToF 低速激光雷达可正确识别障碍物，举行自动避障（b）丈量获得周围环境深度信息，定位自身位置构建舆图(c) 应用于服务型机械人，智能导航(d) 无人机获得ToF稳固、精准的距离信息定高悬停

安防监控&轨道交通

Figure 6-3 ToF在安防监控&轨道交通领域应用:（a）ToF 获得人体深度数据，连系人数统盘算法，相比传统监控可实时统计、跟踪职员数目(b) 通过智能偏向识别忽略交织人流(c)智能停车，广笼罩精准识别车位车辆信息(d) 实时监控路口车辆。增添监控环境三维信息

无人驾驶&工业自动化

Figure 6-4 ToF在无人驾驶&工业自动化领域应用:（a）随着面阵dToF 工艺的成熟，未来纯固态激光雷达将与其他雷达相融合用于无人驾驶中（b）车厢监控，监测驾驶员疲劳状态，监控车内职员情形(c) 仓储分拣，智能识别货物信息(d)物流包裹体积丈量，可快速识别包裹长宽高

7  总结

本文先容了ToF深度相机的基本事情原理和差别手艺路径的优势和挑战。我们还对照了ToF与双目和结构光手艺方案的优劣势。ToF手艺的成熟将带来其在消费电子、机械人、工业自动化、物流等领域的大量应用和突破。

若是有关于光鉴科技的3D视觉产物的问题，请联系info@deptrum.com。

8  参考文献

ADDIN EN.REFLIST [1]      P. Zanuttigh, G. Marin, C.Dal Mutto, F. Dominio, L. Minto, and G. M. Cortelazzo, Time-of-Flight and Structured Light Depth Cameras. Springer, 2016.

[2]        H. Sarbolandi, D. Lefloch, and A. Kolb, "Kinect rangesensing: Structured-light versus Time-of-Flight Kinect," Computer Vision and Image Understanding, vol.139, pp. 1-20, 2015, doi: 10.1016/j.cviu.2015.05.006.

[3]        D. S. Fabio Remondino, ToFRange-Imaging Cameras. Springer, 2013.

[4]        H. Sarbolandi, M. Plack, and A. Kolb, "Pulse BasedTime-of-Flight Range Sensing," Sensors(Basel), vol. 18, no. 6, May 23 2018, doi: 10.3390/s18061679.

[5]        D. Bronzi, Y. Zou, F. Villa, S. Tisa, A. Tosi, and F. Zappa,"Automotive Three-Dimensional Vision Through a Single-Photon Counting SPADCamera," IEEE Transactions onIntelligent Transportation Systems, vol. 17, no. 3, pp. 782-795, 2016, doi:10.1109/TITS.2015.2482601.

[6]        D. P. Palubiak and M. J. Deen, "CMOS SPADs: DesignIssues and Research Challenges for Detectors, Circuits, and Arrays," IEEE Journal of Selected Topics in QuantumElectronics, vol. 20, no. 6, pp. 409-426, 2014, doi:10.1109/jstqe.2014.2344034.

[7]       B. F. Aull, E. K. Duerr, J. P. Frechette, K. A. McIntosh, D.R. Schuette, and R. D. Younger, "Large-Format Geiger-Mode AvalanchePhotodiode Arrays and Readout Circuits," IEEE Journal of Selected Topics in Quantum Electronics, vol. 24,no. 2, pp. 1-10, 2018, doi: 10.1109/jstqe.2017.2736440.

[8]        J. S. Massa, G. S. Buller, A. C. Walker, S. Cova, M.Umasuthan, and A. M. Wallace, "Time-of-Flight Optical Ranging System Basedon Time-Correlated Single-Photon Counting," Appl. Opt., vol. 37, no. 31, pp. 7298-304, Nov 1 1998, doi:10.1364/ao.37.007298.

[9]        P. Padmanabhan, C. Zhang, and E. Charbon, "Modeling andAnalysis of a Direct Time-of-Flight Sensor Architecture for LiDARApplications," Sensors (Basel), vol.19, no. 24, Dec 11 2019, doi: 10.3390/s19245464.

[10]      Y. He and S. Chen, "Recent Advancesin 3D Data Acquisition and Processing by Time-of-Flight Camera," IEEE Access, vol. 7, pp. 12495-12510,2019.

[11]      A. Sabov and J. Krüger,"Identification and correction of flying pixels in range cameradata," in Proceedings of the 24thSpring Conference on Computer Graphics, 2008, pp. 135-142.

[12]      M. Reynolds, J. Doboš, L. Peel, T.Weyrich, and G. J. Brostow, "Capturing time-of-flight data withconfidence," in CVPR 2011, 2011:IEEE, pp. 945-952.

[13]      R. Whyte, L. Streeter, M. J. Cree, and A.A. Dorrington, "Review of methods for resolving multi-path interference intime-of-flight range cameras," in SENSORS,2014 IEEE, 2014: IEEE, pp. 629-632.

[14]      M. Lindner, I. Schiller, A. Kolb, and R.Koch, "Time-of-flight sensor calibration for accurate range sensing,"Computer Vision and Image Understanding, vol.114, no. 12, pp. 1318-1328, 2010.

[15]      S. Cova, M. Ghioni, A. Lacaita, C. Samori,and F. Zappa, "Avalanche photodiodes and quenching circuits forsingle-photon detection," Appl.Opt., vol. 35, no. 12, pp. 1956-1976, 1996.

[16]      T. Al Abbas, N. Dutton, O. Almer, S.Pellegrini, Y. Henrion, and R. Henderson, "Backside illuminated SPAD imagesensor with 7.83 μm pitch in 3D-stacked CMOS technology," in 2016 IEEE International Electron DevicesMeeting (IEDM), 2016: IEEE, pp. 8.1. 1-8.1. 4.

[17]      H. Xu, L. Pancheri, G. D. Betta, and D.Stoppa, "Design and characterization of a p+/n-well SPAD array in 150nmCMOS process," Opt Express, vol.25, no. 11, pp. 12765-12778, May 29 2017, doi: 10.1364/OE.25.012765.

• 联系人：Animai°情兽