1.   引言

光场相机不仅能够获得光线的位置信息，而且能够记录与场景深度、目标几何形态等高度相关的光线角度信息，即3维信息^[1-3]。因此，光场相机在工业检测中具有独特应用，例如印制电路板(Printed Circuit Board, PCB)检测^[4,5]。如图1，光场相机可以通过一次成像获取PCB的3维图像，进而精确地得到PCB引脚长度，同时发现PCB表面瑕疵。标定是光场相机在工业检测应用的基础，标定精度对检测精度具有关键作用。因此，现有光场相机标定研究更多关注标定精度，而忽视另一个因素—标定速度^[6-8]。这是因为在许多场景中相机参数一般固定不变，只需标定1次，所以标定速度对光场相机应用的影响很小。但在工业检测中，光场相机参数由于人为操作和环境扰动不可避免发生改变：(1)当光场相机发生变焦、重新对焦等操作时，相机内参发生变化；(2)由于相机外参对扰动非常敏感，工业场景的机械振动导致相机外参发生变化^[9-14]。因此，在工业检测中光场相机需要定期进行重新标定，获取精确的相机参数。在重新标定过程中，光场相机停止工作，进而影响工业检测效率。因此，加快标定速度可以减少标定对工业检测效率的影响。

图 1  光场相机在工业检测的应用：PCB检测

下载: 全尺寸图片 幻灯片

但是，现有光场相机标定方法只关注标定精度、忽视标定速度，导致无法快速校准光场相机参数变化，进而降低工业检测效率。Bok等人^[15]和Liu等人^[16]分别使用光场图像的线特征和点特征进行标定，而高精度的特征提取需要很高计算成本。例如，输入10张光场图像，Bok等人^[15]的平均标定时间超过1000 s，Liu等人^[16]的平均标定时间也超过200 s。Dansereau等人^[17]没有直接使用光场图像，而是利用光场图像中提取的9×9稠密子视图即稠密光场，实现光场相机标定。但是，稠密光场的数据量大，同样带来计算成本高、标定速度慢的问题。Dansereau等人^[17]标定10张光场图像的平均时间约100 s。相比Bok等人^[15]和Liu等人^[16]，Dansereau等人^[17]的标定速度更快，但仍然不满足工业检测对标定快速性的要求。

针对光场数据量大带来的现有方法标定速度慢的问题，本文基于稀疏光场成像模型优化光场数据，提出光场相机快速标定算法。本算法以清晰度作为图像质量评价指标，从9×9稠密子视图中提取高质量、具有代表性的稀疏子视图，构成稀疏光场：(1)首先选取中心子视图，因为参数初值与中心子视图的主点等相关，而且中心子视图的质量最高；(2)因为参数初值求解对子视图对称的要求，在中心子视图的上下、左右对称地选取子视图。本文共建立7×7, 5×5和3×3共3种稀疏光场。标定中，本文利用3种稀疏光场求解参数初值，并用最小化射线重投影误差的方法优化参数初值，得到参数最优解。实验部分，本文对比3种稀疏光场方案的标定精度和标定速度，确定最优的稀疏光场方案；然后再对比最优方案与Dansereau等人^[17]方法在标定精度和标定时间的表现。

本文的创新主要包括两部分:(1)设计光场数据的优化方案，从稠密光场提取高质量稀疏光场；(2)利用获取的稀疏光场实现快速光场相机标定，确定最优的稀疏光场方案。后续章节安排如下：第2节具体阐述基于稀疏光场的光场相机快速标定方法，包括稀疏光场的建立和相机标定步骤；第3节是标定实验及结果；第4节是总结和讨论。

2.   基于稀疏光场的快速标定算法

本文基于稀疏光场成像模型，通过优化光场数据提出光场相机快速标定算法。算法包括两个步骤：(1)优化光场数据，进而建立高质量的稀疏光场；(2)利用稀疏光场计算光场相机参数初值，再优化参数初值得到相机参数最优解。

2.1   稀疏光场建立

稀疏光场的建立包括2步：(1)基于虚拟相机阵列模型的光场数据分析；(2)设计光场数据优化策略，建立高质量稀疏光场。

(1)光场数据分析。光场图像及微透镜子图像的形成过程如图2(a)，微透镜子图像记录同一位置、不同方向的光线；子视图的形成如图2(b)，子视图记录同一方向、不同位置的光线。因此，原始光场数据包含光线角度信息和位置信息，即4D光场。用双平面法表示4D光场

图 2  光场图像、微透镜子图像及光场子视图的形成

下载: 全尺寸图片 幻灯片

其中，$(i,j)$表示方向平面，$(k,l)$表示位置平面。光场数据的方向分辨率为$2R \times 2R$、位置分辨率${M_1}{{ \times }}{M_2}$(第1代光场相机Lytro和第2代光场相机Lytro Illum的分辨率分别为328×380和434×625)。

由于4D光场的角度信息和位置信息高度耦合、数据优化难度大，本文将光场相机等效为虚拟相机阵列，如图3(b)。因此，光场相机成像等效于虚拟相机阵列在$2R \times 2R$视角进行拍摄，获得$2R \times 2R$子视图。其中一个子视图(例如图2(b)红线对应一个子视角)表示为

图 3  光场相机、虚拟相机阵列模型及子视图质量

下载: 全尺寸图片 幻灯片

其中，${M_1}$和${M_2}$分别为微透镜阵列的行和列，${i^ * }$和${j^ * }$表示方向固定。因此，从${M_1}$×${M_2}$个微透镜子图像提取相对坐标为$({i^ * },{j^ * })$的像素，按顺序排列，可获得一个子视图。实际上，光场图像可提取$2R \times 2R$幅子视图。式(1)表示的光场数据等价于$2R \times 2R$子视图的集合

实际上，式(3)表示的$2R \times 2R$子视角存在冗余和重叠^[18]。因此，本文对光场数据进行优化，并建立高质量稀疏光场。

(2)光场数据优化及稀疏光场建立。由于图像清晰度影响标定精度，而能量梯度函数(Energy Of Gradient, EOG)是图像清晰度评价的指标之一，所以本文基于能量梯度函数，分析光场相机捕获的9×9子视图质量

计算得到的9×9子视图的能量梯度函数值如图3(c)。不难发现：(a)中心子视图的图像质量最优；(b)图像质量从中心子视图到边缘子视图递减；(c)边缘子视图质量最差。本文分析原因在于中心子视图能够精确获得，其他子视图通过中心子视图间接得到(现有方法^[17])。

根据以上3个发现，本文设计子视图的选取策略：(1)首先选取中心子视图，因为根据EOG图像质量评价指标，中心子视图质量最好；(2)因为参数初值求解对子视图对称的要求，在中心子视图的上下、左右对称地选取子视图；(3)其次间隔$i = j = s$选择$2R \times 2R$子视图($s$称作稀疏因子)，因为光场相机的相邻子视图间视差极小。例如，Lytro光场相机的相邻视差估计值为0.37 mm，最大基线长度为2.97 mm；Lytro Illum光场相机的相邻视差估计值为0.52 mm，最大视差为7.33 mm^[19]。策略(3)选择大视差的子视图，减少子视图间的重叠和冗余。本文选取策略表示为

其中，$i \in [ - n,n]$, $j \in [ - n,n]$，表示稀疏光场的采样序列；$n \lt 2R$, $n$表示稀疏光场的大小；$\Delta {p_x} = \Delta {p_y} = s$，表示水平相对视差和垂直相对视差，都等于稀疏因子$s$。因此本文根据式(5)从式(3)表示的光场数据中提取稀疏子视图，建立稀疏光场${{\boldsymbol{L}}_s}(i,j,k,l)$

其中，$L(0,0,{k_{{m_1}}},{l_{{m_2}}})$为中心子视图。本文选择$s$=1，分别取$n$=7, 5, 3, 建立稀疏光场，对应稀疏光场成像模型如图4。3×3, $s$=1的稀疏光场表达式为

图 4  3种稀疏光场成像模型

下载: 全尺寸图片 幻灯片

2.2   标定步骤

本文将稀疏光场用于光场相机标定，计算光场相机参数。光场相机标定步骤包括：(1)参数初值求解；(2)不考虑畸变的参数优化；(3)考虑畸变的参数优化。

(1) 初值求解。根据Dansereau等人^[17]，光场内参数矩阵为${ {\boldsymbol{H}} _{5 \times 5}}$，表示光场相机中像平面光线${\boldsymbol{\varPhi }} =$${(i,j,k,l,1)^{\rm{T}}}$与物平面光线${\boldsymbol{\varPsi }} = L{(u,v,s,t,1)^{\rm{T}}}$的映射关系

并且${{\boldsymbol{H}}_{5 \times 5}}$对于初值不敏感，只需初值的估计值^[17]。因此，本文利用稀疏光场求解相机几何参数作为${{\boldsymbol{H}}_{5 \times 5}}$的初值。实验获得$P$个姿态的棋盘格光场图像。以一幅光场图像为例(即一个姿态)，从一幅4D光场图像的稠密光场(例如9×9子视图)提取${N_{si}} \times {N_{sj}}$稀疏光场(例如3×3, $s$=2)，总共获得${N_{si}} \times {N_{sj}}$幅2D子视图。使用Jean-Yves Bouguet的标定工具箱计算子视图对应虚拟相机的主点$C$、焦距$f$。接着利用得到的结果和子视图的角点、3维棋盘格角点，计算得到${N_{si}} \times {N_{sj}}$个旋转矩阵${\boldsymbol{R}}$和平移矩阵${\boldsymbol{T}}$。这些旋转矩阵和平移矩阵非常接近，因为光场图像提取的子视图的视差很小。因此，本文将这些外参的均值作为子姿势的平移矩阵${\widetilde {\boldsymbol{T}}_p}$。

(2) 无畸变优化。得到${{\boldsymbol{H}}_{5 \times 5}}$的初值后，本文使用非线性方法优化结果。本文首先不考虑畸变系数，仅优化光场内参数。基于优化方法，本文采用的目标函数是射线重投影误差。射线重投影误差的计算如下：(a)子视图的角点对应像平面射线: ${\boldsymbol{\varPhi }} = (i,j,k,l)$；(b)利用${{\boldsymbol{H}}_{5 \times 5}}$将${\boldsymbol{\varPhi }}$转换到物平面射线：${\boldsymbol{\varPsi }} = (s,t,u,v)$；(c)利用外参$[{\boldsymbol{R}},{\boldsymbol{T}}]$将3维角点${P_{\rm{W}}}$转换到相机坐标系${P_{\rm{C}}}$；(d)计算射线${\boldsymbol{\varPsi}} =$$(s,t,u,v)$与${P_{\rm{C}}}$之间的距离。不考虑畸变，非线性优化的目标函数为

其中，${\rm{argmin}}$表示使目标函数取最小值时的变量值；${\left\| {} \right\|^{{\rm{pt}} - {\rm{ray}}}}$指的是点线的距离，即射线重投影误差；${N_k}$表示棋盘格角点个数；${\rm{Pose}}$表示拍摄的姿态数；${N_{si}} \times {N_{sj}}$表示稀疏光场子视图个数。

(3) 畸变优化。初步优化后，本文考虑图像畸变，进一步优化相机参数和畸变系数。由于安装误差和透镜性质，相机拍摄得到的图像通常存在畸变，主要包括径向畸变和切向畸变。其中，径向畸变对图像的影响比较突出。因此，本文主要校正图像的径向畸变。无畸变图像坐标${(x,y)^{\rm{T}}}$与畸变图像坐标${(\widetilde x,\widetilde y)^{\rm{T}}}$的关系如式(11)

其中，${r^2} = {x^2} + {y^2}$，径向畸变系数${k_d} = [{k_1},{k_{\text{2}}},{k_{\text{3}}}]$。考虑畸变的影响后，进一步优化的目标函数为

其中，畸变系数${k_d}$初值为[1,2,3]。

实验中，本文使用步骤(3)对参数结果进行两次优化，进一步减少标定误差。因此，相机标定实际包括4个步骤：(1)参数初值求解；(2)不考虑畸变的参数优化；(3)考虑畸变的参数优化；(4)进一步优化。3.2节将对比新方法和现有方法在4个步骤的具体标定时间。

3.   光场相机快速标定实验

3.1   实验配置和标定数据

为确保实验条件相同，本文采用一致的实验设备和数据集，其中计算机配置为lntel Core i5-9400F 2.90 GHz CPU 和 16.0 GB RAM，软件为Matlab R2018b。本文的实验数据来自Dansereau提供的Lytro光场相机数据集，包括A, B, C, D, E共5个光场数据。数据集的规格如表1。棋盘格光场图像如图5。以数据集A为例，A中包括10个姿态的光场图像，每张光场图像大小为3280×3280 pixels，对应真实棋盘格尺寸为3.61 mm×3.61 mm，棋盘格角点为19×19=361个。利用5个公开光场数据集，生成稠密光场和稀疏光场：光场相机等效为从9×9虚拟相机阵列，从光场图像提取所有9×9子视角图像，构成稠密光场；而从稠密光场中提取稀疏子视图，构造7×7, 5×5, 3×3共3种稀疏光场。本文分别利用稠密光场和稀疏光场进行标定实验，对比标定性能。

表 1  标定数据集

数据集	数量(张)	尺寸 (mm)	角点数量 (个)	图像大小 (像素)	视角数量 (个)
A	10	3.61×3.61	19×19	3280×3280	9×9
B	10	3.61×3.61	19×19	3280×3280	9×9
C	12	7.22×7.22	19×19	3280×3280	9×9
D	10	7.22×7.22	19×19	3280×3280	9×9
E	17	35.0×35.1	6×8	3280×3280	9×9

下载: 导出CSV 

| 显示表格

图 5  棋盘格光场图像数据集

下载: 全尺寸图片 幻灯片

3.2   实验结果

为了验证新方法的性能，本文进行了以下实验，包括：(1)对比不同稀疏光场的标定性能，进而确定最优稀疏光场方案；(2)对比新方法和现有方法的标定性能。

(1) 不同稀疏光场方案的标定性能对比。本文首先改变稀疏光场的视角个数和稀疏因子，建立7×7, 5×5, 3×3共3种稀疏光场，对比不同稀疏光场的标定性能。其中，3×3光场分为两种稀疏光场：稀疏因子为1和2。使用4种稀疏光场对数据集A, B, C, D, E分别进行标定，标定结果总结在表2中(表2结果括号内为标定时间)。本文将表2的标定时间绘制成图6。从表2和图6发现，不同稀疏光场使用5个数据集的标定精度基本保持一致，因此标定精度受视角个数和稀疏因子的影响很小；而随着视角的减小，标定时间不断减少，标定速度不断提高。并且，3×3稀疏光场的标定时间最少，标定速度达到最快。因此3×3稀疏光场是这3个方案中的最佳方案。

表 2  不同稀疏光场方案的射线重投影误差(mm)和标定时间(s)

数据集	9×9	7×7	5×5	3×3 s=1	3×3 s=2
A(10)	0.0749(109.43)	0.0733(83.3)	0.0739(34.85)	0.0714(19.73)	0.0728(17.87)
B(10)	0.0455(102.47)	0.0439(73.18)	0.0419(36.14)	0.0403(16.52)	0.0432(16.46)
C(12)	0.0917(120.28)	0.0901(90.34)	0.0872(42.44)	0.0910(18.72)	0.0825(19.09)
D(10)	0.0845(131.38)	0.0805(74.49)	0.0805(35.36)	0.0760(16.56)	0.0811(15.20)
E(17)	0.1941(42.81)	0.1883(46.09)	0.1765(19.47)	0.1581(8.39)	0.1838(7.87)

下载: 导出CSV 

| 显示表格

图 6  标定时间随视角个数的变化

下载: 全尺寸图片 幻灯片

本文更进一步探讨不同稀疏光场方案对中心子视图的影响：对比9×9稠密光场标定方法和3×3稀疏光场标定方法，计算两种方案在9×9子视图的标定误差，得到表3和表4。其中，红色数字标注的是中心子视图误差，蓝色数字标注的是边缘子视图误差。本文发现稀疏光场的标定方法会导致中心子视图的标定精度上升，边缘子视图标定精度下降。分析原因在于稀疏光场标定方法在优化时，中心子视图的标定误差得到优化进而减少，而边缘子视图误差没有得到优化。由于中心子视图及其邻近子视图在实际中得到更多使用，因此，提高中心子视图的标定精度对于光场相机的实际应用价值更高。

表 3  9×9稠密光场标定方法在不同子视图的标定误差

位置	1	2	3	4	5	6	7	8	9
1	0.1271	0.0936	0.0783	0.0826	0.0842	0.0827	0.0828	0.1047	0.1586
2	0.0854	0.0814	0.0837	0.0821	0.0811	0.0824	0.0835	0.0810	0.0941
3	0.0795	0.0823	0.0800	0.0762	0.0748	0.0768	0.0811	0.0821	0.0809
4	0.0789	0.0825	0.0799	0.0732	0.0719	0.0743	0.0791	0.0812	0.0777
5	0.0785	0.0818	0.0781	0.0728	0.0718	0.0747	0.0797	0.0815	0.0769
6	0.0798	0.0816	0.0808	0.0758	0.0755	0.0785	0.0857	0.0859	0.0788
7	0.0824	0.0845	0.0841	0.0815	0.0820	0.0851	0.0903	0.0847	0.0833
8	0.1009	0.0830	0.0869	0.0909	0.0893	0.0896	0.0868	0.0824	0.0979
9	0.2154	0.1390	0.0876	0.0871	0.0877	0.0855	0.0839	0.1219	0.1937

下载: 导出CSV 

| 显示表格

表 4  3×3稀疏光场标定方法在不同子视图的标定误差

位置	1	2	3	4	5	6	7	8	9
1	0.1831	0.1290	0.0869	0.0796	0.0783	0.0803	0.0949	0.1447	0.2174
2	0.1178	0.0829	0.0765	0.0746	0.0740	0.0741	0.0760	0.0879	0.1363
3	0.0933	0.0761	0.0732	0.0718	0.0714	0.0714	0.0723	0.0770	0.1051
4	0.0887	0.0764	0.0738	0.0707	0.0705	0.0709	0.0716	0.0739	0.0954
5	0.0884	0.0755	0.0732	0.0707	0.0706	0.0714	0.0724	0.0740	0.0934
6	0.0910	0.0746	0.0742	0.0723	0.0726	0.0734	0.0758	0.0774	0.0972
7	0.1010	0.0783	0.0751	0.0746	0.0753	0.0760	0.0777	0.0797	0.1098
8	0.1442	0.0923	0.0803	0.0803	0.0782	0.0772	0.0777	0.0932	0.1470
9	0.2773	0.1872	0.1106	0.0902	0.0828	0.0848	0.1039	0.1723	0.2604

下载: 导出CSV 

| 显示表格

(2) 新方法与现有方法的标定性能对比。本文对比最优的3×3稀疏光场标定方法与文献[15-17]方法的标定性能。射线重投影误差和标定时间对比结果分别保存在表5和表6。其中，由于文献[15,16]方法都是利用离焦光场图像进行标定的，而数据集C, D中都是对焦光场图像，所以文献[15,16]方法无法使用C, D进行标定，只能使用A, B, E进行标定。而本方法和文献[17]方法从光场图像提取子视图，对标定需要的图像没有限制，因此可以使用任意光场图像进行标定。文献[15,16]方法的标定结果直接来源于他们的论文；Dansereau等人方法^[17]的标定误差和标定精度由他们发布的Matlab工具箱LFToolbox0.5得到。结果表明，对比文献[15,16]方法，本方法的射线重投影误差最小，而且速度更快；而与文献[17]方法对比，3×3稀疏光场的标定方法即使减少了输入子视角个数，但总的标定误差保持一致，在PlenCalCVPR2013DatasetA的标定误差仅为0.0714 mm；而且在5个公开数据集的平均标定时间从101.27 s减少到30.99 s，标定速度提高70%以上。

表 5  不同方法的射线重投影误差对比(mm)

数据集	文献[15]	文献[16]	文献[17]	3×3稀疏光场
A(10)	0.218	0.214	0.0749	0.0728
B(10)	0.147	0.142	0.0455	0.0432
C(12)	–	–	0.0917	0.0882
D(10)	–	–	0.0845	0.0811
E(17)	0.558	0.448	0.194	0.183

下载: 导出CSV 

| 显示表格

表 6  不同方法的标定时间对比(s)

数据集	文献[15]	文献[16]	文献[17]	3×3稀疏光场
A(10)	1928	183	100.05	32.22
B(10)	4427	416	100.93	31.25
C(12)	–	–	90.91	34.08
D(10)	–	–	113.49	30.78
E(17)	1355	87	52.66	26.64

下载: 导出CSV 

| 显示表格

为了更具体对比新方法和文献[17]方法的标定结果，本文记录两种方法在标定的4个步骤的运行时间。实验过程保证计算机处于相同运行状况，确保足够的CPU资源和内存。最终，实验得到4个阶段的标定时间记录在图7。4个阶段中，新方法在求初值、畸变优化和进一步优化的时间都减少70%以上，但在无畸变优化这一步花费的时间仍然很多。最终，实验结果证明新方法在标定精度和标定速度同时取得很好的表现。

图 7  光场相机标定中4个阶段的运行时间对比

下载: 全尺寸图片 幻灯片

4.   结束语

本文基于稀疏光场成像模型优化光场数据，提出光场相机快速标定算法。该算法以清晰度作为图像质量评价指标，从9×9稠密子视图中提取高质量、具有代表性的稀疏子视图，建立7×7, 5×5和3×3共3种稀疏光场。对比不同稀疏光场的标定结果，本文发现3×3稀疏光场的标定性能最优；对比现有最优方法^[17]，新方法不仅提高平均标定速度70%以上，在现有5个数据集的平均标定时间从101.27 s减少到30.99 s，而且保持标定精度在最优水平，在PlenCalCVPR2013DatasetA的标定误差仅为0.0714 mm。虽然新方法的标定速度得到很大提高，但仍需进一步提高以满足工业检测对标定快速性的要求。未来，研究者可从光场相机投影模型、参数初值求解及优化等不同角度出发，进一步加快光场相机标定速度，提高光场相机在工业检测的应用表现。