王红霞，孙红辉，赵选科，王莲芬，张清华
火箭军工程大学，陕西 西安
收稿日期：2019年7月10日；录用日期：2019年7月24日；发布日期：2019年7月31日
设计和构建了基于联合变换相关的光电混合图像实时识别系统，该识别系统用电寻址空间光调制器完成数字图像和相干光图像变换，由光学部分高度并行快速完成二维图像的傅里叶变换，平方律探测器CCD完成联合变换功率谱和相关结果的探测。采用VC++.net作为开发语言编制了控制软件，操控空间光调制器和CCD有序工作，实现了目标图像和参考图像的实时相关识别。定义了三个相关参数，可以对相关结果进行定量分析。利用该系统对实景图像进行了识别实验，完成一次识别用时约34 ms左右。 The image recognition experimental system of photoelectric hybrid based on the real-time joint transform correlation is designed and built in the paper. The transform of the digital images to coherent light images are realized by electro addressed spatial light modulator. The parallel and high speed processing Fourier transform of two-dimension images is completed by the optical section. The power spectrum of joint transform and the correlation results of the image recognition system are detected by the square-law detector CCD. The control software is programmed based on VC++.net programming language to control the operations of the spatial light modulators and the CCD orderly one by one in order and realize the real-time correlation recognition of the reference image and the target image. Three correlation parameters are defined to do quantitative analysis of the correlation results. The recognition experiments of real-world scene images based on the system are realized and the recognition time is about 34 ms.
王红霞，孙红辉，赵选科，王莲芬，张清华
火箭军工程大学，陕西 西安
收稿日期：2019年7月10日；录用日期：2019年7月24日；发布日期：2019年7月31日
设计和构建了基于联合变换相关的光电混合图像实时识别系统，该识别系统用电寻址空间光调制器完成数字图像和相干光图像变换，由光学部分高度并行快速完成二维图像的傅里叶变换，平方律探测器CCD完成联合变换功率谱和相关结果的探测。采用VC++.net作为开发语言编制了控制软件，操控空间光调制器和CCD有序工作，实现了目标图像和参考图像的实时相关识别。定义了三个相关参数，可以对相关结果进行定量分析。利用该系统对实景图像进行了识别实验，完成一次识别用时约34 ms左右。
关键词 :实时联合变换相关，图像识别，光电混合，空间光调制器，CCD
Copyright © 2019 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
http://creativecommons.org/licenses/by/4.0/
光学图像识别作为光学信息处理的技术手段之一，已成功地应用在许多的科技领域之中，如：目标跟踪、模式识别、精确制导等等。就光学特征识别而言，目标图像与参考图像相关信号的强度反映了这两幅光学图像的相似程度，这为图像的识别提供了一个定量的指标。光学相关识别主要有两类基本方法，其一是匹配滤波相关，其二是联合变换相关。与匹配滤波相关器相比，联合变换相关器的目标图像和参考图像可以同时输入光学系统，用目标图像和参考图像进行匹配，不需要制作专门的滤波器，也不存在精确复位调整问题，目标图像和参考图像均可作实时更新。联合变换相关器结构灵活，易于实现相关运算，并具有并行性、速度快和容量大等优点，此外相关器对输入图像的要求不像匹配滤波相关器那么高，能满足实际工作中的实时处理需要。联合变换相关识别最早是由Weaver和Goodman在1966年提出的 [
图1是实验中设计的实时光电混合联合变换相关识别系统结构图 [
g ( x 1 , y 1 ) = f ( x 1 + a , y 1 ) + h ( x 1 − a , y 1 ) (1)
该输入光信号经傅氏透镜FTL变换后，在其后焦面上得其联合频谱：
G ( u , v ) = F ( u , v ) exp ( j 2 π a u ) + H ( u , v ) exp ( − j 2 π a u ) (2)
式中 ( u , v ) 为空间频率坐标， u = x 2 / λ f ， v = y 2 / λ f ，f为傅氏透镜焦距， λ 为激光波长，而 G ( u , v ) 、 F ( u , v ) 、 H ( u , v ) 分别是 g ( x , y ) 、 f ( x , y ) 和 h ( x , y ) 的傅里叶谱。在FTL后焦面上放置的是CCD2平方律探测器，器件接受的光场强度分布为 I ( u , v ) ，即联合变换功率谱(JTPS)：
I ( u , v ) = | G ( u , v ) | 2 = F 2 ( u , v ) + H 2 ( u , v ) + F * ( u , v ) H ( u , v ) exp ( − j 4 π a u ) + F ( u , v ) H * ( u , v ) exp ( j 4 π a u ) (3)
联合变换功率谱被CCD2采集后输入到计算机PC中进行数字处理，处理完的功率谱再输入到SLM上，再经傅氏透镜FTL进行一次傅里叶变换，在其后焦面上得到相关输出光场为：
g ( x 3 , y 3 ) = f ( x 3 , y 3 ) ⊗ f ( x 3 , y 3 ) + h ( x 3 , y 3 ) ⊗ h ( x 3 , y 3 ) + f ( x 3 , y 3 ) ⊗ h ( x 3 , y 3 ) ∗ δ ( x 3 + 2 a , y 3 ) + h ( x 3 , y 3 ) ⊗ f ( x 3 , y 3 ) ∗ δ ( x 3 − 2 a , y 3 ) (4)
式中：Ä表示相关运算，*表示卷积，式中第一项和第二项是目标图像 f ( x , y ) 和参考图像 h ( x , y ) 的自相关，两信号重叠在输出平面中心附近，为零级项，不是所需要探测的信号。第三、第四项是目标图像和参考图像的互相关，它们的中心分别位于输出平面的(−2a, 0)和(2a, 0)处，与中央零级分离，为一级衍射项，正是需要探测的一对互相关信号。如果这一对互相关信号有集中的峰值出现，说明目标图像中有参考图像，或二者相同。如果互相关信号没有集中的峰值出现，说明参考图像和目标图像不相同。用H1、H2分别表示目标图像和参考图像的宽度，则相关面上输出场光信号分布如图2所示。
图1. 光学相关实时图像识别实验系统框图
图2. 输出相关面上相关信号分布
空间光调制器(SLM)是一种能将数字信息加载于二维光学数据场上的器件，利用SLM可以将数字信号转换为光学信号，以便有效地利用光学运算的高度并行和快速的特点，SLM在构成实时光学信息处理系统中是最关键的器件。这类器件可在随时间变化的电驱动信号控制下，或者在另外一种空间光强分布的作用下改变空间上光分布的位相、偏振、振幅乃至波长，为了实现相关器的实时处理，空间光调制器是不可缺少的元件。我们系统中采用的空间光调制器主要参数如表1所示。
| 参数 | 规格 |
|---|---|
| 调制模式 | 纯振幅 |
| 分辨率 | 1920 × 1080 |
| 填充率 | 70% |
| 透过率 | 67% |
| 成像面积尺寸 | 16.3 mm × 9.18 mm |
| 像素大小 | 8.5 um |
| 动态对比度 | 1000:1 |
| 刷新率 | 60 HZ |
表1. 空间光调制器参数
在我们识别系统中，首先要输入所获取的图像，然后摄取光学相关所产生的功率谱和相关峰图像。图像的摄取与记录这些工作都是由电荷藕合器件才来完成的。CCD在系统中主要作为探测记录器件。设接收CCD的光敏面横向尺寸为LCCD，如果CCD把相关面上的信息全部记录下来，由图2可知，则LCCD必须满足下面条件：
L CCD ≥ 4 a + H 1 + H 2 (5)
本系统所采用的是一款200万像素千兆网接口数字相机。性能规格如表2所示：
| 参数 | 规格 |
|---|---|
| 数据接口 | IEEE 802.3 1000 baseT |
| 分辨率 | 1920 × 1080 |
| 传感器尺寸 | Type 2/3” |
| 像元尺寸 | 5.5 µm |
| 最大帧率 | 57.5 fps |
| A/D | 14 bit |
| 板载FIFO | 128 MB |
表2. CCD参数
光学图像相关主要是应用衍射原理和透镜的功能完成输入图像的光学傅里叶变换。具有正焦距的光学系统都应当具有傅里叶变换的功能，它将光信号进行傅里叶变换，在频谱面上获得功率谱。傅里叶变换系统是光学相关设备的关键元件，傅里叶变换系统性能的优劣直接影响着光信息处理的效果。傅里叶透镜的主要参数是其相对孔径和焦距，傅里叶透镜的相对口径将决定着其空间带宽积的大小，即影响着其能接收信息量的大小。
在我们的识别系统中，用平行相干光垂直照射到SLM上，傅里叶变换透镜位于SLM后面，在傅里叶变换透镜的后焦平面上用CCD接收功率谱，根据衍射理论计算出所需透镜口径的大小为：
D ≥ 38.6 mm (6)
根据实际情况和实验要求，实验中采用双胶合傅里叶变换透镜，该透镜由低折射率的正透镜(冕牌玻璃)和高折射率(火石玻璃)的负透镜组成，经过计算机优化设计，使像差都得到了很好的校正。傅里叶透镜结构如图3所示，其孔径D = 50 mm，焦距f = 300 mm。
图3. 双胶合傅里叶变换透镜结构
经过多次理论仿真计算和光学实验，最后对相关结果的判别，定义了三个相关参数：
1) 相关峰值I0：CCD2所采集的互相关区域内相关信号的最大强度。
2) 半峰值面积S0：采样区域内强度大于I0/2的像素数目。
3) 信噪比SNR：相关峰最大强度与采集区域内的平均噪声强度之比。
S N R = I 0 ∑ i j N I i j / N (7)
其中N表示采集区域内强度小于I0/4的像素数目，Iij表示噪声像素的强度。在相关结果得出后，对以上参数设阈值，如果参数同时满足事先设定的阈值条件，即作出肯定判断；否则作出否定判断。经多次实验探索，肯定判断的条件设定如下：
I 0 > 100 , S 0 < 30 , S N R > 15 (8)
如果相关参数同时满足以上条件，则判断为相同的图像，如有一个参数不满足条件，则视为不同图像。
控制软件是基于微软公司的Visual Studio 2013环境下开发的，采用VC++.net作为开发语言，运行于Windows操作系统。软件部分设计了以下四个模块：
1) CCD控制模块：在实验系统控制程序中通过子函数的方法设计了对CCD的控制和采集模块。其中包括相机初始化、实时图像监视、单帧或连续图像采集、参数设定五个子程序。
2) 显示模块：在实验过程中需要将图像显示到SLM上，同时为便于观察功率谱、相关结果，本实验系统需要同时在3块显示器和1台SLM上同时显示图像数据。实现方法是在软件中同时打开4个窗口，1个为主窗口，显示程序控制界面，其余3个分别显示SLM、功率谱和相关结果。
3) 联合变换模块：联合变换模块主要负责图像识别的实现，包括对联合图像的预处理、功率谱的处理．设计了实时识别和分步识别两种模式，前者是自动实时完成两次傅氏变换识别和参数计算，后者是分步得到功率谱、保存和调用功率谱，以及分步实现第二次傅氏变换、参数计算。
4) 结果判定模块：此模块主要负责对最后的相关结果进行参数计算和识别结果判定，先根据设定的相关峰值强度、峰值面域和信噪比相关参数进行计算，再根据设计好的参数阈值进行结果判定。主要程序流程如图4所示：
图4. 识别系统软件主要程序流程图
图5和图6是我们建立的实时图像识别系统的识别结果，图5是参考图像和目标图像不同时的识别结果，两个识别(a, b)用时分别为49 ms和34 ms，图6是两个图像相同时的识别结果，四个识别(a, b, c, d)用时在34 ms~50 ms之间，相关参数如表3中所示。图6的相关峰值I0和信噪比SNR都明显大于图5的I0和SNR，图6的半峰值面积S0也明显小于图5的S0，即两个图像相同时，系统输出的相关信号锐而强，具有明显的相关亮点，两个图像不相同时，系统输出的相关信号比较分散，没有明显的相关亮点，系统对输入的图像实现了正确的实时识别。
图5. 不同图像的识别结果
图6. 相同图像的识别结果
| 识别类型 | 相关峰强度I0 | 峰值面域S0 | 信噪比SNR | 识别时间T | |
|---|---|---|---|---|---|
| 不同图像的识别 | a | 230 | 24 | 9.514549 | 49 ms |
| b | 153 | 22 | 7.891632 | 34 ms | |
| 相同图像的识别 | a | 222 | 16 | 41.130818 | 49 ms |
| b | 253 | 16 | 35.412883 | 34 ms | |
| c | 229 | 15 | 37.146520 | 49 ms | |
| d | 215 | 11 | 18.740975 | 50 ms |
表3. 图像识别结果相关参数对比
联合变换相关器的输出峰主要取决于目标图像与参考图像的“相似”性，两图像的大小、方向、对比度等任何方面的变化都会使相关峰下降。有关实验表明，当图像发生旋转大于5˚或尺寸变化大于10%等畸变时，相关峰的下降会导致不能做出正确判断。为了使相关识别系统具有畸变不变的功能，可采用Casasent提出的综合判别函数制作不同畸变情况的目标图像作为参考图像来进行畸变不变相关识别 [
为了充分发挥光学变换速度快、实时性强和计算机处理数据精确的优点，本文设计和构建了一个实时光学处理相关识别与计算机分析相关结果相结合的图像处理与识别系统。此系统把光学技术和数字技术的优缺点互补，系统中光学部分和电子部分分工合理，有序工作，利用光学器件的高速处理完成光场变换、傅里叶变换等运算量大、速度要求高的任务，用计算机技术完成光电转换控制和分析判断任务。系统实时识别结果表明了这种实景图像相关识别方法的有效性和实时性，随着光学元件性能和计算机技术的发展，这一图像模式识别技术在目标跟踪、智能仪表、机器人视觉等领域将有广阔的发展和应用前景。
马进同志帮助完成了控制软件部分的设计，在此表示深深的感谢！
王红霞,孙红辉,赵选科,王莲芬,张清华. 实时联合变换相关图像识别系统的设计 The Design of the Real-Time Joint Transform Image Correlation Recognition System[J]. 应用物理, 2019, 09(07): 348-355. https://doi.org/10.12677/APP.2019.97041