企业简介

作为中国自动化领域的权威旗舰网络媒体，控制网创立于1999年7月，是中国举行的第十四届IFAC （International Federation of Automatic Control）大会的中国官方组织机构的唯一指定网站。控制网是中国自动化学会专家咨询工作 委员会（ECC）的秘书处常设之地。是北京自控在线文化传播有限公司开设的网站。

  • 公司类型：其他

联系方式
  • 控制网
  • 地址：北京市海淀区上地十街辉煌国际2号楼1504室
  • 邮编：100085
  • 电话：010-57116291 / 59813326
  • 传真：010-59813329
  • 网址：http://www.kongzhi.net
  • Email：mahongliang@kongzhi.net
  • 联系人：市场部
案例详细
标题新型光电混合相关器的图像识别研究
技术领域SCADA-RTU
行业
简介研究并设计了一种基于“FPGA＋DSP＋ARM”架构的新型光电混合相关器。该系统采用DSP与FPGA完成目标图像的采集、预处理以及畸变不变处理，采用光学处理模块实现联合图像的傅立叶变换，得到联合功率频谱，最后，S3C2440完成对该频谱的采集、振幅调制滤波、傅立叶逆变换以及图像识别。大量的实验表明：该光电混合相关器实现了图像识别的智能化、实时化及小型化，具有较强的实用价值。
内容









陈燕东 （1979-）

男，湖南澧县人，硕士，研究方向为智能控制、信息处理、光电检测。

摘要：研究并设计了一种基于“FPGA＋DSP＋ARM”架构的新型光电混合相关器。该系统采用DSP与FPGA完成目标图像的采集、预处理以及畸变不变处理，采用光学处理模块实现联合图像的傅立叶变换，得到联合功率频谱，最后，S3C2440完成对该频谱的采集、振幅调制滤波、傅立叶逆变换以及图像识别。大量的实验表明：该光电混合相关器实现了图像识别的智能化、实时化及小型化，具有较强的实用价值。

关键词：光电混合相关器；图像识别；联合功率频谱

Abstract: Based on‘FPGA +DSP+ARM’frame, a novel opticalelectrical hybrid correlator is 
proposed and designed. In this system, TMS320C6416 and FPGA are used to do image collection, 
preprocessing, and distortioninvariant processing, and optical processing module is 
developed to realize joint image FFT and to obtain joint power spectrum; lastly S3C2440 is
 adopted to complete spectrum collection, amplitudemodulated filter, IFFT, and image 
recognition. The large number of experiments show that this opticalelectrical hybrid 
correlator realizes the intelligency, real time, and miniaturization of image recognition.
and it is of great applicable values.

Key words: Optical-electrical hybrid correlator; Image recognition; Joint power spectrum

1 引言

    光学模式识别以其高速并行处理、无串扰等优点成为实现模式识别实用化和实时化的重要途径。实现光学模式识别有两种方法，一是空间匹配滤波相关识别，另一种是联合变换相关识别。与匹配滤波相关器相比，联合变换相关器具有不需要提前制作滤波器和调试简单的优点，而成为光学模式识别中的研究热点。将光学和计算机相结合的光电混合相关器是实现模式识别实用化的最可行的途径，在军用目标识别、指纹识别、光纤检测[1]、工业零件识别[2]、汽车牌照识别[3]等具有参考图像识别领域得到了广泛的研究和应用，并取得了很好的识别效果。

    由于待识别的目标图像背景复杂，图像特征不明显，与参考图像之间存在比例和旋转变化，因此必须进行灰度变换和直方图拉伸等图像预处理[4]以及极梅林变换图像畸变不变处理[5]。而高速处理器为图像识别的实时性和准确性提供了可靠保障[4,5]。本文采用了“FPGA＋DSP＋ARM”架构，高速DSP处理器TMS320C6416与FPGA完成目标图像的采集与数据处理，ARM9处理器S3C2440完成目标图像和参考图像联合功率谱的采集与目标图像识别，实现了图像识别的智能化、实时化及小型化。

2 新型光电混合相关器

    新型光电混合相关器的系统结构如图1所示。待识别目标通过摄像机1传输到处理器由DSP和FPGA构成的目标图像采集与处理模块中，并与存储的参考图像同时显示到被激光光束平行照射的液晶电视上。设目标和参考图像函数分为r(x, y-y’)和t(x, y+y’)，则液晶电视上联合输入图像函数为：

                               图1   新型光电混合相关器的结构图
                                                   (1)

    该联合输入图像经傅立叶变换透镜后，在其后焦面上得到联合傅立叶频谱：
                          (2)

    该频谱经低通滤波后，由摄像头2探测得到联合功率谱：
   
                                                                                                 (3)

    其中，(u,v)是以2π/λ?为标度的空间频率坐标，|R(u,v)|和|T(u,v)|分别为参考图像和目标图像的傅立叶变换的振幅。该功率谱通过图像采集卡传到ARM9处理器S3C2440中，最后由S3C2440对功率谱进行傅立叶逆变换，得到目标图像和参考图像的相关输出：
                                                (4)

    由（3）式和（4）式可得：
           
                                                           (5)

    其中，第一项和第二项分别为目标图像和参考图像的自相关，位于坐标原点，形成零级光斑；第三项和第四项互为共轭，表示目标图像和参考图像的互相关，其输出沿η轴分别平移2y’和-2y’。 
                                             (6)
                                             (7)

    目标图像与参考图像的互相关大小反映了目标图像与参考图像间的相似程度，相似程度越高，互相关峰值越大。真目标图像与参考图像的互相关性较强，对应O3(ξ,η)和O4(ξ,η)峰值较大；假目标图像与参考图像的互相关性较弱，对应O3(ξ,η)和O4(ξ,η)峰值很小，故可通过阈值比较法判别目标图像的真假，实现图像识别。

3 系统硬件设计

系统硬件构成如图2所示。该光电图像识别系统主要由目标图像采集与处理模块、光电相关联合变换模块以及自动识别模块构成。TMS320C6416DSP与FPGA完成目标图像的采集与处理，ARM9处理器S3C2440完成对相关功率谱的采集与目标图像识别。

                               图2   系统硬件结构图

3.1 目标图像采集与处理模块

    该模块的核心由DSP处理器TMS320C6416和FPGA组成。DSP和FPGA之间采用主/从工作方式，DSP主要完成对目标图像的预处理和畸变不变处理算法、控制FPGA完成目标图像的采样以及得到的目标图像与参考图像的联合输出。FPGA完成对目标图像的采样过程控制和生成RAM的地址译码信号。 

    由摄像头1拍摄到的目标图像首先进行信号调理，即对图像进行嵌位、锁相及放大，并利用视频同步分离器LM1881进行同步信号分离。ARM启动后，控制DSP工作，DSP启动FPGA进行图像采集，FPGA进入图像采集过程控制：FPGA 在行（HS）场（VS）同步信号和时钟信号的驱动下，产生A/D采样控制信号控制高速A/D芯片TLC5510进行图像采样，同时，FPGA提供存储器地址和写控制信号，采样数据按该地址并在RAM_W有效时，通过74HC244-1向存储器RAM中写入数据。为实现实时处理，系统只采集CCD灰度图像，其帧频为25Hz，帧图像分辨率为512×512像素，每个像素点8bit量化。

    采样完成后，FPGA产生中断信号（FINT）向DSP申请中断，DSP在外部中断1处理过程中，停止FPGA的图像采集，并置位图像采集完成标志位。DSP检测到标志置位后，将标志位清零，然后，控制FPGA产生RAM的地址译码，并在RAM_R有效时，通过74HC244-2将RAM中的数据以EDMA方式读至主频为166MHz的同步动态存储器SDRAM 中，从而保证了实时性的要求。

    数据传输完毕，DSP启动FPGA进行下一帧图像的采集控制，DSP则进入目标图像数据进行相应预处理和畸变不变处理过程。在完成对目标图像的数据处理后，DSP将处理后目标图像和存储在ROM中的参考图像构成的联合输入图像实时输出到液晶电视上的约定区域内，以便进行光信息处理。

3.2 自动识别模块

    联合图像经光信息处理后，其联合功率频谱由S3C2440接收并完成目标图像的自动识别。S3C2440处理器是基于ARM920T内核的32位RISC嵌入式处理器，主频为499MHz，且资源丰富，其内置的Camara控制器支持最大为4096×4096像素的图像输入。联合频谱图像通过Camara控制器转换为数据并被储存，然后由S3C2440对频谱进行振幅调制滤波和傅立叶反变换得到互相关结果，进行识别。

    为提高相关输出结果和识别能力，利用振幅调制技术来进行图像滤波。由于识别物体特征的高频能量在联合功率谱中只有小部分，因此通过振幅调制可以减少低频能量增加高频能量。当阈值选取适当时，振幅调制滤波可使功率谱对系统的贡献趋于平均，从而提高了识别性能。

4 系统软件设计

    光电混合图像识别系统主要由ARM和DSP两个部分来完成系统的整体控制，故软件也由两部分构成。上电初始化后，ARM通过高速通信HPI口使DSP开始工作，DSP在工作后初始化并启动FPGA，FPGA控制A/D采样芯片进行实时图像采集。DSP将联合图像输出到液晶电视后，会向ARM申请外部中断1。图3所示为系统工作主流程。

                                    图3   系统工作主流程图

5 实验结果分析

    针对设计的光电混合相关器，进行了大量的实验研究。图4所示为真目标图像的DSP预处理结果，图(a)为摄像头1采集的目标图像1，图(b)为经图像预处理后得到的所需目标图像信息，将该图像在DSP中进行畸变处理后，与参考图像(c)同时输入到光学模块进行处理。

    图5为真目标的识别结果，图(a)为目标图像1与参考图像得到的联合功率谱，通过自动识别模块实时频谱处理得到相关结果图(b)，由图可知，中间为自相关峰值，自相关峰两边为参考图像与目标图像的互相关峰值，即为所需信息，该互相关峰较大，可以判断待识别目标图像与参考图像一致，为真目标图像。

                      （a）目标图像1       （b）图像1的预处理   （c）参考图像

                               图4   真目标的预处理结果

                         （a） 真频谱                    （b） 真相关

                                图5   真目标的识别结果

6 结论

    本文研究并设计了一种新型的光电混合相关器，该系统由TMS320C6416与FPGA完成目标图像的采集与处理，通过光学处理模块得到图像联合功率频谱，S3C2440完成对相关功率谱的采集与目标图像自动识别。大量的实验表明：与传统光电图像识别系统相比，该系统实时性和精度更高，体积更小，具有较强的实用价值。



参考文献

[1] Liu W., Kim H, Lee S et al. Joint transform correlator for the detection of defects in 
optical fibers[J]. Opt. Eng, 1998, 37(5): 1468-1474.

[2] 余杨，黄惟一. 光电混合处理系统识别高相似度工业零件图像的研究初步[J]. 中国图像图形学报, 2002, 7A(7): 633-637.

[3] 葛宝臻, 陈希明, 张以谟. 基于光电混合联合变换相关的汽车牌照识别方法的实验研究[J]. 光电子 激光, 1999, 10(3): 248-251.

[4] 徐新宇, 程晓舫, 王庆兵. 高温物体微机图像分析系统的研究[J]. 仪器仪表学报, 2001, 22(2): 136-139.

[5] Yoshiharu Saito, Shin-ichi Komatsu, Hitoshi Ohzu. Scale and rotation invariant real time optical correlator using
 computer generated hologram[J]. Opt. Comm, 1983, 47(1): 8-13.