基于深度学习的视觉传感器数据去噪方法的研究

基于深度学习的视觉传感器数据去噪方法的研究

毛森,庄剑威

（勒威半导体技术(嘉兴)有限公司 浙江 嘉兴 314200）

摘要：本文综述了视觉传感器数据去噪方法的研究现状和发展趋势。在传统方法方面，介绍了统计滤波方法、小波去噪方法和边缘保持滤波方法的原理。然后，本文重点探讨了深度学习方法在视觉传感器数据去噪任务中的应用，阐述了近年来深度学习方法在视觉传感器数据去噪任务中取得的显著成果，并介绍了深度学习方法的优势与应用前景。通过对现有技术的介绍与分析，为进一步研究和改进视觉传感器数据去噪方法提供了参考。

关键词：视觉传感器；图像去噪；深度学习；滤波器；卷积神经网络

1导论

视觉传感器是目前最常用的传感器之一[1]，利用光学原理将光信号转化成电信号进行处理和分析，以获取色彩、深度、光线强度等信息，最终输出为参数不一的各类图像数据。常见的视觉传感器设备有相机、深度摄像头，以及用于非可见光的红外成像仪等。

噪声是存在于视觉传感器获取的数据中的难以避免的问题[2]，噪声是在传输和压缩过程中由未知潜在观测产生的[3]，它是降低视觉传感器获取的图像清晰度和质量的一种信号干扰，利用去噪技术从给定的退化图像中去除噪声并恢复原始观测图像是当前一大重要的研究方向[4,5]。

本文介绍了传统视觉传感器数据去噪方法与其局限性，并深入探讨了深度学习方法在视觉传感器数据去噪任务中的应用，通过对现有技术的介绍与分析，为进一步研究和改进视觉传感器数据去噪方法提供了参考

2 传统视觉传感器数据去噪

2.1 统计滤波方法

统计滤波方法是一类常用的传统视觉传感器数据去噪方法，其基本思想是通过对图像的统计特性进行建模，然后设计合适的滤波算法来减少噪声。常见的统计滤波方法包括均值滤波[6]、中值滤波[7]和高斯滤波[8]等。其中，均值滤波通过计算图像局部区域的像素平均值来实现去噪，中值滤波通过选取局部区域的像素中值来实现去噪，而高斯滤波则通过对图像进行卷积运算来实现去噪。这些方法简单易行，但在处理噪声较强或图像细节较丰富的情况下效果可能不理想。

2.2 小波去噪方法

小波去噪方法是一种基于小波变换的视觉传感器数据去噪方法[9]。该方法利用小波变换将图像分解为不同尺度和方向的频带，然后通过对每个频带的噪声进行建模和估计，采取合适的阈值去除噪声。小波去噪方法通过适应性地选择阈值，可以在减少噪声的同时保留图像细节。然而，小波去噪方法在处理大面积噪声或存在较强噪声相关的图像时可能产生较大的伪影，因此泛用性有待提升。

2.2 边缘保持滤波方法

边缘保持滤波方法是一种基于边缘信息的视觉传感器数据去噪方法。该方法通过利用图像边缘的局部统计特性，在保留边缘信息的同时减少噪声。常见的边缘保持滤波方法包括双边滤波[10]和非局部均值滤波等[11]。双边滤波通过对图像的空间域和灰度域进行滤波，同时考虑像素相似度和空间距离，从而保留边缘信息。非局部均值滤波通过选取图像中与当前像素相似的一组像素进行滤波，从而减少噪声。边缘保持滤波方法能够有效去除噪声同时保持图像细节，但对计算资源要求与计算效率相对其他传统方法较高。

传统视觉传感数据去噪方法在图像处理领域有着广泛的应用，但每种方法都有其适用的场景和局限性，对于不同类型的噪声和图像，需要根据具体情况选择合适的去噪方法并调整对应的参数，因此随着深度学习技术的不断发展，传统的视觉传感数据去噪方法显得不够灵活与有效。

3深度学习视觉传感器数据去噪

神经网络技术在20世纪80年代首次用于图像处理[12]，Chiang等人首次将神经网络技术用于图像去噪[13]，所提出的去噪工作首先使用具有已知移位不变模糊函数和加性噪声的神经网络来恢复潜在的干净图像。为了降低高昂的计算成本提高计算效率，Tamura等人提出了一种前馈网络，利用类似卷积的Kuwahara滤波器对给定的损坏图像进行平滑处理，并在去噪效率和性能之间进行权衡[14]，随后，更多的优化算法被用于加速训练网络的收敛，提高去噪性能[15]。另一方面，研究人员通过增加深度或改变激活函数，设计的网络架构被证明在消除噪声方面非常有竞争力[16]。

随着神经网络结构的不断加深与卷积神经网络的提出，进一步奠定了深度学习技术在视觉传感器数据去噪任务中的地位。深度网络首次应用于视觉传感数据的去噪[17]，该网络不需要手动设置去除噪声的参数。Zhang等人提出了一种去噪网络DnCNN[18]，由卷积、批处理归一化、纠偏线性单元和残差学习组成，用于处理图像去噪、超分辨率任务，有效地实现了彩色图像的去噪。Zhang等人基于卷积神经网络与生成式对抗网络提出了FFDNet[19]，将不同的噪声水平和噪声图像patch作为去噪网络的输入，从而提高去噪速度。为了处理未配对的噪声图像，其采用了结合卷积神经网络和生成式对抗网络的去噪器GCBD，通过预先生成真实值，然后将获得的真实值输入到生成式对抗网络中训练去噪器来解决这一问题。Guo等人提出一种卷积去噪网络CBDNet[20]，通过两个子网络从给定的真实噪声图像中去除噪声，一个子网络负责估计真实噪声图像的噪声，另一个子网络负责获得潜在的干净图像。对于更复杂的视觉传感器噪声数据，开发了一种深度即插即用超分辨率方法来估计模糊核和噪声，并恢复高分辨率图像。

深度学习技术凭借其强大的表征学习能力，逐渐成为了解决视觉传感器数据去噪任务的主要方法，具有非常广阔的应用前景。

4 总结

本文介绍了传统视觉传感器数据去噪方法的局限性，并深入探讨了深度学习方法在该任务中的应用。总体而言，深度学习技术在视觉传感器数据去噪任务中取得了显著的成果，具有广阔的应用前景。未来的研究中，进一步改进深度学习方法，提升其性能和适用性是研究人员需要攻克的主要方向。

参考文献：

[1] Tarabanis K A, Allen P K, Tsai R Y. A survey of sensor planning in computer vision[J]. IEEE transactions on Robotics and Automation, 1995, 11(1): 86-104.

[2] Zhang L, Zuo W. Image restoration: From sparse and low-rank priors to deep priors [lecture notes][J]. IEEE Signal Processing Magazine, 2017, 34(5): 172-179.

[3] Xu J, Zhang L, Zhang D. External prior guided internal prior learning for real-world noisy image denoising[J]. IEEE Transactions on Image Processing, 2018, 27(6): 2996-3010.

[4] Bernstein R. Adaptive nonlinear filters for simultaneous removal of different kinds of noise in images[J]. IEEE Transactions on Circuits and Systems, 1987, 34(11): 1275-1291.

[5] Xu J, Zhang L, Zuo W, et al. Patch group based nonlocal self-similarity prior learning for image denoising[C]//Proceedings of the IEEE international conference on computer vision. 2015: 244-252.

[6] Chang C C, Hsiao J Y, Hsieh C P. An adaptive median filter for image denoising[C]//2008 Second international symposium on intelligent information technology application. IEEE, 2008, 2: 346-350.

[7] Kumar N, Dahiya A K, Kumar K. Modified median filter for image denoising[J]. Int. J. Adv. Sci. Technol., 2020, 29(4s): 1495-1502.

[8] Kumar A, Sodhi S S. Comparative analysis of gaussian filter, median filter and denoise autoenocoder[C]//2020 7th International Conference on Computing for Sustainable Global Development (INDIACom). IEEE, 2020: 45-51.

[9] Tian C, Zheng M, Zuo W, et al. Multi-stage image denoising with the wavelet transform[J]. Pattern Recognition, 2023, 134: 109050.

[10] Elhoseny M, Shankar K. Optimal bilateral filter and convolutional neural network based denoising method of medical image measurements[J]. Measurement, 2019, 143: 125-135.

[11] Heo Y C, Kim K, Lee Y. Image denoising using non-local means (NLM) approach in magnetic resonance (MR) imaging: a systematic review[J]. Applied Sciences, 2020, 10(20): 7028.

[12] Fukushima,K,Miyake,et al.Neocognitron: A neural network model for a mechanism of visual pattern recognition[J].Systems, Man and Cybernetics, IEEE Transactions on, 1983

[13] Chiang Y W, Sullivan B J. Multi-frame image restoration using a neural network[C]//Proceedings of the 32nd Midwest Symposium on Circuits and Systems,. IEEE, 1989: 744-747.

[14] Tamura S. An analysis of a noise reduction neural network[C]//International Conference on Acoustics, Speech, and Signal Processing,. IEEE, 1989: 2001-2004.

[15] Bedini L, Tonazzini A. Image restoration preserving discontinuities: the Bayesian approach and neural networks[J]. Image and Vision Computing, 1992, 10(2): 108-118.

[16] Sivakumar K, Desai U B. Image restoration using a multilayer perceptron with a multilevel sigmoidal function[J]. IEEE transactions on signal processing, 1993, 41(5): 2018-2022.

[17] Srivastava N, Hinton G, Krizhevsky A, et al. Stacked denoising autoencoder and dropout together to prevent overfitting in deep neural network[J]. Journal of Machine Learning Research, 2014, 15: 1929-1058.

[18] Zhang K, Zuo W, Chen Y, et al. Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising[J]. IEEE transactions on image processing, 2017, 26(7): 3142-3155.

[19] Zhang K, Zuo W, Zhang L. FFDNet: Toward a fast and flexible solution for CNN-based image denoising[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4608-4622.

[20] Guo S, Yan Z, Zhang K, et al. Toward convolutional blind denoising of real photographs[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 1712-1722.