基于改进U-Net网络的道路裂缝检测

基于改进U-Net网络的道路裂缝检测

李浩禄    胡仕刚

湖南科技大学信息与电气工程学院 湖南湘潭，411201

摘要：公路运输系统是我国重要的基础设施，道路承担着我国经济发展、不同地区间联系和改善人民生活的重任。开发一种用于道路裂缝检测的神经网络模型对于改善人们生活具有重大意义。随着深度学习技术的快速发展，语义分割在道路裂缝检测任务中被广泛采用，本文介绍了一种基于U-Net网络改进的模型，首先对使用到的数据集进行介绍，然后对数据预处理方法进行概要，接着构建道路裂缝分割模型，最后将构建好的裂纹分割模型进行训练，并且对我们训练好的道路裂缝检测模型进行数据的分析。

关键字：道路裂缝检测；深度学习；U-Net网络；模型训练

  通信作者：胡仕刚（1980.9-），男，湖北咸宁，教授，从事信号与信息处理研究与教学。

1 引言

深度学习技术的发展为路面裂缝语义分割提供了更有效的方法，越来越多的研究人员将深度学习技术引入路面裂缝语义分割领域，而最有代表性的网络模型是在2015年提出的将医学细胞分割中的U-Net网络模型引入到道路裂缝分割的任务之中。本文所改进的道路裂缝检测模型是在U-Net神经网络的基础上进行的，U-Net神经网络模型里面包含解码器、编码器、瓶颈层这三个部分，而每个编码器包含了四个程序块。每个程序块都是由3×3的卷积组成，步长为2的2×2的池化层则进行下采样。解码器部分则与编码器形成了对称的结构，解码器也包括四个程序块，解码器每个程序块则由步长为2的2×2的池化层进行上采样，并与编码部分进行拼接（跳跃连接），最后通过两个3×3的反卷积[1]。

2 研究路线与方法

（1）数据集介绍

本文主要在以下三个数据集上进行实验，CrackLS315，CrackTree260，Deepcrack，这些数据集里的裂缝图片分别是细小裂缝，中等裂缝，比较大的裂缝，在不同大小裂缝图片上进行实验，更能验证模型的适用性。

（2）数据预处理

由于神经网络模型在训练的时候需要大量的数据，而所用到的数据集拥有的图像远远达不到标准，所以在进行模型训练之前我们需要将图像进行旋转，平移这些操作，从而实现数据集的成倍增加以达到增大训练数据量的目的。

（3）道路裂缝分割模型构建

图1 道路裂缝检测网络模型

本文提出的裂缝分割模型是在基于U-Net神经网络模型建立并进行改进，为了让网络具有最好的分割精度，我们采用三层的架构运用于U-Net网络。网络结构如图1所示，所用到的网络包含了视觉注意机制块、跳跃连接、多尺度融合模块、下采样层等[2]。改进的U-Net神经网络模型作为主干网络，改进的视觉注意机制模块作为主干网络的子模块，多尺度融合模块，用于U-Net网络中不同深度特征图的融合。

1）跳跃连接：为了让跳跃连接从不规则形状病变区域捕获形状感知特征，获得更好的裂纹图像分割性能，增强CNN对不规则形状的建模能力。每个跳跃连接包括两个单独的可变形卷积、一个BN、一个ReLU激活函数和传统的残差连接，以实现更好的优化。

2）视觉注意机制模块：每个视觉注意机制模块由LN、通道注意模块、基于窗口的自注意机制模块、反馈网络、以及残差模块组成，整个模块聚合了交叉窗口和通道的注意信息，用于提取上下文和空间信息。它可以有效地提取全局和远程依赖关系，协调裂纹的整体特征，并抑制背景区域的不相关部分。

3）多尺度融合模块：U-Net网络模型解码器单元中不同层生成的特征映射具有不同的接受域，适合于多尺度裂纹缺陷的特征重构。浅层包含许多低级语义特征，如边缘和细节。深层包含更多的高级语义特征，如裂纹图像的形状和空间连接。因此，提出一个多尺度融合模块，用于U-Net网络中不同深度特征图的融合，该模块融合低级和高级的特征，并弥补池化操作造成的信息损失[3]。

4）模型训练和数据分析

模型改进并确定好后，对模型进行训练，并且在测试数据集上评估模型。本文的实验是在Windows10操作系统下进行的，所有网络是在Python3.9框架下运行，硬件为NVIDIARTX 3090 GPU (24G)。在训练过程中，我们使用Adam优化器对道路裂缝检测网络进行优化，以便在训练过程中进行优化。学习率设置为0.0005，批量大小为4，epoch为100。本文使用的模型评价指标有：准确率、召回率、F1-score。在训练好模型模型并在测试集完成评估之后，与其他用于裂缝分割任务模型进行比较，并且进行消融实验，以判断改进的模块对于模型所起到的作用。

3 总结

本文在U-Net网络上进行改进并运用于道路裂缝检测任务中，并且取得了不错的效果，但还有一些地方能够去进一步的研究并加以改进

(1)本模型在CrackLS315数据集上测试效果并不好，该数据集的图像都是有大量阴影、低对比度区域和噪声挑战的细小裂缝图像。对裂缝检测模型的性能更高，如何改进模型使得在CrackLS315

数据集上的识别率提高是一个值得解决的问题。

(2)模型使用的注意机制模块作为整个网络模型的子模块，它可以有效地提取全局和远程依赖关系，协调裂纹的整体特征，并抑制背景区域的不相关部分。但是在提供全局信息的同时也会是神经网络的信息量增加，训练的成本也会对于提高，从而导致每次进行模型的训练的时间成本提高，因此，改进注意机制模块降低训练成本值得去开展研究。

参考文献

[1]唐朝晖,郭俊岑,张虎等.基于改进I-AttentionU-Net的锌浮选泡沫图像分割算法[J].湖南大学学报(自然科学版),2023,50(02):12-22.DOI:10.16339/j.cnki.hdxbzkb.2023265

[2]孙洁琪,李亚峰,张文博等.基于离散小波变换的双域特征融合深度卷积神经网络[J].计算机科学,2022,49(S1):434-440.

[3]任岩.基于深度卷积神经网络的模型量化与稀疏算法研究[D].西安电子科技大学,2022.DOI:10.27389/d.cnki.gxadu.2022.000432