基于深度学习的中药材鉴别方法研究

基于深度学习的中药材鉴别方法研究

刘孝康、刘洋、权怀群、马琪豪、刘颜荣  指导老师：古翠红

  山东协和学院 计算机学院  山东济南    250200

摘要：中药历经几千年传承，成为了中医临床治疗的重要方式，但其种类繁多，市面上也存在着许多伪劣产品，因此需要依靠有效的鉴定手段。传统鉴别方法主要依赖于人工的主观感觉和经验，而化学检测或仪器分析的方法，又需要大量专业设备和鉴定时间，因此在实际的应用过程中成本较高、可操作性不强。随着人工智能技术的发展，国家中医药管理局制定的中医药信息化发展规划中明确指出，应以信息化方法驱动中医药现代化进程。中药材鉴别与基于深度学习的方法开始结合。然而当前大多方法忽略了图像背景特征的影响，并且网络模型较为复杂，导致识别性能和可迁移性不强。此外，在实际的应用场景中，尤其针对执法过程中的鉴定，鉴定结果不可量化，无法提供相应的法定依据。最后，在现有的中药鉴定领域中，还没有大规模标准的图像数据集可供利用。

1. 研究意义

建立基于深度学习技术的中药鉴定方法，丰富中药品质评价研究思路；强化中药评价标准化、客观化，提高质量评价结果可信度；提高中药鉴定科技水平，引领中药评价发展方向；促进中药品质评价新技术的普及与推广。

2. 研究现状

（1）由于其检测技术手段与药典规定的不完全一致，检测结果多为定性判定，准确度有所欠缺，应用在药监执法现场检查时，仅仅作为现场检测的参考，难以成为执法过程中的直接证据；（2）目前近红外的检测灵敏度较低，仅作为常量分析使用，并且在建立校正模型前成本较高，因此实际应用较少。

3. 基于深度学习的图像分类算法

CNN是深度学习中非常重要的算法，主要通过卷积计算提取出图像的特征。和传统图像处理方法不同的是，整个过程不需要对图像进行复杂的预处理，并且能够提取到更多高层抽象特征，因此对图像的检测和识别更加有效。1988年，LeCun等人[1]通过设计简单的卷积神经网络模型LeNet，在手写数字体识别问题上取得了很好的分类效果；2012年，AlexKrizhevsky等人[2]设计出AlexNet网络模型，并且提出在网络中使用非线性激活函数ReLU（Rectified Linear Units），加快了训练的收敛速度和网络的非线性表达能力。此外，作者还在全连接层后加入了Dropout函数，以缓解网络参数过拟合的现象，并将该模型应用到了计算机视觉领域的公开数据集ImageNet上，最终取得良好的识别效果。2014年Simonyan等人[3]继续改进网络，通过加深网络的层数，提出了VGGNet 系列模型，并将其应用在大规模图像识别任务中。

在目标检测算法中，有基于传统的图像处理方法和基于深度学习的方法。采用深度学习的目标检测算法大致上可以分为两类：一种是基于通过区域候选网络（RPN）来提取目标信息的两阶段检测算法，另一种是基于端到端（end-to-end）的一阶段检测算法。两阶段的检测算法主要有Fast R-CNN、Faster-RCNN[4]、Mask R-CNN[5]等，

4.基于深度学习的中药材识别网络设计及实现

对于部分相同大类的中药材而言，由于视觉特征差距小，主要通过局部特征进行辨别，加强对这些特征的关注将能够提高鉴别的准确度。基于以上因素，本文设计了基于注意力机制的轻量级中药识别网络（Attention-traditional Chinese Medicine-Net，简称Attention-TCM-Net）。其设计思想是：首先，为了加强对局部细节特征的关注，通过引入能够对通道权重进行重新调整的通道注意力机制和能够学习到中药空间特征的空间注意力机制来更好的提取中药的细节特征；其次，为了实现快速识别，更好的适应市场鉴定的需求，本文引入了特征提取模块 —移动倒置瓶颈卷积(Mobile inverted Bottleneck Convolution，MBConv)来减少网络参数和提高速度。由于MBConv采用了深度可分离卷积，对空间特征与通道特征的学习分开执行，因此特征的提取效果不及标准卷积。为了改善模块的特征提取性能，提升识别的准确性，本文在其基础上进行了改进，加入了注意力机制进行优化。最后，在模型的架构设计中，由于网络深度、网络宽度和图像分辨率之间相互作用会对网络性能产生影响，单纯设计针对中药鉴别的高效神经网络结构是很困难的，因此网络模型中间的卷积层堆叠参考了最新的 EfficientNet设计思想。

5.基于自适应注意力机制的 GRU 网络

本文在中药特征描述网络的译码单元中，也引入了注意力机制，让图像特征在进行解码的过程中保留与文本的相关性，通过关注不同区域的图像特征给出一系列的语义理解，在完成特征描述的同时，也加强了特征词的可解释性。其次，GRU 通过将 LSTM 中的遗忘门和输入门合成为一个更新门，简化了 LSTM 的结构，减少了网络的参数量；同时由于中药特征描述的语言丰富性不及标准的字幕生成任务，特征描述的数据集和特征词的数量也较少，更适合GRU 网络的训练。

6.结论与展望

本文聚焦中药材鉴别这一任务，以川贝母、山楂、半夏相关中药材为研究对象，进行了基于深度学习的中药材鉴别研究，现将研究内容总结如下：（1）本文通过自主研发的图像采集设备构建了一个带标签的中药材图像数据集。（2）提出了一种基于注意力机制的轻量级中药识别网络模型（Attention-TCM-Net）。（3）开创性使用深度学习来进行中药性状特征的相关描述工作，提出了一种基于自适应注意力机制的中药特征描述网络模型，为解决现有鉴定技术在实际应用中缺少法定依据和相关解释等问题提供了新的技术路线。

由于中药的种类繁多，并且拥有品级之分，视觉特征较为复杂，因此还需要深入研究和解决。现将工作中存在的一些不足和下一步有价值的研究方向进行总结如下：

（1）在收集中药材样本的过程中，需要进行专业人员的准确鉴定，工作量大，收集难度高，因此本文虽然得到大量中药图像，但其种类较少，采集环境单一，覆盖面也较窄，难以在复杂的实际市场中进行大规模的应用。（2）本文所设计的相关网络模型仅针对中药材的品种分类问题，暂未涉及到复杂的品质鉴定上。（3）由于本文首次提出采用深度学习算法进行中药性状特征的描述，因此存在很多可以进一步研究的内容，例如增加中药描述的类别、完善描述语句的分词依据和评价指标等。

参考文献：

[1]Liqiang Ni, Lili Chen, Xia Huang, et al.Combating COVID-19 with integrated traditional Chinese and Western medicine in China[J].Acta Pharmaceutica Sinica B, 2020, 10(07): 1149-1162.

[2] 国家药典委员会.中华人民共和国药典：一部[M].北京：中国医药科技出版社,2020.

[3] 中医药信息化发展“十三五”规划[N].中国中医药报,2017-01-26(003).

[4] 中共中央国务院关于促进中医药传承创新发展的意见[N].人民日报,2019-10-27(001).

[5] 夏永严.鉴别检验常见中药饮片成分掺伪、掺杂研究[J].亚太传统医药,2017,13(6):41-41.

山东省高等学校省级大学生创新创业训练计划项目，项目名称：基于深度学习的中药材鉴别方法研究，项目编号：S202213324031