多模态医学影像融合处理系统的研究与设计

多模态医学影像融合处理系统的研究与设计

谭嘉豪，杨书军，周娟，王旭，申炜豪

（西南科技大学国防科技学院 四川绵阳 621010）

【摘要】：本项目首先对多模态医学影像做细节高清化处理，再搭建的图像匹配相似度衡量模型对医学影像分解，获得相似度指标并利用卷积transformer处理，最后实现多模态医学影像三维呈现，让就诊医生能够直观地进行诊断，降低对医生专业能力要求，缓解对临床医学影像专业人才的需求。同时，本系统将用于医疗教学领域，帮助培养临床医学影像人才。

关键词：多模态医学影像、医学影像分解、三维呈现

1 多模态医学影像融合处理系统的重要性

我国对于从事临床影像检查、诊断与治疗技术工作的高级技术应用性专门人才紧缺，但是医院的患者非常多，往往一个患者需要等待较长的时间才能开始检查，且目前的解剖结构成像精准度不是很高，还有较大的改善空间，市场急需一种精准度更高，速度更快，对医生专业要求低的医学影像设备。

1.1基于互信息指标的图像匹配模型

传统的互信息指标，不同于相关系数，互信息不局限于实值随机变量，它更一般且决定着联合分布和分解的边缘分布的乘积的相似程度。互信息是度量两个时间集合之间的相关性。但这种方法比较依赖于图像之间的像素强度变化差距。互信息等方法在单模态的医学图像匹配任务上表现效果非常好，但是在多模态医学图像匹配任务中表现的效果就很一般。因此，本项目基于互信息及互相关等指标，结合多模态图像特性，寻找新的衡量不同模态图像之间的相似度指标，对多模态图像进行匹配。

1.2卷积Transformer实现图像匹配

结合Transformer结构的远程依赖性和CNN对数据的要求，能够克服学习样本数量的限制，研究不受远程依赖性约束的多模态学习方法。对处理过的图像进行迭代学习，克服学习样本数量限制，研究不受远程依赖性约束的多模态学习方法，完成多模态医学影像的图像匹配，深度学习确立有效旋转变换参数，实现浮动图像到模板图像之间的刚性保持，保证多模态影像数据融合的正确性和完整性。

2 变压器声纹识别故障检测智能检测系统

1.1基于互信息方法的图像匹配相似度衡量模型

要建立基于互信息法的图像匹配相似度衡量模型，首先需要考虑到多模态数据融合机理，从多模态图像数据融合机理入手，互信息法对变量信息一致性的探索，进行初步处理。因为不同的模态图像是由不同的传感器采集数据生成，其像素强度差距过大，因此传统的相似度指标不太适合用在这个任务上，因此我们需要构建图像匹配相似度衡量模型来衡量不同模态图像之间的相似度。

1.2浮动图像到模板图像之间的刚性变化

对于一张图片而言，通过旋转和平移变化为另一幅图像的过程称为刚性变换。匹配两个只发生了刚性变化的图像，我们需要确定一个变化函数 ，使得的模板图像和浮动图像之间的相似度 最大，其中 代表模板图像， 代表经过旋转平移过后的浮动图像。对于2D图像的旋转变化只需要一个旋转角度和两个平移因子即可。

1.3基于卷积Transformer实现图像匹配

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一 。对于多模态医学影像的对齐处理，深度学习模型能够实现医学影像对齐的自动学习，从而提高医学影像对齐的准确率和信息的保存，而Transformer能够实现克服多模态医学影像多模态的远程依赖性的问题，有效地提取图像的低级特征并建立模态之间的长期依赖关系。将CNN与Transformer结合，形成有效的多模式融合策略可以大大提高深度模型的性能。而对于深度学习模型而言，并不是神经网络层数越多就越好。

1.4基于OPENGL的医学影像3D可视化程序

对于医学图像而言，其格式和一般的JPG图像不同，如DICOM和NITFI等图像格式。要对其进行可视化需要我们实现预先规定好的协议，然后按照协议内容读取图像文件数据，从而利用OPENGL或Python等工具进行可视化。

3 结束语

在临床诊断中，医生往往需要从多张不同的医学影像中获取信息。由于不同设备所形成的医学影像在空间上存在一定差异，需要通过经验丰富的人进行才能在脑海中将不同的图像在空间上对。本文介绍了一种基于互信息指标的图像匹配相似度衡量模型的影像处理系统，该系统利用卷积Transformer实现图像匹配和OPENGL的医学影像3D可视化技术，深入分析相关图特征，提升了影像设备的精度和速度。

参考文献：

[1]季长清,高志勇,秦静等.基于卷积神经网络的图像分类算法综述[J].计算机应用,2022,42(04):1044-1049.

[2]王霄,朱恩照,艾自胜.卷积神经网络的原理及其在医学影像诊断中的应用[J].中国医学物理学杂志,2022,39(12):1485-1489.

[3]杨凯豪. 医学影像分割CNN-Transformer混合网络的高效多目标神经架构搜索[D].华南理工大学,2022.DOI:10.27151/d.cnki.ghnlu.2022.003624.

基金资助：四川省大学生创新创业训练计项目编号：S202310619126X