基于AR技术与光谱视觉相结合的打叶复烤产线的片烟杂物检测系统

基于AR技术与光谱视觉相结合的打叶复烤产线的片烟杂物检测系统

尹凡    罗梓凌（通讯作者）

湖南烟叶复烤有限公司 湖南郴州 423000

摘要：在片烟复烤产线中，杂物的存在会影响烟叶的质量和后续加工的效率。传统的杂物检测方法依赖人工操作，效率低且易出错。本文提出了一种基于增强现实（AR）技术和计算机视觉技术的片烟杂物检测系统，系统通过相机实时拍摄片烟图像，利用先进的计算机视觉算法对图像进行处理和分析，检测出其中的杂物。检测结果通过无线传输至AR眼镜,将虚拟检测信息叠加到用户的实际视野中，从而辅助工人进行精确、快速的杂物清除。实验结果表明，该系统在杂物检测的精度和实时性方面表现优异，显著提高了片烟复烤产线的自动化水平和生产效率，具有广泛的应用前景。

关键词：AR技术；计算机视觉；非烟物质检测；打叶复烤；光谱检测

0引言

在烟叶加工产业中，确保加工后产品的质量和安全是至关重要的。然而，烟叶加工过程中常常会混入塑料、金属片、石块等杂物，这些杂物若未能及时清除，不仅会降低产品的质量[1]，还可能对消费者健康构成威胁。目前，烟叶杂物检测主要依赖于风选检测、磁性检测和人工视觉检测等方法。这些方法虽然在一定程度上能够辅助杂物去除，但各有局限。

风选检测主要通过风力将较重杂质与烟叶分离，效果受限于杂物的物理属性，如重量和形状，因此对轻质或贴附性强的杂物检测效果不佳。磁性检测技术则专注于铁磁性金属杂质的识别，对非金属或非铁磁性杂物无能为力[2]-[4]。而人工视觉检测虽然较为灵活，能够识别多种杂物，但其效率低下，且极易造成操作者的视觉疲劳，检测的准确性和一致性也高度依赖于个体操作者的经验和状态。

随着计算机视觉和增强现实（AR）技术的快速发展为解决这一难题提供了新的视角。计算机视觉技术可以通过深度学习算法自动识别和分类烟叶中的杂物[5]，这一过程不受操作者疲劳和经验的限制，能够大幅提高检测的速度和准确性。AR技术[6]则可以将计算机视觉系统检测到的信息实时地通过AR眼镜反馈给操作人员，使其能够即时看到杂物的具体位置和类型，从而更精确地进行手动去除操作。

综合应用计算机视觉与AR技术，我们提出了一种创新的烟叶杂物检测系统——基于AR技术与计算机技术相结合的打叶复烤产线的片烟杂物检测系统。该系统不仅能自动检测出各类杂物，还能通过AR技术增强操作人员的去杂效率和准确性，极大地优化了传统的杂物检测流程，提升了生产线的操作便捷性和整体效率。本研究的目的是通过实验验证该系统的有效性，探索其在烟叶加工行业中的应用前景，并期望能够推广到更广泛的农产品加工领域。

1 研究方法

1.1 系统架构

本研究开发了一种集成增强现实（AR）和计算机视觉技术的烟叶杂物检测系统。系统主要包括三个部分：图像采集单元、数据处理单元、以及AR视觉显示单元。图像采集单元利用高分辨率相机实时捕捉烟叶图像。数据处理单元基于强大的GPU服务器，利用先进的深度学习框架处理图像数据。服务器配置高性能处理器和大容量内存，以支持复杂的计算和大量数据的快速处理。AR视觉显示单元则将检测结果实时显示在操作员的AR眼镜上。

1.2 数据处理算法

为应对片烟复烤产线中多样且具有显著差异的杂物，本研究采用先进的深度学习技术实现杂物的精确实例分割。通过高分辨率图像采集设备系统性地采集片烟及各类杂物的图像，结合空间滤波如高斯滤波和中值滤波技术进行噪声削减，同时通过调整光源强度和角度进行光照校正，以保证图像质量。采集的图像经过标准化处理，将光谱强度值转换为相对反射率，以减少外界光照变化的影响并增强杂物间的光谱特征对比。

利用标记好的多光谱图像训练深度学习模型，进行物体检测和像素级分割。通过反向传播算法和交叉熵损失函数优化网络权重，结合正则化技术和超参数调整，如学习率和批处理大小，以提升模型的性能和适应生产线的实时需求。通过迭代训练，不断优化模型，提高检测精度并加速处理速度，显著提升系统的自动化和生产效率，优化了传统杂物检测流程。

1.3 AR显示技术

将检测结果与AR眼镜中的视野进行精确对齐是增强现实技术在杂物检测应用中的关键步骤。这一过程首先需要确保AR眼镜能够精确地定位操作员在生产线上的位置和方向，通过内置的传感器捕获操作员头部的每一个微小移动，确保虚拟叠加的图像与操作员的视线精确匹配。

计算机视觉系统一旦检测到杂物，将相关信息（包括杂物的确切位置、形状和可能的类型）转换成AR显示的格式。这包括将从相机视角捕获的二维图像数据转换为三维空间坐标，并进行透视变换[8]，根据相机的相关参数，调整AR眼镜的视场，使其与相机的视场对齐。这一步骤保证了杂物在AR眼镜中的显示位置与实际位置一致，允许操作员直观地看到杂物与周围环境的关系。

为了保证信息传输的即时性和准确性，检测到的杂物数据需要通过高速、低延迟的网络实时传输到AR眼镜。这通常依赖于强大的无线

5G通信技术，一旦数据被传输并处理，AR设备使用内置的渲染引擎将杂物的虚拟图像叠加在用户的实时视野中[9]-[10]。这些杂物图像在视野中高亮显示，如图1所示，帮助操作员快速定位并精确去除杂物。

通过这种技术，不仅提高了操作员去杂的效率，也显著提升了整个生产线的自动化和智能化水平。这种方法的实施不仅适用于烟叶复烤线，其原理和操作同样适用于其他需要精确手动操作的工业场景。

图1  实际应用效果图

2 实验结果与分析

为验证系统的实际工作效果，我们进行了一系列对比实验，使用了三组烟叶批次，每组都随机投放了20种在实际产线中常见的杂物样本。实验中分别采用了基于AR技术与计算机视觉的检测系统和传统的人工检测方法，主要记录了系统的响应时间、检测准确率和操作员的去杂效率。

表1 实验检测结果对比

实验结果显示，本系统的杂物检测准确率、响应时间都显著优于传统的人工视觉检测方法。操作员在使用AR眼镜后，去杂效率明显提高，同时感到的疲劳度明显降低。此外，系统能够连续工作数小时而无需重启或校准，展示了良好的稳定性和可靠.

3结论

本研究介绍了一种结合AR技术与计算机视觉技术的片烟杂物检测系统，旨在解决传统人工检测方法在效率和准确性方面的不足。系统通过实时拍摄片烟图像，并利用先进的计算机视觉算法进行处理和分析，从而有效识别出其中的杂物。实验结果验证了该系统在响应时间、检测准确率及去杂效率方面的显著优势，该系统有望不仅在烟叶加工行业中实现广泛应用，也可扩展至其他农产品处理及更多工业生产领域，尤其适用于需要精准杂物检测和处理的场合。

参考文献

[1]齐永杰, 李群岭, 徐文兵等. 论烟叶中非烟物质的来源与控制[J]. 农业与技术，2015 (13): 189－191．

[2]刘朝营,许自成,闫铁军.机器视觉技术在烟草行业的应用状况[J].中国农业科技导报,2011,13(04):79-84.

[3]Zhang F, Zhang X. Classification and quality evaluation of tobacco leaves based on image processing and fuzzy comprehensive evaluation[J]. Sensors, 2011, 11(3): 2369-2384.

[4]He K , Gkioxari G , P Dollár, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017.

[5]Bottani E, Vignali G.Augmented reality technology in the manufacturing industry:Areview of the last decade[J]. Iise Transactions,2019,51(3):284-310..

[6]刘思源, 曾传华, 夏茂栩等. AR技术在汽车工业领域的应用[J]. 科技创新导报, 2017, 14(19): 110-111.

[7]Jetter J, Eimecke J, Rese A. Augmented reality tools for industrial applications: What are potential key performance indicators and who benefits?[J]. Computers in Human Behavior,2018, 87:18-33.

[8]DENZEL Alexander, KÄSTNER Johannes. Hessian matrix update scheme for transition state search based on Gaussian process regression [ J]. Journal of Chemical Theory and Computation, 2020, 16(8): 5083.

[9]GUPTA Surbhi, THAKUR Kutub, KUMAR Munish. 2D human face recognition using SIFT and SURF descriptors of face′s feature regions[ J]. The Visual Computer, 2021,37: 447.

[10]XU Shijian, WU Yadong, ZHAO Dan, et al. Flow visualization method based on immersive augmented reality[J]. Journal of Nanjing University of Aeronautics & Astronautics, 2020, 52(5): 714