基于全卷积神经网络的司法卷宗分类技术

基于全卷积神经网络的司法卷宗分类技术

贾云龙

北京经舆典网络科技有限公司，北京

摘要：随着技术的不断发展，计算机和互联网的普遍应用，社会生活的各个领域每分每秒在源源不断的产生大量的数据和信息。在司法领域，大量的卷宗文档数据在法院生产，人工对卷宗进行分类难以满足大数据量分类的需求，这时候使用机器进行卷宗分类就显得尤为必要。我们提出了一种基于深度学习卷积神经网络的方法，对司法卷宗进行自动分类。在实验中，我们的方法达到了94.53%的准确率，大幅提升了工作效率。

关键词：图像分类；司法卷宗；深度学习

1. 引言

文档分类是指在某一确定的分类体系之下，依据文档包含的具体信息对其自动分类的过程。文档分类方法可分为基于图像和基于内容的方法。基于内容的方法主要应对有电子文稿的文档形式；基于图像的方法主要应对扫描或拍照的文档形式。笔者处理的文档大多数是扫描卷宗文档，故本文着重讨论基于图像的卷宗分类。

基于图像的文档分类技术，关键在于从全局图像中提取有判别性的特征，然后利用分类器给出判断结果。近几年来比较流行的特征提取方法有词袋模型[1](Bag of Words, BOW)以及深度学习(Deep Learning)模型。

词袋模型最初来自于自然语言处理领域，通过计算特定关键字在一篇文档中的概率分布直方图，并将其作为对该文档内容的描述向量。Csurka等人首次将词袋模型的概念引入计算机视觉领域,形成了由底层特征抽取、特征融合以及训练分类器进行判定分类三部分组成的标准框架。底层特征提取主要包括在图像中确定要提取特征的局部位置以及在该位置提取哪些局部特征两个问题。关键位置一般采用基于兴趣点检测的方法以及对图像进行密集采样的方法进行。常用的兴趣点检测算子有Harris检测子、FAST(Features from Accelerated Segment Test)算子、SIFT(Scaled Invariant Feature Transform)等。常用的局部特征包括HOG(Histogram of Oriented Gradient, 方 向 梯 度 直 方 图 )、LBP(Local Binary Pattern, 局部二值模式)等。分类器一般采用支持向量机SVM（Support Vector Machine, SVM）等传统分类器。

深度学习是最近非常流行的图像分类的方法，基本思想主要是通过构建多层神经网络学习层次化的特征表达。其中基于卷积神经网络(Convolutional Neural Network, CNN) 的方法已经在计算机视觉中的很多问题上，取得了非常显著的效果。CNN首先由LeCun等人提出并在中得到进一步的改进。LeCun提出了一种多层人工神经网络LeNet5用来对手写数字进行分类，该网络结构可以通过BP反传算法加以训练。但是由于缺少大规模的训练数据以及有限的计算资源，该网络结构无法用在更加复杂的视觉问题上。后来，Krizhevsky等人设计了非常经典的AlexNet。该网络在LeNet5的基础上，加入了深层的结构，包含5个卷积层以及 3 个全连接层，并且采用ReLu作为神经元节点上的非线性激活函数。

2. 基于卷积神经网络的司法卷宗分类

卷积神经网络中的卷积层可以定义为

其中C为卷积运算，X为输出张量，Y为输出张量。那么卷积神经网络则可以定义为

对于司法卷宗问题，我们对个样本判断一个类别，我们使用softmax激活函数进行类别输出。首先，我们对卷积输出进行平均池化，得到向量化表征Y

然后对Y进行softmax激活

其中，i为卷宗类别，wi为全连接参数，Si即该类别的最终得分。整体结构如下图所示：

图1 基于卷宗的卷积神经网络结构

实践中，我们采用类似efficientNet的模型架构。损失函数，我们采用交叉熵损失函数进行训练。在我们的近3万张测试数据上效果表现如下：

可以看出，我们的方法的效果，相比传统BOW具有明显的优势，相比其他的卷积神经网络，亦有较大优势。

3. 结论

本文提出的基于深度学习的卷宗分类方法是通过建立高效的卷积神经网络模型，准确提取卷宗语义关键特征并做出卷宗类别的判断。我们针对司法卷宗文档的特点，尝试以及设计了不同方法进行分类，实验结果表明，基于深度学习的方法具有明显的优势，并且我们的方法在其中效果显著，可以达到94.53%的准确率，大幅提升了法院工作人员的工作效率。

参考文献

1. 黄凯奇, 任伟强, 谭铁牛. 图像物体分类与检测算法综述[J]. 计算机学报, 2014, vol.37(6): 1225-1240.

2. Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems 25 (2012): 1097-1105.

3. Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).