基于Kubernetes系统的人工智能算法的模型部署系统

基于Kubernetes系统的人工智能算法的模型部署系统

ACHINEK pINE NJENGWIE

人工智能技术是模拟、延伸和扩展人的智能的相关技术的统称，常见的人工智能技术产品和应用有AI音箱、人脸识别、语义识别和人脸支付等，这些产品和应用所依赖的核心技术就是各种不同的人工智能算法模型。比如，AI音箱依赖语音识别模型、自然语义处理模型；人脸识别依赖图像处理模型、人脸识别模型。在人工智能算法模型的开发过程中，需要不断地对人工智能算法模型进行性能测试、修改和调参，以提升人工智能算法模型的性能。

现有的人工智能算法模型性能测试通常使用物理机或者虚拟机作为人工智能算法模型的运行环境，且无论是使用物理机还是虚拟机作为人工智能算法模型的运行环境，现有的人工智能算法模型的性能测试方案，都需要算法工程师人为地将人工智能算法模型在运行环境中进行部署和运行，这不可避免地会影响人工智能算法模型的测试过程和测试结果。

因而，现有的人工智能算法模型性能测试采用物理机或者虚拟机作为人工智能算法模型的运行环境，由算法工程师将人工智能算法模型在运行环境中进行部署和运行，不可避免地带来测试效率低、性能损耗严重、测试过程受影响和测试结果不准确等问题。

技术内容

本技术提供了一种基于Kubernetes系统的人工智能算法的模型部署系统，以解决或缓解上述现有技术中存在的问题。

为了实现上述目的，本技术提供如下技术方案：

本技术提供了一种基于Kubernetes系统的人工智能算法的模型部署系统，包括：基于预设的镜像构建引擎，制作人工智能算法模型对应的算法容器镜像，并将所述算法容器镜像推送至镜像仓库进行存储；其中，所述算法容器镜像包括算法指标采集处理单元；在Kubernetes集群中容器化部署所述算法容器镜像，以将所述人工智能算法模型在所述Kubernetes集群中的算法模型部署容器中运行；基于在所述Kubernetes集群中容器化部署的算法测试引擎，根据所述算法指标采集处理单元采集的所述人工智能算法模型的运行指标信息，生成所述人工智能算法模型的测试结果；其中，所述运行指标信息与所述人工智能算法模型的类型相关。

优选的，所述基于预设的镜像构建引擎，制作人工智能算法模型对应的算法容器镜像，具体为：调用预设的镜像构建引擎对所述人工智能算法模型及对应的基础镜像、运行环境、配置参数进行打包，封装为所述算法容器镜像。

优选的，在所述调用预设的镜像构建引擎对所述人工智能算法模型及对应的基础镜像、运行环境、配置参数进行打包，封装为所述算法容器镜像之前，还包括：根据所述人工智能算法模型的框架类型，确定与所述人工智能算法模型相对应的所述基础镜像、所述运行环境和所述配置参数。

优选的，所述在Kubernetes集群中容器化部署所述算法容器镜像，包括：响应于用户输入的待测试的人工智能算法模型的标识信息和资源配置信息，创建算法测试任务，并将所述算法测试任务添加至预设的任务队列；根据所述资源配置信息，在所述Kubernetes集群中选择测试节点，并将所述算法测试任务与所述测试节点进行绑定；根据所述算法测试任务中包含的所述人工智能算法模型标识信息，从所述镜像仓库获取所述算法容器镜像，并将所述算法容器镜像部署在所述算法模型部署容器中；其中，所述算法模型部署容器由所述测试节点根据所述算法测试任务中包含的所述资源配置信息创建。

优选的，所述算法测试任务还包括用户输入的任务权重信息，所述将所述算法测试任务添加至预设的任务队列，包括：如果将多个所述算法测试队列同时添加至所述预设的任务队列，则根据所述任务权重信息，对多个所述算法测试任务进行排序。

优选的，所述基于在所述Kubernetes集群中容器化部署的算法测试引擎，根据所述算法指标采集处理单元采集的所述人工智能算法模型的运行指标信息，生成所述人工智能算法模型的测试结果，包括：所述算法测试引擎从所述算法指标采集处理单元获取所述人工智能算法模型的运行指标信息；并调用与所述人工智能算法模型相对应的测试框架和测试模型，对所述运行指标信息进行运算，生成所述人工智能算法模型的测试结果。

优选的，所述算法模型部署容器为资源强制隔离容器，所述资源强制隔离容器具有独立的操作系统内核。

有益效果：

本技术提供的技术方案中，基于预设的镜像构建引擎，制作人工智能算法模型对应的算法容器镜像，并将制作完成的算法容器镜像推送至镜像仓库中进行存储；然后，在Kubernetes集群中容器化部署算法容器镜像，以将人工智能算法模型在Kubernetes集群中的算法模型部署容器中运行；基于Kubernetes集群中容器化部署的算法测试引擎，根据算法容器镜像中更包含的算法指标采集处理单元采集的人工智能算法模型的运行指标信息，生成人工智能算法模型的测试结果，其中，运行指标信息与人工智能算法模型的类型相关。籍此，基于Kubernetes系统实现了一种人工智能算法模型的性能测试方法，使用容器作为人工智能算法模型的运行环境，几乎不存在性能损耗的问题；借助Kubernetes系统所具有的特性，对人工智能算法模型的性能测试任务、算法模型部署容器进行自动化管理，算法工程师无需手动对算法模型进行部署和运行，提升了测试和部署效率，测试过程中没有人工干预，测试结果更加准确。

该技术系统于2020年07月03日开发完成，并于2020年07月06日首次发表

背景技术