首页 > 《科学与技术》 > 2021年18期 > 网络资源增量采集方法的探究和实践

网络资源增量采集方法的探究和实践

在线阅读下载PDF 导出详情

摘要摘要：进入21世纪以来，我国科技水平发展迅速，互联网被广泛应用在各个领域中。随着互联网信息的爆炸式增长，网络资源存档的数据范围在不断扩大，数据采集频率也在提高，这给服务器存储空间、采集服务器运行负载和网络带宽都带来了相当大的压力和挑战。因此，实践增量采集策略、剔除重复数据的采集是网络信息资源保存的必要策略。基于增量采集的研究和实践，详细介绍了增量采集的策略和技术实现，增量采集不但可以使采集机制更加灵活，而且可以有效缓解服务器存储空间和网络带宽的压力。

DOI n49ywxn9jy/5646735

作者张刚建

机构地区中国飞机强度研究所陕西西安 710065

出处《科学与技术》 2021年18期

关键词网络资源增量采集方法

分类 [建筑科学][建筑技术科学]

出版日期 2021年11月18日（中国期刊网平台首次上网日期，不代表论文的发表时间）