首页 > 《科学与技术》 > 2021年19期 > 大数据时代的反爬虫技术研究

大数据时代的反爬虫技术研究

在线阅读下载PDF 导出详情

摘要【摘要】：大数据时代，网络爬虫以较低的成本和较高的效率从互联网上获取资源和信息，给企业和个人生活带来了很多便利。但是万物都有两面性，恶意爬虫给网站带来难以估量的威胁和损失。为了避免网络爬虫被滥用甚至发展为恶意爬虫，网站通常会根据ip访问频率、浏览网页速度、账户登录、输入验证码、js加密、ajax混淆等技术来进行反爬虫。反爬不可能以某一种技术彻底封杀掉爬虫，只能想方设法提高攻击者的抓取成本，迫使抓取方在权衡成本效益后做出正确的选择。

DOI g4qkx16948/5671196

作者周凡

机构地区四川城市职业学院，信息技术学院四川省成都市610101

出处《科学与技术》 2021年19期

关键词网络爬虫反爬虫大数据

分类 [建筑科学][建筑技术科学]

出版日期 2021年11月29日（中国期刊网平台首次上网日期，不代表论文的发表时间）