谈中大型互联网网站用户行为分析数据平台

谈中大型互联网网站用户行为分析数据平台

魏梦奇

北京启明星辰信息安全技术有限公司

摘要：随着互联网技术与计算机技术的迅速发展，互联网的应用空间也在逐渐扩大。在中大型互联网网站中，在具备大量用户数据的前提下，实时地分析和研究用户数据，搜寻到具备商业价值的用户行为资料，以此更好地为用户提供服务，是有关企业一直努力的最终目标。本文简单分析了我国互联网发展的现状和问题，并且深入探讨了中大型互联网网站用户设计数据平台系统的作用和意义，仅供参考。

关键词：互联网；用户；数据平台

与传统的行业相比，互联网专业的门槛比较低，这个特征吸引了越来越多的企业进入到互联网行业，为人们的日常生活创造了更多的条件。但是，互联网的迅速发展，容易复制的服务模式，引起了互联网企业中出现了激烈的竞争。为了改善这个局面，中大型互联网企业开始利用互联网来建立用户行为分析数据平台，以此来了解网络发展的具体特点以及网站用户的应用习惯与心理需要，有利于合理运用资源，获得竞争优势。

一、我国互联网发展的现状和问题

截至2010年12月，中国网民规模达到4.57亿，较2009年底增加万人；互联网普及率攀升至34.3%，较2009年提高5.4个百分点。互联网普及率攀升至34.3%，固网用户的宽带普及率达到98.3%，至此，我国网民规模已占全球网总数的23.2%，亚洲网民总数的55.4%。到“十一五”期间，我国网民规模继续稳步增长，跃居全球第一。

我国互联网地域发展不平衡，基础资源建设尚待提高，中国未来的成长空间和发展潜力很大，目前互联网产业在我国的很多地区，已经得到了很大普及，为大量互联网网站的发展提供了成长和发展的土壤。中国的互联网产业在过去十多年的高速发展过程中，门户网站、社区论坛、电子商务、网络游戏、视频网站等细分行业均经历了不同程度的快速发展，逐渐完成了由门户到内容的竞争，走向了稳定成熟。并且在过去的十多年间，形成了一些诸如百度、腾讯、阿里巴巴等世界级的行业巨头。尽管如此，在中国互联网企业的发展过程中，也暴露了很多问题。互联网的行业特点决定一个新的技术就有可能带來颠覆性的改变，所以，互联网企业在过去十几年形成的竞争格局在未来的变数依旧很大。一些网站提供的放平台由于缺乏合理的管理机制，导致潜在市场的效率低下，容易被恶意操控。如何识别恶意访问并进行监控反制，是网站运营中一个重要的课题。同时监控网站内部恶意的运营行为，及时发现网站管理人员不合理、不合法规的运营行为，对网站的品牌建设和长远发展，有着重要的意义。

二、中大型互联网网站用户设计数据平台系统的意义和作用

1、面对互联网行业中出现的一些问题，许多互联网企业已经意识到，为了具备一定的竞争力，不仅需要有投资资本方面的优势，还应该有能力找到适合网络用户的运行模式，并且在同种服务形式中找到适用于网络用户的网站浏览方式与具有特色和针对性的网站服务。过去获取有关信息资料的方法是借助进行抽样调查，运用数据统计的方法来深入分析获取的数据，从整体的角度来了解互联网用户的浏览资料的特征。过去抽样调查的结果是由调查的数据总数与获得最初数据抽样调查的科学因素，数据分析方式的科学性共同决定的，而且这种调查的方式不能确保调查结果的完整性和全面性。与此同时，这种调查分析的方式也不能全面地了解到每一个网站用户的浏览习惯，也没有条件为每个用户提供适应于个体的具有特色的服务。

现阶段，对于不少互联网企业，开始考虑将第三方的数据体系与企业网站相连接，获取有关的数据资料，同时调查分析数据，这样的做法有效地解决了过去抽要调查数据中存在的部分问题，同时也为互联网企业搜索到了大量具有价值的数据信息以及研究数据的方法。然而，第三方数据平台体系无法确保获取数据的安全和稳定，同时具有个性化的网站服务也无法开展研究与分析工作。同时，第三方数据平台体系无法确保获得数据的全面性，获取的数据结果发挥的作用有限。因此，创建一个完整、具有特色的数据平台体系，具有重要的价值和关键的意义。

2、中大型互联网网站用户设计数据平台系统的作用在于，能够迅速掌握用户的访问数据情况，以及访问来源信息，同时还能够自动地把当前时间点获取的数据与先前不同日期但是具有相同时间点的数据进行比较，能够进行一定量的变化特征原因的调查；另外，这种数据平台也能够监控网站用户对个别化业务的应用状况，而且具有实时性。比如商品的网络交易、发布回帖等。这种功能可以帮助网站的运作人员，及时找出合格的用户，发现恶意用户；还有，这种数据平台还可以监控到运行网站上的服务人员的日常工作内容，比如可以监控游戏管理员等，这种功能可以帮助站务工作者了解奖惩指标，为其提供真实有效的数据依据，该系统提高了网站运营活动的及时性和有效性。

互联网企业的服务器直接为用户提供服务，可以直接记录用户的网站浏览行为和访问习惯，为数据平台系统的设计和搭建提供原始的数据基础。同时，通过合理的系统架构，对于单个网站，是可以搭建一个高效、稳定的实时数据平台系统。而通过经过实践验证、较为成熟的集群数据处理解决方案，则可以在较低的研发成本基础上，搭建一个离线数据分析处理平台，解决大部分离线数据平台系统的业务需求。

三、实时数据分析系统

实时数掘分析系统是一个分布式的计算系统，包括十几个不同的实时数据分析服务进程，大部分进程之间相互独立，少部分进程之间通过建立通讯通道进行数据交。每个进程从消息队列中间件订阅消息作为数据分析的数据源后，在内存中做实时卜算。同时，实时数据分析系统的多个计算服务进程具有相同的业务抽象行为，所以，抽象出统一的业务处理接口，不同的数据分析系统开发过程中继承接口，并根据不同的数据计算要求编写不同的具体实现，有利于提高系统开发和代码维护的效率。

实时数据分析系统在短时间内得到的结果数据，需要快速刷入到存储系统中。实时数据平台系统中，选用普通的关系型数据库难以满足这种要求，且容易在数据处理高峰因为瓶颈导致系统不稳定，所以使用了存储集群满足实时数据分析系统高速的读写要求。数据处理和结果获取的规律性很强，数据中心系统根据数据生成的时间特征，及时地载入相关的数据。

四、结语

中大型的互联网单位，拥有的用户量都比较大，而且具备具有个性化的服务，就算不考虑企业数据的隐私性，通常情况下，中大型互联网站具备的数据产品还不能适应企业数据总数的处理需要以及个性化服务的调查需要。因此，中小型互联网网站应该自主搭建用户行为分析数据平台，但是这项工作比较困难，不仅需要充分掌握企业在数据调查方面的发展需求，还需要根据企业的具体情况和资源情况，促成数据平台体系的创建，确保满足互联网发展的需要。

参考文献：

[1]张宴.实战Naignx：取代Apache的高性能Web服务器北京：电子工业出版社，2010

[2]周敏奇、王晓玲、金澈清、钱卫宁译[美]TomWhite著DougCutting序.Hadoop

权威指南.北京：清华大学出版社2011

[3]林昊著分布式java应用基础与实践北京：电子工业出版社，2010

[4]范明、孟小峰译[加]JiaweiHanMichelineKamber著数据挖掘概念与技术第二版北京：机械工业出版社2006