移动大数据关键技术及应用

移动大数据关键技术及应用

陈碧莹

中国移动通信集团广东有限公司佛山分公司528000

摘要：随着互联网技术的发展，人类社会逐渐步入数据技术时代。数据成了构成信息化社会的基本元素，由原来的数据积累变成一项优质的社会资源，大数据作为继云计算、物联网之后IT行业又一颠覆性的技术。本文结合大数据的特点，介绍大数据的主要技术，对大数据在人类社会的生产和生活方面产生的影响和创造的机遇进行展望。

关键词：大数据技术；发展应用

一、大数据的概念

随着计算机技术在人类社会的融合，使我们的生活、工作和学习都产生了巨大的、海量的数据。例如一些医疗服务类网站，将医生信息、门诊信息等现实事物数字化，形成了大量网络数据。互联网社交、搜索和电商也在不断产生大量数据。大量移动电子终端设备的出现（物联、车联、GPS等），更加快了互联网数据制造的速度。从数字上说，到2012年，互联网数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）级别。据估计，到2020年，全球数据量将达到2015年的44倍，增长速度超过摩尔定律。而这样的增长速度和规模已经超出了日常软件在可容忍期限内获取、管理和加工数据的能力。

其实早在1980年著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。但大数据被重视应用则是到了2011年由麦肯锡公司发布了关于“大数据”的报告，该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。

二、大数据的主要关键技术

大数据技术的意义不在于庞大的数据集合，而是从各种类型的数据中快速获得有价值信息的技术。但是要处理的数据量实在是太大、增长太快了，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付。在这种情况下，技术人员纷纷研发和采用了一批新技术，主要包括分布式储存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。主要包括：大数据采集、大数据预处理、大数据存储、大数据分析及挖掘等。

数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。

大数据预处理主要完成对已接收数据的辨析、抽取、清洗等操作。（1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。（2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

三、大数据的意义和应用

提到意义和价值，首先就要将大数据联系到企业组织与管理方面，对大数据的合理解析可以帮助他们降本增效、做出更明智的市场决策，可以利用大数据进行精准营销与投资规划等等。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

四移动通信工作应用大数据管理系统的有效途径

4.1发挥大数据库工作能力，提高大数据存储技术以及信息处理能力

目前因客户数目巨大，而传统信息管理软件与人工操作结合的方式，难以保障每一名客户都得到及时信息回复。同时大量的通信数据也使得通信公司内部数据交换机承担着巨大工作压力，长此以往会严重缩短数据交换机寿命，降低移动通信质量。所以务必将大数据操作程序及早加入到移动通信管理工作中，利用大数据高效的管理能力，减轻数据交换机以及通信公司工作人员工作压力。而大数据操作系统中大数据库承担着存储客户信息，以及传递通信内容的重要工作。所以通信公司必须要加强大数据库应用认知。

目前大数据在技术层次上，能够完美实现客户信息以及号码的记录工作。这不仅意味着数据通信工作可以有效开展，同时客户信息以及号码的存储质量保障，是移动网络通信稳定工作管理核心。只有当通信公司掌握了更多客户信息，才能够及时推广更多通信业务，保障移动通信工作智能化以及高效化发展。

4.2将大数据信息管理系统应用于更多的通信产业中

大数据信息管理系统不能只应用于通信公司管理中心，而是要应用于更多的通信管理部门。目前通信公司通常会将大数据管理系统应用于企业内部数据处理以及分析业务上，虽说有效记录了客户信息，以及保障了通信公司业务推广渠道。从而确立了通信公司通信质量上的安全保障。不过如果可以将大数据管理系统覆盖到通信企业更多的业务活动范围上，不仅有利于大数据技术的发展，同时还能够有效帮助通信公司发展业务工作。例如通信公司与通信设备生产厂商合作，生产更为高效且工作能力更强的数据交换机。又比如通信公司跨界合作不仅仅应用于移动通信业务，将其运用于网络安全管理工作中，或是生活信息处理工作中，打造数据信息管理一体化工作服务平台。充分利用数据库强大的信息处理能力，以及分析能力，使通信公司能够充足企业内部结构，改革创新提高通信公司市场活力。同时由于移动通信运营商，掌握着较多的客户信息，而现如今许多刑事案例犯罪嫌疑人都会利用便捷的移动网络实施犯罪活动，通信公司大可以与警方合作，及时处理网络安全问题，保障客户通信质量安全。

4.3建立数据处理管理安全条例，保障通信安全

目前在网络上存在着众多的私人信息贩卖平台，并且近些年来个人信息被盗取时间仍呈现发展趋势。所以通信网络安全管理，目前已经成为现代化移动通信健康发展重要阻碍。为有效保护客户安全，有关部门应当和通信公司合作，建立相关通信数据安全管理条例，来确保客户通信内容安全。同时这种监管制度的建立还能够有效规避移动网络信息犯罪，实时监督网络质量安全管理，方便政府和警方对私人信息售卖，以及网络财产盗取案件调查。从保护通信安全上来说，建立相关条例制度，可以有效确保客户通信安全。并且因为降低了通信威胁，所以能够有效降低通信公司管理压力，对提高通信安全质量具有重要帮助。

结束语

面对大数据时代的来临，通信公司应尽早将大数据管理技术应用于移动通信管理工作中。通过现代化的大数据管理手段，提高通信公司管理工作质量，以及客户数据分析，从而更高效的抓住客户需求，提高通信工作管理效率。因此在大数据实际应用上，务必要结合市场客户实际需求，以及通信公司发展前景，提高市场竞争能力，成为市场份额强有力的竞争者。

参考文献

[1]刘丹.大数据在移动通信中的应用[J].内蒙古煤炭经济，2016（12）：34+115.

[2]丁洪涛.大数据在移动通信中的应用研究[J].中国新通信，2016（11）：97.

[3]张引，陈敏，廖小飞.大数据应用的现状与展望[J].计算机研究与发展，2013，50（s）：216233.

[4]张国栋，易欢欢，糜万军.大数据时代的历史机遇：产业变革与数据科学[M].北京：清华大学出版社，2013.