大数据时代下数据可视化应用

大数据时代下数据可视化应用

田攀俊  刘杰  白俊杰  徐博明

北方自动控制技术研究所  智能信息控制技术山西省重点实验室，山西太原  030006

摘要：在大数据时代中，数据收集其品质与数量以及数据处理的速度和准确性就属于是确保整个产品生命周期质量的主要方面。在现实生活中，人类对产品可视化就有很高的要求，并且严重依赖于直观的感知。所以说，以更好的质量和科学的结果来处理数据可视化就是日后产品开发与营销的必然方向。

关键词：大数据；数据可视化；数据图表；信息设计

前言：近年来，经济快速发展，那么一些先进的技术，比如数据的采集和存储以及数据分析技术也得到了快速的发展，使得数据存储和处理的成本得到了大幅度的降低，我们也即将进入大数据时代。曾经,枯燥的数据统计和分析只是统计学家、数据分析师和科研学者们的专利,而大数据革新性的将海量数据处理变为可能,并且大幅降低了成本,使得越来越多跨专业学科的人投入到大数据的开发应用中来。大数据时代大幅度改革数据处理的方式，技术的进步必然会使成本下降。

1.数据可视化的概念和意义

数据可视化实际上就是利用电脑图形的理论和电脑图像的处理手段，把一些图标、地图、网页等以及其他种类的能够使数据的内容变得更容易理解的一种表达方式来表达数据，这样就能使得数据更容易被接受。根据研究可知，很多信息都是人类依靠视觉来获取的，所以对数据进行可视化分析，让那些复杂的、多维的数据进行一种可视化的呈现，这对人类获取信息是非常有意义的。总的来说，有效的去处理那些包含着大量信息的数据是我们现在必须要面对的问题，那么大数据的数据可视化分析就是我们必须要走的一条路。

2.大数据时代的机遇和挑战

当今社会，社交网络大面积普及，信息交流特别方便，大数据对每个行业的发展都是非常重要的，那么大数据的主要职能就是通过一系列的技术手段，对人们的行为以及情绪的变化进行细节性的观测，这样就能够发现一般用户的网络行为习惯以及爱好和选择，然后大数据的可视化分析，从复杂的数据库中挖掘出符合用户习惯的一些产品，然后根据用户的喜好对这些产品和服务进行调整，从而更好地服务于用户。所谓的大数据，不是要掌握更多的数据信息，而是能根据用户的喜好来选择最适合用户的产品，对数据进行高效的处理和分析。大数据最根本的用处就是对数据进行提取和加工，让数据发挥它最大的价值。

3.数据可视化的工具

3.1 Power BI数据可视化

由Excel衍生而来的Power BI，整合了Excel Power Query，PowerPivot，Power View和Power Map等一系列工具，堪称微软第二次伟大的发明，采用（Data Analysis Expression）数据分析表达式，它使得不懂编程但具备数据分析能力和商业直觉的分析人员能够便捷而快速地提取、清理和整合各种数据源（mysql，Salesforce等），并创建复杂动态图形和仪表，堪称自助式BI商务智能，是IT傻瓜化和数据分析的完美结合。

3.2 Tableau数据可视化

Tableau是一款完全的数据可视化软件，专注于结构化数据的快速可视化，使用者可以快速地实现数据可视化并构建交互界面，只需将数据直接拖放到工具簿中，通过一些简单的设置就可以获得想要的可视化图形，其核心是数据可视化技术，具有独创的Viz QL数据库和用户体验良好且易用的表现形式，是一个人人都能学会的敏捷商务智能工具。

3.3 ECharts数据可视化

作为一种商业级别的数据图表，E Charts是一个开放源代码的数据可视化工具，可用于PC端和移动端的大多数浏览器，它由JavaScript实现，底层依靠轻量级矢量图形库Z Render，具有丰富的可视化类型，支持多种数据格式，具有流畅性强的数据前端显示、动态数据的动画显示、更强大的三维可视化，支持跨平台应用，有数据深度探索和无障碍访问功能，并提供了多种可视化图表，支持定制，易于使用，轻松满足数据大屏、智慧城市、VR、AR等高品质展示需求。

3.4 Pyhton数据可视化

Python语言强大而灵活，并有很强的扩展性，而且其语法相对简单易懂，即使没有编程基础的普通办公人员也能通过适当的学习轻松掌握，被称为“胶水语言”。Pyecharts和Plotly模块是Python数据可视化中的两个重要工具。Pyecharts在Python和EC harts之间架起了一座桥梁，让Python用户也可以使用EC harts的强大功能。Plotly是新一代Python绘图模块的王者之选，也是各种Web平台的优先选择绘图模块。

3.5大数据时代背景下的web数据可视化

3.5.1基于web的数据可视化的参考模型

Web数据显示具有四个主要参考模型：在服务器上创建描述数据图形并将其显示给客户端时，客户端就需要通过浏览器体现这一图形。服务器端以HTMLFoms或JavaApplet模式提供了可视控制页面，浏览器客户端缓存了控制页面并管控可视过程。可视化映射后，服务器就将以Java3D格式的3D模型形式退出VIlML，并将其推送至客户端。客户端通过支持VRML或Java3D的浏览器来绘出于操作3D模型。这样，交互就只限于绘图期间。客户端缓存数据，在客户端上工作可视化管道，之后通过JavaApplet显示计算，客户还应该下载可视化软件，岁说客户能够全面控制显示过程，但它有很高的要求来要求客户的硬件和软件资源。并且可以控制大规模的过程。模型1使用能够直接安装在服务器端的TeeChanProAetivex控件于服务器端动态创建图形文件（JPEG格式），之后将图形发送到客户端以在浏览器中体现。可以运用此方法在流行的客户浏览器。模型2与模型3必须为特定的程序预制Java绘图程序。模型4通过复杂的可视化计算在服务器端展开处理，从而防止了对客户资源的高要求，并完成了客户的交互式可视化演示，结果，它具有互操作性与计算机负载分配的优点，但是编程也很复杂。

3.5.2大数据的web数据可视化方法流程

（1）发现问题

数据可视化是特定问题的解决方案，因此，面对大量数据，应该首先考虑如何合理地提取区域问题相对应的数据。当提出问题以创建信息可视化时，应对以数据为中心的问题产生关注。另外，需要特别注意以“为什么”开头的问题，这意味着对数据的更正式描述将开始转向重写数据分析。

（2）收集数据

收集和排序数据是数据可视化的核心。但是，找到所需的确切数据可能是一项艰巨的任务。通常，最好从已经可用的数据着手并尽量找到一种方式来描绘它，而不是尝试自己去收集数据。得到原始数据之后要着手于数据的解析、组织、分组或者修改，对数据进行再加工。

3.5.3大数据的web数据可视化展现方式

颜色是显示大数据集的优秀方式，可以通过颜色识别许多级别和色调，从而能够使颜色显示宏观趋势。使用颜色创建可视化效果时应格外小心，以使读者可以区分45%和55%的数据点。时间：伴随时间变化的数据通常在时间轴上绘制，主要通过计算机上的编程算法，需要以不同的方式呈现不同形式的表达。设计师在选择一种表现形式时需要考虑听众是否可以很好地接收和吸收信息，设计人员需要对视觉心理学对用户浏览的影响进行了解。伴随Internet的发展，数据可视化将在未来开发出许多新的格式和属性，以帮助人们理解和控制数据。尺寸：这是最常用的可视化方法，如果要区分两个对象，可以通过大小比较快速区分它们。此外，尺寸可以帮助相关人员了解两个不熟悉的数字之间的区别。例如，百度统计，此应用程序是指对网站流量进行的专业分析，可帮助用户不断从网站流量数据中提取有价值的信息，并指导网站的运营。例如，此Web目录访问者图表使用气泡区域的直观表示。您可以通过比较气泡的大小和面积来直观地显示每个Web目录的访问者数量。网络：在网络视图模式下，可以看到数据点之间的二进制连接，当查看这些数据点之间的关系时非常有帮助，在线网络可视化在视觉交流网站上得到广泛使用。

4.结束语：

综上所述，随着计算机技术、数据图像处理技术和其他主流智能技术的发展，数据可视化技术已取得了一定的发展成果。那么对于可视化提出的要求可越来越高。很多普通的用户也被要求参与数据可视化的分析，所以，为客户展示更加清晰、有效的数据，成为数据可视化应用分析最大的动力。

参考文献：

[1]姜枫.大数据可视化技术[M].北京：人民邮电出版社，2019.

[2]周宁.信息资源可视化模型方法[M].北京：科学出版社，2008.

[3]王大伟.ECharts数据可视化：入门、实战与进阶[M].北京：机械工业出版社，2020.

[4]黄明霞.大数据背景下城市交通拥堵对策研究[M].北京：中国纺织出版社，2018.