学科分类
/ 25
500 个结果
  • 简介:人们都说现在是信息时代,适逢其时,大家均以欣喜的心情迎接跨入21世纪的到来。信息是企业的重要资源,在这数字化的年代,数据就是信息,信息就是知识,掌握知识就有了力量,有了力量就可以占有市场,提高竞争能力。总结来说,数据的保存和备份就是整个企业的全部价值。而且,随着人们生活水平的不断提高,信息数据化的量也随之迅速膨胀发展,因此,就提出了一个“海量存储”的实施及数据备份和

  • 标签: 海量数据存储 备份方案 数据备份 信息时代 海量存储 竞争能力
  • 简介:船舶自动识别系统(AIS)数据具有海量性、时空性和小记录频繁更新等特性。面向海量AIS数据,提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计,通过对时间维按月切分,以及对空间范围聚类切分,构造了索引时空立方体,从而提升了时空查询效率。讨论了索引分片和副本设计与数据安全性和系统服务可靠性的关系,分析了时空立方体性能,并针对索引分片与副本数对索引性能的影响,进行了理论分析和试验验证。

  • 标签: 时空索引 船舶自动识别系统 轨迹压缩 数据集群
  • 简介:摘要当前,互联网用户规模不断扩大,这些都与互联网的快速发展有关。现在传统的数据库已经不能满足用户的需求了。随着云计算技术的飞速发展,我国海量数据快速增长,数据量年均增速超过50%,预计到2020年,数据总量全球占比将达到20%,成为数据量最大、数据类型最丰富的国家之一。采用分布式数据库可以显著提高系统的可靠性和处理效率,同时也可以提高用户的访问速度和可用性。本文主要介绍了分布式数据库的探索与研究。

  • 标签: 海量数据 数据库系统
  • 简介:套用车牌是一种侵犯车主利益的交通违法行为,识别套牌车将有助于公安机关进行交通和车辆管理。鉴于现有套牌车算法无法适应海量卡口行车数据统计,提出了一种基于海量数据统计的定向套牌车检测算法。试验结果表明,该算法有效降低了套牌车计算量,提高了套牌车检出率。

  • 标签: 大数据 卡口行车数据 套牌车检测
  • 简介:随着广播监测工作的积累和发展,广播监测数据与日俱增,传统的数据处理分析技术难以实现对海量广播监测数据进行高效的分析。基于此,利用Hadoop分布式文件存储系统HDFS和分布式计算框架Map-Reduce,提出了一种基于云计算的海量数据分析系统设计方案,探讨了云计算技术处理分析海量广播监测数据的应用。

  • 标签: 海量监测数据 云计算 HDFS MAP-REDUCE 数据分析
  • 简介:提出了一种开放分布式海量数据处理平台的设计方案.该平台以HDFS、Hive和HBase等作为底层数据存储方式,以MapReduce、Spark和Storm等作为底层数据处理方式,向用户提供了统-的接口,同时使用Kerberous进行权限控制,保证了数据安全性.这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务.

  • 标签: HADOOP 分布式系统 海量数据 Kerberous 数据处理平台
  • 简介:陈淑芸在乌鲁木齐铁路局工作时,曾因在技术创新方面做出的突出成绩多次获得各种奖励。铁通成立后,陈淑芸一直从事铁通新疆分公司业务支撑系统的维护管理工作。她在各种业务系统开通和运行的过程中,解决了大量的技术和管理难题,建立、完善、规范了公司各项业务的管理流程,使各项业务开展活动逐步走入到遵循系统控制的流程中来,建立起适应电信运营商的对内对外管理。

  • 标签: 铁通 海量数据 新疆 维护管理工作 业务支撑系统 主任
  • 简介:相似文档搜索指检索与给定查询文档相似的文档,在大数据处理中具有广泛的应用,如近似网页检测、新闻报道聚合以及抄袭检测等。为实现海量相似文档的快速搜索,可采用Simhash指纹方法将文档映射成二进制指纹,以海明距离表达文档相似度,并通过指纹分段建立索引提高计算效率。针对传统方法在指纹分段过程中大量冗余计算影响到计算效率的问题,提出了基于顺序匹配的候选集筛选方法,以减少指纹相似性计算量和网络带宽消耗,实现快速搜索。试验表明,该方法具有较好的性能和可扩展性。

  • 标签: Simhash方法 相似文档搜索 顺序匹配
  • 简介:海量实时数据的存储访问是实时报文存储处理系统存储性能的瓶颈。分析了实时报文的应用场景;构建了实时报文数据访问的时间耗费模型,探讨了系统的主要时间耗费因素;提出了分区存储、批量存取和分页查询三种数据存储访问策略;编程实现了报文数据访问引擎,运用线性回归方法拟合了数据的保存速率。验证表明,该引擎具有高效性、资源占有率低、伸缩性强和稳定可靠的特点。

  • 标签: 报文存储访问 存储性能 分区存储 批量存取 分页查询
  • 简介:<正>业内的USB技术提供商赛普拉斯半导体公司宣布,其种类丰富的USB2.0产品系列新增低功耗海量存储桥接器——一种支持由高速USB总线供电应用的固定功能ATA/ATAPI海量存储控制器。赛普拉斯正在提供ISD-

  • 标签: 赛普拉斯公司 USB2.0 低功耗 存储桥接器 存储控制器
  • 简介:数据质量问题关系到信息系统建设。首先,概述了数据质量的定义和数据质量问题的分类并总结其来源,介绍了数据质量维度这一数据质量评估指标;然后,说明了不同领域中数据清洗的概念,分析了不同数据质量问题的清洗方法,并归纳了数据清洗有关的框架和工具。最后,对数据清洗相关研究进行了展望。

  • 标签: 数据质量 数据清洗 清洗方法 数据清洗工具
  • 简介:未来美国移动数据市场几大亮点首先是“移动电视”业务还有很大发展空间。从长远来看,随着移动通信网络带宽的加大,业务资费水平的下降,具有视频功能手机的日益普及,“移动电视”业务将会获得快速发展,并会形成相当大的市场规模。其发展前景非常可观。

  • 标签: 移动数据 移动电视 市场规模 网络带宽 移动通信 资费水平
  • 简介:摘要随着云计算、大数据、人工智能、区块链等新兴技术的引入和应用,“城市操作系统”在不断地迭代升级,朝着智能、绿色的方向不断演进。数据采集利用的广度与深度直接关系着“城市操作系统”的智能程度。大数据是推进新型智慧城市建设与城市治理能力现代化的必由之路。而政务数据资源,由于数据来源广泛,数据存储方式多样,面临数据接入、整合、应用等环节各种问题,没有全面的数据仓库体系做基础就无法支撑“城市操作系统”的应用运转。本文从政务大数据资源使用所面临的主要问题、解决办法,论证如何通过数据治理实现政务数据资源的有效利用。

  • 标签: 数据壁垒 数据仓库 政务数据治理
  • 简介:本文首先界定了敏感数据的内容以及脱敏原理,概述了敏感数据的学术研究现状;进而对大数据平台中敏感数据的来源及其面临的安全性问题进行分析总结。提出了从大数据采集、存储、服务和应用4个层面进行敏感数描保护的基本思路,以及大数据平台敏感数据的安全管理策略。

  • 标签: 数据安全 数据脱敏 安全基线
  • 简介:数据已经走进生活,影响着人们行为方式。因此,需认识大数据,研究大数据,应用大数据。针对当前热点,通过文献检索并结合实际工作梳理了大数据的发展演变过程,讨论了大数据的内涵、特点和技术架构,分析了大数据的作用及影响。

  • 标签: 大数据 Hadoop框架 Spark平台
  • 简介:北京神狐数据通信技术有限公司成立于2009年,注册资金10000万元人民币,是一家智慧互联网综合服务提供商,总部位于北京,在上海、广州、武汉等地均开设了分公司。主要为用户提供高品质的互联网数据中心服务、

  • 标签: 互联网数据中心 服务提供商 数据通信技术 人民币 北京
  • 简介:随着新一代信息技术的发展,大数据蔓延至各个行业和领域,影响着人类知识体系和生活方式,并逐渐形成了内在的思维范式。认知并运用大数据思维有助于观念变革和方法论演进,可充分利用数据内部潜在价值。因此介绍了大数据思维的形成,阐述了大数据思维的特性,并总结了大数据思维下的行动范式。

  • 标签: 大数据 思维 数据价值 行动范式