简介：CKV（CloudKeyValue）是腾讯自主研发的分布式存储系统，服务于QQ空间、朋友网、相册、音乐等核心业务，日访问量超过万亿次。本刊3月期《腾讯CKV海量分布式存储系统：日访问过万亿次背后的技术挑战》一文中，全面剖析7CKV的实现原理和技术挑战。本文则将从部署架构、质量、效率和成本四个方面来讲述CKV的运营实践。

简介：通过研究GPU通用运算环境下栅格数据的空间域滤波及相关性算法，详细介绍了GPU通用运算技术；通过比较，分析了GPU通用加速计算的优势所在。

简介：大数据是毋庸置疑的技术趋势和话题焦点，但是多数情况下,可能人们都太纠结大数据“是什么？不是什么？”,这让话题看起来永远都不会有结论。而本书作者另辟蹊径,在另外的角度上对这一趋势进行解读，即什么才是大数据的正确之路。现在我们就好像身处大数据技术演进的寒武纪时代,在这个技术变革时期,各种技术粉墨登场，快速演化。而这恰恰是人们对现有大数据技术一切疑惑和模棱两可观点的源头,也正是作者在开篇第1章和结尾表述的观点。因为我们身处变革当中,所以很好理解为什么作者并不急于回答“大数据是什么“。只要翻翻这本书,你一定会发现它和市面上其它大数据书籍的不同。

简介：在不到一年的时间里，已有100多起罢工事件在沿海地区轮番上演。面对这股来势汹汹的集体罢工潮流，我们的体制是否为集体议价准备了法律基础？在连“罢工权”都缺乏法律保障的情况下，最终又会是谁受伤最深

简介：随着网络GIS应用需求的迅速增长,为海量空间数据建立高速的共享机制已经成为研究热点.提供了基于SOAP的海量空间数据服务方案,将空间数据服务分为两种应用类型,即使用GML用于数据量小的空间数据服务和FTP处理数据量大的空间数据服务.通过在AM/FM系统中应用实践及分析,使用这种方案不仅可以解决数据共享与集成,而且能够为目前的GIS应用提供功能完整、稳定可靠的数据服务.

简介：针对目前架设海量海洋数据服务的主要方式优缺点，结合海洋数据的海量特点，提出需要解决的关键问题，具体阐述了海量海洋地图数据服务系统的双分布式架构的各个方面，介绍分布式服务系统的性能测试方案，分析了性能测试结果，最后给出了结论。

简介：摘要：随着互联网的不断发展，数字信息正在呈爆炸式增长，如何高效地处理和存储海量数据成为一个亟待解决的问题。分布式文件系统 HDFS为当前众多主流的分布式应用提供了稳定的存储层服务，有着非常良好的扩展性和容错性．但是 HDFS 是为大文件的存储和流式访问而设计的，海量小文件的存储将会极大地消耗 NameNode 的内存从而影响性能。在查询性能上优于 HBase，高效地实现了 HDFS 下海量小文件的存储、管理和检索，MDCI 方案适用于需要在 HDFS 下存储、管理和查询包含多维元信息并且文件数随时间线性递增的海量小文件存储应用。

简介：海量实时数据的存储访问是实时报文存储处理系统存储性能的瓶颈。分析了实时报文的应用场景;构建了实时报文数据访问的时间耗费模型,探讨了系统的主要时间耗费因素;提出了分区存储、批量存取和分页查询三种数据存储访问策略;编程实现了报文数据访问引擎,运用线性回归方法拟合了数据的保存速率。验证表明,该引擎具有高效性、资源占有率低、伸缩性强和稳定可靠的特点。

简介：针对城市三维地理信息系统中海量三维数据在网络发布时显示速度慢的问题，基于Skyline三维软件平台，从三维建模、模型加载和数据发布等几个方面提出了相应的优化措施。实验证明，该方法可以有效地降低系统内存占用率，减少系统启动时间，提高可视范围内模型的读取速度。

简介：近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.

简介：摘要：现代课堂教学基本上采取班级授课制，特殊情况下采取线上教学，无论是现实的课堂教学还是隔空的线上教学，都必须依据学情设计教学。一个班几十个学生就有几十种学情，但是中小学教师往往忽视学情地设计教学，即使关注学情，也要深入关注到教材、具体关注到个体。只有这样，教学设计才能够做到有的放矢。

简介：针对海量断层数据提出一种新的三角剖分算法及相应数据文件存储格式,实现了海量数据的分布方式组织与重建。算法分三步,先将数据连续分成若干层;再将各层布置到不同的计算结点上进行组织与三角化;最后将所有网格数据拼合形成最终的结果。实验结果表明算法可以自动高效地实现三角剖分并保持原形状细节特征,生成的数据文件存取速度较快。

简介：摘要：随着互联网不断的发展壮大以及大数据时代的来临，海量数据严峻的考验人们对数据的存储和处理能力；在大数据环境下，传统关系型数据库已经慢慢无法解决快速增长的数据，迫切的需要寻找一种有效的数据存储和检索方案，来解决与日俱增的数据需求。本文提出如何使用分布式的系统来替代传统的关系型数据库，解决传统关系型数据库在面临海量数据时，存储数据有限，检索性能差，且存在单机节点故障等问题。从而实现海量数据的高效检索方法，并导论了其中的近实时的检索和查询关键技术，实测结果表明，在千万级、亿级的数据量下，该方法可获得极高的检索性能，并能够很方便地集成到现有的业务系统，完全可以满足海量结构化数据的存储和检索需求。

简介：为满足智能电网对海量状态监测数据搜索的实时性要求,文章结合智能电网海量状态监测数据特点,提出一种分布式实时数据库动态索引技术。将NoSQL数据库的分布式索引技术、并行处理技术以及高可用性技术（HA）与当前多个单体数据库构建的存储网络相结合,采用动态反馈机制自动完成节点间的负载均衡,通过并行计算构造动态索引,实现了电网状态监测点数据在分布式环境中的快速检索与自调整功能,并通过屏蔽底层数据库网络的复杂结构,为用户提供了统一的数据搜索接口。测试结果表明,该技术满足智能电网业务系统对数据库搜索的实时性和扩展性要求。

简介：摘要随着电网的运行，积累了海量的历史数据，而相关应用系统对历史数据的整合、共享、访问存在迫切需求。本文提出了海量准实时数据服务平台设计方案，建立了企业级的准实时数据服务平台，建立了统一的实时数据模型与视图，实现企业历史数据的统一管理，从而满足电网监控、生产管理、经营管理对实时信息准确性、完整性、一致性及安全共享的需求。

简介：远程教育资源具有数据量大,增长迅速的特点,对这些海量数据资源进行低成本存储和基于内容的高效检索,是远程教育云平台建设面临的一大难题。本文基于Hadoop设计了一套对远程教育海量资源进行存储和检索的方法,解决了这个难题。

简介：摘要：计算是一种新型的基于互联网的商业计算模型，是多种技术混合演进的结果。具有安全可靠、海量信息存储、快溶方便等特点。图书馆利用云计算的分布式数据存储技术和与之相关的虚拟技术实现对海量数据的存储，能降低存储和维护成本，具有所存数据安全可靠。轻松实现不同设备间的数据共享等特点。该文就云计算环境下的图书海量数据存储技术进行研究，剖析现代数字图书馆的主要特征，以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析，并且提出相应的指导性意见。

简介：摘要海量异构数据具有数据量巨大、高度分布、数据异构和增量数据不断出现的特点。现有的数据集成方法针对小规模数据，无法解决海量异构数据集成的瓶颈问题，针对这个问题，论文利用MapReduce处理海量数据的优势、数据视图和大数据库Hbase集成海量异构数据的优势，提出大数据环境下海量异构数据集成方法。

简介：摘要：随着科学技术的高速发展，各种应用和系统需要进行处理的数量量不断增加。作为世界上具有领先水平且应用最为广泛的关系型数据库，Oracle所体现出的稳定、高效和灵活性特点获得了各个领域企业的青睐。本文对Oracle数据库处理海量数据的技术路径进行全面梳理，希望能够促进应用系统数据处理性能的提高。

简介：[摘要]本文公开了一种海量数据自动化迁移装置，核心内容包括三方面：一方面建立对不同数据库自动生成数据迁移清单的方法，通过对数据库对象（表、视图、序列等）结构的分析，依据分析结果，实现多源数据库迁移清单自动生成；一方面建立并发控制、错峰调度机制，通过错峰调度机制有效提高迁移的效率；另一方面建立一种支持多种方式的数据一致性自动化稽核装置，并支持在完成数据同步后实现自动稽核。