大数据分布式系统四种常见的数据分布方式：1、哈希方式哈希方式是最常见的数据分布方式，其方法是按照数据的某一特征计算哈希值，并将哈希值与机器中的机器建立映射关系，从而将不同哈希值的数据分布到不同的机器上。2、按数据范围分布按数据范围分布是另一个常见的数据分布方式。将数据按特征值的值域范围划分为不同的区间，使得集群中每台（组）服务器处理不同区间的数据。3、按数据量分布按数据量分布数据的方式与哈希方式和按数据范围分布有所区别的是按数据量分布数据与具体的数据特征无关，而是将数据视为一个顺序增长的文件。4、一致性哈希一致性哈希的基本方式是使用一个哈希函数计算数据或数据特征的哈希值，使得哈希函数的输出值域为一个封闭的环。

大数据存储方式有哪些：1、分布式系统分布式系统可以解决大数据存储的问题，为大数据的存储提供了方式。分布式系统的定义包括两个方面：第一是关于硬件的：机器本身是独立的。第二个方面是关于软件的：对于用户来说，他们就像跟单个系统打交道。这两个方面一起阐明了分布式系统的本质，缺一不可。2、NoSQL数据库它是“NotOnlySQL”的缩写，意义是：适用关系型数据库的时候就使用关系型数据库，不适用的时候也没必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储方式。3、云存储云存储是伴随着云计算技术的发展而衍生出来的一种新兴的网络存储技术，它是云计算的重要组成部分，也是云计算的重要应用之一；它不仅是数据信息存储的新技术、新设备模型，也是一种服务的创新模型。

大数据存储三个管理技术：1、存储资源管理方法为了解决集群存储环境下的存储资源管理问题，采用存储资源映射方法通过在物理资源和虚拟存储资源请求之间建立合理的映射关系，来进行有效的存储资源管理。2、支持多用户的资源使用和存储环境隔离机制当用户数量增多，有限的存储资源已经不能满足用户对该类资源的需求时，用户与资源的矛盾就会凸显出来。解决这种矛盾的最有效的方法就是采取有效资源共享机制，将有限数量的资源按需求动态共享给多个用户使用。任何单体存储阵列所创建的物理卷的容量都是有限制的，而多个异构的存储系统联合在一起就可以创建出一个更大的逻辑卷。3、基于Hadoop的大数据存储机制大数据的各类描述方式的多样性，存在着结构化数据、半结构化数据和非结构化数据需要进行处理。对于结构化数据，通常的处理方式仍是采用关系型数据知识库进行处理，对于半结构和非结构化的知识，Hadoop框架提供了很好的解决方案。

数据存储系统的容错性：1、磁盘镜像和磁盘双工磁盘镜像和磁盘双工是中小型网路系统中经常使用的容错技术。磁盘镜像是指将两个硬盘接在同一个硬盘控制卡上，用同一个硬盘控制卡来管理两个硬盘的数据读写，当系统向服务器写入数据时，该部分数据将同时写入两个硬盘。当出现一个硬盘损坏时，可以从另一个硬盘获得数据，确保系统正常运行。2、基于RAID的磁盘容错冗余磁盘阵列（RedundantArraysofInexpensiveDisks,RAID）技术的基本原理是采用多块价格较便宜的磁盘，组成一个容量巨大的磁盘阵列，配合数据分散存储设计，提升数据存储容错性。RAID技术分为多个等级，以数字编号。比较常见的等级有RAID0、RAID1、RAID3、RAID5。3、基于集群的数据容错基于集群的数据容错是构建在多台存储节点上的容错技术。集群容错的基本思想是将同一份数据在集群中的不同节点中进行冗余存储，确保部分节点的故障不会导致系统整体的正常运行。其数据存储容错可以采用两种方式：双机互援模式和双机热备模式。

提升系统的存储容量：1、DAS直连式存储直连式存储是最早出现的最直接的扩展数据存储模式，即将数据存储设备与数据使用设备（服务器或工作站）直接相连的模式。DAS结构有扩展性差，成本高、资源利用率低和备份、恢复和扩容过程复杂的不足之处。2、NAS网络接入存储NAS，网络接入存储顾名思义是通过网络与其他设备相连并提供具有文件访问能力的存储设备。由于架构的先天不足，也存在受局域网带宽的限制、不适用数据块级访问方式和无法实现集中备份这些与大数据处理不相适应的问题。3、SAN存储区域网络SAN是指提供格式统一的、数据块级访问能力的一种专用局域网络。它具有系统的整合度高、数据集中度高和高扩展性的优良特性。因此，在一些大数据处理的复杂环境下，NAS与SAN常常作为互补的两种技术同时使用。4、云存储云存储是指：通过网络技术、分布式文件系统、集群应用、服务器虚拟化等技术将网络中海量的不同类型的存储设备构成可扩展、低成本、低能耗的共享存储资源池，并提供数据存储访问、处理功能的系统服务。

提升数据存储系统能力的三个方面：数据存储系统能力的提升主要有三个方面，一是提升系统的存储容量，二是提升系统的吞吐量，三是系统的容错性1、存储容量提升系统容量有两种方式：一种是提升单硬盘的容量，通过不断采用新的材质和新的读写技术，目前单个硬盘的容量已经进入TB时代。一种是在多硬盘的情况的下如何提升整体的存储容量。2、吞吐量对于单个硬盘，提升吞吐量的主要方法是提高硬盘转速、改进磁盘接口形式或增加读写缓存等。而要提升数据存储系统的整体吞吐量，比较典型的技术是早期的专用数据库机体系。3、容错性数据存储容错是指当系统中的部件或节点由于硬件或软件故障，导致数据、文件损坏或丢失时，系统能够自动将这些损坏或丢失的文件和数据恢复到故障发生前的状态，使系统能够维持正常运行的技术。

数据存储面临的三大挑战：1、系统问题面对大数据的爆炸式增长，且具有大数据量、异构型、高时效性的需求时，数据的存储不仅仅有存储容量的压力，还给系统的存储性能、数据管理乃至大数据的应用方面带来了挑战。2、管理问题这些大量的数据结构复杂，种类繁多，如何对分布、多态、异构的大数据进行管理的问题已经不期而至，传统的数据存储方式面对大数据的猛烈增长已不能满足需求，需要开展分布式存储的研究。3、应用问题随着数据量的爆炸式增长，不断刺激着计算机技术的发展，如何利用大数据为人们生活所用，即是大数据的应用问题。大数据的应用在人类活动中所涉及的范围越来越大，与我们已经密不可分。

特征值规约算法三步骤：1、搜索过程在特征空间中搜索特征子集，每个子集称为一个状态由选中的特征构成。2、评估过程输入一个状态，通过评估函数或预先设定的阈值输出一个评估值搜索算法的目的是使评估值达到最优。3、分类过程使用最后的特征集完成最后的算法。

数据归约的3种方法：数据归约可以分为三类，分别是特征归约、样本归约、特征值归约。1、特征归约是将不重要的或不相关的特征从原有特征中删除，或者通过对特征进行重组和比较来减少个数。其原则是在保留、甚至提高原有判断能力的同时减少特征向量的维度。特征归约算法的输入是一组特征，输出是它的一个子集。2、样本归约就是从数据集中选出一个有代表性的子集作为样本。子集大小的确定要考虑计算成本、存储要求、估计量的精度以及其它一些与算法和数据特性有关的因素。3、特征值归约分为有参和无参两种。有参方法是使用一个模型来评估数据，只需存放参数，而不需要存放实际数据，包含回归和对数线性模型两种。无参方法的特征值归约有3种包括直方图、聚类和选样。

数据规约的概念：数据归约技术可以用来得到数据集的归约表示，它很小，但并不影响原数据的完整性，结果与归约前结果相同或几乎相同。所以，我们可以说数据归约是指在尽可能保持数据原貌的前提下，最大限度地精简数据量保持数据的原始状态。数据规约的两个途径：1、属性选择针对原始数据集中的属性2、数据采样针对原始数据集中的记录