数据分析概念和分类：数据分析是指收集、处理数据并获取数据隐含信息的过程。大数据具有数据量大、数据结构复杂、数据产生速度快、数据价值密度低等特点，这些特点增加了对大数据进行有效分析的难度，大数据分析(BigDataAnalytics,BDA)成为当前探索大数据发展的核心内容。数据分析主要作用包括：1、推测或解释数据并确定如何使用数据；2、检查数据是否合法；3、给决策制定合理建议；4、诊断或推断错误原因；5、预测未来将要发生的事情。

数据集市与数据仓库的区别：数据集市与数据仓库之间的区别可以从以下3个方面进行理解1、数据仓库向各个数据集市提供数据。前者是企业级的，规模较大，后者是部门级的，相对规模较小。2、若干个部门的数据集市组成一个数据仓库。数据集市开发周期短、速度快，数据仓库开发周期长、速度慢。3、从其数据特征进行分析，数据仓库中数据结构采用规范化模式（第3范式），数据集市中的数据结构采用星形模式。通常数据仓库中的数据粒度比数据集市的粒度要细。

数据集市的意义与功能：数据集市将合并不同系统的数据源来满足业务信息需求。若能有效地得以实现，数据集市将可以快速且方便地访问简单信息以及系统的和历史的视图。一个设计良好的数据集市有如下功能：1、发布特定用户群体所需的信息，通常是一个部门或者一个特定组织的用户，且无需受制于源系统的大量需求和操作性危机。2、支持访问非易变（nonvolatile）的业务信息。非易变的信息是以预定的时间间隔进行更新的，并且不受OLTP系统进行中的更新的影响。3、调和来自于组织里多个运行系统的信息，比如账目、销售、库存和客户管理以及组织外部的行业数据。4、通过默认有效值、使各系统的值保持一致以及添加描述以使隐含代码有意义，从而提供净化的（cleansed）数据。5、为即席分析和预定义报表提供合理的查询响应时间。由于数据集市是部门级的，相对于庞大的数据仓库来讲，其查询和分析的响应时间会大大缩短。

数据仓库的构建步骤：1、数据抽取数据抽取是将数据从各种原始的业务数据中读取出来，这是所有工作的前提。数据抽取可以分为以下两种：1）全量抽取将数据进行同步处理后，直接读取整个表中的数据作为抽取到的数据，主要处理对用户来讲非常重要的数据表。对一些重要的更新数据基本采用这种方法。2）增量抽取如交易数据、资金明细这些流水数据，可以根据数据表中流水号字段或时间字段来进行采集。在实时抽取中，这种方法可以减少抽取数据量，减少网络流量。2、数据转换数据转换是按照预先设计好的规则将抽取的数据进行转换，在转化过程中，我们需要对数据进行清洗、整理和集成，即发现数据中的错误数据并进行相应的改正，将原来不同规则的数据整理集成为统一的规则。1）全量抽发现空值并处理发现源数据中字段空值，按照一定的规则进行加载或者替换，比如可以用“0”或者按照该字段的平均取值来替换。2）规范数据格式将不同源系统的不同数据格式统一规范。转化过程需要将这些不同的表示格式统一成为唯一的规范格式。3）拆分数据有时候需要一句业务需求对字段进行分解。比如通话主叫号码02381322854，可进行区域码和电话号码分解为主叫地区023和主叫号码81322854。3、数据装载数据装载是把经过转换的数据按计划增量或全部导入到数据仓库中去。一般情况下，数据装载应该在系统完成了更新之后进行。如果在数据仓库中的数据来自多个相互关联的企业系统，则应该保证在这些系统同步工作时移动数据。数据装载包括基本装载、追加装载、破坏性合并和建设性合并等方式。4、元数据管理元数据（Metadata）是描述数据的数据，也就是对业务数据本身进行及其运行环境的描述与定义的数据。所有的抽取数据源定义、抽取数据项定义、抽取规则、数据转换规则、数据格式变换规则、装载方法、装载时间等等都在元数据中定义。它指导数据抽取、转换、装载的全过程。

数据仓库的概念：数据仓库系统以数据仓库为核心，将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，通过数据分析与报表模块的查询和分析工具OLAP（联机分析处理）、决策分析、数据挖掘完成对信息的提取，以满足决策的需要。数据仓库系统通常是指一个数据库环境，而不是指一件产品。数据仓库系统的体系结构分为源数据层、数据存储与管理层、OLAP服务器层和前端分析工具层。

存储系统的类别有哪些：1、块存储系统它是能直接访问原始的未格式化的磁盘。这种存储的特点就是速度快、空间利用率高。块存储多用于数据库系统，它可以使用未格式化的磁盘对结构化数据进行高效读写。而数据库最适合存放的是结构化数据。2、文件存储系统它使用格式化磁盘提供文件系统的使用界面。在计算机上打开或关闭文档的时候，看到的就是文件系统。尽管文件系统在磁盘上提供了一层有用的抽象，但是它不适合于管理大量的数据，或者超量使用文件中的部分数据。3、对象存储系统它指的是一种基于对象的存储设备，具备智能、自我管理能力，通过Web服务协议实现对象的读写和存储资源的访问。对象存储的优势在于它可以存放无限增长的内容非结构化或半结构化的数据。除此之外，对象存储还具备低成本、高可靠的优点。

云存储的特点是什么：1、低成本2、服务模式3、可动态伸缩性4、高可靠性5、高可用性6、超大容量存储7、安全性

云存储的分类：1、公共云存储公共云存储可以划出一部分用作私有云存储，一个公司可以拥有或控制基础架构以及应用的部署，私有云存储可以部署在企业数据中心或相同地点的设施上。2、内部云存储这种云存储跟私有云存储比较类似，唯一的不同点在于它在企业的防火墙内部。目前可提供私有云的平台主要有Eucalyptus、3ACloud、minicloud安全办公私有云、联想网盘等。3、混合云存储这种云存储把公共云、内部云或私有云结合在一起。主要用于按客户要求的访问，特别是需要临时配置容量的时候，从公共云上划出一部分容量配置一种内部云或私有云可以帮助公司面对迅速增长的负载波动或高峰。正因如此，混合云存储带来了跨公共云和私有云分配应用的复杂性。

关系型数据库不擅长的处理：为了更好地理解NoSQL数据库，对关系型数据库的了解还是有必要的。1、大量数据的写入处理2、为有数据更新的表做索引或表结构（schema）变更3、字段不固定时应用4、对简单查询需要快速返回结果的处理

关系型数据库的突出优势：为了更好地理解NoSQL数据库，对关系型数据库的了解还是有必要的。1、保持数据的一致性（事务处理）2、由于以标准化为前提，数据更新的开销很小（相同的字段基本上都只有一处）3、可以进行JOIN等复杂查询4、存在很多实际成果和专业技术信息（成熟的技术）