存储虚拟化将系统中分散的存储资源整合起来：提高了存储资源利用率降低了单位存储空间的成本降低了存储管理的负担和复杂性在虚拟层通过使用数据镜像、数据校验和多路径等技术：提高了数据的可靠性及系统的可用性利用负载均衡、数据迁移、数据块重组等技术：提升系统的潜在性能整合和重组底层物理资源：得到多种不同性能和可靠性的新的虚拟设备满足多种存储应用的需求

确保把有害的攻击隔离，在可信网络之外和保证可信网络内部信息不外泄的前提下，完成网间数据的安全交换。

虚拟机隔离是指虚拟机之间在没有授权许可的情况下，互相之间不可通信、不可联系的一种技术。软件角度：互相隔离的虚拟机之间保持独立，如同一个完整的计算机硬件角度：被隔离的虚拟机相当于一台物理机，有自己的CPU、内存、硬盘、I/O等，它与宿主机之间保持互相独立的状态网络角度：被隔离的虚拟机如同物理机一样，既可以对外提供网络服务，也一样可以从外界接受网络服务虚拟机隔离机制：网络隔离；构建虚拟机安全文件防护网；基于访问控制的逻辑隔离机制；通过硬件虚拟，让每个虚拟机无法突破虚拟机管理器给出的资源限制；硬件提供的内存保护机制；进程地址空间的保护机制，IP地址隔离。手鞠

Source：它负责读取原始数据，目前Flume支持大量类型用户可以自定义Source，使用时在配置文件里声明即可。Channel：它负责将从Source端传来的数据存入ChannelFlume的分用、复用和过滤功能即在于此Sink它负责从Channel中取出并发送数据Sink内部都是使用netty来发送数据的

组织各种工作流：PIGHIVE以规定方式执行工作流：定时任务、定数任务、数据促发任务托管工作流：命令行接口、任务失败时的通知机制、邮件通知由于需要存储工作流信息，为提供高可靠性，确保任务配置不丢失，Oozie内部使用数据库来存储工作流相关信息，用户可以使用Oozie内嵌的Derby数据库，也可以使用MySQL、PostgreSQL、Oracle等数据库

Hive的SQL称为HiveQL，它与大部分的SQL语法兼容，但是并不完全类似SQL。数据类型基本类型：数值型、布尔型和字符串复杂类型：ARRAY、MAP和STRUCT数据类型HiveQL操作符类似于SQL操作符Hive提供了数理统计、字符串操作、条件操作等大量的内置函数用户还可以自己编写函数

Hive包含Shell环境、元数据库、解析器和数据仓库等组件，其体系结构如图所示：用户接口：包括HiveShell、Thrift客户端、Web接口。Thrift服务器：当Hive以服务器模式运行时，作为Thrift服务器，供客户端连接。元数据库：Hive元数据（如表信息）的集中存放地。解析器：将Hive语句翻译成MapReduce操作。Hadoop：底层分布式存储和计算引擎。手鞠

Hive是一个构建在Hadoop上的数据仓库框架，它起源于Facebook内部信息处理平台。设计目的：让Facebook内精通SQL（但Java编程相对较弱）的分析师能够以类SQL的方式查询存放在HDFS的大规模数据集。

1．Pig部署由于Pig只相当于Hadoop的一个客户端，用户所写的PigLatin经翻译器翻译后再提交集群执行，故只要在客户机上部署Pig即可2．Pig访问接口Pig提供了类Shell方式的访问接口，用户在LinuxShell下输入Pig，然后回车即可进入Pig命令行接口（即grunt）。

Pig相当于一个Hadoop的客户端，它先连接到Hadoop集群，之后才能在集群上进行各种操作。Pig的基本框架如下图所示。