xlsx是MicrosoftOfficeExcel2007或者更新版本保存的文件格式，是用新的基于XML的压缩文件格式取代了其之前专有的文件格式。此文件格式在传统的文件扩展名后面添加了字母x（“.docx”取代“.doc”，“.xlsx”取代“.xls”），使文件占用系统的空间更小。xls格式的文件能用所有版本的MicrosoftExcel打开。

文本是计算机保存数据的主要方式，存放于计算机系统的文件系统中。文本有多种不同的格式，常见的文本格式有txt、doc、zip、jpg和HTML等。1、Windows操作系统下常见的文本格式：txt、doc、xls格式等2、类（UNIX）操作系统下常见文本格式：dmg、tar格式等3、网络文本格式：HTML、xml、php、jsp、css格式等

数据仓库不是一门纯粹的技术，更是一种架构和理念，核心在于对数据的整合集成，把企业原始数据进行集成、归类、分析，从而提供了企业决策分析需要的目标数据。SQLServer、Sybase、DB2和Oracle都是传统的关系数据库，但是只要经过合理的数据模型设计或参数设置也可将其转变为很好的数据仓库实体。目前，OLAP已逐渐融合到数据仓库中，例如微软的AnalysisService和DB2的OLAPServer，通过自身提供的专用接口可以加快多维数据的转换处理。当然，也有如Essbase这样纯粹的OLAP产品，实际上许多大型OLAP都采用Essbase。对于ETL而言，广泛使用的ETL工具主要包括InformaticaPowerCenter、IBM的Datastage、SQLServer搭配的SSIS、Oracle的OWB和ODI以及开源的Kettle等。数据仓库可用的报表工具很多，专业性的报表工具有Hyperion、B0、Congos和Brio，这些产品价格相对昂贵。便宜的报表工具可选用微软的ReportService。

1、数据清洗数据仓库需要从种类各异的多个数据源中导入大量数据，数据仓库的一个重要任务就通过数据清洗保证数据的一致性与正确性。2、数据粒度数据仓库中存储的数据粒度将直接影响到数据仓库中数据的存储量及查询质量，并进一步影响数据仓库能否满足最终用户的分析需求。设计数据仓库时要合理确定数据粒度。3、索引优化不论是数据库还是数据仓库，索引查找是优化查询响应时间的重要方法，索引建立的好坏直接影响数据访问效率。4、物化视图选择和维护数据仓库中以物化视图(MaterializedView)的形式存储大量来自多个异质数据源中的数据，数据仓库中采用物化视图进行快速查询和分析，能有效提高查询速度和响应时间。5、数据仓库的管理维护为了减少数据更新量，数据仓库一般采用增量式更新策略。此外，数据仓库必须建立有效的安全策略和授权访问控制机制。最后，数据仓库必须提供稳定可靠的数据备份和恢复策略。

1、传统数据仓库企业把数据分成内部数据和外部数据，内部数据包括OLTP交易系统和OLAP分析系统的数据。企业首先需要将这些数据集中起来，经过转换放到这类数据库中，然后在数据库上对数据进行加工，建立各种主题模型，再提供报表分析业务。2、数据集市数据集市一般是用于某一类功能需求的数据仓库的简单模式，往往是由一些业务部门构建，也可以构建在企业数据仓库上。一般来说数据集市的数据源较少，但往往对数据分析的延时有很高的要求，并需要和各种报表工具有很好的对接。3、关联发现数据仓库在一些场景下，企业可能不知道数据的内联规则，而是需要通过数据挖掘的方式找出数据之间的关联关系，隐藏的联系和模式等，从而挖掘出数据的价值。很多行业的新业务都有这方面的需求，如金融行业的风险控制，反欺诈等业务。上下文无关联的数据仓库一般需要在架构设计上支持数据挖掘能力，并提供通用的算法接口来操作数据。4、实时处理数据仓库随着业务的发展，企业客户需要对实时的数据做一些商业分析，譬如零售行业需要根据实时的销售数据来调整库存和生产计划。这类行业用户对数据的实时性要求很高，传统的离线批处理的方式不能满足需求，因此需要构建实时处理的数据仓库。数据可以通过各种方式完成采集，然后数据仓库可以在指定的时间限期内对数据进行处理和统计分析等，再将数据存入数据仓库以满足一些其他业务的需求。

数据仓库不是一种提供战略信息的软件或硬件产品，而是一个便于用户找到战略信息和做出更好决策的计算环境，是一个以用户为中心的环境。数据仓库需要提供数据抽取、数据转换、数据装载和数据存储功能，并为用户提供交互接口。典型数据仓库的基本组成要素包括：1．源数据单元2．数据准备单元3．数据存储单元4．信息传递单元5．元数据单元6．管理控制单元

1、数据仓库（DataWarehouse,DW）是基于信息系统业务发展需要，基于传统数据库系统技术发展形成能够并逐步独立出来的一系列新的应用技术，目标是通过提供全面、大量的数据存储来有效支持高层决策分析。2、W.H.Inmon在书中对数据仓库的定义是：数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境，是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持经营管理中的决策制定过程。3、数据库是面向事务的设计，而数据仓库是面向主题设计的。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计。数据库一般存储在线交易数据，数据仓库一般存储的是历史数据。

1、max-min标准化对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过max-min标准化映射成在区间[0,1]中的值x'，其公式为：x'=（x-minA）/（maxA-minA）2、z-score标准化基于原始数据的均值（mean）和标准差（standarddeviation）进行数据的标准化，将A的原始值x标准化到x'，其公式为：x'=（x-mean）/standarddeviation。3、Decimalscaling标准化通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x到x'的计算方法公式为：x'=x/(10^j)。其中，j是满足条件的最小整数。4、其他标准化方法还有一些标准化方法的做法是将原始数据除以某一值，如将原始数据除以行或列的和，称总和标准化；如果原始数据除以每行或每列中的最大值，叫做最大值标准化；如果原始数据除以行或列的和的平方根，则称为模标准化(normstandardization)。

1、数据标准化/规范化（DataStandardization/Normalization）是机构或组织对数据的定义、组织、分类、记录、编码、监督和保护进行标准化的过程，有利于数据的共享和管理，可以节省费用，提高数据使用效率和可用性。2、数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，必须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，然后再加总才能得出正确结果。3、数据无量纲化处理主要用于消除变量间的量纲关系，解决数据评价分析中数据的可比性。例如，多指标综合评价方法需要把描述评价对象不同方面的多个信息综合起来得到一个综合指标，由此对评价对象做整体评判，并进行横向或纵向比较。

以网站文件下载为例，假定一组记录文件下载时间长度的原始数据集如表1-1所示。直接计算网站文件平均下载时长，计算结果约为23000秒，约6小时，与实际情况严重不符，说明这一数据集受到了显著的噪声的影响而导致部分数据值出现严重偏差。为此，必须对原始数据集做异常值识别并尽可能剔除错误数据。具体来说，可以基于数据的分布特征利用分箱法或聚类法来识别上例数据集中的噪声数据。对于表1中的数据，清洗数据时首先将数据集等分为2403个区间，找到数据的集中域[0,3266]。然后，利用分箱法对取值在[0,3266]之间的数据作进一步分析，对新数据组剔除离群值，得到清洗后的离群数据组。最后，统计计算清洗后的目标数据源的平均下载时长为192.93秒，约3.22分钟，符合网站文件下载的实际情况。从这个简单的例子可看出，基于数据的分布特征，数据清洗可以采用分箱法或聚类方法较为快捷地识别和剔除数据集中的噪声数据，从而获得良好的清洗效果。