①同一份数据清单中避免出现空行和空列；②数据清单中的数据尽可能细化，不要使用数据合并；③构造单行表头结构的数据清单，不要有两行以上的复杂表头结构；④单元格的开头和末尾避免输入空格或其他控制符号；⑤在一个工作表中要避免建立多个数据清单，每个工作表仅使用一个数据清单；⑥当工作表中有多个数据清单时，则数据清单之间应至少留出一个空列和一个空行，以便于检测和选定数据清单；⑦关键数据应置于数据清单的顶部或底部；⑧对原始工作表做好备份，在执行完所有的清洗操作并确认无误后再复制到原始表中。

1、所有单元格默认的类型为数字型，单元格格式的改变不会改变数据类型本身，但单元格格式会影响新生成数据的类型。2、以文本形式存储的数字，在参与四则运算时会转变成为数字，结果为数字型；在参与函数运算时会忽略不计，但运算结果仍为数字型。以上是Excel数据清洗的常用操作介绍，使用数据分列功能是为了使数据的粒度变小；定位填充功能是为了将原始数据中存在的合并居中现象取消，并实现快速的数据填充，实例中仅使用了定位条件中的“空值”，日常工作中可以根据实际需要，选取其他的条件；正确理解Excel中数据类型和数据格式的区别和联系，有利于在实际的数据操作中避免错误。

MicrosoftExcel是微软公司MicrosoftOffice系列办公软件的重要组件之一，是一个功能强大的电子表格程序，能将整齐而美观的表格呈现给用户，还可以将表格中的数据通过多种形式的图形、图表表现出来，增强表格的表达力和感染力。MicrosoftExcel也是一个复杂的数据管理和分析软件，能完成许多复杂的数据运算，帮助使用者做出最优的决策。利用Excel内嵌的各种函数可以方便地实现数据清洗的功能，并且可以借助过滤、排序、作图等工具看出数据的规律。另外，Excel还支持VBA编程，可以实现各种更加复杂的数据运算和清理。作为一款桌面型数据处理软件，Excel主要面向日常办公和中小型数据集的处理，但在面对海量数据的清洗任务时却是难以胜任的，即使是小型数据集在使用前也存在需要规范化的问题，因此，通过在Excel中进行数据清洗的实践操作，有助于帮助读者理解数据清洗的概念和知识，并掌握一定的操作技巧，为后面进行大数据集的清洗打好基础。

1、抽取抽取类子系统中，主要包括数据分析系统、增量捕获系统和数据抽取系统。数据分析系统主要用来分析不同类型的数据源，包括数据源的格式、数据的类型、数据的内容等。数据增量捕获系统主要是捕获数据源中发生了改变的数据，在Kettle中可通过时间戳的方式来捕获数据的变化。数据抽取系统主要是从不同的数据源抽取数据，通过数据的过滤和排序，数据格式的转换，迁移到ETL环境，进行数据暂存。2、清洗和更正数据清洗和更正数据子系统主要包括数据清洗系统、错误处理系统、审计维度系统、重复数据排查系统和数据一致性系统。数据清洗系统主要是根据系统业务需求对数据源中的数据进行清洗，提高数据的质量。通过清洗，可以找到错误的数据，并进行更正。在数据清洗系统中，数据业务人员、源系统开发人员、ELT开发人员都有义务来完成数据的清洗。3、数据发布数据发布类子系统主要是加载和更新数据仓库数据，包括数据缓慢变化维度处理系统、迟到维度处理系统、代理键生成系统等。这里主要讲述数据缓慢变化维度处理系统。数据缓慢变化维度处理系统是多维度数据仓库的基础，它保存了对事实表进行分析的信息。例如，如果业务系统修改了客户的信息，维度变更也会根据不同的规则变更数据仓库中的数据维度。变更方式可采用覆盖、增加新行、增加新列、增加小维度表、分离历史表等方式。4、管理ETL管理ETL系统主要是对ETL开发环境进行设置，包括备份系统、恢复和重新启动子系统、工作流监控系统、问题报告系统、版本控制系统等。

1．PentahoKettleKettle是一款国外的开源ETL工具，纯Java编写，可以在Windows、Linux、UNIX上运行，无须安装，数据抽取高效稳定。Kettle（中文译名：水壶），该项目的主程序员Matt希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle将ETL流程编译为XML格式，学起来十分简单，PentahoDataIntegration（Kettle）使用Java（Swing）开发。Kettle作为编译器对以XML格式书写的流程进行编译。Kettle的JavaScript引擎（和Java引擎）可以深层地控制对数据的处理。2．OpenRefineOpenRefine最初叫作FreebaseGridworks，由一家名为Metaweb的公司开发，主要用于调试各种表格，以避免随着时间的推移出现错误，这对于任何数据库来说都是一个很大的问题。后来，该软件被谷歌收购，更名为GoogleRefine，并发布了第2版。2012年10月，GoogleRefine被社区接管，并以OpenRefine为名进行了开源。3．DataWranglerDataWrangler（中文译名：牧马人）是一款由斯坦福大学开发的在线数据清洗、数据重组软件，主要用于去除无效数据，将数据整理成用户需要的格式等。使用DataWrangler能节约用户花在数据整理上的时间，从而使其有更多的精力用于数据分析。4．HawkHawk是一种数据抓取和清洗工具，依据GPL协议开源，软件基于C#实现，其前端界面使用WPF开发，支持插件扩展。能够灵活高效地采集网页、数据库、文件等来源的数据，并通过可视化拖曳操作，快速地进行生成、过滤、转换等数据操作，快速建立解决方案。非常适合作为网页爬虫和数据清洗工具。Hawk含义为“鹰”，形容能够高效、准确地抓取和清洗数据。

评价ETL设计的好坏需要从多个不同的角度来考虑，主要包括对多平台的支持、数据源格式的支持、数据的转换、数据的管理和调试、数据的集成和开放性以及对元数据的管理等方面。1．多平台业务数据量的飞速增长，对系统的可靠性提出了更高的要求。对于海量的数据抽取，往往要求在有限的时间内完成。所以，平台对ETL开发工具的支持成为衡量一个开发工具的重要指标。目前主流的平台包括Windows、Linux、IBMAIX、MacOS等。2．多种数据源开发工具对数据源的支持非常重要，不仅要考虑项目开发中各种不同类型的数据源，还要考虑数据源的接口类型。例如，在数据抽取时，使用原厂商自己的专用接口，还是通用接口，效率会大不一样。数据源包括Oracle、SQLServer、DB2、Sybase、MicrosoftExcel等。3．数据转换由于在业务系统中的数据，存在数据时间跨度大、数据量多而乱的特点，就会造成在数据业务系统中可能会有多种完全不同的存储格式，也有可能业务系统存储的数据需要进行计算才能够抽取，因此，ETL功能中必须要有对数据进行计算、合并、拆分等转换功能。4．具备管理和调试功能由于数据业务量的增大，对数据抽取的要求也越来越高，专业的ETL工具要求具有管理和调度的功能，主要包括抽取过程的备份和恢复、版本升级、版本管理、支持统一的管理平台等功能。5．集成性和开放性随着国内数据仓库技术的不断发展，大多数情况下一般项目只会用到ETL工具的少数几个功能，开发商将ETL工具的主要功能模块集成到自己的系统中，这样可以减少用户的操作错误。这就要求ETL能够具有较好的集成性和开放性。6．管理元数据元数据是描述数据的数据，它是对业务数据本身及其运行环境的描述与定义，主要用于支持业务系统应用。元数据的主要表现是对对象的描述，即对数据库、表、列、主键等的描述。在当前信息化建设中，一些应用的异构性和分布性越来越普遍，使用统一的元数据成为重要的选择，合理的元数据可以打破以往信息化建设中的“信息孤岛”等问题。

Web内容清洗，主要是清洗来自网络的数据，为其构建合理的清洗方案。Web数据主要来自HTML网页。HTML网页的页面结构决定了采取哪种方式。1．HTML页面结构文本组成。所以从Web中进行数据抽取，可有两种不同的方式，一种是行分隔方式，另一种是树形结构方式。在行分隔方式中，我们把网页的数据看作文本内容，把网页中的标签理解为分隔符，这样在进行数据抽取时就比较容易。2．清洗方式Web内容清洗可以有两种方式，一种是逐行方式，另一种是使用树形结构方式。逐行方式中，采用基于正则表达式的HTML分析技术，它是基于文件中的分隔符，配合正则表达式，获取需要的数据。

RDBMS即关系型数据库管理系统，它作为经典的、长期使用的数据存储解决方案，成为数据存储的标准。但由于不同的人在设计数据库时，往往存在设计缺陷，需要对数据库的数据进行清洗。通过清洗可以找到异常数据，通常使用不同的策略来清洗不同类型的数据。对于RDBMS数据的清洗，有两种方式可以选择，即可以先把数据导入数据库，然后在数据库端进行清洗；也可以在电子表格或文本编辑器中进行清洗。具体选择哪种方案，会根据不同的数据进行不同的选择。

对文本进行清洗主要包括电子表格中的数据清洗和文本编辑器的数据清洗。对于电子表格中的数据清洗，主要是利用表格中的行和列，以及电子表格中的内置函数。我们通常把一些数据复制到电子表格中，电子表格根据相应分隔符（制表位或逗号或其他）把数据分成不同的列。有时候会根据系统不同来人为地制定分隔符。对于文本编辑器中的数据清洗，主要是许多操作系统中集成了文本编辑器，如Windows操作系统中的文本编辑器。在进行文本清洗前，需要对数据进行整理，包括对数据中的数据改变大小写、在文本每一行前端增加前缀，主要是为了在转换过程中，有可以参考的分隔符。

1．数据抽取所谓数据抽取，就是从源端数据系统中抽取目标数据系统需要的数据。进行数据抽取的原则：一是要求准确性，即能够将数据源中的数据准确抽取到；二是不对源端数据系统的性能、响应时间等造成影响。数据抽取可分为全量抽取和增量抽取两种方式。（1）全量抽取全量抽取好比数据的迁移和复制，它是将源端数据表中的数据一次性全部从数据库中抽取出来，再进行下一步操作。（2）增量抽取增量抽取主要是在第一次全量抽取完毕后，需要对源端数据中新增或修改的数据进行抽取。增量抽取的关键是抽取自上次以来，数据表中已经变化的数据。例如，在新生入学时，所有学生的信息采集整理属于全量抽取；在后期，如果有个别学生或部分学生需要休学，对这部分学生的操作即属于增量抽取。增量抽取一般有4种抽取模式①触发器模式，这是普遍采用一种抽取模式。一般是建立3个触发器，即插入、修改、删除，并且要求用户拥有操作权限。当触发器获得新增数据后，程序会自动从临时表中读取数据。这种模式性能高、规则简单、效率高，且不需要修改业务系统表结构，可实现数据的递增加载。②时间戳方式，即在源数据表中增加一个时间戳字段。当系统修改源端数据表中的数据时，同时修改时间戳的值。在进行数据抽取时，通过比较系统时间和时间戳的值来决定需要抽取哪些数据。③全表对比方式，即每次从源端数据表中读取所有数据，然后逐条比较数据，将修改过的数据过滤出来。此种方式主要采用MD5校验码。全表对比方式不会对源端表结构产生影响。④日志对比方式，即通过分析数据库的日志来抽取相应的数据。这种方式主要是在Oracle9i数据库中引入的。以上4种方式中，时间戳方式是使用最为广泛的，在银行业务中采用的就是时间戳方式。2．数据转换数据转换就是将从数据源获取的数据按照业务需求，通过转换、清洗、拆分等，加工成目的数据源所需要的格式。数据转换是ETL过程中最关键的步骤，它主要是对数据格式、数据类型等进行转换。它可以在数据抽取过程中进行，也可以通过ETL引擎进行转换。数据转换的原因非常多，主要包括以下3种：①数据不完整，指数据库的数据信息缺失。这种转换需要对数据内容进行二次输入，以进行补全。②数据格式错误，指数据超出数据范围。可通过定义完整性进行模式约束。③数据不一致，即主表与子表的数据不能匹配。可通过业务主管部门确认后，再进行二次抽取。3．数据加载数据加载是ETL的最后一个步骤，即将数据从临时表或文件中，加载到指定的数据仓库中。一般来说，有直接SQL语句操作和利用装载工具进行加载两种方式，最佳装载方式取决于操作类型以及数据的加载量。