数据交换的三种方式：在进行数据挖掘前，须对数据集进行相应的数据变换。常用的变换策略如下。1.数据规范化数据规范化的目的是将数据按比例缩放，使得属性之间的权值适合数据挖掘。例如，统计身高信息的度量单位是不同的，若在数据挖掘中把height属性的度量单位从米变成英寸，则可能导致完全不同的结果。常见的数据规范化方法包括最小-最大规范化、z-score分数规范化、小数定标规范化等。2.数据离散化数据离散化是将数值属性的原始值用区间标签或概念标签替换的过程，它可以将连续属性值离散化。连续属性离散化的实质是将连续属性值转换成少数有限的区间，从而有效地提高数据挖掘工作的计算效率。3.概念分层概念分层的主要思想是将低层概念的集合映射到高层概念的集合，它广泛应用于标称数据的转换。如现有某个数据库需要对关于地理位置location的属性集进行概念分层，其中属性内容包括街道street、国家country、城市city和省份province_or_state。首先，对每个属性不同值的个数进行统计分析，并将其按照升序进行排列。其次，根据排列好的属性顺序，自顶向下进行分层。根据大家的常规认识，对属性的全序排列结果为街道street<城市city<省份province_or_state<国家country，即街道street属性在最顶层，国家country属性在最底层。最后，用户根据产生的分层，选择合适的属性代替该属性集。

数据集成的三种方法：数据挖掘需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储（如数据仓库）中的过程。在实际应用中，数据集成解决3类问题：实体识别、冗余和相关分析，以及数值冲突的检测与处理。1.实体识别实体识别是指从不同数据源识别现实世界的实体，它的任务是统一不同源数据的矛盾之处。例如，一个数据库中的属性名student_id与另一个数据库中的属性名student_number表示的含义是否相同。每个属性的元数据包括属性名、现实含义、数据类型、取值范围，以及处理零或空白时的空值规则。元数据的统一设计不仅可以有效避免模式集成的错误，还能在变换数据时起到一定的作用。2.冗余和相关分析数据集成往往导致数据冗余，分析冗余有很多种方法。首先，可以将数据进行可视化处理，将数据点绘制成图表后趋势和关联会变得清晰起来。除此之外，冗余还可以通过相关性分析方法检验。对于标称数据，可以使用卡方检验；对于数值属性，可以用相关系数度量一个属性在多大程度上蕴含另一个属性，通过相关性分析来删除冗余数据。3.数值冲突的检测与处理对于现实世界的同一实体，由于表达方式、尺度标准或编码的不同常导致元数据的巨大差异。例如，在大学的课程评分系统中，有的学校采用A+~F对成绩进行评分，而有的则采用数值1~100评分。于是在对这两所学校进行数据库合并时，应该将两个系统的评分制度做统一处理，以便进行进一步的数据挖掘。

数据挖局数据清洗：数据清理是进行数据预处理的首要方法，它通过识别或删除离群点来光滑噪声数据，并填补缺失值，从而“清理”数据。数据清理的主要任务是处理缺失值、光滑噪声数据。1.处理缺失值处理缺失值通常包括以下几类方法：（1）删除元组（2）人工填写缺失值（3）中心度量填补（4）多重填补（5）使用最可能的值填补2.光滑噪声数据光滑噪声数据主要有以下几种方法：（1）分箱。其主要思想为每一个数据与它的“近邻”数据应该是相似的，因此将数据用其近邻（“箱”或“桶”）替代，这样既可以光滑有序数据值，还能在一定程度上保持数据的独有特点。（2）回归。回归技术是通过一个映像或函数拟合多个属性数据，从而达到光滑数据的效果。线性回归是寻找一条“最佳”直线来拟合多个属性，从而使用其中的某些属性预测其他属性。（3）离群点分析。聚类可以将相似的值归为同一“簇”，因此主要使用聚类等技术来检测离群点。聚类技术将在8.3节展开讨论。

网络爬虫正则表达式概念：从网页中解析需要的数据，除了采用beautifulsoup4库的方法，也可以根据被查找字符串的特征，采用正则表达式的方法，得到符合条件的子字符串。正则表达式库是python的标准库，使用时：importre，即可。正则表达式（RegularExpression）：称为规则表达式，又称为规则字符串，它通过一个字符序列来表示满足某种逻辑条件的字符串，主要用于字符串模式匹配或字符串匹配。一个正则表达式由字母、数字和一些特殊符号组成，特殊符号也称为元字符，在正则表达式中具有特殊的含义，可以用来匹配一个或若干个满足某种条件的字符，这些元字符才是构成正则表达式的关键要素。正则表达式通过元字符的各种运用，可以表示丰富的匹配字符串。对程序员来说，如果需要从源字符串中得到需要的子字符串（也称结果字符串），首先要分析子字符串在源字符串中的规律，根据规律去描述正则表达式。

Python与网页爬虫：使用Python语言实现网络爬虫和信息提交是非常简单的事情，代码行数很少，也无须知道网络通信等方面知识，非常适合非专业读者使用。然而，肆意的爬取网络数据并不是文明现象，通过程序自动提交内容争取竞争性资源也不公平。就像那些肆意的推销电话一样，他们无视接听者意愿，不仅令人讨厌也有可能引发法律纠纷。在互联网上爬取数据，要遵从Robots排除协议（RobotsExclusionProtocol），它也被称为爬虫协议，是网站管理者表达是否希望爬虫自动获取网络信息意愿的方法。管理者可以在网站根目录放置一个robots.txt文件，并在文件中列出哪些链接不允许爬虫爬取。一般搜索引擎的爬虫会首先捕获这个文件，并根据文件要求爬取网站内容。Robots排除协议重点约定不希望爬虫获取的内容，如果没有该文件则表示网站内容可以被爬虫获得，然而，Robots协议不是命令和强制手段，只是国际互联网的一种通用道德规范。绝大部分成熟的搜索引擎爬虫都会遵循这个协议，建议个人也能按照互联网规范要求合理使用爬虫技术。

网络爬虫的工作流程：网络爬虫实质上是一个能自动下载网页的程序，它是搜索引擎中最核心的部分。通用网络爬虫是从一个或若干个初始网页上的URL开始，读取网页的代码并对页面结构进行分析、过滤，并对感兴趣的内容建立索引，同时提取网页上的其他感兴趣的超链接地址，放入到待爬行队列中，如此循环，直到满足系统的停止条件为止。在爬取网页过程中，如何根据当前网页的超链接页面，形成待爬行队列呢？目前有基于IP地址搜索策略、广度优先策略、深度优先策略和最佳优先等，具体请看相关文档。

CSV（Comma-SeparatedValues）是一种通用的、相对简单的文本文件格式，被用户、商业和科学广泛应用。CSV文件由多条记录组成，每条记录都有相同的字段序列构成，字段之间通常用逗号、分号等分隔符将数据隔开。CSV文件可以采用记事本打开或Excel软件打开，默认用Excel软件打开。CSV通常用于在电子表格软件和纯文本之间交换数据。Excel文件转换为CSV文件的方法：另存为CSV（逗号分割）文件文件e:\pingjia161702.csv的数据：（本节的数据案例,编码格式为：gbk）

类的三大特性是封装性、继承性和多态性。多态性指同一消息作用于不同的对象时，能够有不同的响应。Python中的多态与C++、JAJA、C#中的多态不同。C++、JAJA、C#中的多态分为静态多态和动态多态，所谓静态多态是指程序编译阶段，根据函数的参数个数、类型或顺序确定调用哪个同名方法，实现何种操作；而Python中的变量是没有类型的，而且python是解释型语言，因此，python只有在运行时，才能确定调用哪个同名方法，因此，python的多态可以称为动态多态。为了实现多态性，一般都需要在派生类中重写从基类继承的方法。例如：我们在定义了案例5-10的类派生体系的基础上，再执行如下操作：p1=Person('320402200012301423','huan')s1=Student('320402200010101423','ding','firstgrade')w1=Worker('320402200011111423','chen',5600)p=[p1,s1,w1]foriteminp:item.display()

静态方法的定义：静态方法需要用修饰器”@staticmethod”来标识其为类的静态方法。静态方法不需要参数。在静态方法中，只能通过”类名.”的方式，访问类成员。在类的外部，静态方法可以通过类名和实例对象进行调用

实例方法的定义：类方法的第一个参数通常用”self”表示，表示实例对象。在实例方法中：既可以通过”self.”的方式，访问实例成员，也可以通过”类名.”的方式，访问类成员。在类的外部：实例方法只能通过实例对象进行调用。