第319章 困死我了

异常等对于这些情况Y如果不加以处理Y就会直接影

响到最终挖掘模型的使用效果Y甚至会使得创建模型任务失败因此Y

在数据挖掘过程中Y数据清洗是第一步。

数据质量管理数据质量管理贯穿数据生命周期的全过程在

数据生命周期中Y可以通过数据质量管理的方法和手段Y在数据生成

使用消亡的过程里Y及时发现有缺陷的数据Y然后借助数据管理手

段Y将数据正确化和规范化Y从而达到符合要求的数据质量标准总

体而言Y数据质量管理覆盖质量评估数据去噪数据监控数据探

查数据清洗数据诊断等方面Y而在这个过程中Y数据清洗是决定

数据质量好坏的重要因素。

数据清洗按照实现方式Y可以分为手工清洗和自动清洗

?

1?手工清洗X手工清洗是通过人工方式对数据进行检查Y发现数据中

的错误这种方式比较简单Y只要投入足够的人力物力财力Y也能

发现所有错误Y但效率低下在大数据量的情况下Y手工清洗数据几乎

是不可能的

?

2?自动清洗X自动清洗是通过专门编写的计算机应用程序来进行数据

清洗这种方法能解决某个特定的问题Y但不够灵活Y特别是在清理过

程需要反复进行时?一般来说,数据清理一遍就达到要求的很少?Y程序

复杂Y清理过程变化时工作量大而且Y这种方法也没有充分利用目前

数据库提供的强大的数据处理能力。

数据清洗主要是对缺失值重复值异常值和数据类型有误的数据

进行处理Y数据清洗的内容主要包括四点

?

1?缺失值处理由于调查编码和录入误差Y数据中可能存在

一些缺失值Y需要给予适当的处理常用的处理方法有X估算

整例删除变量删除和成对删除

?

2?异常值处理根据每个变量的合理取值范围和相互关系Y检

查数据是否合乎要求Y发现超出正常范围逻辑上不合理或者相

互矛盾的数据。

数据清洗主要是对缺失值重复值异常值和数据类型有误的数据

进行处理Y数据清洗的内容主要包括四点

本章未完，请点击下一页继续阅读！ 第2页 / 共4页