七、数据清洗技术
（1） 数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来且包含历史 数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显 然是我们不想要的，称为“脏数据”。
（ 2）我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。
（ 3）需要清洗数据的主要类型 : 残缺数据、错误数据、重复数据 。
（ 4）数据清洗的内容： 一致性检查、无效值和缺失值的处理 。
（ 5） 常用工具
①、DataWrangler
②、Google Refine
八、网络爬虫技术——数据采集、处理和存储
网络爬虫是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序，简单点就是爬虫是用事先写好的程序去抓取网络上的数据，这样的程序叫爬虫。是数据采集的一种手段。
（一）通用爬虫
（二）聚焦网络爬虫
爬虫软件可以分为两类：
- 云爬虫（不需要安装软件）
- 采集器（下载安装）
常用工具：
①、神箭手云爬虫②、八爪鱼③、集搜客 GooSeeker④、WebMagic⑤、DenseSpider
