Python数据分析概述

一、数据分析的概念

1.广义数据分析

狭义数据分析

• 对比分析

• 分组分析

• 交叉分析

• 回归分析等

2.数据挖掘

• 智能推荐

• 关联规则

• 分类模型

• 聚类模型
  

二、数据分析流程

1. 需求分析：

主要指从用户提出的需求出发，挖掘用户内心的真实意图

2. 数据获取

• 网络数据

存储在互联网中的各类互联网中的各类视频、图片、语音和文字等信息

• 本地数据

存储在本地数据库中的生产、营销和财务等系统的数据

历史数据：系统在运行过程中遗留下来的数据，其数据量随系统在运行时间的增加而增长

实时数据：指最近一个单位时间周期内产生的数据

3.数据预处理

• 数据合并

• 数据清洗

   去掉重复缺失异常不一致的数据
  

• 数据标准化

• 数据变化

4.分析与建模

• 分析方法

   对比分析分组分析交叉分析回归分析
  

• 模型与算法

  聚类模型
  分类模型
  关联规则
  智能推荐
  

5.模型评价与优化

聚类模型评价指标
ARI评价法
AMI评价法
V-measure评分
FMI评价法

轮廓系数

6. 分类模型评价指标

准确率
精确率
召回率
F1值
ROC
AUC

7.回归模型

 平均绝对误差均方误差中值绝对误差可解释方差值

8.部署

三、数据分析应用场景

客户分析
营销分析
社交媒体分析
网络安全分析
设备管理
交通物流分析
欺诈行为检测

四、总思维导图