特征提取
目标
-
应用DictVectorizer实现对类别特征进行数值化、离散化
-
应用CountVectorizer实现对文本特征进行数值化
-
应用TfidfVectorizer实现对文本特征进行数值化
-
说出两种文本特征提取的方式区别
定义
特征提取是将任意数据（如文本或图像）转换为可用于机器学习的数字特征
注：特征值化是为了计算机更好的去理解数据
-
字典特征提取(特征离散化) -
文本特征提取 -
图像特征提取（深度学习）
特征提取API
sklearn.feature_extraction
字典特征提取
作用：对字典数据进行特征值化
- sklearn.feature_extraction.DictVectorizer(sparse=True,…)
- DictVectorizer.fit_transform(X) X：字典或者包含字典的迭代器，返回值：返回sparse矩阵
- DictVectorizer.inverse_transform(X) X：array数组或者sparse矩阵 返回值：转换之前数据格式
- DictVectorizer.get_feature_names() 返回类别名称
应用
对以下数据进行特征提取
data = [{'city': '北京', 'temperature': 100}, {'city': '上海', 'temperature': 60}, {'city': '深圳', 'temperature': 30}]
流程分析
-
实例化类DictVectorizer
-
调用fit_transform方法输入数据并转换（注意返回格式）
def dict_demo():"""字典特征值提取:return:"""data = [{'city': '北京', 'temperature': 100}, {'city': '上海', 'temperature': 60}, {'city': '深圳', 'temperature': 30}]# 1. 实例化一个转换器 默认返回 sparse矩阵 将非0值按位置表示出来 以节省内存 提高加载效率transfer = DictVectorizer(sparse=False)# 应用场景：数据集中类别特征值较多；将数据集的特征-》字典类型；DictVectorizer转换；本身拿到的就是字典# 2. 调用fit_transform()data_new = transfer.fit_transform(data)print("data_new:\n", data_new)print("特征名字:\n", transfer.get_feature_names())return None
注意观察没有加上sparse=False参数的结果
这个结果并不是想要看到的，所以加上参数，得到想要的结果，在这里把这个处理数据的技巧用专业的称呼"one-hot"编码。
总结
对于特征当中存在类别信息的都会做one-hot编码处理
文本特征提取
作用：对文本数据进行特征值化
-
sklearn.feature_extraction.text.CountVectorizer(stop_words=[])
- 返回词频矩阵
-
CountVectorizer.fit_transform(X) X：文本或者包含文本字符串的可迭代对象 返回值：返回sparse矩阵
-
CountVectorizer.inverse_transform(X) X：array数组或者sparse矩阵 返回值：转换之前数据格
-
CountVectorizer.get_feature_names() 返回值：单词列表
-
sklearn.feature_extraction.text.TfidfVectorizer
应用
对以下数据进行特征提取
data = ["life is short, i like python", "life is too long i dislike python"]
流程分析
-
实例化类CountVectorizer
-
调用fit_transform方法输入数据并转换 （注意返回格式，利用toarray()进行sparse矩阵转换array数组）
def count_demo():"""文本特征值抽取:return:"""data = ["life is short, i like python", "life is too long i dislike python"]# 1、实例化一个转换器类transfer = CountVectorizer()# 演示停用词# transfer = CountVectorizer(stop_words=["is", "too"])data_new = transfer.fit_transform(data)print("data_new:\n", data_new.toarray())print("特征名字:\n", transfer.get_feature_names())# 2、调用fit_transformreturn None
问题：如果我们将数据替换成中文？
发现英文默认是以空格分开的。其实就达到了一个分词的效果，所以我们要对中文进行分词处理
下面代码需要提前把文本做好空格间隙
def count_chinese_demo():"""中文文本特征值抽取:return:"""data = ["我 爱 北京 天安门", "天安门 上 太阳 升"]data2 = ["我爱北京天安门", "天安门上太阳升"]# 1、实例化一个转换器类transfer = CountVectorizer()data_new = transfer.fit_transform(data)print("data_new:\n", data_new.toarray())print("特征名字:\n", transfer.get_feature_names())# 2、调用fit_transformreturn None
更好的处理方式见下方案
jieba分词处理
- jieba.cut()
- 返回词语组成的生成器
需要安装下jieba库
pip install jieba
案例分析
data = ["在过去两个月里，我和60多位小伙伴进行了1对1的一小时沟通；","TA绝大多数是想要尝试副业变现的朋友。","从一线城市到三线城市，从宝妈到职场人，从职场到体制内。"]
分析
-
准备句子，利用jieba.cut进行分词
-
实例化CountVectorizer
-
将分词结果变成字符串当作fit_transform的输入值
def count_word(text):"""进行中文分词 我爱北京天安门-》我 爱 北京 天安门:param text::return:"""a = " ".join(list(jieba.cut(text)))print(a)return adef count_chinese_demo2():"""中文文本特征值抽取 自动分词:return:"""data = ["在过去两个月里，我和60多位小伙伴进行了1对1的一小时沟通；","TA绝大多数是想要尝试副业变现的朋友。","从一线城市到三线城市，从宝妈到职场人，从职场到体制内。"]# 1、实例化一个转换器类transfer = CountVectorizer(stop_words=["从宝妈"])data_new = transfer.fit_transform(count_word(item) for item in data)print("data_new:\n", data_new.toarray())print("特征名字:\n", transfer.get_feature_names())# 2、调用fit_transformreturn None
问题：该如何处理某个词或短语在多篇文章中出现的次数高这种情况？
Tf-idf文本特征提取
TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的概率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
TF-IDF作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
公式
词频（term frequency，tf）指的是某一个给定的词语在该文件中出现的频率
逆向文档频率（inverse document frequency，idf）是一个词语普遍重要性的度量。某一特定词语的idf，可以由总文件数目除以包含该词语之
文件的数目，再将得到的商取以10为底的对数得到
最终得出结果可以理解为重要程度。
注：假如一篇文件的总词语数是100个，而词语"非常"出现了5次，那么"非常"一词在该文件中的词频就是5/100=0.05。而计算文件频率（IDF）的方法是以文件集的文件总数，除以出现"非常"一词的文件数。所以，如果"非常"一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是lg（10,000,000 / 1,0000）=3。最后"非常"对于这篇文档的tf-idf的分数为0.05 * 3=0.15
案例
def tfidf_demo():"""用TF-IDF方法进行文本特征值抽取:return:"""data = ["在过去两个月里，我和60多位小伙伴进行了1对1的一小时沟通；","TA绝大多数是想要尝试副业变现的朋友。","从一线城市到三线城市，从宝妈到职场人，从职场到体制内。"]transfer = TfidfVectorizer(stop_words=["从宝妈"])data_new = transfer.fit_transform(count_word(item) for item in data)print("data_new:\n", data_new.toarray())print("特征名字:\n", transfer.get_feature_names())return None
Tf-idf的重要性
分类机器学习算法进行文章分类中前期数据处理方式
