Mahout

article/2025/10/9 22:06:45

1、Mahout是什么

  1. Mahout是一个算法库,集成了很多算法。
  2. Apache Mahout 是 Apache Software Foundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。
  3. Mahout项目目前已经有了多个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。
  4. 通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到Hadoop集群。
  5. Mahout 的创始人 Grant Ingersoll 介绍了机器学习的基本概念，并演示了如何使用 Mahout 来实现文档集群、提出建议和组织内容。

 

  1. Mahout能做什么

2.1、推荐引擎

在目前采用的机器学习技术中，推荐引擎是最容易被一眼认出来的，也是应用范围最广的。服务商或网站会根据你过去的行为为你推荐书籍、电影或文章。

在部署了推荐系统的电子商务中，亚马逊大概是最有名的。亚马逊基于用户的交易行为和网站记录为你推荐你可能喜欢的商品。

而facebook这样的社交网络则利用推荐技术为你找到最可能尚未关联的朋友。

同时，这一技术也被各大知名国内网站所使用，如腾讯、人人、京东、淘宝。

2.2、聚类

顾名思义，物以类聚，人以群分。聚类是把具有共同属性的物品进行归类。

Google news使用聚类技术通过标题把新闻文章进行分组，从而按照逻辑线索来显示新闻，而并非给出所有新闻的原始列表。

2.3、分类

分类技术决定了一个事物多大程度上从属于某种类别或类型，或者多大程度上具有或者不具有某些属性。与聚类一样，分类无处不在，但更多隐身于幕后。通常这些系统会考察类别中的大量实例，来学习推到出分类的规则。

雅虎邮箱基于用户以前对正常右键和垃圾邮件的报告，以及电子右键自身的特征，来判别到来的消息是否是垃圾邮件。

 

3、Mahout协同过滤算法

Mahout使用了Taste来提高协同过滤算法的实现，它是一个基于Java实现的可扩展的，高效的推荐引擎。Taste既实现了最基本的基于用户的和基于内容的推荐算法，同时也提供了扩展接口，使用户可以方便的定义和实现自己的推荐算法。同时，Taste不仅仅只适用于Java应用程序，它可以作为内部服务器的一个组件以HTTP和Web Service的形式向外界提供推荐的逻辑。Taste的设计使它能满足企业对推荐引擎在性能、灵活性和可扩展性等方面的要求。

Taste主要包括以下几个接口：

  1. DataModel 是用户喜好信息的抽象接口，它的具体实现支持从任意类型的数据源抽取用户喜好信息。Taste 默认提供 JDBCDataModel 和 FileDataModel，分别支持从数据库和文件中读取用户的喜好信息。
  2. UserSimilarity 和 ItemSimilarity 。UserSimilarity 用于定义两个用户间的相似度，它是基于协同过滤的推荐引擎的核心部分，可以用来计算用户的“邻居”，这里我们将与当前用户口味相似的用户称为他的邻居。ItemSimilarity 类似的，计算Item之间的相似度。
  3. UserNeighborhood 用于基于用户相似度的推荐方法中，推荐的内容是基于找到与当前用户喜好相似的邻居用户的方式产生的。UserNeighborhood 定义了确定邻居用户的方法，具体实现一般是基于 UserSimilarity 计算得到的。
  4. Recommender 是推荐引擎的抽象接口，Taste 中的核心组件。程序中，为它提供一个 DataModel，它可以计算出对不同用户的推荐内容。实际应用中，主要使用它的实现类 GenericUserBasedRecommender 或者 GenericItemBasedRecommender，分别实现基于用户相似度的推荐引擎或者基于内容的推荐引擎。
  5. RecommenderEvaluator ：评分器。
  6. RecommenderIRStatsEvaluator ：搜集推荐性能相关的指标，包括准确率、召回率等等。

3.1、DataModel

  • org.apache.mahout.cf.taste.impl.model.GenericDataModel
  • org.apache.mahout.cf.taste.impl.model.GenericBooleanPrefDataModel
  • org.apache.mahout.cf.taste.impl.model.PlusAnonymousUserDataModel
  • org.apache.mahout.cf.taste.impl.model.file.FileDataModel
  • org.apache.mahout.cf.taste.impl.model.hbase.HBaseDataModel
  • org.apache.mahout.cf.taste.impl.model.cassandra.CassandraDataModel
  • org.apache.mahout.cf.taste.impl.model.mongodb.MongoDBDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.SQL92JDBCDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.MySQLJDBCDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.PostgreSQLJDBCDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.GenericJDBCDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.SQL92BooleanPrefJDBCDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.MySQLBooleanPrefJDBCDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.PostgreBooleanPrefSQLJDBCDataModel
  • org.apache.mahout.cf.taste.impl.model.jdbc.ReloadFromJDBCDataModel

    从类名上就可以大概猜出来每个DataModel的用途，奇怪的是竟然没有HDFS的DataModel，有人实现了一个，请参考 MAHOUT-1579 。

3.2、相似度

UserSimilarity 和 ItemSimilarity 相似度实现有以下几种：

  • CityBlockSimilarity ：基于Manhattan距离相似度
  • EuclideanDistanceSimilarity ：基于欧几里德距离计算相似度
  • LogLikelihoodSimilarity ：基于对数似然比的相似度
  • PearsonCorrelationSimilarity ：基于皮尔逊相关系数计算相似度
  • SpearmanCorrelationSimilarity ：基于皮尔斯曼相关系数相似度
  • TanimotoCoefficientSimilarity ：基于谷本系数计算相似度
  • UncenteredCosineSimilarity ：计算 Cosine 相似度

3.3、最近邻域

UserNeighborhood 主要实现有两种：

  • NearestNUserNeighborhood：对每个用户取固定数量N个最近邻居
  • ThresholdUserNeighborhood：对每个用户基于一定的限制，取落在相似度限制以内的所有用户为邻居

3.4、推荐引擎

Recommender分为以下几种实现：

  • GenericUserBasedRecommender：基于用户的推荐引擎
  • GenericBooleanPrefUserBasedRecommender：基于用户的无偏好值推荐引擎
  • GenericItemBasedRecommender：基于物品的推荐引擎
  • GenericBooleanPrefItemBasedRecommender：基于物品的无偏好值推荐引擎

3.5、推荐系统评测

RecommenderEvaluator有以下几种实现：

  • AverageAbsoluteDifferenceRecommenderEvaluator ：计算平均差值
  • RMSRecommenderEvaluator ：计算均方根差
  1. Mahout协同过滤算法编程
    1. 创建Maven项目：详见《创建一个Maven项目》
    2. 导入Mahout依赖

06ef9d39e51e46c086e1974d994dc2d0.png

 

4.3、下载电影评分数据

下载地址：MovieLens | GroupLens

数据类别：7.2万用户对1万部电影的百万级评价和10万个标签数据

7d053e7201664410bffa572850adfb8d.png

 

本例数据：本例中只需要使用评分数据

c7afd497cf754ff69a91923bba2e47a6.png

 

4.4、编写基于用户的推荐

2ad88b9ca8484d14b35901f9e947f163.png

 

6107dc25e2e24f64ace9a157ca0df029.png

 

    1. 编写基于物品的推荐

33bcde6d90b648538330fcdbacfa20f7.png

 

2ef8f2f6e7a5439e8c9426281b3f33c2.png

 

    1. 评估推荐模型 

9135f772fb564bd197997af6ca508cbe.png

 

4.7、获取推荐的查准率和查全率

438d4a8104f2407c96ea61796971de26.png

 

ad7979a900e7439fa976e89e27530c32.png

 

 

  1. Mahout运行在Hadoop集群

4.1、Hadoop 执行脚本

hadoop jar mahout-examples-0.9-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob --input /sanbox/movie/10M.txt --output /sanbox/movie/r -s SIMILARITY_LOGLIKELIHOOD

参数说明

  • --input(path) : 存储用户偏好数据的目录，该目录下可以包含一个或多个存储用户偏好数据的文本文件；
  • --output(path) : 结算结果的输出目录
  • --numRecommendations (integer) : 为每个用户推荐的item数量，默认为10
  • --usersFile (path) : 指定一个包含了一个或多个存储userID的文件路径，仅为该路径下所有文件包含的userID做推荐计算 (该选项可选)
  • --itemsFile (path) : 指定一个包含了一个或多个存储itemID的文件路径，仅为该路径下所有文件包含的itemID做推荐计算 (该选项可选)
  • --filterFile (path) : 指定一个路径，该路径下的文件包含了[userID,itemID] 值对，userID和itemID用逗号分隔。计算结果将不会为user推荐 [userID,itemID] 值对中包含的item (该选项可选)
  • --booleanData (boolean) : 如果输入数据不包含偏好数值，则将该参数设置为true，默认为false
  • --maxPrefsPerUser (integer) : 在最后计算推荐结果的阶段，针对每一个user使用的偏好数据的最大数量，默认为10
  • --minPrefsPerUser (integer) : 在相似度计算中，忽略所有偏好数据量少于该值的用户，默认为1
  • --maxSimilaritiesPerItem (integer) : 针对每个item的相似度最大值，默认为100
  • --maxPrefsPerUserInItemSimilarity (integer) : 在item相似度计算阶段，针对每个用户考虑的偏好数据最大数量，默认为1000
  • --similarityClassname (classname) : 向量相似度计算类
  • outputPathForSimilarityMatrix ：SimilarityMatrix输出目录
  • --randomSeed ：随机种子 -- sequencefileOutput ：序列文件输出路径
  • --tempDir (path) : 存储临时文件的目录，默认为当前用户的home目录下的temp目录
  • --threshold (double) : 忽略相似度低于该阀值的item对
    1. 执行结果

上面命令运行完成之后，会在当前用户的hdfs主目录生成temp目录，该目录可由 --tempDir (path) 参数设置

b5df9f9e3d3148b18cc2c85860b379fd.png

 

 


http://chatgpt.dhexx.cn/article/KN8W04Xv.shtml

相关文章

mahout 详解

mahout 详解

前言 用Mahout来构建推荐系统，是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法，并实现了并行化，提供非常简单的API接口；困难是因为我们不了解算法细节，很难去根据业务的场景进行算法配置和调…
阅读更多...
基于Mahout实现协同过滤推荐算法的电影推荐系统

基于Mahout实现协同过滤推荐算法的电影推荐系统

1 Mahout介绍 Apache Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。经典算法包括聚类、分类、协同过滤、进化编…
阅读更多...
Mahout简介

Mahout简介

Mahout简介 一、mahout是什么 Apache Mahout是ApacheSoftware Foundation （ASF）旗下的一个开源项目，提供了一些经典的机器学习的算法，皆在帮助开发人员更加方便快捷地创建智能应用程序。目前已经有了三个公共发型版本&#xff0…
阅读更多...
推荐系统 Mahout入门之简单使用

推荐系统 Mahout入门之简单使用

Mahout： Apache Mahout 是 Apache Software Foundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout项目目前已经有了多个公共发行…
阅读更多...
Mahout介绍和简单应用

Mahout介绍和简单应用

Mahout学习（主要学习内容是Mahout中推荐部分的ItemCF、UserCF、Hadoop集群部署运行） 1.Mahout是什么？ Mahout是一个算法库,集成了很多算法。 Apache Mahout 是 Apache Software Foundation（ASF）旗下的一个开源项目&…
阅读更多...
脚手架开发流程

脚手架开发流程

先把原理讲通，方便后续的开发。 后续都拿vue-cli举例 脚手架实现原理 为什么全局安装vue/cli后会添加的命令为vue？全局安装vue/cli时发生了什么？执行vue命令时发生了什么？为什么vue指向一个js文件，我们却可以直接通过…
阅读更多...
ns2模拟仿真实验

ns2模拟仿真实验

内容： 编写TCL脚本，搭建如下图所示的一个网络，共6个节点，其中2、3节点用做ftp服务器和客户端，4、5节点用做cbr流量的源和目的，而0、1节点用做转发设备。各节点间的链路属性见图。 模拟时间设为13秒钟&#…
阅读更多...
NS2网络仿真环境的搭建和使用

NS2网络仿真环境的搭建和使用

一实验概述: 1学会安装和使用NS2；熟悉NS2的文档结构；掌握NS2的仿真环境、使用界面和操作方法。 2学会安装NS2仿真环境和配置。 3了解NS2的工作原理和程序组成。 4熟悉NS2中的脚本语言Tcl和Otcl 5学习分裂对象模型和TclCL 6NS的时间调度机制学习。 …
阅读更多...
NS2的NODE类——node

NS2的NODE类——node

本文转自：http://hi.baidu.com/wirelesscat/blog/item/67c6db4633f71e016b63e59b.html 同时推荐一个很好的博客，这里有连载的 ns2 仿真问题，感谢大牛～～～ 博客地址：http://hi.baidu.com/wirele…
阅读更多...
NS2问题解决

NS2问题解决

问题一： When configured, ns found the right version of tclsh in /usr/bin/tclsh8.6 but it doesnt seem to be there anymore, so ns will fall back on running the first tclsh in your path. The wrong version of tclsh may break the test suites. Reconfi…
阅读更多...
NS2简单介绍

NS2简单介绍

NS是一种针对网络技术的源代码公开的、免费的软件模拟平台，研究人员使用它可以很容易的进行网络技术的开发，而且发展到今天，它所包含的模块已经非常丰富，几乎涉及到了网络技术的所有方面。所以，NS成了目前学术界广泛使…
阅读更多...
NS2网络仿真

NS2网络仿真

NS2安装与配置TCP/UDP比较仿真静态/动态路由仿真 1.安装与配置 1.1更新系统 sudo apt-get update #更新源列表 sudo apt-get upgrade #更新已经安装的包 sudo apt-get dist-upgrade #更新软件，升级系统 1.2安装ns2需要的几个包 sudo apt-get install build-ess…
阅读更多...
ns2安装详细过程与网络仿真

ns2安装详细过程与网络仿真

ns2安装详细过程与网络仿真 博客分类： Networks TclLinuxUnixGCCVC 简单的说，NS－2是一个网络模拟器，所以经常被用到网络课的教学中。 NS-2是OpenSource的，最早的版本是在linux/unix下运行的，后来有了wi…
阅读更多...
NS2教程

NS2教程

柯老师的NS2新网址 Due to some reasons, my NS2 website is sometimes donw and unavailable for many users. Therefore, I provide another backup website. 1. NS2 http://csie.nqu.edu.tw/smallko/ns2/ns2.htm 2. old_NS2 (backup of NS2 Learning Guide) http://csie.n…
阅读更多...
ns2安装和若干问题的解决方法

ns2安装和若干问题的解决方法

文章目录 1. 安装与配置2. 安装nam3. 配置环境变量4. 检查是否能够成功运行参考资料 在安装ns2的过程中遇到了很多问题，为了记录这些问题和为同样遇到这些问题的朋友提供思路，写下这篇博文。 安装ns2和nam主要分为如下几个步骤： 安装与配置…
阅读更多...
Linux下安装ns2

Linux下安装ns2

最近为了项目需要用到NS2软件用于网络仿真实验，从Windows到Linux折腾了我将近一周的时间。在Windows装了卸、卸了装十几遍还是不成功，最后放弃了，回到了Linux系统，又折腾了两天终于安装测试成功！（安装其实蛮…
阅读更多...
企业微信第三方扫码登录

企业微信第三方扫码登录

为什么写这个文章 公司后台突然需要扫码登录，网上的企业微信扫码都是基于自建应用的扫码登录，对第三方的扫码并没有多加介绍 概述 企业微信的管理员和成员，可通过单点登录机制，登录到第三方网站。第三方可通过接口，…
阅读更多...
微信第三方登录有两种登录方式, 1. 微信开放平台登录 2. 微信公众平台授权登录?

微信第三方登录有两种登录方式, 1. 微信开放平台登录 2. 微信公众平台授权登录?

https://www.v2ex.com/amp/t/390333 微信开放平台登录与微信公众平台授权登录区别在哪? 2017-09-13 12:05:41 08:00 xoxo419 微信第三方登录有两种登录方式, 1. 微信开放平台登录 2. 微信公众平台授权登录? 问: 两者区别在哪? 壹号店 http://m.yhd.com 微信第三方登录属…
阅读更多...
Android APP微信第三方登录踩坑 - 微信开放平台修改应用包名后微信第三方登录失败

Android APP微信第三方登录踩坑 - 微信开放平台修改应用包名后微信第三方登录失败

在微信开放平台注册移动应用，才能在APP里实现「微信登录」和「微信支付」。 近期因为业务需要，需要修改应用的包名，因此在微信开发平台重新提交了应用「基本信息」修改申请，顺便吐槽下，现在微信开发平台对应用审核真是…
阅读更多...
微信第三方登录redirect_uri 参数错误

微信第三方登录redirect_uri 参数错误

微信第三方登录 先说解决方案：redirect_uri 参数错误 在开放平台设置好回调地址，例如地址是 www.niezhiliang.com 那么在生成二维码的时候回调只能写该域名下的地址 在申请二维码页面回调地址(你的redirect_uri) 还必须加上http或者https，…
阅读更多...
推荐文章

Copyright @ 2022~2023