【推荐系统算法学习笔记1】基本架构、专有名词、构建流程

article/2025/8/19 10:58:23

文章目录

  • 1.架构
    • 1.1 大数据框架:lambda 架构的
    • 1.2.基本概念
  • 2. 推荐模型构建流程
    • 2.1 数据
      • 2.1.1 数据来源
      • 2.1.2 数据清洗、处理
    • 2.2 特征工程
    • 2.3 算法(机器学习)
  • 来源

在这里插入图片描述

1.架构

  • 推荐算法架构
    • 召回
      • 协同过滤
      • 基于内容的
      • 基于隐语义的
    • 排序
      • 召回决定了推荐的上限,排序逼近这个上限,体现推荐的效果
      • CTR预估(点击率-用LR线性回归),估计用户是否点这个商品,需要用户的点击数据
      • 策略调整
        • 比如某个item出现在列表里五次,用户也没点它,这时候就应该删了
        • 或者其他的商业需求

数据

在这里插入图片描述
在这里插入图片描述

  • 推荐系统业务架构图

在这里插入图片描述

1.1 大数据框架:lambda 架构的

lambda架构

  • 离线计算
    • hadoop
    • hive
    • spark core,spark sql
    • 优点:能处理数据量大
    • 缺点:速度慢,分钟级别延迟
  • 在线(实时
    • spark streaming
    • storm
    • flink
    • 优点:实时,ms
    • 缺点:处理数据量小
  • 消息中间件
    • flume日志采集系统
    • kafka 消息队列
  • 存储相关
    • hbase:nosql数据库
    • hive:sql操作hdfs数据
      在这里插入图片描述

1.2.基本概念

  1. 基本概念解释
    LTR 和 CTR 和 所谓的pointwise, pairwise, listwise的关系
    • LTR (learning to rank) 意思是 ‘学习排序’,就是排序的机器学习技术
    • CTR (click through rate) 意思是‘点击率(预估)’,这个很常见的二分类问题(点击概率0-1)
    • pointwise 含义是单点(单文档)角度
    • pairwise 含义是文档对角度
    • listwise 含义是(推荐)文档列表角度

2. 推荐模型构建流程

  • 数据收集
    • 显性评分
    • 隐性数据
  • 特征工程
    • 协同过滤:用户-物品 评分矩阵
    • 基于内容的推荐:分词/tf-idf,文本信息,word2vec
  • 训练模型
    • KNN
    • 矩阵分解
  • 评估、上线

在这里插入图片描述
数据->特征->机器学习算法->预测输出
算法以服务形式存在

  • Cross Sell
    • 电商
    • eg:买了手机就推荐手机壳
  • Up Sell

2.1 数据

2.1.1 数据来源

(js的点击事件。。。、业务数据、网上获取(基于内容的)
内容画像(从类似网站爬一下)、
用户画像(可以买一些。这个好像不合法)

  • 显性数据
    • 打分(Rating)
    • 评论、评价(Comments)
  • 隐形数据
    • 历史订单(Order history
    • 加购物车(cart events
    • 页面浏览(page views
    • 点击(Click-thru
    • 搜索记录(Search log)

2.1.2 数据清洗、处理

  • 数据清洗、处理

2.2 特征工程

  • 协同过滤:用户-物品 评分矩阵
  • 基于内容的推荐:分词/tf-idf,文本信息
  1. 从数据中筛选特征
  • 商品,可能会被有类似的品味或需求的用户购买
  • 使用用户的行为描述商品
  1. 用数据表示特征
    • 用户的行为合并–》user-item矩阵
      • 行:商品的向量
      • 列:用户的向量
      • 算向量间的相似度
        • 皮尔逊相似度
        • cos
        • 。。。
      • 拆矩阵,大矩阵拆成小的(SVD)
        在这里插入图片描述

2.3 算法(机器学习)

  • 协同过滤(Collaborative Filtering)

来源

  1. http://www.ainilearn.com/ 基础:包含推荐系统算法、hadoop、Hbase、Hive、spark等项目:离线用户、实时计算业务、推荐业务与深度学习。
  2. https://www.bilibili.com/video/BV1qK4y1479r?p=8

http://chatgpt.dhexx.cn/article/JaHFbHQ5.shtml

相关文章

个性化推荐系统

一、系统架构 1、大数据Lambda架构 (1)Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境和混合平台, 提供一个实时的数据视图 (2)分层架构 ----- 批处理层 a.数据不可变,可进行任何计算&#xff0c…

【推荐架构day1】推荐系统的基本原理及架构:信息与人的供需匹配

按:本文来自陈彩华的精分享,从WHY、What到How系统性地介绍一下推荐系统的基本原理。 为什么需要推荐系统 对于信息消费者,需要从大量信息中找到自己感兴趣的信息,而在信息过载时代,用户难以从大量信息中获取自己感兴趣…

CoAP学习笔记——CoAP资源发现

【 原文链接】 (2015年4月15日,ct表述错误,待修改) 更多CoAP文章请参考博文索引——【物联网学习笔记——索引博文】 CoAP协议专门为M2M通信设计(设备间通信),在设备通信过程中很少会有人的干预…

一个用来学习CoAP协议的小例子

1 CoAP简介 CoAP 是受限制应用协议的简称,是物联网应用层协议之一。物联网应用层协议主要还有HTTP和MQTT,这三种协议有各自不同的应用场景。其中HTTP和MQTT使用TCP作为传输层协议,而CoAP使用UDP作为传输层协议,如下图&#xff1a…

CoAP学习笔记(1)CoAP报文结构

CoAP报文结构 CoAP基于UDP的应用层协议,报文结构如下 Ver 版本号占2bit,固定为01T 报文类型,占2bit,CoAP中有4种报文类型,如下 类型描述T值CON报文Confirmable,需要被确认的报文T00NON报文Non-Confirma…

coap协议学习之搭建coap测试环境

本篇目标:简单初步认识coap,以及怎么去测试自己搭建的coap协议应用。 材料准备: 谷歌浏览器/火狐浏览器(55.0)与 copper插件linux系统(搭建在虚拟机下的 Ubantu)与 libcoap开源程序 COAP插件的…

【协议】MQTT、CoAP、HTTP比较,MQTT协议优缺点

目录 MQTT、CoAP、HTTP区别 1. 协议栈: 2. 请求方式 3. 通讯消息格式: 4. 使用特点与使用场景 5.客户端平台差异 6.防火墙容错 MQTT、CoAP、HTTP介绍 CoAP协议 简介 CoAP与MQTT的区别: HTTP协议 简介 HTTP与CoAP的区别 MQTT协…

libcoap 接口分析与 CoAP 协议开发

libcoap 作为一个重要的 CoAP 开源实现,完整实现了 RFC 7252。很多优秀的 IoT 产品都用到了 libcoap,libcoap 为资源受限的设备(例如计算能力,射频范围,内存,带宽或网络数据包大小)实施轻量级应…

CoAP协议接入

CoAP协议规范 本小节介绍物联网平台支持的CoAP协议规范。 协议版本 支持RFC 7252 Constrained Application Protocol协议,更多信息,请参见RFC 7252。 通道安全 使用DTLS v1.2保证通道安全,更多信息,请参见DTLS v1.2。 开源客…

干货 | CoAP协议例析

点击上方“中兴开发者社区”,关注我们 每天读一篇一线开发者原创好文 在物联网领域中,MQTT和CoAP是最主要的两个应用协议。MQTT(Message Queuing Telemetry Transport/消息队列遥测传输)是基于TCP的发布/订阅方式的应用协议&#…

CoAP协议简介

学习CoAP最简单的方法便是阅读协议文档。该协议文档并不是那么复杂。当然如果有一个CoAP的简单介绍那就再好不过了。 什么是CoAP CoAP是受限制的应用协议(Constrained Application Protocol)的代名词。在最近几年的时间中,专家们预测会有更多的设备相互连接&#xf…

CoAP 协议学习

CoAP 协议学习 2014年左右智能家居异常火热,由于高效的端到端订阅推送特性,使得MQTT成为了智能家居的首选协议。因此目前各大云平台中,MQTT基本成了标配。 物联网另一个应用协议 CoAP 协议则相对低调,不过由于 NB-IoT 的推出&am…

CoAP协议学习笔记——CoAP格式详解

CoAP是受限制的应用协议(Constrained Application Protocol)的代名词。在当前由PC机组成的世界,信息交换是通过TCP和应用层协议HTTP实现的。但是对于小型设备而言,实现TCP和HTTP协议显然是一个过分的要求。为了让小设备可以接入互联网,CoAP协…

COAP学习笔记

文章目录 一、UDP协议简介二、COAP协议2.1 COAP简介2.2 CoAP消息报文结构i CoAP消息结构 - 消息类型 详解ii CoAP消息结构 - Requset/Response Code 详解iii CoAP消息结构 - Option 详解 2.3 CoAP观察模式2.4 COAP的安全性 三、根据阿里云COAP规范,分析并构建十六进制的报文3.1…

CoAP

CoAP是受限的应用协议(Contrained Application Protocol)的代名词. CoAP是一种应用层协议, 它运行于UDP协议之上. 参考: https://blog.csdn.net/xukai871105/article/details/45167069 CoAP协议综述 和其他TCP IP协议簇中的协议一样, CoAP协议总是以"头"的形式出现…

COAP详解

COAP协议学习 1分析工具 网络包分析利器:wiresharkCOAP协议客户端、服务端:wakaama 源码地址辅助编译工具cmake3:由于wakaama对cmake有版本要求 源码地址 ** 文章后附上wakaama、cmake3编译、使用方法及安装步骤等 2COAP协议介绍 Coap&am…

CoAP协议及开源实现

1. CoAP协议的简单介绍 CoAP是一种面向网络的协议,采用了与HTTP类似的特征,核心内容为资源抽象、REST式交互以及可扩展的头选项等。这些关键特征使得因特网由简单的文档检索机制(World Wide Web)演进成为现在繁荣的应用平台(Web 2.0)。HTTP作为IETF 成功…

CoAP学习笔记——CoAP格式详解

0 前言 CoAP是受限制的应用协议(Constrained Application Protocol)的代名词。在当前由PC机组成的世界,信息交换是通过TCP和应用层协议HTTP实现的。但是对于小型设备而言,实现TCP和HTTP协议显然是一个过分的要求。为了让小设备可以接入互联网&#xff0c…

CoAP协议学习——CoAP基础

【 原连接地址】 更多CoAP文章请参考博文索引——【 物联网学习笔记——索引博文】 推广 《IoT开发实战:CoAP卷》已经由机械工业出版社出版,如果想学习CoAP的更多内容请于淘宝、天猫或京东平台搜索"CoAP"。 什么是CoAP CoAP是受限制的应用协议(Constraine…

COAP介绍

什么是COAP CoAP是受限制的应用协议(Constrained Application Protocol)的代名词。在最近几年的时间中,专家们预测会有更多的设备相互连接,而这些设备的数量将远超人类的数量。在这种大背景下,物联网和M2M技术应运而生。虽然对人而言&#xf…