忆如完整项目/代码详见github：https://github.com/yiru1225（转载标明出处 勿白嫖 star for projects thanks）
目录
系列文章目录
一、LR的概念、原理与LR用于简单数据的预测
1.LR简介
2.LR算法模型
3.LR用于简单数据的预测
二、LRC的简介与算法流程
1.LRC（线性回归分类）简介
2.LRC算法流程
三、LRC及其各种优化模型用于人脸识别
1. 数据导入与处理
2.人脸识别与分类
2.1.经典线性回归分类用于人脸识别
2.2.岭回归用于人脸识别
2.3.lasso回归用于人脸识别
2.4.分块LRC用于人脸识别
2.5 回归部分代码整合
3.多种回归在人脸识别的对比
4.新线性回归设计、实践、比较
5.其他
5.1 内部函数定义
5.2 数据集及资源
5.3 参考资料
总结
系列文章目录
本系列博客重点在机器学习的概念原理与代码实践，不包含繁琐的数学推导（有问题欢迎在评论区讨论指出，或直接私信联系我）。
代码可以全抄 大家搞懂原理与流程去复现才是有意义的！！！
第一章 机器学习——PCA（主成分分析）与人脸识别_@李忆如的博客-CSDN博客
第二章 机器学习——LDA (线性判别分析) 与人脸识别_@李忆如的博客-CSDN博客
第三章 LR（线性回归）、LRC（线性回归分类）与人脸识别
梗概
本篇博客主要介绍LR(线性回归)、LRC（线性回归分类）并将LR用于简单数据的预测，LRC及其各种优化模型（岭（脊）回归、lasso回归、分块LRC）用于人脸识别，且自行设计了一个全新的线性回归算法用于人脸识别并与经典LR做比较（内附数据集与matlab代码）
一、LR的概念、原理与LR用于简单数据的预测
1.LR简介
回归分析是指一种预测性的建模技术，主要是研究自变量和因变量的关系。LR（线性回归）为最基础的一种回归算法。用线（面）等模型对于现有相对线性的数据进行较小损失的拟合，并使拟合出的模型可较好预测数据。
最小二乘法推导详见：最优化方法——最小二乘法与梯度下降法_@李忆如的博客-CSDN博客
2.LR算法模型
经典的LR解决问题可划分为以下步骤
① 将数据集导入，进行变量的筛选与控制
② 对正态性分布的数据做散点图与相关分析
③ 通过最小化损失函数来确定参数，得到（拟合）回归方程（利用正规方程计算w 或最小二乘 或梯度下降）
④ 不断检验模型，优化参数，得到最优的回归方程
⑤ 使用回归方程做预测
图1 线性回归分析详细流程
Tips:对线性回归数学原理、最小二乘法、梯度下降、正归方程的数学分析与推导感兴趣的详见：机器学习算法——线性回归（超级详细且通俗）_一只认真的菜狗的博客-CSDN博客_线性回归
3.LR用于简单数据的预测
① 问题描述：探究学生成绩与学生学习时间的关系
② 线性回归实现：将学习时间作为变量，成绩作为预测值，建立回归方程，并用最小二乘法最小化损失函数，得到回归方程并验证，验证后用其预测。
③ 核心代码如下：
x=[23.80,27.60,31.60,32.40,33.70,34.90,43.20,52.80,63.80,73.40];
y=[41.4,51.8,61.70,67.90,68.70,77.50,95.90,137.40,155.0,175.0];
figure
plot(x,y,'r*') %作散点图(制定横纵坐标)
xlabel('x(学生学习时间)','fontsize',12)
ylabel('y(学生成绩)','fontsize',12)
set(gca,'linewidth',2)
%采用最小二乘拟合
Lxx=sum((x-mean(x)).^2);
Lxy=sum((x-mean(x)).*(y-mean(y)));
b1=Lxy/Lxx;
b0=mean(y)-b1*mean(x);
y1=b1*x+b0; %线性方程用于预测和拟合
hold on
plot(x,y1,'linewidth',2);
m2=LinearModel.fit(x,y); %函数进行线性回归数据拟合后，回归模型绘图如下：
图2 LR用于简单数据预测回归方程绘图
分析：分析上图，可看出模型对数据拟合较好，预测相对线性。如需预测不在图中的数据，只需将对应学习时间作为x代入回归模型（方程）中即可。
二、LRC的简介与算法流程
1.LRC（线性回归分类）简介
LRC：即使用LR进行分类任务（如人脸识别，给出某人脸属于哪一类人（一个人为一类））
2.LRC算法流程
① 将数据集导入并分类
② 读取每个类数据进行线性回归，划分训练集与测试集
③ 利用正规方程计算w（或最小二乘 或梯度下降），通过最小化损失函数来确定参数，得到（拟合）回归方程
Tips：此处y为对应需要分类的单个数据
④ 利用回归方程预测数据
⑤ 计算出预测数据与真实数据的距离（损失），并将最小距离对应类别作为预测类别输出
三、LRC及其各种优化模型用于人脸识别
1. 数据导入与处理
利用imread批量导入人脸数据库，或直接load相应mat文件，并在导入时不断将人脸拉成一个个列向量组成reshaped_faces，并取出n%作为测试数据，剩下100-n%作为训练数据，重复此步骤，将导入数据抽象成框架，可以匹配不同数据集的导入（本实验框架适配ORL、AR、FERET数据集）。
Tips:代码可见笔者上一篇文章（LDA与人脸识别），基本一致。
2.人脸识别与分类
Tips：前四部分讲述LRC及其优化模型的算法流程、核心流程、分析，完整代码整合见第五部分。
2.1.经典线性回归分类用于人脸识别
① 算法流程：与二.2中的算法流程类似，将数据集导入并分类，读取每个类数据进行线性回归，划分训练集与测试集，利用正规方程计算w，预测数据后计算出预测数据与真实数据的距离，并将最小距离对应类别作为预测类别，并与测试集对应的标签作比较，检测（识别）分类是否正确，并得出正确率。
② 核心代码：
% 1.线性回归w = inv(train_data' * train_data) * train_data' * totest;img_predict = train_data * w; % 计算预测图片% 分类、预测过程（各种分类都类似） % show_face(img_predict,row,column); %预测人脸展示dis = img_predict - totest; % 计算误差distest = [distest,norm(dis)]; % 计算欧氏距离% 取出误差最小的预测图片 并找到他对应的标签 作为预测结果输出end[min_dis,label_index] = min(distest); % 找到最小欧氏距离下标（预测类）if label_index == totest_indexcount_right = count_right + 1;else fprintf("预测错误：%d\n" ,(i + 1) * (k - train_num_each));endend③ 分析：w的计算（最小化损失函数得最优参数）、计算预测图片的方法差异造就了不同方法。其中，对于数据的过拟合、关键矩阵不可逆现象，引入岭回归与lasso回归；对于数据遮挡问题，引入分块LRC。
2.2.岭回归用于人脸识别
① 算法核心：对经典线性回归加入L2正则化（得到稠密解）
② 核心代码：
% 2.岭回归rr_data = (train_data' * train_data) + eye(train_num_each)*10^-6;w = inv(rr_data) * train_data' * totest;img_predict = train_data * w; % 计算预测图片③ 分析：通过正则化扰动，有效地避免了过拟合严重或各变量之间存在多重共线性的问题。
2.3.lasso回归用于人脸识别
① 算法核心：对经典线性回归加入L1正则化（得到稀疏解）
② 核心代码：
% 3.lasso回归[B,FitInfo] = lasso(train_data , totest);img_predict = train_data * B + FitInfo.Intercept;Tips：此处使用matlab库中的lasso回归，更详细自定义lasso回归实现与分析见：建模算法系列十九：lasso回归推导附MATLAB源码 - 知乎 (zhihu.com)
③ 分析：一般来说，对于高维的特征数据，尤其线性关系是稀疏的，我们会采用Lasso回归。或者要在一堆特征里面找出主要的特征，那Lasso回归更是首选。
2.4.分块LRC用于人脸识别
① 算法核心：把数据库中每个数据分成M块（本实验将人脸均分四块），对数据中的每块进行LRC，在同一数据的M块min_dis中选出最小值，其对应的块作为分类依据，给出预测分类结果（或使用投票法选出同一数据M块中出现最多的预测分类结果）。
② 核心代码：
%%数据导入部分进行分块（不同分块规则大大影响实验效果，此处以均分四块为例）
for i=1:40 for j=1:10 if(i<10)a=imread(strcat('C:\Users\hp\Desktop\face\ORL56_46\orl',num2str(i),'_',num2str(j),'.bmp')); elsea=imread(strcat('C:\Users\hp\Desktop\face\ORL56_46\orl',num2str(i),'_',num2str(j),'.bmp')); enda = double(a);a = mat2cell(a,[row/2,row/2],[column/2,column/2]);a1 = a{1};a2 = a{2};a3 = a{3};a4 = a{4};b1 = reshape(a1,row * column / 4,1);b1=double(b1);b2 = reshape(a2,row * column / 4,1);b2=double(b2);b3 = reshape(a3,row * column / 4,1);b3=double(b3);b4 = reshape(a4,row * column / 4,1);b4=double(b4);reshaped_faces=[reshaped_faces, b1,b2,b3,b4]; endend③ 分析：分块线性回归是处理遮挡图像识别的一个有效方法。
2.5 回归部分代码整合
% 回归过程
dimension = row * column;
count_right = 0;for i = 0:1:people_num - 1totest_index = i + 1; %取出图片对应标签%对每一类进行一次线性回归for k = train_num_each + 1:1:pic_num_of_eachtotest = reshaped_faces(:,i*pic_num_of_each + k); %取出每一待识别（分类）人脸distest = []; %记录距离for j = 0:1:people_num - 1batch_faces = reshaped_faces(:,j * pic_num_of_each + 1 :j * pic_num_of_each + pic_num_of_each); %取出每一类图片% 划分训练集与测试集%第一次 batch中的前train_num_each个数据作为训练集 后面数据作为测试集合train_data = batch_faces(:,1:train_num_each);test_data = batch_faces(:,train_num_each + 1:pic_num_of_each);% 1.线性回归w = inv(train_data' * train_data) * train_data' * totest;img_predict = train_data * w; % 计算预测图片 % 2.岭回归
% rr_data = (train_data' * train_data) + eye(train_num_each)*10^-6;
% w = inv(rr_data) * train_data' * totest;
% img_predict = train_data * w; % 计算预测图片% 3.lasso回归
% [B,FitInfo] = lasso(train_data , totest);
% img_predict = train_data * B + FitInfo.Intercept;% 4.权重线性回归(代码有误)
% W = eye(dimension);
% kk = 10^-1;
% for jj = 1:1:dimension
% diff_data = reshaped_faces(j+1,:) - reshaped_faces(jj,:);
% W(jj,jj) = exp((diff_data * diff_data')/(-2.0 * kk^2));
% end
% w = inv(train_data' * W * train_data) * train_data' * W * totest;% 5.新线性回归(已提前PCA降维)
% rr_data = (train_data' * train_data) +
% eye(train_num_each)*10^-6;
% w = inv(rr_data) * train_data' * test_data; % 改良w
% img_predict = train_data * w; % 计算预测图片% show_face(img_predict,row,column); %预测人脸展示dis = img_predict - totest; % 计算误差distest = [distest,norm(dis)]; % 计算欧氏距离% 取出误差最小的预测图片 并找到他对应的标签 作为预测结果输出end[min_dis,label_index] = min(distest); % 找到最小欧氏距离下标（预测类）if label_index == totest_indexcount_right = count_right + 1;else fprintf("预测错误：%d\n" ,(i + 1) * (k - train_num_each));endendend
recognition_rate = count_right / test_sum; 3.多种回归在人脸识别的对比
所用数据集：ORL5646、AR5040、FERET_80
分别在不同数据集中使用经典线性回归、岭回归、lasso回归、分块线性回归进行人脸识别分类，人脸识别率对比如下：
表1 不同回归在不同数据集下的人脸识别率
Tips:表中括号内数字为一类人脸训练,测试数量
图3 不同回归在不同数据集下的人脸识别率
分析：对上图及上表进行分析，可以得到以下几个结论
a.上述三个数据集中，经典线性回归人脸识别率与岭回归相同。这是由于将一个个人脸拉成列向量，train’ * train的维度较小，矩阵运算不存在奇异值，逆矩阵可逆。
b.上述三个数据集中，lasso回归人脸识别率高于经典线性回归。
c.上述三个数据集中，简单线性回归均优于分块线性回归。这是由于分块逻辑导致的（本实验将人脸均分四块），且使用数据集基本无遮挡，分块线性回归优势不能体现。
4.新线性回归设计、实践、比较
① 经典线性回归缺点：数据规模过大、过拟合严重、各变量之间存在多重共线性、正规方程计算对类内局部结构考虑不够
② 新线性回归设计：在数据预处理时使用PCA降维，对数据压缩。在最小化损失函数的过程中加入L2正则化（岭回归思想），避免过拟合严重、各变量之间存在多重共线性问题，并在正规方程的w运算时使用整个类的测试集而非单一图片，保留一定类内结构。
③ 新线性回归正规方程及核心代码
如②设计，正规方程则变为以下形式：
核心代码如下：
Tips：PCA降维详见完整代码，或参考笔者第一篇文章(PCA与人脸识别)。
% 5.新线性回归(已提前PCA降维)rr_data = (train_data' * train_data) +eye(train_num_each)*10^-6; w = inv(rr_data) * train_data' * test_data; % 改良wimg_predict = train_data * w; % 计算预测图片表2 新老线性回归在不同数据集下的人脸识别率
Tips:表中括号内数字为一类人脸训练,测试数量
图4 新老线性回归在不同数据集下的人脸识别率
分析：对上图及上表进行分析，在ORL与FERET中，新线性回归的人脸识别率高于经典线性回归，在AR中相差无几。由此验证了新线性回归的可行性与正确性，且验证了新线性回归相对线性回归的优越性。
5.其他
5.1 内部函数定义
本实验中将人脸图像展示抽象为函数，函数定义如下：
% 输入向量，显示脸
function fig = show_face(vector, row, column)fig = imshow(mat2gray(reshape(vector, [row, column])));
end5.2 数据集及资源
本实验所用数据集：ORL5646、AR5040、FERET_80，代码框架可适用多个数据集。
常用人脸数据集如下（不要白嫖哈哈哈）
链接：https://pan.baidu.com/s/12Le0mKEquGMgh5fhNagZGw
提取码：yrnb
LR、LRC完整代码：李忆如/忆如的机器学习 - Gitee.com
5.3 参考资料
1.赖志辉的课
2.线性回归分析思路总结！简单易懂又全面！ - 知乎 (zhihu.com)
3.线性回归实现人脸识别——ORL数据集_HeiGe__的博客-CSDN博客_orl人脸数据集
4.周志华《机器学习》
总结
LR作为经典且最基础的回归分析方法，对于线性数据的拟合与预测过程简单，效果优秀，LRC及其多种优化模型在数据分类的任务中也表现优异。且作为一种有监督学习方法（利用了数据的原有信息），LR能得到较好的保留数据信息用于分类。但LR仍存在对异常值很敏感、容易造就过拟合模型、不好刻画非线性问题等等，从而影响实验结果，LR的一些优化模型解决了部分不足，后续博客会分析其他算法优化或解决其他问题。
![[机器学习] LR与SVM的异同](https://images2015.cnblogs.com/blog/995611/201703/995611-20170325122219002-256516069.png)
