OpenCV实现人脸对齐

article/2025/9/23 15:49:48

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

一、人脸对齐介绍

在人脸识别中有一个重要的预处理步骤-人脸对齐，该操作可以大幅度提高人脸识别的准确率与稳定性，但是早期的OpenCV版本不支持人脸Landmark检测，因此一般都是通过对人脸进行分割，然后通过角点检测来寻找眼睛两个角点，连线之后根据它们有水平线的角度，旋转实现人脸对齐之后在提取人脸区域，OpenCV3.x版本开始支持获取Landmark数据，最常见的Landmark数据就是人脸的68个标准点位，图示如下：

1cac6b8a5113afd8630940b3eaeb393e.png

实现对齐主要是基于眼睛的位置，对人脸倾斜进行几何变换，实现人脸对齐操作，人脸对齐对提高人脸识别率特别重要，常见的人脸识别系统都会包含人脸对齐操作，举例如下：

8c079142aa8b54d17ffceeeb287643e6.png

二、人脸对齐代码实现

基于OpenCV实现人脸对齐主要分为如下几步

1.人脸检测器定义与Landmark检测

OpenCV中通过HAAR或者LBP特征实现了人脸检测，最新的OpenCV3.4基于残差网络也实现了人脸检测，相关的文章可以阅读： 

OpenCV基于残差网络实现人脸检测

详解LBP特征与应用(人脸识别)

 有了人脸之后，我们就可以通过加载预训练的Landmark检测模型，实现Landmark检测，这里使用的模型是局部二值特征(LBF-Local Binary Feature)实现人脸68个点位的检测，这个也是2014年CVPR的一篇论文。最新的OpenCV3.4 Landmark检测器支持自定义人脸检测器设置，所以只要把我们上面的HAAR/LBP/残差人脸检测器设置过去就会自动检测人脸，然后发现Landmark数据。整个代码实现如下：

// 创建LBF landmark 检测器
Ptr<FacemarkLBF> facemark = FacemarkLBF::create(params);
facemark->setFaceDetector((FN_FaceDetector)myDetector, &face_cascade);
// 加载模型数据
facemark->loadModel("D:/vcprojects/images/lbfmodel.yaml");
cout << "Loaded model" << endl;
// 开始检测
printf("start to detect landmarks...\n");
vector<Rect> faces;
facemark->getFaces(img, faces);
vector< vector<Point2f> > shapes;
if (facemark->fit(img, faces, shapes))
{Point eye_left; // 36thPoint eye_right; // 45thfor (unsigned long i = 0; i<faces.size(); i++) {eye_left = shapes[i][36];eye_right = shapes[i][45];line(img, eye_left, eye_right, Scalar(255, 0, 0), 2, 8, 0);face_alignment(img(faces[i]), eye_left, eye_right, faces[i]);// 绘制人脸矩形区域rectangle(img, faces[i], Scalar(255, 0, 0));// 绘制人脸68个 landmark点位for (unsigned long k = 0; k<shapes[i].size(); k++)cv::circle(img, shapes[i][k], 2, cv::Scalar(0, 0, 255), FILLED);}namedWindow("Detected_shape");imshow("Detected_shape", img);waitKey(0);
}

2.Landmark数据处理

对Landmark数据提取获得眼睛位置坐标，这里我们获取的是36与45两个点坐标计算角度（参照第一张图），然后通过几何变换实现人脸对齐操作。代码如下：

int offsetx = roi.x;
int offsety = roi.y;
// 计算中心位置
int cx = roi.width / 2;
int cy = roi.height / 2;
// 计算角度
int dx = right.x - left.x;
int dy = right.y - left.y;
double degree = 180 * ((atan2(dy, dx)) / CV_PI);
// 旋转矩阵计算
Mat M = getRotationMatrix2D(Point2f(cx, cy), degree, 1.0);
Point2f center(cx, cy);
Rect bbox = RotatedRect(center, face.size(), degree).boundingRect();
M.at<double>(0, 2) += (bbox.width / 2.0 - center.x);
M.at<double>(1, 2) += (bbox.height / 2.0 - center.y);
// 对齐
Mat result;
warpAffine(face, result, M, bbox.size());
imshow("face-alignment", result);

3.运行效果

fdaec136db61663cdab45cd4bce0a8fb.png

完整的程序代码如下：

#include <opencv2/opencv.hpp>
#include <opencv2/face.hpp>
#include <math.h>
#include <iostream>
using namespace cv;
using namespace cv::face;
using namespace std;
const String  lbpfilePath = "D:/opencv-3.4/opencv/build/etc/lbpcascades/lbpcascade_frontalface.xml";
bool myDetector(InputArray image, OutputArray faces, CascadeClassifier *face_cascade);
void face_alignment(Mat &face, Point left, Point right, Rect roi);
int main(int argc, char** argv) {Mat img = imread("D:/vcprojects/images/gaoyy.png");namedWindow("input", CV_WINDOW_AUTOSIZE);imshow("input", img);CascadeClassifier face_cascade;face_cascade.load(lbpfilePath);FacemarkLBF::Params params;params.n_landmarks = 68; // 68个标注点params.initShape_n = 10;params.stages_n = 5; // 算法的5个强化步骤params.tree_n = 6; // 模型中每个标注点结构树 数目params.tree_depth = 5; // 决策树深度// 创建LBF landmark 检测器Ptr<FacemarkLBF> facemark = FacemarkLBF::create(params);facemark->setFaceDetector((FN_FaceDetector)myDetector, &face_cascade);// 加载模型数据facemark->loadModel("D:/vcprojects/images/lbfmodel.yaml");cout << "Loaded model" << endl;// 开始检测printf("start to detect landmarks...\n");vector<Rect> faces;facemark->getFaces(img, faces);vector< vector<Point2f> > shapes;if (facemark->fit(img, faces, shapes)){Point eye_left; // 36thPoint eye_right; // 45thfor (unsigned long i = 0; i<faces.size(); i++) {eye_left = shapes[i][36];eye_right = shapes[i][45];line(img, eye_left, eye_right, Scalar(255, 0, 0), 2, 8, 0);face_alignment(img(faces[i]), eye_left, eye_right, faces[i]);// 绘制人脸矩形区域rectangle(img, faces[i], Scalar(255, 0, 0));// 绘制人脸68个 landmark点位for (unsigned long k = 0; k<shapes[i].size(); k++)cv::circle(img, shapes[i][k], 2, cv::Scalar(0, 0, 255), FILLED);}namedWindow("Detected_shape");imshow("Detected_shape", img);waitKey(0);}return 0;
}
bool myDetector(InputArray image, OutputArray faces, CascadeClassifier *face_cascade)
{Mat gray;if (image.channels() > 1)cvtColor(image, gray, COLOR_BGR2GRAY);elsegray = image.getMat().clone();equalizeHist(gray, gray);std::vector<Rect> faces_;face_cascade->detectMultiScale(gray, faces_, 1.1, 1, CASCADE_SCALE_IMAGE, Size(50, 50));Mat(faces_).copyTo(faces);return true;
}
void face_alignment(Mat &face, Point left, Point right, Rect roi) {int offsetx = roi.x;int offsety = roi.y;// 计算中心位置int cx = roi.width / 2;int cy = roi.height / 2;// 计算角度int dx = right.x - left.x;int dy = right.y - left.y;double degree = 180 * ((atan2(dy, dx)) / CV_PI);// 旋转矩阵计算Mat M = getRotationMatrix2D(Point2f(cx, cy), degree, 1.0);Point2f center(cx, cy);Rect bbox = RotatedRect(center, face.size(), degree).boundingRect();M.at<double>(0, 2) += (bbox.width / 2.0 - center.x);M.at<double>(1, 2) += (bbox.height / 2.0 - center.y);// 对齐Mat result;warpAffine(face, result, M, bbox.size());imshow("face-alignment", result);
}

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

2389b32c7d1526a9b66c14bffdf84052.png

fa8e55fa39f097cf5540f7b6eb0de0de.png


http://chatgpt.dhexx.cn/article/3JLWaNgA.shtml

相关文章

人脸对齐（一）--定义及作用

人脸对齐（一）--定义及作用

参考&#xff1a; http://www.thinkface.cn/thread-4354-1-1.html http://www.thinkface.cn/thread-4488-1-1.html&#xfeff;&#xfeff; 人脸对齐任务即根据输入的人脸图像&#xff0c;自动定位出面部关键特征点&#xff0c;如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮…
阅读更多...
人脸关键点对齐

人脸关键点对齐

转&#xff1a;https://www.jianshu.com/p/e4b9317a817f 摘要&#xff1a; 从传统方法到深度学习方法&#xff0c;对人脸关键点定位/人脸对齐的发展进行梳理&#xff0c;对该领域中经典的方法&#xff0c;最新成果进行汇总&#xff0c;并给出相应的paper原文&#xff0c;项目主…
阅读更多...
人脸对齐介绍

人脸对齐介绍

转自&#xff1a;https://cloud.tencent.com/community/article/532672 一、 人脸对齐&#xff0c;也叫做人脸特征点检测&#xff0c;图为人脸特征点例子 二、 人脸对齐有哪些应用&#xff1f; 1 五官定位 2 表情识别 3 人脸漫画、素描生成 4 增强现实 5 换脸 6 3D建模 三、 人…
阅读更多...
常见的人脸对齐方法 python

常见的人脸对齐方法 python

人脸对齐 1. 通过Dlib库 1.1.环境需求&#xff1a; opencv-python dlib下载dlib库的68关键点文件&#xff1a; http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2 然后解压后得到shape_predictor_68_face_landmarks.dat。 其次&#xff0c;下面可能需要有一…
阅读更多...
QGIS中也有“fishnet”——QGIS怎么生成渔网

QGIS中也有“fishnet”——QGIS怎么生成渔网

QGIS堪称Mac上的ArcGIS&#xff0c;免费小巧&#xff0c;插件丰富&#xff0c;比ArcGIS更容易上手。今天分享的是如何在QGIS中生成规则网格&#xff0c;也就是ArcGIS中的fishnet功能怎么在QGIS中完美实现。 # 环境声明&#xff1a;QGIS3.10 MacOS10.15.6 # 分享背景&#xff…
阅读更多...
ArcMap Fishnet生成规则网格

ArcMap Fishnet生成规则网格

在利用ArcGIS处理数据时&#xff0c;有时需要对整个工作区域进行规则网格划分&#xff0c;这个在ArcGIS中是一件非常简单的事情&#xff0c;现在就将利用ArcGIS生成规则网格的步骤详细的介绍一下。 首先我有一个工作的范围&#xff0c;比如图一所示的范围&#xff1a; 我要在研…
阅读更多...
POJ 1408 Fishnet

POJ 1408 Fishnet

题目大意&#xff1a; 有一个1*1的正方形&#xff0c;分别给出下&#xff0c;上&#xff0c;左&#xff0c;右边每个边上的n个点&#xff0c;对边对应点连线&#xff0c;问这些线段相交的最大的四边形面积是多少&#xff08;面积最大的定义是必须当前面积内没有更小的四边形内…
阅读更多...
创建渔网工具

创建渔网工具

创建渔网&#xff08;create fishnet&#xff09;工具是指创建由矩形像元组成的渔网。输出可以是折线或面要素。创建渔网需要三条基本信息&#xff1a;渔网的空间范围、行数和列数以及旋转的角度。要指定这些基本信息可通过多种方法。例如&#xff0c;您可能不确定准确的行数和…
阅读更多...
ARCGIS怎么在地图上绘制长宽500m*500m的fishnet

ARCGIS怎么在地图上绘制长宽500m*500m的fishnet

用的是ArcGIS 10.6的版本。 参考教程&#xff1a;https://my.oschina.net/u/4416039/blog/3308651 首先先导入深圳市的shp文件 Layers右键&#xff0c;点击Properties 需要将坐标系改成投影坐标系 点击Projected Coordinate Systems 点击UTM 点击WGS 1984 选择WGS 1984 UT…
阅读更多...
fishboat

fishboat

渔船产品功能说明文档1.0 线上地址&#xff1a;http://101.200.121.215:9090/ git前端: https://gitee.com/cinblx/fishboat-ui.git git后端&#xff1a;https://gitee.com/cinblx/fishboat-server.git 产品介绍 为什么使用该产品 该产品致力于两方面。1.实现基础功能&#xff…
阅读更多...
文献阅读笔记5——《Composited FishNet: Fish Detection and Species Recognition From Low-Quality ...》

文献阅读笔记5——《Composited FishNet: Fish Detection and Species Recognition From Low-Quality ...》

《Composited FishNet: Fish Detection and Species Recognition From Low-Quality Underwater Videos》 写文章模板论文 Abstact 重要意义&#xff1a;水下视频中鱼类的自动检测和识别对于渔业资源评估和生态环境监测具有重要意义。 问题和挑战&#xff1a;由于水下图像质量…
阅读更多...
使用Arc Map创建渔网（fishnet）

使用Arc Map创建渔网（fishnet）

使用Arc Map创建渔网&#xff08;fishnet&#xff09; 工具位置&#xff1a;ArcToolbox----数据管理工具----采样----创建渔网 &#xff08;Arcgis 10.2以上版本&#xff09;&#xff08;找不到工具可以ControlF选择工具项搜索&#xff09; 添加图层&#xff0c;设置坐标系&am…
阅读更多...
arcgis fishnet渔网功能学习

arcgis fishnet渔网功能学习

听说要来跟我请教fishnet功能&#xff0c;吓我一跳&#xff0c;arcgis不就只有个创建渔网功能吗&#xff1f;&#xff1f;纳尼&#xff1f;! 赶紧捡捡知识点&#xff0c;避免一问三不知.。 版本12.4后工具位于data management/sampling/create fishnet&#xff0c;12.4之前应…
阅读更多...
POJ1408-Fishnet

POJ1408-Fishnet

全解题报告索引目录 -> 【北大ACM – POJ试题分类】 转载请注明出处&#xff1a;http://exp-blog.com ------------------------------------------------------------------------- 大致题意&#xff1a; 一个1X1的正方形&#xff0c;每条边上有n个不同的点&#xff08;…
阅读更多...
关于在ArcGIS里创建fishnet时只有几个网格的解决办法

关于在ArcGIS里创建fishnet时只有几个网格的解决办法

在ArcGIS里创建渔网时可能会出现以下情况&#xff0c;例如只有两个网格 可以看到在创建渔网的窗口中导入的数据中上下左右的单位是经纬度&#xff0c;不是米制单位。 这是由于在创建渔网时没有将坐标系进行转换&#xff0c;利用的shp数据本身的坐标系是度分秒单位的&#xf…
阅读更多...
【ArcGIS微课1000例】0002：创建渔网（Create fishnet）

【ArcGIS微课1000例】0002：创建渔网（Create fishnet）

本文讲解ArcGIS软件中渔网（fishnet）工具的原理，方法及使用技巧。 文章目录 微课目标工具介绍实现过程微课目标 如下图所示，影像为无人机航测生产的DOM，现在需要在ArcGIS平台中进行DLG数据采集（数字化），由于测区较大，需要创建500*500的渔网，并对影像进行裁剪下发给多…
阅读更多...
ArcGIS 10.2生成渔网（fishnet）

ArcGIS 10.2生成渔网（fishnet）

https://blog.csdn.net/lucky51222/article/details/72514885 工具路径&#xff1a;Data Management Tools→Feature Class→Create Fishnet。 &#xff08;1&#xff09;确定输出路径及文件名&#xff1b; &#xff08;2&#xff09;选择渔网范围&#xff0c;本例选择北方地区…
阅读更多...
ArcGIS创建渔网Create Fishnet工具生成指定大小格网

ArcGIS创建渔网Create Fishnet工具生成指定大小格网

本文介绍在ArcMap软件中&#xff0c;通过“Create Fishnet”工具创建渔网&#xff0c;从而获得指定大小的矢量格网数据的方法。 首先&#xff0c;我们在创建渔网前&#xff0c;需要指定渔网覆盖的范围。这里我们就以四川省为例&#xff0c;在这一范围内创建渔网&#xff1b;其中…
阅读更多...
ArcGIS中ArcMap创建渔网Create Fishnet：生成指定大小的格网矢量文件

ArcGIS中ArcMap创建渔网Create Fishnet：生成指定大小的格网矢量文件

本文介绍在ArcMap软件中&#xff0c;通过“Create Fishnet”工具创建渔网&#xff0c;从而获得指定大小的矢量格网数据的方法。 首先&#xff0c;我们在创建渔网前&#xff0c;需要指定渔网覆盖的范围。这里我们就以四川省为例&#xff0c;在这一范围内创建渔网&#xff1b;其中…
阅读更多...
Composited FishNet论文详解

Composited FishNet论文详解

论文名称&#xff1a;Composited FishNet: Fish Detection and Species Recognition From Low-Quality Underwater Videos Abstact (研究问题的重要意义&#xff0c;现在存在的问题&#xff0c;引出研究内容&#xff0c;研究内容的好处&#xff0c;本文创新点&#xff0c;实验…
阅读更多...
推荐文章

Copyright @ 2022~2023