openface的导出数据说明

article/2025/9/24 17:51:11

openface的导出数据说明,因为自己使用的时候一个一个翻译起来比较麻烦,就自己弄了一个。

原文GitHub地址:https://github.com/TadasBaltrusaitis/OpenFace/wiki/Command-line-arguments

ZD到最后的列:是面部动作编码系统 (FACS) 是一个系统,通过面部外观来分类人面部动作。个别面部肌肉的运动由 FACS 从面部外观的轻微瞬间变化中编码。使用 FACS 可以编写几乎任何解剖学上可能的面部表情的代码,解构到产生该表情的特定动作单元 (AU) 中。客观地描述面部表情是一个常见的标准。

如果 AU 在面部可见(例如AU01_c)

OpenFace 提供这两个分数。对于 AU 1 的存在,输出文件中的列将编码 0 为不存在,1 为不存在。对于 AU 1 的强度,输出文件中的列范围为 0(不存在)、1(以最小强度存在)、5(以最大强度存在),其中连续值介于两者之间。AU01_cAU01_r

请注意,强度和存在预测变量是单独训练和在略有不同的数据集上训练的,这意味着两者的预测可能并不总是一致的(例如,存在模型可以预测 AU 不存在,但强度模型可以预测其值高于 1)。

Frame:帧数,帧号(在序列的情况下)

face_id:人脸ID(如果有多个人脸),不能保证在帧之间保持一致,尤其是在较长的序列中。FaceLandmarkVidMulti

Timestamp:时间戳,以秒为单位处理视频的计时器(如果是序列)

Confidence:追踪者对当前地标检测图像的信心如何

Success: 跟踪是否成功(框架中是否有人脸,或者我们认为跟踪是否良好)

gaze_0_x, gaze_0_y, gaze_0_z: 眼睛0(规范化)的世界坐标中的眼睛凝视方向矢量,眼睛0是图像中的最左眼(将其视为从图像的左眼朝着眼睛凝视的方向发出的光线)

gaze_1_x, gaze_1_y, gaze_1_z: 眼睛1的世界坐标中的眼睛凝视方向矢量(规范化),眼睛1是图像中的最右眼(将其视为从图像的右眼朝着眼睛凝视的方向发出的光线

凝视方向矢量仅标识凝视的方向。如果您想弄清楚人们在看什么,则需要查看凝视的起点(眼睛的3D位置),并朝凝视矢量的方向投射光线。

gaze_angle_x, gaze_angle_y:在世界坐标中,以弧度表示的眼睛凝视方向是两只眼睛的平均值,并且转换为比凝视矢量更易于使用的格式。如果一个人从左到右看,这将导致gaze_angle_x(从正变为负)的变化;如果一个人从上往下看,则将导致gaze_angle_y(从负变为正)的变化,如果一个人是笔直向前看,两个角度将接近0(在测量误差范围内)。

eye_lmk_x_0, eye_lmk_x_1,... eye_lmk_x55, eye_lmk_y_1,... eye_lmk_y_55:2D眼睛区域地标的位置(以像素为单位)。地标索引可以在下面找到

eye_lmk_X_0, eye_lmk_X_1,... eye_lmk_X55, eye_lmk_Y_0,... eye_lmk_Z_55:3D眼睛区域地标的位置(以毫米为单位)。地标索引可以在下面找到

pose_Tx, pose_Ty, pose_Tz: 头相对于摄像头的位置,以毫米为单位(正Z距摄像头较远)

pose_Rx, pose_Ry, pose_Rz:绕X,Y,Z轴的弧度旋转,约定为左手为正号。可以将其视为俯仰(Rx),偏航(Ry)和横滚(Rz)。旋转以相机为原点的世界坐标中。

R = Rx * Ry * Rz

中的线分别对应于预测行动单位的存在和强度,有关更多详细信息,请参见此处

au intensities(au强度) au occurrences(au发生)

当地标不再以像素值而是毫米为单位时,我们还会报告头部的姿势和凝视(但这需要精确地估计fx,fy,cx,cy。该功能对于相机相同且我们想知道姿势和凝视的批处理图像处理很有用。 。

2D中的地标位置

x_0, x_1, ... x_66, x_67, y_0,...y_67 2D界标的位置(以像素为单位),界标索引如下所示

3D中的地标位置

X_0, ... X_67, Y_0,...Y_67, Z_0,...Z_67 毫米的3D地标位置,地标索引如下所示。为了使此准确,需要对fx,fy,cx,cy有好的估计

刚性和非刚性形状参数

点分布模型(PDM)的参数,用于描述刚性面形状(位置,比例和旋转)和非刚性面形状(由于表达和身份引起的变形)。有关更多详细信息,请参见我论文的第4.2章以获取更多详细信息。

p_scale, p_rx, p_ry, p_rz, p_tx, p_ty -PDM的比例,旋转和转换术语

p_0, p_1, ... p_33 -非刚性形状参数

物理数据模型(Physical Data Model,PDM),是指提供系统初始设计所需要的基础元素,以及相关元素之间的关系。

面部行动单位

面部动作单元(AUs)是描述人类面部表情的一种方式,有关动作单元的更多详细信息,请参见此处

需要注意的是AU的是最准确的在一个人的视频,如果有一个范围内观察表情,他们不准确,如FaceLandmarkImg和FaceLandmarkVidMulti

系统可以检测到17个AU的强度(从0到5):

AU01_r, AU02_r, AU04_r, AU05_r, AU06_r, AU07_r, AU09_r, AU10_r, AU12_r, AU14_r, AU15_r, AU17_r, AU20_r, AU23_r, AU25_r, AU26_r, AU45_r

18个AU的存在(0个缺席,1个存在):

AU01_c, AU02_c, AU04_c, AU05_c, AU06_c, AU07_c, AU09_c, AU10_c, AU12_c, AU14_c, AU15_c, AU17_c, AU20_c, AU23_c, AU25_c, AU26_c, AU28_c, AU45_c

 

 

 

 

 


http://chatgpt.dhexx.cn/article/ko7aBjUH.shtml

相关文章

【TensorFlow】人脸识别OpenFace、Face-recognition、Insightface和FaceNet源码运行

比较人脸识别OpenFace、Face-recognition、Insightface: FaceNet源码运行 https://github.com/davidsandberg/facenet 1、使用Anaconda安装TensorFlow; 2、更新scipy库; 3、添加os.environ["KMP_DUPLICATE_LIB_OK"]"TRUE&…

windows下OpenFace安装及测试

想使用openface来实现以下视线估计的内容,但是搜了好多都没有具体的使用方案,于是经历了半周,仔细阅读官方文档和参考了一些大佬的经验,终于运行成功了,在此记录一下,嘻嘻 安装 openceface安装官方文档&…

Ubuntu 14.04下openface的环境搭建

如需转载请标明出处:http://blog.csdn.net/itas109 QQ技术交流群:129518033 一、什么是openface? openface是一个基于深度神经网络的开源人脸识别系统。该系统基于谷歌的文章FaceNet: A Unified Embedding for Face Recognition and Clust…

Windows 11 下 OpenFace 2.2.0 的安装

写在前面 最近需要做关于面部的东西,所以需要使用到OpenFace这个工具,本文仅用来记录本人安装过程以供后续复现,如果可以帮助到读者也是非常荣幸。 安装过程 不编译直接使用 这种方法可以直接从官方下载下来编译好的exe以及gui进行使用&a…

Openface人脸识别的原理与过程

Openface人脸识别的原理与过程: https://zhuanlan.zhihu.com/p/24567586 原理可参考如下论文: 《OpenFace: A general-purpose face recognition library with mobile applications》 第一步:找出所有的面孔 我们流水线的第一步是人脸检测。…

openface在pycharm上的安装

1、下载openface相关文件 链接:下载openface:GitHub - cmusatyalab/openface: Face recognition with deep neural networks. 下载后得到一个openface-master的文件夹 2、输入cmd,进入命令提示符,找到自己保存的openface-master文件夹路径。 …

OpenFace使用OpenFace进行人脸识别

1.OpenFace简介 http://cmusatyalab.github.io/openface/ 安装就按照官方教程来就好了 装完各种依赖之后运行一下命令 https://github.com/cmusatyalab/openface.git --recursive cd openface sudo python setup.py install sh modles/get-models.sh 2.素材准备 准备两…

【OpenFace】

OpenFace: http://cmusatyalab.github.io/openface/ 一、什么是Openface? Openface是一个基于深度神经网络的开源人脸识别系统。该系统基于谷歌的文章FaceNet: A Unified Embedding for Face Recognition and Clustering。Openface是卡内基梅隆大学的 B…

OpenFace

OpenFace是一个包含了landmark,head pose,Actionunions,eye gaze等功能,并包含训练和检测所有源码的开源人脸框架,论文为,OpenFace: an open source facial behavior analysis toolkit OpenFace所用到的库包…

win10下openface快速安装与使用

win10下openface快速安装与使用 情况说明环境下载openface下载模型openface的简单使用 情况说明 我发现openface的安装方法五花八门,大多都比较复杂,而openface分很多版本,很多安装教程混在一起,导致我自己安装时下载下混了。 本…

Windows系统下的Openface安装及使用--亲测有效

一、配置openface所需环境 openface主要依赖于opencv和dlib等工具包,工具包安装可winr进入用户终端下载安装(需要先下载python),或者下载ananconda,创建anaconda虚拟环境安装: pip install opencv-python…

OpenFace简介

推荐 如下博文 https://blog.csdn.net/qq_14845119/article/details/53994607 OpenFace是一个包含了landmark,head pose,Actionunions,eye gaze等功能,并包含训练和检测所有源码的开源人脸框架,论文为,Ope…

Openface的安装和使用

openface的安装与使用 环境:我的电脑是笔记本电脑,win10系统,用的是pycharm和annaconda。 一、首先下载openface安装包,并且安装 1.下载地址:https://codeload.github.com/cmusatyalab/openface/zip/master 2.下载后…

OpenFace学习(1):安装配置及人脸比对

前言 前几天在网上看到了openface(链接),觉得挺有趣就下载配置了一下,稍微修改了一下跑了个demo,效果还是很不错的。这里分享下安装配置的过程以及demo。 简介 openface是一个基于深度神经网络的开源人脸识别系统&a…

“H5移动端App—数据统计分析”项目展示

1、具有切换商城展示功能 2、通过不同的统计图样式分别展示不同的数据

Vant简单H5 web app【小试牛刀】

index.html <!DOCTYPE html> <html><head><meta charset"utf-8"><!--谷歌浏览器&#xff08;手机端&#xff09;顶部颜色--><meta name"msapplication-TileColor" content"#4183fd"><meta name"the…

推荐几个H5、app制作开发工具

我们已经进入移动互联网时代&#xff0c;而app是移动互联网的载体。传统app开发面临成本高、周期长等问题&#xff0c;因此各类快速生成app的工具层出不穷。企业拥有了app才能实现互联网营销和互联网推广。中国有近7000万传统中小型企业&#xff0c;app会帮助这些企业实现互联网…

直接复制php代码制作app,一套免费无代码在线制作APP工具,将APP打包带走

线上营销的火爆离不开人们对APP的依赖&#xff0c;许多小商户已经从很早的时候就开始萌芽出制作APP来为实体店增加生意的想法&#xff0c;然后开发APP对中型企业都是一件成本极高的事情&#xff0c;即便小商户请外包团队需求降到最低&#xff0c;也会产生十几万的费用&#xff…

如何快速成为APP制作、H5制作高手?

App、H5无疑是移动互联网时代的宠儿&#xff0c;无数社交、商业、宣传都在App、H5上实现。掌握App、H5制作技能&#xff0c;无论工作、学习&#xff0c;更胜人一筹。 那么&#xff0c;什么是App呢&#xff1f; App(application的缩写)&#xff0c;即安装在手机上的软件。早期的…

uni-app跨端开发实现APP与H5之间的通讯和交互

最近在研究uni-app跨端开发APP和H5的通讯和交互&#xff0c;比如H5调用APP的方法&#xff0c;APP往H5里面传参&#xff0c;H5往app外面传参。话不多说&#xff0c;上代码&#xff01; html文件放本地的话必须放在项目根目录下的static文件夹 H5调用APP的方法 <!DOCTYPE ht…