openface的导出数据说明,因为自己使用的时候一个一个翻译起来比较麻烦,就自己弄了一个。
原文GitHub地址:https://github.com/TadasBaltrusaitis/OpenFace/wiki/Command-line-arguments
ZD到最后的列:是面部动作编码系统 (FACS) 是一个系统,通过面部外观来分类人面部动作。个别面部肌肉的运动由 FACS 从面部外观的轻微瞬间变化中编码。使用 FACS 可以编写几乎任何解剖学上可能的面部表情的代码,解构到产生该表情的特定动作单元 (AU) 中。客观地描述面部表情是一个常见的标准。
如果 AU 在面部可见(例如AU01_c)
OpenFace 提供这两个分数。对于 AU 1 的存在,输出文件中的列将编码 0 为不存在,1 为不存在。对于 AU 1 的强度,输出文件中的列范围为 0(不存在)、1(以最小强度存在)、5(以最大强度存在),其中连续值介于两者之间。AU01_cAU01_r
请注意,强度和存在预测变量是单独训练和在略有不同的数据集上训练的,这意味着两者的预测可能并不总是一致的(例如,存在模型可以预测 AU 不存在,但强度模型可以预测其值高于 1)。
Frame:帧数,帧号(在序列的情况下)
face_id:人脸ID(如果有多个人脸),不能保证在帧之间保持一致,尤其是在较长的序列中。FaceLandmarkVidMulti
Timestamp:时间戳,以秒为单位处理视频的计时器(如果是序列)
Confidence:追踪者对当前地标检测图像的信心如何
Success: 跟踪是否成功(框架中是否有人脸,或者我们认为跟踪是否良好)
gaze_0_x, gaze_0_y, gaze_0_z: 眼睛0(规范化)的世界坐标中的眼睛凝视方向矢量,眼睛0是图像中的最左眼(将其视为从图像的左眼朝着眼睛凝视的方向发出的光线)
gaze_1_x, gaze_1_y, gaze_1_z: 眼睛1的世界坐标中的眼睛凝视方向矢量(规范化),眼睛1是图像中的最右眼(将其视为从图像的右眼朝着眼睛凝视的方向发出的光线)
凝视方向矢量仅标识凝视的方向。如果您想弄清楚人们在看什么,则需要查看凝视的起点(眼睛的3D位置),并朝凝视矢量的方向投射光线。
gaze_angle_x, gaze_angle_y:在世界坐标中,以弧度表示的眼睛凝视方向是两只眼睛的平均值,并且转换为比凝视矢量更易于使用的格式。如果一个人从左到右看,这将导致gaze_angle_x(从正变为负)的变化;如果一个人从上往下看,则将导致gaze_angle_y(从负变为正)的变化,如果一个人是笔直向前看,两个角度将接近0(在测量误差范围内)。
eye_lmk_x_0, eye_lmk_x_1,... eye_lmk_x55, eye_lmk_y_1,... eye_lmk_y_55:2D眼睛区域地标的位置(以像素为单位)。地标索引可以在下面找到
eye_lmk_X_0, eye_lmk_X_1,... eye_lmk_X55, eye_lmk_Y_0,... eye_lmk_Z_55:3D眼睛区域地标的位置(以毫米为单位)。地标索引可以在下面找到
pose_Tx, pose_Ty, pose_Tz: 头相对于摄像头的位置,以毫米为单位(正Z距摄像头较远)
pose_Rx, pose_Ry, pose_Rz:绕X,Y,Z轴的弧度旋转,约定为左手为正号。可以将其视为俯仰(Rx),偏航(Ry)和横滚(Rz)。旋转以相机为原点的世界坐标中。
R = Rx * Ry * Rz
中的线分别对应于预测行动单位的存在和强度,有关更多详细信息,请参见此处
au intensities(au强度) au occurrences(au发生)
当地标不再以像素值而是毫米为单位时,我们还会报告头部的姿势和凝视(但这需要精确地估计fx,fy,cx,cy。该功能对于相机相同且我们想知道姿势和凝视的批处理图像处理很有用。 。
2D中的地标位置
x_0, x_1, ... x_66, x_67, y_0,...y_67: 2D界标的位置(以像素为单位),界标索引如下所示
3D中的地标位置
X_0, ... X_67, Y_0,...Y_67, Z_0,...Z_67: 毫米的3D地标位置,地标索引如下所示。为了使此准确,需要对fx,fy,cx,cy有好的估计
刚性和非刚性形状参数
点分布模型(PDM)的参数,用于描述刚性面形状(位置,比例和旋转)和非刚性面形状(由于表达和身份引起的变形)。有关更多详细信息,请参见我论文的第4.2章以获取更多详细信息。
p_scale, p_rx, p_ry, p_rz, p_tx, p_ty -PDM的比例,旋转和转换术语
p_0, p_1, ... p_33 -非刚性形状参数
物理数据模型(Physical Data Model,PDM),是指提供系统初始设计所需要的基础元素,以及相关元素之间的关系。
面部行动单位
面部动作单元(AUs)是描述人类面部表情的一种方式,有关动作单元的更多详细信息,请参见此处
需要注意的是AU的是最准确的在一个人的视频,如果有一个范围内观察表情,他们不准确,如FaceLandmarkImg和FaceLandmarkVidMulti
系统可以检测到17个AU的强度(从0到5):
AU01_r, AU02_r, AU04_r, AU05_r, AU06_r, AU07_r, AU09_r, AU10_r, AU12_r, AU14_r, AU15_r, AU17_r, AU20_r, AU23_r, AU25_r, AU26_r, AU45_r
18个AU的存在(0个缺席,1个存在):
AU01_c, AU02_c, AU04_c, AU05_c, AU06_c, AU07_c, AU09_c, AU10_c, AU12_c, AU14_c, AU15_c, AU17_c, AU20_c, AU23_c, AU25_c, AU26_c, AU28_c, AU45_c