Ubantu16.04+CUDA10.0安装mmaction以及提取UCF101的frame和optical flow

article/2025/3/19 10:58:45

Ubantu16.04+CUDA10.0安装mmaction以及提取UCF101的frame和optical flow

研一刚转到视频动作识别方向,因为很多模型都需要光流输入,因此不得不安装第三方库提取光流。尽管现在该领域何凯明大佬的最新成果,Non-Local模块以及SlowFast-Net只用视频帧作为输入,无需光流就能碾压之前所有模型。但是对于视频的抽帧,提取光流,以及标准化为数据集等基本处理是必不可少的。在安装mmaction过程中踩坑无数,甚至有个问题到现在还没解决,所幸还算是安装成功了,至少能用了。【这篇博客好像是CSDN上第一篇关于mmaction安装的文章,希望能给有需要的同行们有一点点帮助】
mmaction安装的主要步骤参照MMACTION_INSTALL.md,接下来将按照这个流程进行记录。

mmaction安装及UCF101视频数据集的处理

  • Ubantu16.04+CUDA10.0安装mmaction以及提取UCF101的frame和optical flow
  • 一、Requirements
  • 二、Install Decord (Optional)
  • 三、Install dense_flow (Optional)
  • 四、Install MMAction
  • 五、Process UCF101
      • 使用mmaction处理UCF101

一、Requirements

Linux
Python 3.5+
PyTorch 1.0+
CUDA 9.0+
NVCC 2+(这个不用特地安装,CUDA自带)
GCC 4.9+
ffmpeg 4.0+
mmcv
Decord
dense_flow

在进行下列安装操作前,请先下载mmaction:

git clone --recursive https://github.com/open-mmlab/mmaction.git

我的安装都是在conda创建虚拟环境下进行的,不会创建虚拟环境的参考conda创建虚拟环境以及相关操作和Linux下系统默认python版本的切换。注意:为了避免不必要的麻烦请在创建虚拟环境时不要另外安装CUDA,就用之前已有的就行,不然环境路径混乱容易出错,而且很难排查。此外,创建虚拟环境时使用的python版本为3.7,并且将其设定为系统默认。

二、Install Decord (Optional)

(1)通过运行以下命令安装所需的软件包:

# 官方PPA随附ffmpeg 2.8,但缺少大量功能,我们在此处使用ffmpeg 4.0
sudo apt-get install -y software-properties-common
sudo add-apt-repository ppa:jonathonf/ffmpeg-4
sudo apt-get update
sudo apt-get install -y build-essential python3-dev python3-setuptools make cmake 
libavcodec-dev libavfilter-dev libavformat-dev libavutil-dev
# 注意:需要安装cmake 3.8或更高版本,如果版本太旧,可以从cmake官方网站进行安装
sudo apt-get install ffmpeg

需要更新cmake版本的请见cmake-3.16.6安装。
(2)从源代码mmaction中构建库:

cd third_party/decord
mkdir build && cd build
cmake .. -DUSE_CUDA=0
make

cmake或者make失败的,请先确认是否按照(1)中更新了cmake版本。倘若与版本无关,可以尝试在前面加sudo再执行。反正我遇到过直接make不行,但是sudo make又成功了。

三、Install dense_flow (Optional)

(1)安装OpenCV=4.1.0
(仅适用于CUDA 10.0)CUDA 9.x应该没有问题。 CUDA 10.0中不推荐使用视频解码器。 要处理此问题,请下载NVIDIA VIDEO CODEC SDK,并将头文件复制到您的cuda路径(例如,/ usr / local / cuda-10.0 / include /)。 请注意,您可能必须以root用户身份执行。

unzip Video_Codec_SDK_9.0.20.zip
cp Video_Codec_SDK_9.0.20/include/nvcuvid.h /usr/local/cuda-10.0/include/
cp Video_Codec_SDK_9.0.20/include/cuviddec.h /usr/local/cuda-10.0/include/
cp Video_Codec_SDK_9.0.20/Lib/linux/stubs/x86_64/libnvcuvid.so /usr/local/cuda-10.0/lib64/libnvcuvid.so.1

NVIDIA VIDEO CODEC SDK官网下载需要付费,网上有资源可以自行下载。
(2)获取用于构建OpenCV 4.1.0的必需软件包

sudo apt-get install -y liblapack-dev libatlas-base-dev
sudo apt-get install -y libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev
sudo apt-get install -y software-properties-common
sudo add-apt-repository ppa:jonathonf/ffmpeg-4
sudo apt update
sudo apt install -y ffmpeg

(2)使用cmake-gui安装OpenCV 4.1.0及OpenCV-contrib4.1.0
直接按照GitHub上步骤安装完出了点问题,还是没法儿用。我就重新使用cmake-gui安装了OpenCV4.1.0和OpenCV-contrib4.1.0,注意这俩版本必须匹配。使用cmake-gui安装的详细步骤参考
cmake-gui安装opencv及opencv-contrib。教程里安装的是3.0+的版本,除了安装包不同,安装步骤完全一致,但是对于cmake-gui的config过程中,各种选项的选择请参考

cmake -DCMAKE_BUILD_TYPE=Release -DWITH_CUDA=ON -DOPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.1.0/modules/ -DWITH_TBB=ON -DBUILD_opencv_cnn_3dobj=OFF -DBUILD_opencv_dnn=OFF -DBUILD_opencv_dnn_modern=OFF -DBUILD_opencv_dnns_easily_fooled=OFF -DOPENCV_ENABLE_NONFREE=ON ..

一个个选择或者反选。这里有的如果cmake-gui界面中没有,可以不管。注意,-DOPENCV_ENABLE_NONFREE = ON被显式设置为启用TSN中提议的扭曲流。 如果您不想使用此参数,则可以跳过此参数以加快编译速度。
(3) 构建dense_flow

cd third_party/dense_flow
# dense_flow dependencies
sudo apt-get -qq install libzip-dev libboost-all-dev
mkdir build && cd build
OpenCV_DIR=../../opencv-4.1.0/build cmake ..
make -j

我在make -j过程中出现了一点点问题,但是直接跳过之后,发现也没有影响使用。到这一步遇到问题的小伙伴在debug无果后,可以尝试跳过。

四、Install MMAction

(1)安装 Cython

cd mmaction
pip install cython 

报错的话 就尝试conda install cython
(2)编译CUDA扩展

./compile.sh

报错的话,请chmod 777 更改文件权限,再执行

(3)Install mmaction

python setup.py develop

至此,安装已经全部结束。

五、Process UCF101

参考DATASET.md以熟悉数据准备,参考GETTING_STARTED.md以使用MMAction。

使用mmaction处理UCF101

根据Preparing UCF-101能够完成对UCF101的抽帧提取光流。在下载annotations和video过程中,报错说网页证书无法验证,加–no-check-certificate也没用。因此这两步建议手动下载。分享一下数据集处理过程:
在这里插入图片描述
可以看到是使用了4块GPU进行加速的。想光用CPU跑的建议放弃,别浪费时间。

在这里插入图片描述
各个动作类别视频的处理结果被分别放到一个文件夹中,包含内容为:x方向上的光流flow_x、y方向上的光流flow_y以及相应的RGB帧。
在这里插入图片描述


http://chatgpt.dhexx.cn/article/iRBbMam8.shtml

相关文章

UCF101视频分类之CNN-LSTM-Code总结

harvitronix/five-video-classification-methods视频分类-Code总结 环境要求准备工作提取视频帧CNN提取视频帧特征LSTM验证模型扩展 Code: https://github.com/harvitronix/five-video-classification-methods. 环境要求 requirements: Keras>2.0.2 numpy>1.12.1 pand…

使用Pytorch实现UCF101视频分类

开源代码:https://github.com/jfzhang95/pytorch-video-recognition 系统:Ubuntu16.04 显卡1070 编译器:pycharm UCF数据集包括101类视频,分别是: 1 ApplyEyeMakeup 2 ApplyLipstick 3 Archery 4 BabyCrawling 5 B…

动作识别0-02:mmaction2(SlowFast)-官方数据训练测试-ucf101

以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:17575010159 相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。…

01【C3D 行为识别】项目下载 环境配置 数据集转化视频帧 UCF101数据集处理

目录 一,创建实例二,环境的快速搭建三,UCF101数据集处理3.1 准备视频文件3.2 下载标注文件3.3 抽取视频帧3.4 生成文件列表最后结构 四,参考 【C3D 行为识别】总目录 实战 复现代码解析自定义数据集 B站视频: https:/…

我的AI之路(52)--如何制作自己的UCF101数据集

前面说过如何用自己的UCF101数据集训练3D识别模型video-caffe,那么怎么制作自己的UCF101数据集呢?这个稍微有点复杂。 UCF101数据集其实是按101个动作类别分类了的短视频的集合,每类动作对应一个目录,每个目录下有很多avi格式的视…

时空行为检测数据集 JHMDB UCF101_24 详解

文章目录 0. 前言1. JHMDB1.1. 基本情况1.2. 数据准备以及标签详解 2. UDF101_242.1. 基本情况2.2. 数据准备与标签详解 3. 数据集可视化代码 0. 前言 现在常用的时空行为检测数据集只有AVA/JHMDB/UCF101_24。 AVA数据集是每一秒标一帧,更多信息可以参考我的笔记。…

行为识别TSM训练ucf101数据集

序言 最近有个行为检测的需求,打算用行为识别做,纯小白入这个方向,啃了两周的TSM原理和源码,训练好自己的数据集后,发现好像没法应用到自己的需求场景??玛德!算了,还是要…

UCF101数据集处理

UCF101数据集处理 在复现动作识别类的算法时,常需要用到数据集。ucf101就是其中一个。 之前复现代码时所用的ucf101数据集是直接将原数据集中的视频处理成图片。数据集目录如下: UCF101/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01/img_00001.jpg (此时通过…

深度学习视频数据集(动作识别):UCF-101

UCF-101 官网:https://www.crcv.ucf.edu/research/data-sets/ucf101/ 网盘:链接:https://pan.baidu.com/s/1RsJuykWyUlQ4_c1TwqxR_Q 提取码:909g 官方解释 UCF101是一个现实动作视频的动作识别数据集,收集自YouTub…

UCF101数据集提取帧+TDN部署(Anaconda+Python3.7+Pytorch)

UCF101数据集提取帧TDN部署(AnacondaPython3.7Pytorch) 前言一、安装MMAction21.引入库2.环境搭建3.安装4.准备原始数据集5.制作视频提取帧数据集 二、部署TDN1.引入库2.读入数据3.训练模型4.查看结果 本人实测结果 前言 将TDN部署在个人电脑上&#xf…

UCF101动作识别数据集简介绍及数据预处理

文章目录 一、数据集简介:二、数据集获取及解压缩:1. 数据下载2. 数据集解压缩: 三、数据集划分四、数据集预处理1. 生成pkl文件2. 直接对视频文件处理 一、数据集简介: UCF101是一个现实动作视频的动作识别数据集,收…

【Java】内部类的定义

目录 一、前言 二、内部类 语法格式: static修饰内部类 内部类未被static修饰时: 内部类被static修饰后 演示操作: 一、前言 前面我们学习了一个小的项目,现在我们来学习新的知识点,关于内部类的描述&#xff0…

Java类的定义、声明及使用

1、 class 类名称{属性方法} 2、声明一个类需要通过一个关键字class 3、类与对象的关系 1)类是对某一类事物的描述,是抽象的、概念上的意义,对象是实际存在的该类事物的每一个个体,也被称为实例。 package classdemo; class …

C#类的定义

在C#语言中创建的任何项目都有类的存在,通过类能很好地体现面向对象语言中封装、继承、多态的特性。 类的访问修饰符:用于设定对类的访问限制,包括 public、internal 或者不写,用 internal 或者不写时代表只能在当前项目中访问类…

C#类的定义和声明及使用

类的定义 类的成员 } 例如,以水果为例来声明一个类,代码如下:在 C# 语言中创建的任何项目都有类的存在,通过类能很好地体现面向对象语言中封装、继承、多态的特性。 简单的来说,在C#编程里,类是一种数据结…

(27)python类的定义和使用

面向对象初步 面向对象(Object oriented Programming,OOP)编程的思想主要是针对大型软件设计而来的。面向对象编程使程序的扩展性更强、可读性更好,使的编程可以像搭积木一样简单。 面向对象编程将数据和操作数据相关的方法封装…

类的认识和定义

前言 C为啥要引入类这个概念呢,以C实现栈为例说明。 typedef int STDataType; typedef struct Stack { . . . .int top; . . . .STDataType* data; . . . .int capacity; }Stack; void StackInit(Stack* ps); //栈的初始化 void StackDestory(Stack* ps); //栈的销…

Python类的定义

类的定义:我们把对象比作一个“饼干”,类就是制造这个饼干的模具。通过类定义数据类型的属性和方法,也就是说,“类将行为和状态打包在一起”。 类的结构 方法(函数)..............行为 属性(…

java类的定义

目录 一、概念二、使用1.成员变量2.成员方法3.权限修饰符4.静态方法 三、重写toString方法 一、概念 我们不能将一个事物称之为一类事物,例如一只鸟我们不能称为鸟类,但是我们需要给一类事物统称,例如大雁,麻雀,燕子&…

C++ 类的定义与使用

十二、类与对象 对象:就是我们生活中的具体事物,看得见摸得到,有一定的属性和行为或操作方式 面向对象:是一种软件的开发方法,对象所指的是计算机系统中的某一个成分。在面向对象程序设计中,对象包含两个…