UCF101视频分类之CNN-LSTM-Code总结

article/2025/3/19 9:59:10

'harvitronix/five-video-classification-methods'视频分类-Code总结

  • 环境要求
    • 准备工作
      • 提取视频帧
      • CNN提取视频帧特征
      • LSTM
        • 验证模型
          • 扩展

Code: https://github.com/harvitronix/five-video-classification-methods.

环境要求

requirements:

Keras>=2.0.2
numpy>=1.12.1
pandas>=0.19.2
tqdm>=4.11.2
matplotlib>=2.0.0
Pillow>=2.1.0
h5py>=2.7.0

项目文件目录概览:
在这里插入图片描述

准备工作

1)下载UCF101数据集压缩包并减压至data文件夹。
2)在data文件夹创建train、test 、sequences、checkpoints四个文件。

提取视频帧

1、UCF101数据集是由101类视频组成的,首先通过运行1_move_files.py将101类视频按照ucfTrainTestlist文件夹下的数据标签将101视频分别移至train、test文件夹。

Lable:
在这里插入图片描述
这里有个坑!!
1_move_files.py 第58行:

            if not os.path.exists(filename):print("Can't find %s to move. Skipping." % (filename))continue# Move it.dest = os.path.join(group, classname, filename)print("Moving %s to %s" % (filename, dest))os.rename(filename, dest)print("Done.")

未将UCF101数据集读取!
在这里插入图片描述
修改后的代码:

  			filename_input = os.path.join('UCF-101', classname, filename)if not os.path.exists(filename_input):print("Can't find %s to move. Skipping." % (filename))continue# Move it.dest = os.path.join(group, classname, filename)print("Moving %s to %s" % (filename, dest))os.rename(filename_input, dest)print("Done.")

2、现在通过运行2_extract_files.py提取train、test文件夹中视频的视频帧,并生成一个CSV文件 。该CSV文件为之后特征提取及网络训练时数据读取提供帮助:

    def get_data():"""Load our data from file."""with open(os.path.join('data', 'data_file.csv'), 'r') as fin:reader = csv.reader(fin)data = list(reader)return data

CNN提取视频帧特征

通过运行extract_features.py提取视频帧特征。

seq_length = 40
class_limit = 101

seq_length:每个视频段考虑的视频帧数目
class_limit:限制分类数
举个例子:一个视频段input_list有240帧,seq_length = 40,首先判断input_list是否大于seq_length即 assert len(input_list) >= seq_length。然后将input_list与seq_length做地板除即: skip = len(input_list) // size,本例中skip = 6,即每隔6帧从input_list中取一帧以列表的形式保存到output即:output = [input_list[i] for i in range(0, len(input_list), skip)],最终取得40帧。

 def rescale_list(input_list, size):assert len(input_list) >= sizeskip = len(input_list) // sizeoutput = [input_list[i] for i in range(0, len(input_list), skip)]return output[:size]

在Imagenet上预训练好的InceptionV3卷积网络提取这40帧特征作为该视频段的特征。并将特征保存在sequences文件夹,numpy会自动在末尾添加 .npy

path = os.path.join('data', 'sequences', video[2] + '-' + str(seq_length) + \'-features')

LSTM

将提取到的序列特征送入LSTM网络进行训练。通过运行 train.py生成 .hdf5文件,并将模型保存到checkpoints文件夹,并且会在logs文件夹生成一个 .log 训练日志文件,用来可视化训练过程中acc与loss的变化。

获取由CNN提取的序列特征:

 def get_extracted_sequence(self, data_type, sample):"""Get the saved extracted features."""filename = sample[2]path = os.path.join(self.sequence_path, filename + '-' + str(self.seq_length) + \'-' + data_type + '.npy')if os.path.isfile(path):return np.load(path)else:return None

LSTM网络模型:

    def lstm(self):model = Sequential()model.add(LSTM(2048, return_sequences=False,input_shape=self.input_shape,dropout=0.5))model.add(Dense(512, activation='relu'))model.add(Dropout(0.5))model.add(Dense(self.nb_classes, activation='softmax'))return model

用来可视化训练过程的plot_trainlog.py:

import csv
import matplotlib.pyplot as pltdef main(training_log):with open(training_log) as fin:reader = csv.reader(fin)next(reader, None)  # skip the headeraccuracies = []Val_acc = []cnn_benchmark = []  # this is ridiculousfor epoch,acc,loss,val_acc,val_loss in reader:accuracies.append(float(acc))Val_acc.append(float(val_acc))cnn_benchmark.append(0.65)  # ridiculousplt.plot(accuracies)plt.plot(Val_acc)plt.plot(cnn_benchmark)plt.show()if __name__ == '__main__':training_log = 'data/logs/lstm-training-1617251893.3342032.log'main(training_log)

绿线:cnn_benchmark
橘黄线:Val_acc
蓝线:accuracies
在这里插入图片描述

验证模型

通过运行validate_rnn.py将保存在checkpoints文件夹的模型加载进来验证模型准确度。结果如图:
在这里插入图片描述

扩展

若要将一段视频进行分段处理,十帧作为一个序列,首先送入CNN提取基础特征,后送入LSTM提取时间-空间特征,会遇到什么问题?能否完成视频分段任务?是否过拟合?模型鲁棒性如何?


http://chatgpt.dhexx.cn/article/UO4DKstf.shtml

相关文章

使用Pytorch实现UCF101视频分类

开源代码:https://github.com/jfzhang95/pytorch-video-recognition 系统:Ubuntu16.04 显卡1070 编译器:pycharm UCF数据集包括101类视频,分别是: 1 ApplyEyeMakeup 2 ApplyLipstick 3 Archery 4 BabyCrawling 5 B…

动作识别0-02:mmaction2(SlowFast)-官方数据训练测试-ucf101

以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:17575010159 相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。…

01【C3D 行为识别】项目下载 环境配置 数据集转化视频帧 UCF101数据集处理

目录 一,创建实例二,环境的快速搭建三,UCF101数据集处理3.1 准备视频文件3.2 下载标注文件3.3 抽取视频帧3.4 生成文件列表最后结构 四,参考 【C3D 行为识别】总目录 实战 复现代码解析自定义数据集 B站视频: https:/…

我的AI之路(52)--如何制作自己的UCF101数据集

前面说过如何用自己的UCF101数据集训练3D识别模型video-caffe,那么怎么制作自己的UCF101数据集呢?这个稍微有点复杂。 UCF101数据集其实是按101个动作类别分类了的短视频的集合,每类动作对应一个目录,每个目录下有很多avi格式的视…

时空行为检测数据集 JHMDB UCF101_24 详解

文章目录 0. 前言1. JHMDB1.1. 基本情况1.2. 数据准备以及标签详解 2. UDF101_242.1. 基本情况2.2. 数据准备与标签详解 3. 数据集可视化代码 0. 前言 现在常用的时空行为检测数据集只有AVA/JHMDB/UCF101_24。 AVA数据集是每一秒标一帧,更多信息可以参考我的笔记。…

行为识别TSM训练ucf101数据集

序言 最近有个行为检测的需求,打算用行为识别做,纯小白入这个方向,啃了两周的TSM原理和源码,训练好自己的数据集后,发现好像没法应用到自己的需求场景??玛德!算了,还是要…

UCF101数据集处理

UCF101数据集处理 在复现动作识别类的算法时,常需要用到数据集。ucf101就是其中一个。 之前复现代码时所用的ucf101数据集是直接将原数据集中的视频处理成图片。数据集目录如下: UCF101/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01/img_00001.jpg (此时通过…

深度学习视频数据集(动作识别):UCF-101

UCF-101 官网:https://www.crcv.ucf.edu/research/data-sets/ucf101/ 网盘:链接:https://pan.baidu.com/s/1RsJuykWyUlQ4_c1TwqxR_Q 提取码:909g 官方解释 UCF101是一个现实动作视频的动作识别数据集,收集自YouTub…

UCF101数据集提取帧+TDN部署(Anaconda+Python3.7+Pytorch)

UCF101数据集提取帧TDN部署(AnacondaPython3.7Pytorch) 前言一、安装MMAction21.引入库2.环境搭建3.安装4.准备原始数据集5.制作视频提取帧数据集 二、部署TDN1.引入库2.读入数据3.训练模型4.查看结果 本人实测结果 前言 将TDN部署在个人电脑上&#xf…

UCF101动作识别数据集简介绍及数据预处理

文章目录 一、数据集简介:二、数据集获取及解压缩:1. 数据下载2. 数据集解压缩: 三、数据集划分四、数据集预处理1. 生成pkl文件2. 直接对视频文件处理 一、数据集简介: UCF101是一个现实动作视频的动作识别数据集,收…

【Java】内部类的定义

目录 一、前言 二、内部类 语法格式: static修饰内部类 内部类未被static修饰时: 内部类被static修饰后 演示操作: 一、前言 前面我们学习了一个小的项目,现在我们来学习新的知识点,关于内部类的描述&#xff0…

Java类的定义、声明及使用

1、 class 类名称{属性方法} 2、声明一个类需要通过一个关键字class 3、类与对象的关系 1)类是对某一类事物的描述,是抽象的、概念上的意义,对象是实际存在的该类事物的每一个个体,也被称为实例。 package classdemo; class …

C#类的定义

在C#语言中创建的任何项目都有类的存在,通过类能很好地体现面向对象语言中封装、继承、多态的特性。 类的访问修饰符:用于设定对类的访问限制,包括 public、internal 或者不写,用 internal 或者不写时代表只能在当前项目中访问类…

C#类的定义和声明及使用

类的定义 类的成员 } 例如,以水果为例来声明一个类,代码如下:在 C# 语言中创建的任何项目都有类的存在,通过类能很好地体现面向对象语言中封装、继承、多态的特性。 简单的来说,在C#编程里,类是一种数据结…

(27)python类的定义和使用

面向对象初步 面向对象(Object oriented Programming,OOP)编程的思想主要是针对大型软件设计而来的。面向对象编程使程序的扩展性更强、可读性更好,使的编程可以像搭积木一样简单。 面向对象编程将数据和操作数据相关的方法封装…

类的认识和定义

前言 C为啥要引入类这个概念呢,以C实现栈为例说明。 typedef int STDataType; typedef struct Stack { . . . .int top; . . . .STDataType* data; . . . .int capacity; }Stack; void StackInit(Stack* ps); //栈的初始化 void StackDestory(Stack* ps); //栈的销…

Python类的定义

类的定义:我们把对象比作一个“饼干”,类就是制造这个饼干的模具。通过类定义数据类型的属性和方法,也就是说,“类将行为和状态打包在一起”。 类的结构 方法(函数)..............行为 属性(…

java类的定义

目录 一、概念二、使用1.成员变量2.成员方法3.权限修饰符4.静态方法 三、重写toString方法 一、概念 我们不能将一个事物称之为一类事物,例如一只鸟我们不能称为鸟类,但是我们需要给一类事物统称,例如大雁,麻雀,燕子&…

C++ 类的定义与使用

十二、类与对象 对象:就是我们生活中的具体事物,看得见摸得到,有一定的属性和行为或操作方式 面向对象:是一种软件的开发方法,对象所指的是计算机系统中的某一个成分。在面向对象程序设计中,对象包含两个…

4.类的定义,变量类型,方法类型

文章目录 1.类的概念1.1 如何创建一个类1.2 如何定义一个类1.2.1变量1.2.2 方法 2.对象3.类定义使用实例4.理解类和对象的关系4.1.一个java程序和类之间的关系 5.细节知识分析5.1.类与类的关系5.2.变量和变量区别5.3.方法的区别5.4.类方法和类变量的特点 1.类的概念 类java是基…