DPRNN的学习

article/2025/9/24 4:20:16

可以以非常简单的方式组织任意类型的RNN层(不重要,因为我这里会换成transformer)。

优点:

1.模型更小

2.性能更好(SI-SNR)

模型组成:

首先肯定是encoder和decoder了,一个声音的信号经过编码才会得到这种L*N的形式。

1.Segmentation(分割模块)

把输入分割成重叠的块,再把所有的块连接为3-D张量。

先记住这里有一个点:K=2P(就是对应的划分好了的关系!!!!)

输入W:N*L规格的向量信息,N表示词向量维度特征,L表示时间步长。

把输入分割为一个一个小小的块,每一个块长度为K=2P,其中P为hope size,也就是说是buffer的一半。(50%)

第一个和最后一个块是用0填充的,目的在于:让输入中的所有样本都可以被处理到,而且都是在重叠的地方(头一个P和尾一个P没有数据,这样所有数据都是放在重叠区)如右图:

生成S个相同大小的块。

把S个块信息,综合起来形成了一个3-D张量——N*K(2P)*S

2.Block processing(块处理模块)

分为两个块:intra和inter。每一个模块输入和输出的矩阵维度信息都是相同的。

首先提出了b=1,…,B as 𝑇𝑏∈𝑅𝑁∗𝐾∗𝑆,其中T1=T(上面的输出?)于是重叠成了左边模块最下面的图形。进入intra进行训练,intra是双向的,并且RNN只用于𝑇𝑏的第二维。

(我明白了,所谓的the second dimension,就是除去前面的N维,这个是不变的词向量特征信息(N维向量表示一个词的特征),剩下的KS维度,对于这两层进行处理,而KS就分别代表了intra-chunkinter-chunkRNN的长度信息,表示处理的是块内的还是块间的)

Intra里面RNN输出的信息是𝑈𝑏=[𝑓𝑏𝑇𝑏:,:,𝑖,𝑖=1,…𝑆]:

其中Ub的维度信息是H*K*S,𝑓𝑏(.)是RNN里面定义的mapping 函数(映射函数),𝑇𝑏:,:,:𝑖维度信息是N*K。

维度信息改变了,需要进行归一化和预处理。

FC:线性连接层,用来改变维度信息𝑈𝑏=[𝐺𝑈𝑏:,:,𝑖+𝑚,𝑖=1,…𝑆]:

其中G的维度信息:N*H,就是FC层内的权重分布;m维度信息:N*1,FC层内的偏置项。

LN:LayerNorm归一化层,(简单写一下公式,和BN算法是一致的,多了一个小正数𝜖,用来数值稳定的)

公式:LN𝑈𝑏=𝑈𝑏−𝜇(𝑈𝑏)𝜎𝑈𝑏+𝜖⊙z+r,基本上一模一样。

最后接上一个残差连接。就是输出𝑇𝑏。

Inter里面RNN输出的同样也是和上面一样的,但是公式有所不同,处理的是最后一个维度的信息。

公式:𝑉𝑏=[h𝑏𝑈𝑏:,𝑖,:,𝑖=1,…𝐾]。

后面的步骤是同样的。也有残差连接,但是块间的RNN是单向的,从第一个到最后一个进行扫描。

3.Overlap-Add(重叠相加块)

 𝑇B+1∈𝑅𝑁∗𝐾∗𝑆,作为块处理的结果,进入重叠相加块。把结果转换为顺序输出。

具体机理是,作用于S个块,然后形成一个 𝑄∈𝑅𝑁∗𝐿,作为结果。

参数选择:

K=2P,S=2𝐿/𝐾+1,𝐾+𝑆=𝐾+2𝐿/𝐾+1,K=2𝐿,S≈2𝐿≈𝐾。


http://chatgpt.dhexx.cn/article/PMB8OHRO.shtml

相关文章

drndrn_seg代码

问题: drn文件 import pdb #pdb是 ThePythonDebugger 的缩写,为Python标准库的一个模块。pdb模块规定了一个Python程序交互式源代码调试器,支持在设置断点(包括条件断点),也支持源码级单步调试&#xff…

深度学习——DRD-Net

CVPR2020原论文:Detail-recovery Image Deraining via Context Aggregation Networks 开源代码( tensorflow框架):https://github.com/Dengsgithub/DRD-Net 1.主要工作:提出了双分支去雨网络。一个分支为基于压缩激励…

论文阅读:DRN: A Deep Reinforcement Learning Framework for News Recommendation

文章目录 摘要一、Introduction1、引入原因2、结构框架 二、相关工作1、新闻推荐算法2、推荐中的强化学习3、问题定义 三、实现原理1、模型框架2、特征构造3、深度强化推荐Deep Reinforcement Recommendation4、用户活跃度5、探索 四、实验结果1、数据集2、评价指标3、实验设置…

使用飞桨PaddlePaddle复现用于图像光源处理的深度重照明网络(DRN)

使用飞桨PaddlePaddle复现用于图像光源处理的深度重照明网络(DRN) 一、效果展示二、实现思路冠军模型:Wavelet Decomposed RelightNet (WDRN)经典模型:Norm-Relighting-U-Net (NRUNet)本次项目:Deep Relighting Networ…

弱监督学习框架 Detectron2/DRN-WSOD-pytorch 在服务器/windows上配置安装及使用

最近做弱监督学习研究,进行相关分析。发现Detectron2是一个不错的框架,其中也有model zoo相当多种类的预训练模型可以拿来直接用。但是安装配置使用中碰到了许多坑。跟各位小伙伴们分享。 推荐使用Linux Ubuntu16.04以上版本安装,虚拟机不太…

大话深度残差网络(DRN)ResNet网络原理

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 一说起“深度学习”,自然就联想到它非常显著的特点“深、深、深”(重要的事说三遍),通过很深层次的网络实现…

DRN: A Deep Reinforcement Learning Framework for News Recommendation学习

欢迎转载,请注明出处https://blog.csdn.net/ZJKL_Silence/article/details/85798935。 本文提出了(基于深度Q-learning 的推荐框架)基于强化学习的推荐系统框架来解决三个问题: 1)首先,使用DQN网络来有效建…

【超分辨率】(DRN)Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

论文名称:Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution 论文下载地址:https://arxiv.org/pdf/2003.07018.pdf 论文代码地址:https://github.com/guoyongcs/DRN 但是代码有问题 论文标题: 1…

CNN经典模型:深度残差网络(DRN)ResNet

一说起“深度学习”,自然就联想到它非常显著的特点“深、深、深”(重要的事说三遍),通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此,我们自然很容易就想到:深的网络一般会比浅的网络…

2021-11-11SR-DRN

闭环问题:单张图像超分辨的对偶回归网络(DRN) SR主要是要学习LR和HR之间的某种映射来重建相应的HR图像。 一、SISR存在的两个潜在的问题: 1.学习从LR到HR的映射是一个病态的逆问题。一张LR图像可以对应多张HR图像,也就是说存在…

DNN

文章目录 前向传播从感知机到神经网络DNN的基本结构DNN前向传播算法数学原理 DNN前向传播算法反向传播算法(BP)DNN反向传播算法要解决的问题 DNN反向传播算法的基本思路DNN反向传播算法过程损失函数和激活函数的选择均方差损失函数Sigmoid激活函数的问题使用交叉熵损失函数Sigm…

DRCN神经网络

1 DRCN DRCN(Deeply-Recurisive Convolutional Network),一种利用深度递归卷积网络。DRCN与之前的VDSR都是来自首尔国立大学计算机视觉实验室的工作。该网络将插值后的图像作为输入,并像SRCNN中一样预测目标图像。 该网络分为三个部分&…

DRM(一):什么是DRM

之前说了要一起学习一下与安全紧密相关的业务事项,于是这就开始了。 今天就来看看与版权保护相关的技术:DRM 内容基本上来自:【DRM架构介绍】 还是我推荐的那个号–》内核工匠,确实内容不错,学到很多。 1、DRM是什…

推荐系统强化学习DRN

文章目录 强化学习的基本概念强化学习推荐系统框架强化学习推荐模型的特点 深度强化学习推荐模型中的DQNDRN的学习过程DRN竞争梯度下降算法 强化学习的基本概念 强化学习的基本概念就是一个智能体通过与环境进行交互,不断学习强化自己的智力,来指导自己的…

DRN - 扩张残留网络(图像分类和语义分割)

DRN - 扩张残留网络(图像分类和语义分割) 原标题 | Review: DRN — Dilated Residual Networks (Image Classification & Semantic Segmentation) 作者 | Sik-Ho Tsang 翻译 | had_in(电子科技大学) 编辑 | Pita 本文回顾…

DRN——强化学习与推荐系统结合

强化学习是近年来机器学习领域非常热门的研究话题,它的研究起源于机器人领域,针对智能体在不断变化的环境 中决策和学习的过程进行建模。在智能体的学习过程中,会完成收集外部反馈,改变自身状态,再根据自身状态对下一步的行动进行决策&#x…

【Pytorch深度学习实战】(7)深度残差网络(DRN)

🔎大家好,我是Sonhhxg_柒,希望你看完之后,能对你有所帮助,不足请指正!共同学习交流🔎 📝个人主页-Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…

图像超分辨率 之 DRN 论文解读与感想

图像超分辨率 之 DRN (Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution)论文解读与感想 DRN是在2020年顶会(CVPR)上发表的一篇想法简单,但是结果非常不错的文章。 先来说一下文章的切入点: …

关于CSRF攻击及mvc中的解决方案 [ValidateAntiForgeryToken]

一.CSRF是什么? CSRF(Cross-site request forgery),中文名称:跨站请求伪造,也被称为:one click attack/session riding,缩写为:CSRF/XSRF。 二.CSRF可以做什么&#xff…

CSRF简介

一.CSRF是什么? CSRF(Cross-site request forgery),中文名称:跨站请求伪造,也被称为:one click attack/session riding,缩写为:CSRF/XSRF。 二.CSRF可以做什么&#xf…