我们是如何听见声音的

article/2025/8/22 5:22:06

目录

1. 言语链

2. 听觉器官

3. 听觉的机理

4. 听觉掩蔽

4.1 频域掩蔽

4.2 时域掩蔽

5. 听学模型

5.1 感知线性预测模型

5.2 Seneff听觉模型


了解人类是如何听见语音和感知语音有助于我们研究如何去表征语音信号本身,以及更好的设计语音信号处理系统。

1. 言语链

言语链将语言交流过程分为语言学层面、生理学层面和声学层面,即

具体而言,言语链包含以下过程:

  • 语音的产生

  • 对说话人的听觉反馈

  • 语音的传输

  • 语音感知和被收听者理解

2. 听觉器官

听觉器官是耳,如上图所示,而我们具有两个耳朵可以完成以下功能:

  • 声音定位:根据双耳效应,依靠双耳间的音量差、时间差和音色差判别声音方位的效应。

  • 声音消除:根据双耳掩蔽极差,利用双耳听觉可有意识地注意倾听来自某一方向的声音信号,而排除其他噪声的干扰,也称为鸡尾酒会效应。

听觉器官中需要着重讲一下耳蜗,它是由基底膜分隔的充满液体的腔室,听神经通过内部毛细胞连接至基底膜,耳蜗入口处的机械振动会产生驻波,从而导致基底膜在与输入声波频率(共振峰)相对应的频率处以及在基底膜上与这些频率相关的某个位置振动。我们将耳蜗展开,如下图所示。

不同频率的振动引起的基底膜不同形式的行波传播,主要由基底膜的某些物理性质决定的。基底膜愈靠近底部,共振频率愈高,愈靠近顶部,共振频率愈低;这就使得低频振动引起的行波在向顶部传播时阻力较小,而高频振动引起的行波只局限在底部附近。

3. 听觉的机理

耳具体可以分为外耳,中耳和内耳,听觉产生的过程中它们的功能分别为:

  • 外耳:外耳收集声音并送入耳道

  • 中耳:在中耳中,声波撞击鼓膜,并通过一些列操作将声波转化为内耳的机械振动

  • 内耳:耳蜗是由基底膜分隔充满液体的腔室,将声压信号转换为电脉冲,然后通过听觉神经传递到大脑

我们将上述过程抽象一下,得到如下图所示的模型。

 

4. 听觉掩蔽

听觉掩蔽是由于某些声音存在导致其他声音而变得不那么清晰甚至无法听见,包括频域掩蔽和时域掩蔽。

4.1 频域掩蔽

频域掩蔽:频率接近时,分贝特别高的声音会把临近的分贝低的掩蔽

 

 

4.2 时域掩蔽

时域掩蔽:在持续的一段时间内,声音高的会把声音低的掩蔽. 而且高声音会把前面 50ms 的低声音和后面 100ms 的低声音掩蔽.

5. 听学模型

一般声学模型应该包含以下部分:

  • 非线性频率尺度的频谱分析

  • 频谱幅值压缩

  • 响度压缩

  • 根据等响曲线降低频率过高或者过低部分的灵敏度

  • 较长间隔的时域特征

  • 音调临界频带内的音调或噪声的听觉掩蔽

下面介绍两种常见的声学模型,感知线性预测(Perceptual Linear Prediction,PLP)模型和Seneff听觉模型。

5.1 感知线性预测模型

感知线性预测模型流程如下图所示。PLP模型采用变带宽梯形滤波器的Bark频率尺度进行临界带谱分析,非对称滤波器高频截止时斜率为25 dB/Bark ,低频截止时斜率为10dB/Bark;利用等响曲线近似人的听觉对信号对不同频率分量设定不同的灵敏度;利用声强与感知响度之间的非线性关系和三次根压缩法对频率处理;一种基于五阶分析的自回归全极点模型,可以对频带进行比临界频带更广泛的集成

5.2 Seneff听觉模型

Seneff听觉模型流程如下图所示。第1阶段对语音进行预处理以消除非常低和非常高的频率分量,然后使用40个Bark滤波器处理。第二阶段通过半波整流,短期适应,同步减少和快速自动增益控制等过程,对内部毛细胞,突触和神经纤维的组合的(概率)行为进行建模。神经纤维输出是一组随时间推移发射的概率。第三阶段利用激发概率信号提取与感知有关的信息。包络检测器估算平均速率谱,同步检测器实现神经纤维的锁相特性,从而增强共振峰处的谱峰并跟踪动态谱变化。

 


 

参考文献:

[1]. 孔繁之,生理学

[2]. UCBS, Digital Speech Process

[3].  胡航, 语音信号处理

                                                                           语音信号处理交流群:  652292630         

                                     


http://chatgpt.dhexx.cn/article/E1D2DbxE.shtml

相关文章

《听--海的声音》项目

《听 – 海的声音》 一.项目简介 该项目是一个类似于喜马拉雅听书项目的一个简化版,实现了能够在线听歌,用户能够上传歌曲,用户能够录制歌曲等相关的一些功能。 二.模块 该项目一共分为了两大模块,一类是游客模块,…

html5 video标签播放视频流解决方案

项目要求从文件服务器读取音视频文件,以流的方式传给前台,并能够播放视频。 做了一个demo,用html5的video,audio标签实现。 后台实现代码: GetMapping(value "/getVideos") public String getVideos(Htt…

video 标签

一&#xff0c;video介绍 1&#xff0c;在H5之前要想在网页中播放视屏&#xff0c;需要相关的插件&#xff0c;例如flash。H5集成了视频组件video&#xff0c;可以轻松的在网页上添加视频。 2.在 <video></video> 标签中间的内容&#xff0c;是针对浏览器不支持此…

video标签样式属性设置

<!--初始标签--><video controls"controls"><source src"~/Content/Images/74d6af65-41f5-4be4-ba3d-e63b90107100.mp4" type"video/mp4" /></video>效果图 css隐藏一些视频操作 /*播放按钮*/video::-webkit-media-con…

h5 video标签

h5 video标签&#xff1a; Video 对象属性 属性描述audioTracks返回表示可用音频轨道的 AudioTrackList 对象。autoplay *设置或返回是否在就绪&#xff08;加载完成&#xff09;后随即播放视频。buffered返回表示视频已缓冲部分的 TimeRanges 对象。controller 返回表示视…

video标签和source标签

介绍 < video >元素用于在HTML或者XHTML文档中嵌入媒体播放器&#xff0c;用于支持文档内的视频播放。 < source >元素为< picture >,< audio >或者< video >元素指定多个媒体资源 video标签常见属性 autoplay 如果出现该属性&#xff0c;则…

html video标签播放直播视频,HTML5 Video 标签播放及控制视频

Video 是 HTML5 中新增的标签,使用 Video 标签可以播放 ogg、mp4、webm 等格式的视频,Video 标签的引入,减少前端页面对 Flash 动画的依赖。 0x0 预备知识 不同的浏览器支持的视频格式可能不同,以下是摘自 W3School 各个浏览器对三种视频格式的支持情况: 浏览器对视频格式…

html5 video css样式修改,htmlvideo标签用法

HTML5中 使用video标签 播放本地视频 JS&#xff1a; 在test.html页面&#xff0c;使用button标签创建四个按钮&#xff0c;分别是播放/暂停、大、中、小&#xff0c;用于控制视频的播放效果。同时&#xff0c;使用video标签创建一个视频。 网页设计中html5的video 标签如何写…

css video 样式,使用CSS修改 video 标签默认样式

使用CSS修改 video 标签默认样式 时间:2019-11-08 17:42:14 来源: 作者: 效果展示: 1、模拟直播,去除进度条、当前观看时间,剩余时间。 效果: 2、去除 video 标签全部控件 效果: Tags:CSS 点击:() 评论:() 声明:本站部分内容及图片来自互联网,转载是出于传递更多信…

video标签的使用

记录工作中的问题 需求&#xff1a;播放前自定义图片&#xff0c;添加遮罩&#xff0c;添加暂停按钮&#xff0c; 且不显示功能区。点击播放开始显示功能区。左右切换视频需要乱序重排&#xff0c;隐藏掉转发, 点击回到顶部等 左右切换&#xff1a; 播放前&#xff1a; 开始播…

有刷电机,无刷电机和电调的总结

有刷直流电机工作原理 &#xff1a; 有刷直流电机的主要结构就是定子转子电刷&#xff0c;通过旋转磁场获得转动力矩&#xff0c;从而输出动能。电刷与换向器不断接触摩擦&#xff0c;在转动中起到导电和换相作用。 有刷直流电机采用机械换向&#xff0c;磁极不动&#xff0c;…

BLDC无刷直流电机驱动电路-硬石电子

1.BLDC无刷直流电机驱动电路&#xff0c;因为BLDC是三相完全一样的驱动电路&#xff0c;下图为其中一相电路图&#xff0c;其他两相完全一样。 主要元器件&#xff1a; 高速光耦&#xff1a;TLP715 MOS管驱动IC&#xff1a;IR2110S MOS&#xff1a;IRF540NS D7和C13为自举电路…

涨知识:直流无刷电机的控制方式

目前直流无刷电机的控制主要分两大类&#xff1a;方波控制&#xff08;梯形波控制&#xff09;与正弦波控制&#xff0c;本文PEKEW派酷就具体解说一下这两种控制方式&#xff1a; 1&#xff09;方波控制 通过霍尔传感器获得电机转子的位置&#xff0c;然后根据转子的位置在36…

【零基础玩转BLDC系列】基于反电动势过零检测法的无刷直流电机控制原理

无刷直流电动机基本转动原理请参考《基于HALL传感器的无刷直流电机控制原理》&#xff0c;基本原理及基础知识本篇不再赘述。 目录 反电势过零检测法的原理 反电势过零检测实现方法 位置传感器的存在限制了无刷直流电机在某些特定场合中的应用&#xff0c;如&#xff1a;使电…

无刷电机与驱动

直流无刷电机 【自制FOC驱动器】深入浅出讲解FOC算法与SVPWM技术 | 稚晖的个人站 写得很清晰 机器人硬件三大核心部件&#xff08;电机、减速器、驱动器&#xff09; 照这样看来&#xff0c;直流电机驱动和无刷电机驱动完全不是一个维度的。 直流电机驱动都不用去管电机换…

无刷直流电机的PWM调制方式介绍

无刷直流电机的PWM调制方式介绍 (2014-01-03 15:35:28) 转载▼ 标签&#xff1a; 无刷直流电机 pwm调制方式 bldc驱动方案 原文&#xff1a;http://blog.sina.com.cn/s/blog_ae3ebe120101cutd.html 三相无刷直流电机的调制方式&#xff1a;方波120度脉宽调制(120D…

【零基础玩转BLDC系列】基于霍尔传感器的无刷直流电机控制原理

无刷直流电机&#xff08;Brushless Direct Current Motor, 简称BLDC&#xff09;采用电子开关电路来代替直流电机的机械换向器或电刷进行换向&#xff0c;提高了控制系统的可靠&#xff0c;性能上相较一般的传统直流电机有很大优势。无刷直流电机是永磁同步电机的一种&#xf…

无刷直流电动机矢量控制(二)——无刷直流电机的工作原理及其内部结构

相信很多同学刚开始学习无刷直流机的时候&#xff0c;都比较困惑其具体的工作原理&#xff0c;在这里一起梳理一下。&#xff08;本文图片来源于飞思卡尔公司技术文档PZ104&#xff09; 1 BLDC工作原理 首先我们看上面这张图&#xff0c;当两头线圈通电的时候&#xff0c;根据…

无刷电机控制

电机控制 常见的几种电机&#xff1a;直流有刷电机&#xff0c;直流无刷电机&#xff0c;步进电机&#xff0c;伺服电机&#xff0c;舵机。 有刷电机的主要结构是定子&#xff0c;转子&#xff0c;点数&#xff0c;通过旋转磁场获得力矩&#xff0c;获得动能&#xff0c;电刷…

BLDC无刷直流电机

视频1摘要&#xff1a; BLDCs的内部工作原理&#xff1b;如何使用Simscape Electrical在Simulink中模拟BLDC™ 并研究其反电势电压的形状&#xff1b;如何使用六步换向&#xff08;梯形控制&#xff09;控制无刷直流电动机&#xff1b;无刷直流电动机和永磁同步电动机通常分别…