我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:财神爷心水论坛 > 非零值 >

第三章 语音信号的特征分析幻灯片ppt

归档日期:06-25       文本归类:非零值      文章编辑:爱尚语录

  1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。

  第三章 语音信号的特征分析 语音信号的数字化 语音信号的短时分析与短时处理的概念 语音信号的时域特征分析 语音信号的频率特征分析 语音信号的同态解卷与倒谱分析 端点检测、语音分割与基频估计 3.1 语音信号的数字化 模拟语音信号在时间与幅度上的二重连续性 时间上离散化:每秒钟需要采集多少个声音样本, 也就是采样频率(fs)是多少, 幅度上离散化:每个声音样本的位数(bit per sample,bps) 应该是多少,也就是量化精度。 奈奎斯特采样定理:fs 2 fmax 窄带语音信号: fs =8000Hz 电话语音(固网电线Hz) 可以基本保持语义,不影响人对语音的感知 质量不是很好,有时候会有变音 宽带语音信号:fs =16000Hz 一般对语音质量要求较高的场合 再提高采样频率也不会对语音质量有太多贡献 量化所用比特越大,声音质量越好 声音质量也跟量化算法有关,比如同样用8bit量化,非均匀量化(μ-律或A-律)就比均匀量化好很多 固网电话语音量化就是用的非均匀量化 3.2 语音信号的短时分析 语音分析是语音信号处理的前提和基础; 分析的目的是提取需要的信息,获取特征表示参数; 短时分析 语音是一个时变信号 语音的短时平稳特性,在10~30ms时间段内相对平稳 预滤波 预滤波的目的 防止混叠干扰 抑制50Hz的电源干扰 预滤波实际上是一个带通滤波器,其上下截止频率分别为fH和fL 。 对于电话语音编码器而言,要求fH=3400Hz, fL=60~100Hz, fs=8KHz. 对于语音识别系统而言,用于电话用户时要求技术指标与语音编码器相同,如果对于更高的要求场合,则fH=4500Hz或8000Hz, fL=60Hz, fs=10KHz或20KHz 帧和加窗的概念 短时分析将语音流分为一段一段来处理,每一段称为一“帧”; 帧长:10~30; 帧移:0~1倍帧长,帧与帧之间的平滑过渡; 语音识别中常用的帧长为20~30ms,帧移为10ms 为了减小语音帧的截断效应,需要加窗处理; 几种不同的窗函数波形与频谱的比较 不同的窗选择,将决定短时语音分析结果的好坏 首先是窗的长度,无论什么形状的窗,长度N将起决定性的作用。 N选得太大,不能保证每一帧的语音的平稳特性 N太小,不能保证信号的统计特性,容易产生统计噪声 对于频域分析而言,窗长N还直接决定了信号频谱的分辨率 对于语音信号,通常帧长应选择为一个语音帧包含有至少2个基音周期为好。人的语音的基音周期值是变化的,从女性小孩的2ms到老年男子的14ms(即基音频率为500Hz至70Hz),所以N的选择是比较困难的。通常折衷的选择N为20~30ms。若采用频率为10KHz,则相当于每帧的长度(即窗口序列的长度)约为200~300点为宜。若采样频率为8KHz,相当于160~240点 其次是窗口的形状,不同的窗,其频率特性是不一样的,这在短时频域分析时尤为重要。 窗函数频谱的主瓣与旁瓣 主瓣: 主瓣宽度控制频谱分析的频率分辨率,主瓣越窄,频率分辨率越高 矩形窗的主瓣宽度 = fs/N hamming窗的主瓣宽度 约为 2fs/N 旁瓣: 旁瓣的高度决定了对临近频率成分的干扰抑制能力,高度越低,抑制干扰能力越强 矩形窗: 主瓣高度 - 第一个旁瓣高度 ≈ 13dB hamming窗: 主瓣高度 - 第一个旁瓣高度 40dB 旁瓣高度跟窗长N 无关 窗函数及其比较 三种窗函数都有低通特性,通过分析三种窗的频率响应幅度特性可以发现: 矩形窗的主瓣宽度最小分辨率最高,旁瓣高度最高,会导致泄漏现象,哈明窗的主瓣最宽,分辨率低(可以通过适当提高窗长解决),旁瓣高度最低,可以有效的克服泄漏现象,具有更平滑的低通特性,应用更广泛。 3.3 语音信号的时域特征分析 短时能量 短时平均幅度 短时过零率 短时自相关函数 短时平均幅度差函数 语音信号的短时能量(语音信号强度的度量参数) 语音信号x(n)的短时能量(假定加长度为N的窗)可以表示为 若加的是矩形窗 则 短时平均能量的主要用途 可以从语音中区别出浊音来,因为浊音时短时平均能量的值要比清音时短时平均能量的值大很多; 可以用来区别声母和韵母的分界、无声和有声的分界等 语音信号的短时平均幅度 语音信号的短时过零率 过零就是指信号通过零值。过零率(zero-crossing rate)就是每秒内信号值通过零值的次数。 对于离散时间序列,过零则是指序列取样值改变符号,过零率则是每秒内信号样本改变符号的次数。对于语音信号,则是指在一帧语音中语音信号波形穿过横轴(零电平)的次数。可以用相邻两个取样改变符号的次数来计算。 短时过零率 波形穿过横轴(零电平)的次数 短时过零率在语音信号分析中的应用 发浊音时,声带振动,因而声门激励是以此音调频率为基频来使声道共振;尽管有若干个共振峰,但其能量的分布集中于低于3KHz的频率范围内。 发清音时声带不振动,声道某部分阻塞产生类白噪声激励,通过声道后其能量集中在比浊音时更高的频率范围内。 浊音时能量集中于较低频率段内,具有较低的过零率,而清音时能量集中于较高频率段内,具有较高的过零率。 直方图的分布形状与高斯分布很吻合,而且浊音时的短时平均过零率的均值为14过零/10ms,清音时短时过零率的均值为47过零/10ms。注意到浊音和清音有一个交叠区域,此时很难分清是浊音还是清音,尽管如此,平均过零率仍可以粗略的判断清音和浊音。 作为短时过零率的一个改进参数,语音分析时更常用的是短时过电平率(level-crossing rate)。 短时过电平率在区分清音和静音时很有用 利用过零率与过电平率区分清、浊音和静音 清(U)、浊(V)、无声(S)的平均幅度(M)和过零率(Z) 的条件概率密度函数 浊音、清音、无声的短时特性 语音有声和无声 在许多语音处理技术中需要判断一段输入信号中哪些是语音段,哪些是无声段(只有背景噪声) 在语音识别中正确的决定所要识别语音的起点、终点对于提高识别率往往是重要的。 对于数字移动通信的手持机编译码器,在较长的无声段应降低发射功率以节约其电池的消耗。 对于已经判定为语音段的部分,尚需决定其清音或浊音,无论对于语音识别还是低速语音编译码器这都是很重要的。这些问题可以概括为无声/有声判决以及更细致的S/U/V判决。 能够实现这些判决的依据在于不同性质的语音的各种短时参数具有不同的概率密度函数以及相邻的若干帧语音应具有一致的语音特性,它们不会在 S、U、V之间跳来跳去。 判断语音信号的起点和终点的一种算法 在孤立词(字)语音识别系统中需正确判定每一个输入语音的起点和终点,利用短时平均幅度和短时过零率可以做到这一点。 首先,可根据浊语音情况下短时平均幅度M的概率密度函数P(M/V)确定一个阈值参数MH, MH的值定得比较高。当一帧输入信号的M值超过MH时,就可以十分肯定该帧语音信号不是无声,而有相当大的可能性是浊音。 判断语音信号的起点和终点的一种算法(续) 根据MH可判定输入语音中的前后两个点 和 , 它们之间肯定是语音段,但是语音的精确起点、终点还要在 之前和 之后仔细查找。为此在设置一个低阈值参数ML ,由 向前找,当短时平均幅度M由大到小减至ML时可以确定点N1 。类似由 向后找,可以确定N2 。在N1和N2之间仍能肯定是语音段。 判断语音信号的起点和终点的一种算法(续) 由N1向前和N2向后继续用短时过零率Z进行搜索。根据无声情况下短时过零率Z的均值,设置一个参数Z0,如果由N1向前搜索时Z始终大于Z0的3倍,则认为这些信号仍属于语音段,直至Z突然下降到低于3Z0值时,这时可以确定语音的精确起点。对终点做同样的处理。采取这一算法的原因在于, N1以前可能是一段清辅音段(如f,s),它的能量相当弱,依靠能量不可能把他们与无声段区别开,而他们的过零率明显高于无声,因而能用这个参数来精确的判断二者的分割点,也就是语音真正的起点。 判断语音信号的起点和终点的其它算法 另一种判断的方法是如果能够求出S、U、V三种情况下短时平均幅度M和短时过零率Z的条件联合概率密度函数P(M、 Z/S), P(M、Z/U), P(M、Z/V),那么就可以采用统计学中的最大似然算法,根据一帧信号的M和Z值来判断它的S/U/V。就是计算后验概率: P(X/M,Z)=[P(M,Z/X)P(X)]/P(M,Z) 其中,X=S或U或V。后验概率最大者即作为判决结果。 事实上,仅依靠M和Z两个参数还是不够的,通常要选择更多的参数,如相关函数等。 语音信号的短时自相关函数 自相关函数(auto-correlation function) 语音信号的短时自相关函数 假设 一段加窗语音信号,非零区间为n=0~N-1, 的自相关函数称为语音信号的短时自相关函数, 浊音和清音的自相关函数图 由自相关函数图判断浊音的周期 为了减少这种错误,可以先将语音信号进 行中心削波处理,再求自相关函数 中心削波处理前后的语音信号及其自相关函数 短时自相关函数的特点 浊音是周期信号,浊音的短时自相关函数也呈现明显的周期性,自相关函数的周期就是浊音信号的周期。 清音接近于随机噪声,请音的短时自相关函数不具有周期性,且随着l的增大迅速减小。 根据这个性质可以判断一个语音信号是清音还是浊音,还可以判断浊音的基音周期。 基于短时自相关函数的基音周期估计方法 短时自相关函数在基音周期的各个整数倍点上取得最大值,只要能找到第一最大峰值点的位置并计算它与l=0点的间隔,便能估计出基音周期。 实际上,第一最大峰值点的位置有时不能与基音周期相吻合。产生这种情况的原因: 与窗的选取长度有关,窗口过长或过短都会导致不一致。通常认为窗长至少应大于两个基音周期,语音信号中最长的基音周期约为20ms,因此在基音周期估计时窗长应选的大于40ms。 与声道特性的影响有,有时窗长足够长,但是第一最大值与基音周期仍不一致,这是主要由声道的共振峰特性造成的干扰。 60~900Hz的带通滤波器滤波,并用滤波信号的自相关函数进行基音周期的估计; 对语音信号进行非线性变换后求自相关函数,一种有效的非线性变换是中心削波,削波后基音周期的峰起更尖锐 语音信号的短时平均幅度差函数(AMDF) 短时平均幅度差函数(Average magnitude difference function ) 短时基音周期估计 基于短时自相关函数的基音周期估计 最大峰与基音周期不一致,要求帧长大于两个基音周期; 受共振峰的干扰,可以采取滤波或中心消波预处理。 基于短时AMDF的基音周期估计 需进行谷值点清晰度检查、比较复杂的阈值判决; 对幅度变化比较敏感。 基音估计的其他方法: 倒谱法(CEP) 简化的逆滤波器法(SIFT) 小波变换的方法 …… 3.4 语音信号的频域特征分析 语音信号的主要特征表现在他的频率特性上 语音信号的频率特性是通过傅里叶变换的频谱来获得 短时傅里叶变换(short-time Fourier transform (STFT) 幅度谱: 对数幅度谱(dB) 相位谱: 短时频域分析中,窗函数的选择对语音的频谱有很大的影响 根据卷积定理: 几种不同的窗函数波形与频谱的比较 不同的窗选择,将决定短时语音分析结果的好坏 首先是窗的长度,无论什么形状的窗,长度N将起决定性的作用。 N选得太大,不能保证每一帧的语音的平稳特性 N太小,不能保证信号的统计特性,容易产生统计噪声 对于频域分析而言,窗长N还直接决定了信号频谱的分辨率 对于语音信号,通常帧长应选择为一个语音帧包含有至少2个基音周期为好。人的语音的基音周期值是变化的,从女性小孩的2ms到老年男子的14ms(即基音频率为500Hz至70Hz),所以N的选择是比较困难的。通常折衷的选择N为20~30ms。若采用频率为10KHz,则相当于每帧的长度(即窗口序列的长度)约为200~300点为宜。若采样频率为8KHz,相当于160~240点 其次是窗口的形状,不同的窗,其频率特性是不一样的,这在短时频域分析时尤为重要。 窗函数频谱的主瓣与旁瓣 主瓣: 主瓣宽度控制频谱分析的频率分辨率,主瓣越窄,频率分辨率越高 矩形窗的主瓣宽度 = fs/N hamming窗的主瓣宽度 约为 2fs/N 旁瓣: 旁瓣的高度决定了对临近频率成分的干扰抑制能力,高度越低,抑制干扰能力越强 矩形窗: 主瓣高度 - 第一个旁瓣高度 ≈ 13dB hamming窗: 主瓣高度 - 第一个旁瓣高度 40dB 旁瓣高度跟窗长N 无关 窗函数及其比较 三种窗函数都有低通特性,通过分析三种窗的频率响应幅度特性可以发现: 矩形窗的主瓣宽度最小分辨率最高,旁瓣高度最高,会导致泄漏现象,哈明窗的主瓣最宽,分辨率低(可以通过适当提高窗长解决),旁瓣高度最低,可以有效的克服泄漏现象,具有更平滑的低通特性,应用更广泛。 窗长短:失去基频与谐波成分,频谱包络更明显 窗长长:基频与谐波成分明显(频率分辨率高) 浊音短时谱的特点: 基频与谐波成分明显 频谱包络具有明显的凸起点,称为“共振峰”(formant) 清音短时谱的特点: 类似随机噪声 频谱包络较平坦,一般高频成分略大 语谱图(spectrogram) 语谱图是语音分析的一个重要工具 横轴表示时间 纵轴表示频率 每一个时间-频率坐标上的点S(t, f)表示t时刻、f频率成分的能量或幅度,其大小通过点的灰度(黑白语谱图)或颜色(彩色语谱图)来区分 宽带语谱图(wide-band spectrogram) 分析的窗长短 时域分辨率高、频域分辨率低 语谱图特征为有明显的粗的横杠(与共振峰相对应) 窄带语谱图(narrow-band spectrogram) 分析的窗长长(512点) 时域分辨率低 、频域分辨率高 语谱图特征为有明显的细的条纹(对应基频与谐波成分) 3.5 语音信号的同态解卷与倒谱分析 根据语音信号的产生模型,语音信号S(Z)是一个线性时不变因果稳定系统V(Z)受到信号E(Z)激励后所产生的输出。 在时域中,语音信号s(n)是该系统的单位脉冲响应v(n)和激励信号e(n)的卷积。 在语音信号数字处理所涉及的各个领域中,根据s(n)来求得v(n)和e(n)具有非常重要的意义。 由卷积信号求得参与卷积的各个信号的过程称为解卷过程。 解卷算法可以分为两大类: 第一类是首先为线性系统V(Z)建立一个模型,然后对模型参数按照某种最佳准则进行估计,这种方法称为参数解卷方法。采用的模型可以分为全极点模型(AR模型)和零极点模型(ARMA模型),如果采用最小均方误差准则对AR模型进行估计,就得到线性预测编码算法(LPC)。 第二类算法称为非模型解卷。同态信号处理完成解卷任务就是其中最重要的一种。 同态分析的基本原理 有很多客观物理现象中的信号,其中各组成分量的组合,并不是按照加法组合原则组合起来的,如图像信号、地震信号、调制信号、语音信号等,它们都不是加性信号,而是乘积性或卷积性组合的信号。 显然,这时不能用线性系统来处理,而必须用满足该组合规则的非线性系统来处理。但是非线性系统地分析非常困难。 同态信号处理法就是设法将非线性问题转化为线性问题来处理的一种方法。按照被处理的信号来分类,大体上可以分为乘积同态信号处理和卷积同态信号处理。 语音信号可以视为声门激励信号和声道响应信号的卷积结果。我们仅讨论卷积同态信号处理(同态解卷)的问题。 卷积同态信号处理系统 同态系统可以分解为两个特征系统(即特征系统和逆特征系统)(指取决于信号的组合规则)和一个线性系统(仅取决于处理要求) 语音同态解卷的特征系统与逆特征系统 语音信号的复倒谱 语音信号的倒谱 由序列的复倒谱求倒谱的方法 已知倒谱求复倒谱的方法 要想由倒谱求复倒谱,首先复倒谱必须满足一定的条件,比如是因果序列: 因此 已知倒谱求复倒谱的方法 如果复倒谱是一个反因果序列: 则可以推导出: 只有当x(n)是一个因果最小相位序列时其复倒谱序列才是一个因果稳定序列。这要求x(n)应满足两个条件: 1. x(n)=x(n)u(n); 2. X(Z)=Z[x(n)]的零极点都应该在单位圆内。 幸运的是,实际处理中,大多数语音信号都是满足这两个条件的。 语音信号倒谱和复倒谱的性质 根据语音信号产生的模型,在z域中语音信号S(Z)等于激励信号E(Z)和声道传输函数V(Z)的乘积,即S(Z)=E(Z)V(Z)。经过同态系统后可以得到: 对声门激励信号。发清音时,声门激励是能量较小、频谱均匀分布的白噪声,其对应的倒谱也是一个噪声序列;发浊音时,声门激励是以基调周期为周期的周期脉冲序列,其对应的倒谱也是一个周期的序列,并且倒谱的周期等于信号的周期 对声道冲激响应v(n) {或者h(n)}, 其倒谱是一个快速收敛的信号。 利用倒谱分析将激励源和声道分离 由以上分析可知,利用一个简单的低通率波器 就可以在倒谱系数上将激励源和声道分离 Mel-frequency cepstral coefficients (MFCC) Mel-频率到谱系数 MFCC是当前语音识别系统应用最广泛的一种声学特征参数 它是一种倒谱系数,只是在计算过程中应用了人耳的听觉感知特性 MFCC的计算过程: 语音信号去直流处理 将信号中的直流分量(均值)去掉 预加重 通过提升高频分量,减小语音频谱的动态范围 类似于人耳的外耳道的功能 加Hamming窗 帧长20-30ms,帧移10ms 在时域分辨率和频域分辨率之间取得较好的平衡 傅里叶变换FFT并求能量谱 Mel-频率带通滤波器(假设有M个通带,M通常为26~40)进行滤波,求每个通带内能量谱的和并求对数 对M个通带的输出作DCT变换,得到M个倒谱系数 取M个倒谱系数中的前L个(L一般为12~16),构成MFCC参数 还可以求MFCC参数的时域动态特征参数 对信号进行分析得出它的倒谱参数的过程称为同态处理。 对于语音通信、语音合成或语音识别等语音处理来说,倒谱参数所含的信息比其他参数多,也就是语音质量好,识别正确率高。 复倒谱经过正逆两个特征系统变换后,序列可以还原为本身。但是倒谱经过正逆两个特征系统变换后,序列不可以还原为本身。 由傅里叶变换的性质知道:偶对称分量和奇对称分量的 傅里叶变换分别是原信号傅里叶变换的实部和虚部,因此 浊音与清音的倒谱 与基音周期相对应的倒谱峰值 清音无明显的倒谱峰值 倒谱衰减很快 倒谱衰减很快 语音预处理与分帧 FFT Log DCT MFCC f Mel-频率滤波器组 mag. 1、是偶函数; 2、s(n)是周期的,那么R(k)也是周期的; 3、可用于基音周期估计和线性预测分析; 自相关函数是偶函数 在l=0处取得最大值,且值为短时能量 如果s(n)是周期的,则R(l)也是周期的,且周期等于s(n)的周期 浊音 浊音 清音 X √ X X X 半周期错误 2倍周期错误 如果s(n)是周期为P的信号, 在 k=0, ±P, ±2P ,…, 时接近于0 浊音及其对应的AMDF图 人耳的听觉对语音信号的相位不敏感,因此,很多时候我们仅仅关注信号的短时幅度谱 几种常见的窗函数的波形 Matlab中,可以通过help window命令来查看怎么产生不同的窗 矩形窗 Hamming Hann Hamming Hanning 矩形窗 窗口的形状和长度对分析影响很大,不同的分析方法对窗函数的要求不尽一样。 比较同一帧语音加矩形窗和哈明窗的对数幅度谱 矩形窗: 基频更尖锐(分辨率高); 谱噪声大(旁瓣泄漏大) 哈明窗: 频谱更光滑(旁瓣泄漏小), 语音短时频谱分析中常用哈明窗 比较不同窗长语音加哈明窗的对数幅度谱 * * 通过电脑或者其它数字录音设备采集的语音信号都已经经过数字化了,一般不需要用户再进行数字化处理。尽管如此,有必要简单了解一下语音信号的数字化过程与原理。 声音信号的数字化 语音信号的采样频率 量化精度 20~20000 Hz 192.0 立体声 16 48 DAT 20~20000 Hz 176.4 立体声 16 44.1 CD 50~7000 Hz 88.2 立体声 16 22.050 FM 20~5000 Hz 11.0 单道声 8 11.025 AM 300~3400 Hz 8 单道声 8 8 电话 频率范围 数据率(kB/s) (未压缩) 单道声/ 立体声 样本精度 (bit/s) 采样频率 (kHz) 质量 声音的质量与数据率(采样频率和量化精度)的关系 矩形窗 哈明窗(Hamming) 汉宁窗(Hanning) 几种常见的窗函数的波形 Matlab中,可以通过help window命令来查看怎么产生不同的窗 Hamming Hanning 矩形窗 哈明窗 汉宁窗 窗口的形状和长度对分析影响很大,不同的分析方法对窗函数的要求不尽一样。 语音信号及其取不同窗长时的短时能量 语音信号x(n)的短时平均幅度(假定加长度为N的矩形窗)可以表示为 短时过零可以看作信号频率的简单度量 浊音和清音情况下典型的平均过零率的直方图 短时过零率 短时过电平率 S(无声)U(清音)V(浊音)三种情况下短时平均幅度的条件概率密度的示意图。可以看出,浊音的短时平均幅度最大,无声的短时平均幅度最小。 清音的短时过零率最大,无声居中,浊音的短时 过零率最小

本文链接:http://chondriac.com/feilingzhi/628.html