“SFT”可能有多种含义。在音乐领域,它可能指某种特定的音乐风格,如“Swift”指快速和敏捷的音乐风格,常用于表现快速和敏捷的情感,如 Taylor Swift 的《Shake It Off》;“Swirling”指旋转和流动的音乐风格;“Swooning”指陶醉和倾倒的音乐风格;“Syllabic”指音节和节奏的音乐风格;“Symbiotic”指共生和互助的音乐风格。
在语音处理方面,“SFT”可能指短时傅里叶变换(Short-time Fourier Transform,STFT)。语音通常是短时平稳信号,在进行傅里叶变换前一般要进行分帧,取音频的小片段进行短时傅里叶变换。其结果是一个复数,包括幅度和相位信息。能量频谱是振幅频谱的平方,通过对频域信号进行逆傅里叶变换可恢复时域信号。离散傅里叶变换计算复杂度高,可采用快速傅里叶变换简化。在实际应用中,对语音信号分帧加窗处理,视为短时傅里叶变换。
关联流派:Post-Rock,Instrumental,Indie● Swift定义/描述:Swift指的是快速和敏捷的音乐风格,通常具有速度和动感的特质。典型使用:用于表现快速和敏捷情感的音乐作品。示例:Taylor Swift的《Shake It Off》。关联流派:Pop,Country,Dance● Swirling定义/描述:Swirling指的是旋转和流动的音乐风格,通常具有流畅和变化的特质。典型使用:用于表现旋转和流动情感的音乐作品。示例:Massive Attack的《Teardrop》。关联流派:Trip-Hop,Electronic,Ambient● Swooning定义/描述:Swooning指的是陶醉和倾倒的音乐风格,通常具有浪漫和迷人的特质。典型使用:用于表现陶醉和倾倒情感的音乐作品。示例:Frank Sinatra的《Fly Me to the Moon》。关联流派:Jazz,Pop,Traditional Pop● Syllabic定义/描述:Syllabic指的是音节和节奏的音乐风格,通常具有清晰和有节奏的特质。典型使用:用于表现音节和节奏情感的音乐作品。示例:Eminem的《Lose Yourself》。关联流派:Hip-Hop,Rap,Alternative● Symbiotic定义/描述:Symbiotic指的是共生和互助的音乐风格,通常具有协调和互补的特质。典型使用:用于表现共生和互助情感的音乐作品。
对语音进行分析和处理时,部分信息在时域上难以分析,因此往往会提取频谱特征。在语音合成中,通常将频谱作为中间声学特征:首先将文本转换为频谱,再将频谱转换为波形;在语音识别中,则将频谱或者MFCC作为中间声学特征。语音通过预加重、分帧、加窗、傅里叶变换之后,取功率谱的幅度平方,进行梅尔滤波取对数之后,就得到了梅尔频谱(或称FilterBank/FBank),如果再进行离散余弦变换,就能够获得MFCC,下一章将进行详述。语音通常是一个短时平稳信号,在进行傅里叶变换之前,一般要进行分帧,取音频的一个小片段进行短时傅里叶变换(STFT)。STFT的结果是一个复数,包括幅度和相位信息,将该复数中的频率作为横轴,幅度作为纵轴,如下图所示,就组成了频谱图,将频谱图中的尖峰点连接起来,就形成了频谱包络。注意到,频谱图反映一个语音帧的频域情况,没有时间信息。因此,将每个帧对应的频谱图连接起来,以时间作为横轴,频率作为纵轴,颜色深浅表示幅度,如下图的红图所示,就组成了语谱图。语谱图实际上是一个三维图,横轴时间,纵轴频率,颜色深浅表示幅度大小,一般来说,颜色越深,表示幅度值越大。上图可以通过音频软件Audition来获得
能量频谱/能量谱是振幅频谱的平方:$$X_{power}[k]=X_{real}[k]^2+X_{imag}[k]^2$$各种声源发出的声音大多由许多不同强度、不同频率的声音组成复合音,在复合音中,不同频率成分与能量分布的关系称为声音的频谱,利用频谱图表示各频率成分与能量分布之间的关系,频谱图横轴是频率(Hz),纵轴是幅度(dB)。通过对频域信号进行逆傅里叶变换(IDFT),可以恢复时域信号:$$x[n]=\frac{1}{K}\sum_{k=0}^{K-1}X[k]e^{\frac{j2\pi kn}{N}},\quad n=0,1,...,N-1$$离散傅里叶变换(DFT)的计算复杂度为$O(N^2)$,可以采用快速傅里叶变换(FFT),简化计算复杂度,在$$O(N\mathop{log}_2 N)$$的时间内计算出DFT。在实际应用中,对语音信号进行分帧加窗处理,将其分割成一帧帧的离散序列,可视为短时傅里叶变换(STFT):$$X[k,l]=\sum_{n=0}^{N-1}x_l[n]e^{-\frac{j2\pi nk}{K}}=\sum_{n=0}^{N-1}w[n]x[n+lL]e^{-\frac{j2\pi nk}{K}}$$