WaveNet: A Generative Model for Raw Audio 정리

📜 A. Oord et al., "WaveNet: A Generative Model for Raw Audio," in arXiv, 2016.

논문 1줄 요약

1. WaveNet은 dilated causal convolution을 기반으로 audio waveform을 생성하는 딥러닝 모델입니다.

---

Abstract

  본 논문은 오디오 파형(audio waveform)을 생성하는 신경망인 "WaveNet"을 소개합니다. WaveNet은 모든 이전의 오디오 샘플로부터 조절된 각 오디오 샘플에 대한 분포를 예측하는 확률적이며 auto-regressive한 모델입니다. WaveNet은 각각의 발화자(speaker)에 유사하게 특징을 포착하고 이를 조절함으로써 다른 발화자의 목소리로 바꿀 수 있습니다.

---

1. Introduction

  본 논문에서는 auto-regressive한 생성 모델들로부터 영감을 받아, 음성 생성 기법에 대하여 연구합니다. 앞서 연구된 신경망 모델들을 활용하여 최소 16,000Hz의 광대역 음성을 생성할 수 있는지를 중점적으로 다룹니다. WaveNet은 PixelCNN [V. Oord et al., 2016] 아키텍처를 기반으로 한 음성 생성 모델입니다. 주된 기여는 아래와 같습니다.

[그림 1] 생성된 waveform의 신호

• WaveNet은 text-to-speech(TTS) 분야에서 이전에는 보고된적 없던 상대적으로 자연스러운 음성 생성이 가능합니다.
• 매우 넓은 수용 영역(receptive field)을 보여주는 dilated causal convolution을 기반으로한 새로운 아키텍처입니다.
• 발화자(speaker)의 특성을 조절하였을 때, 단일 모델로도 다른 발화자의 음성을 생성할 수 있습니다.
• 작은 음성 인식 데이터셋으로도 강력한 결과를 보여주며 음악과 같은 다른 분야에서도 생성이 가능할 것으로 전망됩니다.

  본 논문에서는 WaveNet의 일반적이고 유연한 구조(framework)가 TTS나 음성 변조(voice conversion) 등의 오디오 생성과 관련된 많은 분야에 적용될 것이라고 기대합니다.

---

2. WaveNet

  WaveNet은 음성 파형에 대해 직접 작동하는 생성 모델입니다. 파형 $ x = \left\{x_1, \ldots, x_T \right\} $의 joint probability은 conditional probability의 곱(product)으로 분해해서 다음과 같이 표현할 수 있습니다.

$$ \begin{equation} p(\mathbf{x})=\prod_{t=1}^{T}{p(x_t|x_1,\ldots,x_{t-1})} \end{equation} $$

  따라서 각각의 음성 샘플 $ x_t$는 모든 이전 시간 단계의 샘플들을 condition으로 합니다. PixelCNN [V. Oord et al., 2016]에서도 비슷하게 컨볼루션(convolutional) 계층들을 쌓음으로써 조건부 확률 분포를 모델링했습니다.

Autoregressive model (AR model)
  출력 변수(variable)가 이전의 값과 확률적인 항(stochastic term)에 대하여 선형적으로 의존하는 것을 의미합니다. WaveNet 네트워크는 autoregressive 모델 가운데 하나입니다.

2.1 Dilated Causal Convolutions

[그림 3] Dilated causal convolution 시각화

  오디오를 생성하는 WaveNet의 핵심은 causal convolution입니다. Causal convolution은 모델이 데이터를 모델링하는 순서를 위반하지 않도록 하는 역할을 합니다. 시간 단계 $ t $의 예측값 $ p(x_{t+1}|x_1, \ldots, x_t) $은 어떠한 미래 시간대의 정보 $ x_{t+1}, \ldots, x_T $를 이용하지 않습니다. 시간 단계 $ t $에서 생성하는 결과는 과거의 결과만을 참고한다는 것을 그림 3에서 확인할 수 있습니다.

  학습 단계(training)에서는 우리는 모든 시간 단계의 참값(ground truth) $ \mathbf{x} $를 알고 있기 때문에, 병렬적(parallel)으로 결과를 학습할 수 있습니다. 하지만 추론 단계(inference)에서는 예측이 autoregressive하게 이루어집니다. 즉, 이전 단계에서 예측된 샘플을 현재의 샘플을 예측하기 위해 네트워크에 집어넣습니다.

  Causal convolution이 적용되었기 때문에 반복적인 연결(recurrent connection)을 가지지 않습니다. 하지만 수용 영역을 키우기 위해서는 더 많은 계층이나 더 큰 필터가 필요하다는 것이 causal connection이 가진 문제점입니다. 본 논문에서는 중요도에 따라 수용 영역을 넓히기 위하여 dilated convolution을 사용합니다.

[그림 4] Dilated convolution 네트워크 작동 예시

  Dilated convolution은 그림 4와 같이 입력값이 특정 단계를 건너뛰도록 설계함으로써, 필터가 길이보다 큰 영역에 적용되는 convolution을 의미합니다. Dilated convolution은 일반적인 convolution보다 더 coarse한 규모에서 네트워크가 효과적으로 작동하도록 합니다. 이는 풀링(pooling)이나 스트라이드(stride)를 사용하는 convolution과 유사하지만, 출력값이 입력값과 같은 크기를 가진다는 점에서 다릅니다.

풀링 (pooling)
  Convolution 연산 이후, 어떤 값을 취할지를 뜻합니다. Pooling의 방법에는 최댓값을 취하는 max pooling과 convolution 연산의 결과물에 대해 평균값을 취하는 average pooling이 있습니다.
스트라이드 (stride)
  Convolution 연산에 이용하는 커널(kernel)을 얼마나 이동시킬지를 의미합니다.

  Dilated convolution은 적은 계층들로도 네트워크가 더 큰 수용 영역을 가지는 것이 가능합니다. 또, 네트워크 전체의 입력 해상도와 계산 효율성은 유지됩니다. 아래와 같이 dilation은 모든 계층에서 끝까지 2배로 증가되고, 이를 반복합니다.

$$ 1, 2, 4, \ldots, 512, 1, 2, 4, \ldots, 512, 1, 2, 4, \ldots, 512. $$

  이러한 구성은 다음과 같은 효과를 만듭니다.

1. Dilation 계수를 지수적으로(exponentially) 증가시키면 네트워크의 깊이와 수용 영역 역시 지수적으로 커집니다 [Yu & Koltun, 2016].
2. Dilation 블록을 쌓는 것은 모델의 능력과 수용 영역의 크기를 더 증가시킬 수 있습니다.

2.2 Softmax Distributions

  개별 오디오 샘플에 대한 조건부 분포 $ p(x_t|x_1, \ldots, x_{t-1}) $를 모델링하기 위한 방법으로 mixture density 네트워크와 같은 혼합 모델(mixture model)을 사용합니다. 하지만 softmax distribution이 잠재적으로 연속적인 데이터(continuous data)에서 더 좋은 성능을 보이는 경향이 있습니다. 이는 softmax distribution이 더 유연하고 형태에 대한 가정을 하지 않았기 때문에, 임의의 분포로 더 쉽게 모델링할 수 있기 때문입니다.

  일반적으로 오디오는 16비트 정수값(시간 단계당 1개)의 시퀀스(sequence)로 저장되기 때문에, softmax 계층은 가능한 모든 확률값을 모델링하기 위해 시간 단계당 56,636개의 확률을 계산해야 합니다. 이를 계산 가능하게 하기 위해 데이터에 $ \mu $-law companding transformation을 적용하여 25개의 가능한 값으로 qunatize합니다.

Quantization
  무한대의 값을 유한한 몇 가지의 대표값으로 바꾸어 주는 것 (e.g. 0.5 → 1)

  이를 수식화하면 아래와 같습니다.

$$ f(x_t) = \text{sign}(x_t)\frac{\ln{1+\mu|x_t|}}{\ln(1+\mu)} $$

  여기서 $ -1 < x_t < 1 $이며 $ \mu = 225 $입니다. non-linear quantization은 단순한 linear quantization보다 더 잘 재구성(reconstruction)합니다. 특히 음성 분야에서 quantization 이후 재구성된 신호가 기존의 오디오와 굉장히 유사하게 들린다는 것을 발견하였습니다.

2.3 Gated Activation Units

  Gated PixelCNN [V. Oord et al., 2016]에서 사용한 gated activation unit을 사용합니다.

$$ \begin{equation} \mathbf{z}=\tanh{(W_{f, k}*\mathbf{x})}\odot\sigma{(W_{g, k}*\mathbf{x})} \end{equation} $$

  여기서 *는 합성곱(convolution) 연산, $ \odot $은 element-wise multiplication 연산, $ \sigma{(\cdot)} $은 sigmoid 함수, $ k $는 계층의 인덱스, $ f $는 필터, $ g $는 게이트, $ W $는 학습 가능한 컨볼루션 필터를 의미합니다. 초기 실험에서 이 비선형 함수가 ReLU 함수보다 더 잘 작도하는 것을 확인했습니다.

2.4 Residual and Skip Connections

그림 3. residual block을 포함한 전체 아키텍쳐

  수렴 속도를 높이고 모델을 깊게 쌓아서 학습하기 위해 residual connection과 매개변수화된 skip connection을 네트워크 전체에 사용하였습니다. 이를 아래의 그림에 residual block으로 표현하였습니다.

2.5 Conditional WaveNets

  WaveNet은 추가적인 입력값 $ h $이 주어지면, 오디오의 조건부 분포 $ p(\mathbf{x}|\mathbf{h}) $를 모델링할 수 있습니다. $ h $를 이용하여 (1)의 식을 아래와 같이 수정할 수 있습니다.

$$ p(\mathbf{x}|\mathbf{h})=\prod_{t=1}^{T}{p(x_t|x_1,\ldots,x_{t-1}, \mathbf{h})} $$

  입력 변수들을 통해 필요한 특성을 가진 오디오를 생성하도록 WaveNet을 설정할 수 있습니다. 비슷하게 TTS에서는 추가적인 입력값으로서 텍스트에 대한 정보를 입력할 필요가 있습니다. 본 논문에서는 WaveNet에 두 가지 다른 방식으로 입력값을 집어넣었습니다.

2.5.1 Global conditioning

  Global conditioning을 위해 모든 시간 단계에 걸쳐 출력값에 영향을 주는 speaker embedding과 같은 단일 latent representation을 사용합니다. 수식 (2)에 활성화 함수를 추가하면 다음과 같이 수식을 작성할 수 있습니다.

$$ \mathbf{z}=\tanh{(W_{f, k}*\mathbf{x}+V_{f, k}^{T}\mathbf{h})}\odot\sigma{(W_{g, k}*\mathbf{x}+V_{f, k}^{T}\mathbf{h})} $$

  여기서 $ V_{*, k} $는 학습 가능한 linear projection을 의미하며, $ V_{f, k}^{T}\mathbf{h} $는 전체 시간 차원에 적용됩니다.

2.5.2 Local conditioning

  local conditioning을 위해 언어적 정보(linguistic feature)와 같이 오디오 신호보다 낮은 sampling frequency의 시계열 시퀀스(timeseries sequence) $ h_t $를 이용할 수 있습니다. 언어적 정보의 시퀀스를 오디오 신호와 동일한 해상도로 upsampling 하기 위해 transposed convolution 네트워크를 사용합니다. 이렇게 upsampling된 새로운 시계열 시퀀스 $ y=f(\mathbf{h}) $는 다음과 같이 activation unit이 적용됩니다.

$$ \mathbf{z} = \tanh{(W_{f, k} * \mathbf{x} + V_{f, k} * \mathbf{y})} \odot \sigma{(W_{g, k} * \mathbf{x} + V_{g, k} * \mathbf{y})} $$

  여기서 $ V_{g, k} * \mathbf{y} $는 $ 1 \times 1 $ 컨볼루션이 됩니다. Transposed convolution 네트워크의 대안으로 $ V_{f, k} * \mathbf{h} $를 사용하고, 이 값을 시간 단계에 따라 반복할 수도 있습니다.

2.6 Context Stacks

  WaveNet의 수용 영역 크기를 키우기 위한 여러 방법을 앞서 언급하였습니다. 보완적인 방법으로는 오디오 신호의 긴 부분을 처리하는 작은 context stack으로 분리하여 사용하고, 오디오 신호의 짧은 부분만을 처리하는 더 큰 WaveNet을 부분적으로 조절하는 것입니다. 또한, hiddnen unit의 수와 길이를 다양하게 하여 다양한 context stack을 사용하는 방법도 고려할 수 있습니다.

---

3. Experiments

  WaveNet의 오디오 모델링 성능을 측정하기 위하여 3가지 다른 문제를 이용하였습니다. Multi-speaker 음성 생성과 TTS, 음악 오디오 모델링입니다. 본 게시물에서는 앞선 2가지 문제만 알아보겠습니다.

3.1 Multi-Speaker Speech Generation

  발화자의 ID를 모델에 one-hot 벡터의 형태로 집어넣어 생성된 음성의 목소리를 조절합니다. 발화자 정보에 대한 one-hot encoding을 조절함으로써, 단일 WaveNet으로 어떠한 발화자의 음성이든 학습할 수 있습니다. 단일 발화자로만 학습하는 것보다 여러 발화자로 학습하는 것이 더 나은 성능을 보입니다. 이는 WaveNet의 내부 representation이 여러 발화자들 사이에 공유되고 있음을 말합니다. 마지막으로 WaveNet이 목소리 그 자체 이외에도 오디오로부터 다른 특징들을 포착했음을 확인했습니다.

3.2 Text-to-Speech

  TTS 문제를 위해 WaveNet은 입력 텍스트로부터 추출한 언어적 특징(linguistic feature)을 부분적으로 조절합니다. 또한, 언어적 특징에 logarithmic fundamental frequency $ \log F_{0}$을 더하여 피치 정보를 조절할 수 있도록 학습합니다. 언어적 특징으로부터 $ \log F_{0} $ 값과 음소 duration을 예측하는 외부의 모델을 학습합니다. WaveNet의 성능 평가를 위해 주관적인 평가인 mean opinion score (MOS) 테스트를 진행했습니다. MOS 테스트의 결과는 아래의 표와 같습니다.

표 1. MOS 평가 비교

---

4. Conclusion

  본 논문에서 제안하는 WaveNet은 autoregressive하게 음성을 생성합니다. WaveNet은 causal 필터들을 통합하여 수용 영역이 지수적으로 깊이를 증가시키는 것을 가능하게 하였습니다. 또한, WaveNet이 어떻게 입력값에 대하여 global 혹은 local한 방식으로 조절되는지를 확인하였습니다. TTS 문제에 WaveNet을 적용할 경우, WaveNet으로 생성한 샘플들이 현존하는 TTS 시스템들보다 자연스러운 것을 확인했습니다. 마지막으로 WaveNet을 음악 모델링과 음성 인식에 적용하였을 때, 유망한 결과를 보였습니다.

---

Reference

1. V. Oord et al., "Pixel Recurrent Neural Networks," in ICML, 2016.
2. Yu and Koltun, "Multi-scale Context Aggregation by Dilated Convolutions," in ICLR, 2016

* 인용된 논문은 더 있지만, 본 요약에서 언급한 논문만을 정리했습니다.

---

참고자료

1. "WaveNet: A Generative Model for Raw Audio," https://www.deepmind.com/blog/wavenet-a-generative-model-for-raw-audio, 2016.
2. "Types of Convolution Kernels: Simplified," https://towardsdatascience.com/types-of-convolution-kernels-simplified-f040cb307c37, 2019.