Tacotron: Towards End-to-End Speech Synthesis 요약

📜 Y. Wang et al., "Tacotron: Towards End-to-End Speech Synthesis," in Interspeech, 2017

논문 3줄 요약

1. 복잡한 구조의 현대 TTS 모델을 end-to-end 구조로 변화하였다.
2. <텍스트, 음성> 쌍으로 학습하여 더 많은 데이터, 더 다양한 특징의 학습이 가능해졌다.
3. 오디오 샘플 단위의 생성이 아닌, Mel-spectrogram 프레임 단위로 음성을 생성하여 더 빠른 학습과 추론이 가능하다.

---

Abstract

  Text-to-Speech (TTS, 문자 음성 변환) 시스템은 일반적으로 텍스트 분석을 위한 frontend와 음향 모델(acoustic model), 오디오 합성 모듈(audio synthesis module)로 구성됩니다. 각 구성 요소를 구축에는 광범위한 도메인에 대한 전문 지식이 필요하며, 각 구성 요소에는 불안정한 설계가 포함될 수 있습니다. 본 논문에서는 문자로부터 바로 음성을 생성하는 end-to-end TTS 모델인 'Tacotron'을 소개합니다. Tacotron은 주어진 <텍스트(text), 오디오(audio)> 쌍을 이용하여 랜덤하게 초기화(random initialization)된 네트워크를 처음부터 끝까지 완벽하게 학습할 수 있습니다. 또한, 이러한 도전적인 문제를 잘 수행하기 위한 몇 가지 중요한 기법들을 소개합니다. Tacotron은 US 영어에 대한 mean opinion score (MOS)에서 5점 만점에 3.82점의 성적을 거두었습니다. Parametric 기반의 시스템보다 자연스러움(terms of naturalness)에 대한 평가에서 더 뛰어난 성과를 거두었습니다. 추가로, Tacotron은 프레임 단위(frame-level)로 음성을 생성하기 때문에, 샘플 단위(sample-level)로 생성하는 autoregressive 방법보다 대체로 빠릅니다.

---

1. Introduction

  현대의 TTS 파이프라인은 굉장히 복잡합니다. 예를 들어, 통계적 parametric 기반의 TTS는 언어적 정보(linguistic feature)를 추출하는 frontend 모델과 duration을 분석하는 모델, 음향적 정보(acoustic feature)를 예측하는 모델, 복잡한 신호 처리 기반의 보코더(vocoder)로 구성됩니다. 각 구성 요소들을 위해 광범위한 도메인의 전문 지식을 필요로 하며, 이를 설계하는 일은 매우 어렵습니다. 또한, 구성 요소별로 독립적으로 학습하기 때문에 구성 요소들의 오차는 누적될 수 있습니다. 따라서 <텍스트, 음성> 쌍으로 학습이 가능한 end-to-end TTS 시스템은 다음과 같은 장점을 있습니다.

1. 휴리스틱하고 불안정한 설계가 포함될 수 있는 feature engineering의 필요를 줄입니다.
2. 발화자(speaker)나 언어(language), 감성(sentiment)과 같은 high-level의 특징을 쉽게 조절할 수 있습니다.
3. 새로운 데이터에 대한 adaptation이 더 쉬워집니다.
4. 여러 단계로 구성된 모델보다 더 견고(robust)합니다.

  TTS는 대규모의 역변환 문제(inverse problem)입니다. TTS는 정보가 매우 압축된 텍스트를 "decompress"함으로써 오디오로 변환합니다. 같은 텍스트라도 사람마다 발음과 말하는 방식이 다르기 때문에, end-to-end 모델을 이용하여 학습하는 것은 특히 어려웠습니다. 이를 위해 기존에는 신호 단위에서 주어진 입력에 대한 다양한 변화를 처리해야 했습니다. 더욱이 end-to-end 음성 인식이나 기계 번역과는 다르게, TTS의 출력값은 연속적이고 일반적으로 입력된 값보다 길었습니다. 본 논문에서는 attention을 포함한 sequence-to-sequence (seq2seq) 기반의 end-to-end TTS 생성 모델인 'Tacotron'을 제안합니다. Tacotron은 문자(character)를 입력 받고, linear-spectrogram을 출력합니다. 

문자(character)
  우리가 사용하는 알파벳, 한글과 같은 글자를 의미합니다.
음소(phoneme)
  소리를 내는 언어의 낱말을 구분하는 이론적인 낱낱의 소리를 의미합니다. 본 논문에서는 음소가 아닌 문자를 사용하지만, 최근 대부분의 TTS 연구에서는 음소를 입력값으로 사용합니다.

---

2. Tacotron

[그림 1] Tacotron 전체 아키텍쳐

  Tacotron의 백본 모델은 attention을 포함한 seq2seq 모델(인코더-디코더 구조)입니다. 그림 1에서 보이는 것처럼, Tacotron은 인코더와 attention 기반의 디코더, post processing 네트워크로 구성됩니다. 개략적으로 보면, Tacotron은 문자를 입력받아 linear-spectrogram을 생성하고, Grifin-Lim을 통해 waveform으로 변환합니다.

2.1 CBHG Module

[그림 2] CBHG 모듈

  Tacotron의 contribution 가운데 하나는 [J. Lee et al., 2017]에서 제안한 인코더 아키텍쳐를 수정한 CBHG 모듈입니다. Tacotron에서 수정한 부분은 해당 모듈이 일반화(generalization) 역량을 향상하는데 도움을 주었습니다. 그림 2처럼 CBHG 모듈은 1D convolutional bank와 highway 네트워크, Bidirectional GRU로 이루어졌습니다.

1) Conv1D bank: 입력 시퀀스는 1D convolutional filter의 $ K $개의 집합으로 묶이는데, 여기서 $ k $번째 집합은 너비가 $ k $인 $ C_k $의 필터를 포함합니다. 이처럼 다양한 너비의 필터를 사용하는 것은 국소적(local)이고 맥락적(contextual)인 정보를 explicit하게 모델링하는데 매우 효과적이었습니다. Conv1d bank의 convolutoin의 출력값은 누적(stack)됩니다.

2) Max-pooling: Local invariance를 높이기 위해 시간축을 따라 max-pooling을 적용합니다. 입력값의 시간 해상도를 유지하기 위해 스트라이드의 크기로 1을 적용했습니다.

3) Residual connection: 이렇게 처리된 시퀀스에 대해서 1D convolution 연산을 하고 residual connection을 통해 입력 시퀀스를 더해줍니다.

4) Highway network: high-level 특징을 추출하기 위해 4계층의 FC layer에 입력됩니다.

5) Bidirectional RNN: 양방향으로 맥락(context)으로부터 시계열의 특징(sequential feature)을 추출하기 위해 bidirectional GRU를 사용합니다.

2.2 Encoder

  인코더의 목표는 입력 텍스트로부터 강건한 sequential representation을 추출하는 것입니다.

1) Input sequence: 인코더의 입력값은 문자 시퀀스로, 각 문자는 원-핫 벡터(one-hot vector)로 표현되며 연속적인 벡터(continuous vector)로 임베딩됩니다.

2) Pre-net: pre-net을 통해 비선형 변환(non-linear transformation)을 적용합니다. Pre-net에는 dropout이 포함되어 있어 bottleneck 역할을 수행하며, 이는 수렴(convergence)을 돕고 일반화(generalization)을 개선하는 역할을 합니다.

3) CBHG module: CBHG module을 통해 pre-net의 출력값을 인코더의 최종 representation으로 변환합니다. 본 논문에서는 CBHG 기반의 인코더가 오버피팅(overfitting)을 줄이는 것뿐 아니라, 일반적인 RNN기반의 인코더보다 잘못된 발음의 음성을 생성하는 것을 줄여준다는 것을 확인했습니다.

2.3 Decoder

1) Attention: 본 논문에서는 컨텐츠 기반의 tanh attention 디코더를 사용하여, 각 디코더 시간 단계(time step)에서 stateful recurrent 계층을 통해 attention query를 생성합니다.

Stateful recurrent model
  배치 내의 샘플을 처리하고 얻은 state를 다음 배치에서 샘플을 처리할 때 초기 state로 재사용하는 것을 의미합니다. 이를 통하여 계산 복잡도(complexity)를 줄이고 더 긴 시퀀스를 처리할 수 있도록 합니다.

2) Decoder RNN: Attention의 출력값과 attention RNN의 출력값을 concatenate하여 decoder RNN의 입력으로 사용합니다. Vertical residual connection을 포함한 여러 GRU 계층을 사용하며, residual connection이 수렴 속도를 높인다는 것을 확인했습니다.

3) Decoder target: 본 논문에서는 linear-spectrogram을 바로 예측하는 것이 가능했습니다. 하지만 음성 신호와 텍스트 사이의 alingment를 학습하는 목적으로는 매우 불필요한 representation이기 때문에, seq2seq 디코딩과 waveform 합성을 위해 다른 타겟을 사용했습니다. Seq2seq의 타겟으로는 고정되거나 학습할 수 있는 inversion process을 위해 충분히 명료(intelligibility)하여야 하고 프로소디(prosody) 정보를 제공할 수 있으며 매우 압축되어야 합니다. 따라서 본 논문에서는 디코더의 타겟으로 80밴드의 Mel-spectrogram을 사용하였습니다.

Mel-spectrogram
  사람들이 높은 주파수에 비해 낮은 주파수를 더 예민하게 인식한다는 점에서 착안하였습니다. 이를 위해 낮은 주파수 대역은 세밀하게 세밀하게 분석하고, 나머지는 상대적으로 덜 세밀하게 분석하는 Mel filter bank를 적용합니다. Mel filter bank를 적용한 결과를 Mel-spectrogram이라 하며, 이를 로그 스케일로 변환하는 경우 log-Mel spectrogram이라 합니다.

  디코더의 타겟을 예측하기 위해 단순한 FC layer가 사용되는데, 여기서 저자들은 겹치지 않는(non-overlapping) 여러 프레임을 한번에 예측하는 것이 매우 중요한 트릭임을 발견했습니다. 한번에 $ r $개의 프레임을 예측하면 총 디코더 단계(decoder step)를 $ r $개만큼 줄일 수 있으며, 이는 모델의 크기와 학습 시간, 추론 시간을 줄여줍니다. 또한, attention으로부터 학습된 alignment가 더 빠르고 안정적이다는 것을 측정함으로써 해당 트릭이 수렴 속도를 상당히 개선한다는 것을 확인했습니다. 저자들은 이러한 결과가 이웃한 프레임들이 서로 연관되어 있으며 각 글자가 일반적으로 여러 프레임들로 구성되기 때문이라고 생각했습니다. 여러 프레임들을 생성하는 것은 학습 단계에서 attention이 더 빠르게 앞으로 나아가도록 합니다.

  디코더의 첫 단계는 <GO> 프레임이라 묘사되는 모두 0인 프레임에 의해 condition됩니다. 추론 단계에서 디코더의 $ t + 1 $ 번째 단계의 입력으로 직전 단계인 $ t $ 번째 단계의 $ r $개의 예측 가운데 마지막 프레임을 사용합니다. 마지막 프레임만을 사용하는 것은 ad-hoc choice이며, 예측된 $ r $개의 프레임 모두 사용 가능합니다. 학습 단계에서는 디코더에 항상 모든 $ r $ 번째 참값인 프레임을 사용합니다. 이러한 학습 방식을 'Teacher forcing'이라 부릅니다. 입력된 프레임은 인코더와 동일하게 pre-net을 통과합니다.

Teacher forcing
  일반적으로 teacher forcing은 seq2seq 모델에서 많이 사용됩니다. 학습 단계의 초기에 생성된 프레임 혹은 단어가 잘못 예측되는 경우가 많습니다. 이를 이용하여 다음 단계의 값을 예측하면 다음 단계의 값 역시도 잘못된 예측으로 이어지는데, 이는 학습 속도를 저하시키는 원인이 됩니다. Teacher forcing은 이러한 문제를 해결하기 위해 등장하였으며, 학습 단계에서는 현단계의 값을 예측하기 위해 참값인 값을 입력해줍니다. 또한, seq2seq 모델 외에도 어떤 feature를 예측하여 이용하는 모델에서도 참값인 feature를 입력으로 넣어주는 경우가 많습니다.

2.4 Post-Processing Net and Waveform Synthesis

  본 논문에서는 waveform을 생성하는 synthesizer로 Griffin-Lim 알고리즘[D. Griffin and J. Lim, 1984] 을 사용하기 때문에, decoder에서 예측한 Mel-spectrogram을 Linear-spectrogram으로 변환해야 합니다. 이를 위해 post-processing net은 선형 주파수 규모로 샘플링된 spectral magnitude (쉽게 말하면 linear-spectrogram)을 예측하도록 학습됩니다. 왼쪽에서 오른쪽으로만 작동하는 seq2seq 모델과는 다르게, post-processing net은 이미 전체 길이의 디코딩된 시퀀스를 입력받으므로 각 프레임에 대하여 예측 오차를 정정하기 위해 양방향의 정보 모두를 이용합니다. 따라서 본 논문에서는 post-processing net으로 CBHG 모듈을 사용합니다.

---

3. Experiments

3.1 Ablation Analysis

 

[그림 3] Attention alignment 결과

  몇몇 ablation 실험을 통해 Tacotron의 중요한 요소에 대한 이해를 돕고자 하였습니다. 이를 위해 다음과 같은 비교를 진행하였습니다.

1) Vanilla seq2seq: 인코더와 디코더 모두 residual RNN을 사용한 모델입니다. 그림 3 (a)의 결과를 통해 vanilla seq2seq가 형편없는 attention alignment를 학습한다는 것을 확인할 수 있습니다. Attention이 앞으로 이동하기 전에 많은 프레임들에서 꼼짝 못하는 문제가 있었으며, 이는 합성된 신호에서 나쁜 명료성으로 이어졌습니다. 이와 반대로 Tacotron의 경우, 그림 3 (c)에서 보이는 것처럼 더 깨끗하고 부드러운 alingment를 학습합니다.

2) GRU 인코더: Tacotron의 CBHG 기반의 인코더를 residual GRU 인코더로 대체한 모델입니다. 그림 3 (b)와 (c)에서 볼 수 있듯이 GRU 인코더의 alingment 결과가 더 불안정(noisy)합니다. 이러한 불안정한 alignment는 종종 잘못된 발음으로 이어지는 것을 확인했습니다. 따라서 CBHG 기반의 인코더가 오버피팅을 줄이고 길고 복잡한 구절을 더 잘 일반화한다는 것을 알 수 있었습니다.

[그림 4] 예측된 스펙드로그램 결과

3) Post-processing net: 그림 4에서 확인할 수 있듯이 post-processing net를 사용할 경우, 맥락적 정보와 harmonic 정보(100-400 사이의 bins)가 더 풍부하고 높은 주파수의 포먼트 구조를 가지며, 이는 합성 아티팩트를 줄입니다.

3.2 Mean Opinion Score Tests

[표 1] MOS 평가 결과

  MOS 평가 결과, Tacotron은 비교 모델을 뛰어넘는 3.82의 점수를 달성했습니다. Griffin-Lim 합성을 도입함으로써 강력한 베이스라인과 이티팩트들이 주어지며, 이는 매우 강력한 결과를 보여줍니다.

Reference

1. J. Lee et al., "Fully Character-Level Neural Machine Translation without Explicit Segmentation," in TACL, 2017.
2. D. Griffin and J. Lim, "Signal Estimation from Modified Short-Time Fourier Transform," in TASSP, 1984.