오차역전파(Back-Propagation)

💡 'Deep Learning from Scratch'를 참고하여 작성함

신경망(neural network)의 학습을 위해서는 가중치 매개변수(weight parameter)에 대한 손실 함수(loss function)의 기울기(gradient)를 구해야 합니다. 기울기를 구하는 가장 간단한 방법은 수치 미분(numerical differentation)을 이용하는 것입니다. 수치 미분은 '근사치(approximation)'를 이용하여 계산하는 방법으로 단순하고 구현하기 쉽지만, 계산 시간이 오래걸린다는 단점이 있습니다. 이번 게시물은 가중치 매개변수의 기울기를 효과적으로 계산하는 방법인 '오차역전법'을 설명하겠습니다.

1. 역전파

왼쪽에서 오른쪽으로 진행되는 신경망이 있을 때, 신경망의 결과를 구하기 위한 계산 역시 왼쪽에서 오른쪽으로 진행되었습니다. 이를 순전파(foward-propagation)라고 합니다. 순전파는 신경망의 시작부터 끝까지의 전파를 의미합니다. 한편, 역전파는 '국소적인 미분'을 순방향과 반대 방향인 오른쪽에서 왼쪽으로 전달합니다. 또한, '국소적 미분'을 전달하는 원리는 연쇄법칙(Chain rule)을 따르고 있습니다.

국소적 계산
전체에서 어떤 일이 벌어지든 관계없이 자신과 관련된 정보만을 결과로 출력하는 것을 의미. 여기서 국소적이란 '자신과 직접 관계된 작은 범위'를 뜻함.

1.1 역전파의 계산 그래프(Computational graph)

계산 그래프는 계산 과정을 그래프로 나타낸 것입니다. 복수의 노드(node)와 에지(edge)로 표현됩니다. 역전파를 계산 그래프로 표현하면 아래와 같습니다.

그림 1. 역전파의 계산 그래프

위의 그림 1과 같이 역전파의 계산 절차는 다음과 같습니다.

1. 신호 $ E $에 노드의 국소적 미분($ \frac{\partial y}{\partial x} $)을 곱한 후 다음 노드로 전달합니다.
2. 상류에서 전달된 값에 국소적인 미분을 곱하여 앞쪽 노드로 전달합니다.

국소적 미분
국소적 미분은 순전파의 $ y=f(x) $ 계산의 미분을 구한다는 것. 이는 $ x $에 대한 $ y $의 미분($ \frac{\partial y}{\partial x} $)을 구하는 것을 의미.

위의 역전파 계산 순서를 따르면 목표로 하는 미분 값을 효율적으로 구성할 수 있습니다. 이는 연쇄 법칙의 원리로 인하여 가능하였습니다.

1.2 연쇄법칙

연쇄법칙을 이해하려면 합성 함수에 대한 이해부터 필요합니다. 합성 함수란 여러 함수로 구성된 함수를 말합니다. 예를 들어, $ z=(x+y)^2 $은 아래의 식으로 표현할 수 있습니다.
$$ z = t^2 $$
$$ t = x+y $$
연쇄법칙은 합성 함수의 미분에 대한 성질입니다. 합성 함수의 미분은 '합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다'고 정의할 수 있습니다. 이 정의를 이용하면, 위의 수식을 아래와 같이 미분할 수 있습니다.
$$ \frac{\partial z}{\partial t} = 2t $$
$$ \frac{\partial t}{\partial x} = 1 $$
최종적으로 구하고 싶은 $ \frac{\partial z}{\partial x} $는 두 미분을 곱함으로써 계산할 수 있습니다.
$$ \frac{\partial z}{\partial x} = \frac{\partial z}{\partial t}\frac{\partial t}{\partial x} = 2t \cdot 1 = 2(x+y) $$
이를 그림 1과 같이 계산 그래프로 표현하면 아래의 그림 2와 같습니다.

그림 2. $ z = (x+y) ^ 2 $의 역전파 계산 그래프

---

2. 활성화 함수 계층 구현

2절에서는 대표적인 활성화 함수인 Recitified Linear Unit (ReLU)와 시그모이드(Sigmoid)의 계층에 역전파의 개념을 적용하여 구현하겠습니다.

2.1 ReLU 계층

활성화 함수로 사용하는 ReLU를 $ x $에 대한 $ y $의 미분으로 계산하면 아래와 같습니다.
$$ \frac{\partial y}{\partial x}=\begin{cases} 1 &(x>0)\\ 0 &(x\leq0) \end{cases} $$
순전파의 입력인 $ x $가 0보다 크면 역전파는 상류의 값을 그대로 하류로 흘려보냅니다. 반면, 순전파에서 $ x $가 0 이하면 역전파 때는 하류로 0을 흘려보냅니다.

class Relu:
    def __init__(self):
        self.mask = None
    
    def forward(self, x):
        self.mask = (x <= 0)
        out = x.copy()
        out[self.mask] = 0

        return out
    
    def backward(self, dout):
        dout[self.mask] = 0
        dx = dout

        return dx

---

2.2 시그모이드 계층

시그모이드 함수의 식은 아래와 같습니다.
$$ y=\frac{1}{1+\exp{(-x)}} $$
이를 계산 그래프를 이용하여 역전파의 단계 별로 계산한 것이 아래의 그림 3입니다.

그림 3. 시그모이드 함수의 계산 그래프

위의 그림에서 구한 역전파의 최종 출력인 $ \frac{\partial L}{\partial y}{y^{2}\exp{(-x)}} $는 아래와 같이 정리할 수 있습니다.
$$ \begin{matrix} \frac{\partial L}{\partial y}{y^2\exp{(-x)}} &=& \frac{\partial L}{\partial y}\frac{1}{(1+\exp{(-x)}^2}\exp{(-x)}\\ &=& \frac{\partial L}{\partial y}\frac{1}{1+\exp{(-x)}}\frac{\exp{(-x)}}{1+\exp{(-x)}}\\ &=& \frac{\partial L}{\partial y}y(1-y) \end{matrix} $$
시그모이드 계층의 역전파는 순전파의 출력인 $ y $만으로 계산할 수 있다는 것을 확인할 수 있습니다. 이를 구현한 내용은 아래와 같습니다.

class sigmoid:
    def __init__(self):
        self.out = None
    
    def forward(self, x):
        out = 1 / (1 + np.exp(-x))
        self.out = out

        return out

    def backward(self, dout):
        dx = dout * (1.0 - self.out) * self.out

        return dx