활성화 함수(Activation function)

💡 'Deep Learning from Scratch'를 참고하여 작성

1. 퍼셉트론(perceptron)에서 신경망(neural network)으로

1.1 퍼셉트론

  앞서 공부한 퍼셉트론은 $ x_1 $과 $ x_2 $라는 두 신호를 입력받아 $ y $를 출력했습니다. 이를 수식으로 나타내면 아래와 같습니다.

$$ y=\begin{cases} 0\ (b+w_1x_1+w_2x_2\leq0)\\ 1\ (b+w_1x_1+w_2x_2>0) \end{cases} $$

  여기서 $ b $는 편향(bias)를 나타내는 매개변수(parameter)로 뉴런이 얼마나 쉽게 활성화되는지를 제어합니다. $ w_1 $과 $ w_2 $는 각 신호의 가중치(weight)를 나타내는 매개변수로 각 신호의 영향력을 제어합니다. 네트워크에 편향 $ b $를 명시하면 아래의 그림 1과 같습니다.

그림 1. 편향을 표기한 퍼셉트론

  위의 그림 1에서 가중치는 $ b $이고 입력이 $ 1 $인 뉴런이 추가되었습니다. 이 퍼셉트론은 $ x_1, x_2, 1 $이라는 3개의 신호가 뉴런에 입력되어, 각 신호에 가중치를 곱한 후 다음 뉴런으로 전달합니다. 다음 뉴런에서는 이 신호들의 값을 더하여, 합이 0을 넘으면 1을 출력하고 그렇지 않으면 0을 출력합니다.

  이 수식을 더 간결한 형태로 다시 작성하겠습니다. 입력 신호의 총합을 구하고 이를 $ h(x) $ 라는 함수를 거쳐 변환합니다. 그 변환된 값이 $ y $로 출력되는 것을 볼 수 있습니다.

$$ y=h(b+w_1x_1+w_2x_2)\\ $$

$$ h(x)=\begin{cases} 0\ (x\leq0) \\ 1\ (x>0) \end{cases} $$

1.2 활성화 함수의 등장

  1.1절에서 $ h(x) $라는 함수가 등장했습니다. 이처럼 입력 신호의 총합을 출력 신호로 변환하는 함수를 활성화 함수라고 합니다. 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 합니다.

  위 수식을 다시 정리해보면, 아래의 수시과 같이 2개의 식으로 나눌 수 있습니다.

$$ a=b+w_1x_1+w_2x_2 $$

$$ y=h(a) $$

  여기서 $ a $는 가중치가 달린 입력 신호와 편향의 총합을 계산합니다. $ a $를 함수 $ h() $에 넣어 $ y $를 출력하는 흐름입니다.

---

2. 활성화 함수

  2절에서는 신경망에서 사용하는 활성화 함수를 소개합니다.

2.1 계단 함수

  퍼셉트론에서 사용하던 활성화 함수는 계단 함수였습니다. 계단 함수는 입력이 0을 넘으면 1을 출력하고, 그 외에는 0을 출력하는 함수입니다. 이를 구현하면 아래와 같습니다.

def step_function(x: np.array) -> np.array:
    y = x > 0
    return y.astype(np.int64)

  위에서 정의한 계단 함수를 시각화하면 아래와 같습니다.

그림 2. 계단 함수 그래프

  그래프에서 확인할 수 있듯이 계단 함수는 0을 경계로 출력이 0에서 1로, 1에서 0으로 바뀝니다.

2.2 시그모이드 함수(Sigmoid function)

  신경망에서 자주 사용하는 활성화 함수인 시그모이드 함수의 수식은 아래와 같습니다.

$$ h(x)=\frac{1}{1+\exp(-x)} $$

  신경망에서는 활성화 함수로 시그모이드 함수를 이용하여 신호를 변환합니다. 이렇게 변환한 신호를 다음 뉴런에 전달합니다. 시그모이드 함수를 구현하면 아래와 같습니다.

def sigmoid(x: np.array) -> np.array:
    return 1 / (1 + np.exp(-x))

  이를 그래프로 그려보면 아래의 그림 3과 같습니다.

그림 3. 시그모이드 함수 그래프

  사실 시그모이드란 'S자 모양'을 뜻합니다. 위 그래프를 통하여 왜 그런 이름이 붙여졌는지 이해할 수 있습니다.

2.3 시그모이드 함수와 계단 함수 비교

  두 함수의 가장 큰 차이점은 '매끄러움'입니다. 시그모이드 함수는 부드러운 곡선이며 입력에 따라 출력이 연속적으로 변합니다. 반면, 계단 함수는 0을 경계로 출력이 갑자기 바뀝니다. 시그모이드 함수의 매끄러움이 신경망 학습에서 아주 중요한 역할을 합니다.

그림 4. 계단 함수(점선)와 시그모이드 함수(실선) 그래프

  또한, 계단 함수는 0과 1 가운데 하나의 값만을 돌려주지만, 시그모이드 함수는 실수를 돌려줍니다. 퍼셉트론에서 뉴런 사이에 0과 1만 흘렀다면, 신경망에서는 연속적인 실수가 흐릅니다.

  두 함수의 공통점은 입력이 작을 때 출력은 0에 가까워지고, 입력이 커지면 출력이 1에 가까워지는 구조라는 것입니다. 즉, 입력이 중요하면 큰 값을 출력하고 입력이 중요하지 않으면 작은 값을 출력합니다. 또한, 입력이 아무리 크거나 작더라도 0과 1 사이의 값만을 출력한다는 것도 공통점입니다.

  두 함수의 중요한 공통점은 비선형 함수(nonlinear function)라는 것입니다. 신경망에서는 활성화 함수로 비선형 함수를 사용해야 합니다. 이는 선형 함수(linear function)를 사용하면 신경망의 층을 깊게 하는 의미가 없어지기 때문입니다.

선형 함수 : 함수에 무언가를 입력했을 때, 출력이 입력의 상수배만큼 변함
비선형 함수 : 직선 1개로는 그릴 수 없는 함수

  선형 함수의 문제는 층을 아무리 깊게 해도 '은닉층이 없는 네트워크'로도 똑같은 기능을 할 수 있다는 것입니다. 예를 들어, $ h(x)=cx $인 활성화 함수를 2층 네트워크로 쌓는다고 가정하겠습니다. 이 경우, $ y(x)=h(h(x)) $가 되며 이를 계산하면 $ y(x)=c^2x $가 됩니다. 이는 $ y(x)=ax $와 같은 식입니다. 이처럼 선형 함수를 사용하게 되면 층을 쌓는 혜택을 얻을 수 없습니다. 따라서 활성화 함수로는 반드시 비선형 함수를 사용해야 합니다.

2.4 Hyperbolic tangent (tanh) 함수

  tanh 함수는 시그모이드 함수를 일부 보완하기 위해 등장했습니다. 두 함수의 가장 큰 다른 점은 시그모이드 함수의 범위는 0과 1 사이인 반면, tanh 함수는 -1부터 1까지입니다. tanh 함수의 중앙값이 0이기 때문에, 경사하강법 사용 시 편향 이동이 발생하지 않는다는 장점이 있습니다. tanh 함수의 공식은 아래와 같습니다.

$$ h(x)=\frac{\exp(x)-\exp(-x)}{\exp(x)+\exp(-x)} $$

  이를 구현한 코드는 아래와 같습니다.

def tanh(x: np.array) -> np.array:
    return (np.exp(x)- np.exp(-x))/(np.exp(x)+np.exp(-x))

  tanh의 그래프는 아래 그림 5와 같이 그릴 수 있습니다.

그림 5. tanh 함수 그래프

2.5 Rectified Linear Unit (ReLU)

  최근에는 활성화 함수로 ReLU를 주로 이용합니다. ReLU는 입력이 0을 넘으면 입력을 그대로 출력하고, 0 이하면 0을 출력합니다. 수식으로는 아래와 같이 표현할 수 있습니다.

$$ h(x)=\begin{cases} x\ (x>0)\\ 0\ (x\leq0) \end{cases} $$

  이를 아래와 같이 구현할 수 있습니다.

def relu(x: np.array) -> np.array:
    return np.maximum(0, x)

  그래프로 그려보면 아래의 그림 6과 같습니다.

그림 5. ReLU 함수 그래프

2.6 Leaky ReLU 함수

  ReLU가 0 이하일 때, 0을 출력하는 것을 막기 위해 고안된 활성화 함수입니다. 이를 수식으로 표현하면 아래와 같습니다.

$$ h(x)=\begin{cases} x\ & (x>0)\\ 0.01 \times x& (x\leq 0) \end{cases} $$

  이를 아래와 같이 구현할 수 있습니다.

def leaky_relu(x: np.array, alpha: float) -> np.array:
    return np.where(x > 0, x, x * alpha)

  Leaky ReLU를 그래프로 그리면 아래의 그림 7이 됩니다.

그림 6. Leaky ReLU 그래프(alpha : 0.05 사용)

  그림 7을 통하여 실제로 0 이하에서 0이 출력되지 않고, 값에 따라 0보다 작은 값들이 출력되는 것을 확인 할 수 있습니다.

---

3. 출력층의 활성화 함수

  신경망은 분류(classification)과 회귀(regression) 문제 모두에서 이용할 수 있습니다. 문제에 따라 출력층에서 사용하는 활성화 함수가 달라집니다. 회귀 문제에서는 항등 함수(identity function)를 사용하고, 분류 문제에서는 소프트맥스 함수(softmax function)를 사용하는 것이 일반적입니다.

분류 문제 : 데이터가 어느 부류(class)에 속하는 지에 대한 문제
회귀 문제 : 입력 데이터에서 연속적인 수치를 예측하는 문제

3.1 항등 함수와 소프트맥스 함수 구현

  항등 함수는 입력을 그대로 출력합니다. 출력층에서 항등 함수를 사용하면, 입력 신호가 그대로 출력 신호가 됩니다. 항등 함수에 의한 변환은 화살표로 표시합니다.

  분류에서 사용하는 소프트맥스 함수의 수식은 아래와 같습니다.

$$ y_k=\frac{\exp(a_k)}{\sum^{n}_{i=1}\exp(a_i)} $$

• $ \exp{(x)} $는 $ e^x $를 뜻하는 지수 함수(exponential function)
• $ n $은 출력층의 뉴런 수, $ y_k $는 $ k $번째 출력을 의미
• $ a $는 입력 신호를 의미

  소프트맥스 함수의 출력은 수식에서 확인할 수 있듯이 모든 입력 신호로부터 영향을 받습니다. 소프트맥스 함수를 구현한 내용은 아래와 같습니다.

def softmax(a: np.array) -> np.array:
    exp_a = np.exp(a)
    sum_exp_a = np.sum(exp_a)
    return exp_a / sum_exp_a

  하지만 이 구현에는 치명적인 문제가 존재합니다. 그것은 바로 오버플로(overflow) 문제입니다. 소프트맥스 함수는 지수 함수를 사용하는데, 지수 함수는 아주 큰 값을 출력하기도 합니다. 이 과정에서 컴퓨터가 표현할 수 있는 한정된 수의 범위를 넘어가는 문제가 발생합니다. 이를 오버플로라고 합니다. 오버플로를 개선하기 위해 소프트맥스 함수의 수식을 아래와 같이 수정합니다.

$$ \begin{matrix} y_k =\frac{\exp(a_k)}{\sum^{n}_{i=1}{\exp(a_i)}} &=& \frac{C\exp(a_k)}{C\sum^{n}_{i=1}{\exp(a_i)}}\\ &=& \frac{\exp(a_k + \log{C})}{\sum^{n}_{i=1}{\exp(a_i+\log{C})}}\\ &=& \frac{\exp(a_k+C')}{\sum^{n}_{i=1}{\exp(a_i+C')}} \end{matrix} $$

  위의 식이 말하는 것은 지수 함수를 계산할 때, 어떤 정수를 빼더라도 결과는 바뀌지 않는다는 것입니다. 이 개념을 통해 오버플로를 막을 목적으로 입력 신호 가운데 최댓값을 이용합니다. 위 개념을 적용하여 아래와 같이 다시 구현할 수 있습니다.

def revised_softmax(a: np.array) -> np.array:
    c = np.max(a)
    exp_a = np.exp(a - c)
    sum_exp_a = np.sum(exp_a)
    return exp_a / sum_exp_a

3.2 소프트맥스 함수의 특징

  위에서 구현한 소프트맥스 함수를 이용하면, 아래와 같이 신경망의 출력을 구할 수 있습니다.

a = np.array([0.3, 2.9, 4.0])
print(f"softmax 함수 결과값 : {revised_softmax(a)}")
print(f"softmax 함수의 정답 : {np.argmax(revised_softmax(a))}")

-> softmax 함수 결과값 : [0.01821127 0.24519181 0.73659691]
-> softmax 함수의 정답 : 2

  출력 내용을 통해 확인할 수 있듯이 소프트맥스 함수의 출력은 0에서 1 사이의 실수입니다. 또한, 소프트맥스 함수의 총합은 1입니다. 여기서 총합이 1이 된다는 점이 소프트맥스 함수의 중요한 특징입니다. 이 특징 덕분에 소프트맥스 함수의 출력을 '확률'로 해석할 수 있습니다.

  여기서 주의할 점은 소프트맥스 함수를 적용하더라도 각 원소의 대소 관계는 변하지 않는다는 것입니다. 즉, 신경망의 추론(inference) 단계에서 소프트맥스 함수를 출력에 적용하지 않더라도 괜찮다는 의미입니다. 일반적으로 추론에서는 가장 큰 출력을 내는 뉴런에 해당하는 부류로 분류합니다. 따라서 학습(train) 단계에서는 출력층에서 소프트맥스 함수를 이용하고, 추론 단계에서는 출력층의 소프트맥스 함수를 생략합니다.