[딥러닝] 퍼셉트론과 신경망의 차이.

이 포스팅은 개인적으로 책을 보며 학습한 내용입니다.

이점 참고 부탁드립니다.

 

 

신경망을 이해하려면 퍼셉트론을 먼저 학습해야 합니다.

퍼셉트론은 이해하기 쉬우니 한번 읽어보시고 다시 신경망으로 돌아오세요.

퍼셉트론의 단점은 매개변수 중 가중치를 수동으로 사람이 설정해야 합니다.

신경망은 수동으로 설정해야 하는 가중치를 데이터로부터 적절한 값을 학습하는 능력을 가지는데 이는 신경망의 대표 성질입니다.

이제 신경망과 퍼셉트론의 차이점을 알아보고 신경망의 입력을 식별하여 처리하는 과정에 대해 정리해보겠습니다.

1. 퍼셉트론과 신경망

[그림1]

  신경망을 그림으로 표현하면 [그림1] 처럼 나타 낼 수 있습니다. 총 2층으로 구성되어 있으며 오른쪽에서부터 입력층, 은닉층, 출력층이라 합니다. 은닉층은 단어 뜻 그대로 숨겨 있다는 의미로 우리는 은닉층을 상세히 볼 수 없습니다.

[그림 1]로 보면 퍼셉트론에서 봤던 다층 퍼셉트론과 다르게 보이지는 않습니다.

실제로 뉴런의 연결을 유사합니다.

신경망과 퍼셉트론의 차이를 보기 위해 신호가 어떻게 전달되는지 확인해볼까요?

 

[그림2]

 

앞서 살펴본 퍼셉트론을 표현하면 [그림2]에서와 같이 나타낼 수 있습니다. 그리고 이걸 함수로 표현하면 h(x)로 표현할 수 있습니다. h(x)의 결과에 따라 0 이하면 0, 0 이상이면 1로 표현이 가능하죠.

이렇게 본 h(x)를 일반적으로 활성화 함수라 합니다.

2. 활성화 함수

지금까지 본 퍼셉트론의 설질 중 임계치를 넘으면 1 못넘으면 0을 출력하는 퍼셉트론의 성질은 계단 함수라고 합니다.

결과적으로 “퍼셉트론의 단층 구조는 활성화 함수로 계단 함수를 사용한다”라고 할 수 있습니다.
활성화 함수에는 계단 함수만 있는 것이 아닙니다. 신경망에서는 시그모이드 함수를 많이 쓰기도 합니다.

$$ h(x) = 1 / 1 + exp(-x) $$

퍼셉트론과 신경망의 가장 큰 차이는 이 활성화 함수 입니다. 퍼셉트로는 계단 함수로 신경망은 시그모이드 함수로 활성화 함수를 사용합니다. 최근에는 ReLU 함수도 사용하며 신경망 모델마다 활성화 함수를 선택하여 사용합니다.

두 활성화 함수인 시그모이드 함수와 계단 함수의 차이점은 연속적인 실수를 출력하는가? 안하는가에 있습니다.

공통점은 입력 값이 커질 수록 1, 입력 값이 작아질수록 0으로 출력한다는 것입니다.

이 밖에도 둘 다 비선형 함수이며 신경망의 활성화 함수는 비선형 함수여야 합니다.

선형 함수라면 신경망으로 표현하는 의미가 없어집니다.

3. ReLU 함수

 

위에서 활성화 함수로 계단 함수와 시그모이드 함수를 살펴보았습니다. 최근에는 ReLU 함수를 주로 사용한다고 설명했습니다. 그렇다면 ReLU 함수가 무엇인지 살펴보겠습니다.

 

ReLU는 입력이 0을 넘으면 그 입력을 그대로 출력하고 0 이하는 0으로 출력하는 함수입니다.

 

참고 도서 

 

Deep Learning from Scratch