[Math] 다층 퍼셉트론

다층 퍼셉트론의 구조와 데이터를 갖고 학습하는 방식, 결과물을 만드는 방법에 대해 알아보자.

---

 

입력 데이터 X와 가중치 행렬 W, 절편 행렬 b의 선형 결합으로 결과 행렬 O가 생성된다.

하나의 입력 데이터, 즉 X 행렬에서 하나의 행 벡터(xk)는 W 행렬에서 하나의 열 벡터와 내적하여 하나의 결과값(ok)를 만들어 낸다.

위 선형 결합에서 p개의 선형 모델이 입력 데이터를 받아 p개의 결과값을 만들어낸다고 생각할 수 있다. (W 행렬의 열이 p개 이므로)

 

Softmax 함수는 선형 모형의 출력을 확률로 해석할 수 있게 확률 벡터로 변환해주는 함수이다.

 

 

선형 결합의 결과 벡터 O를 Softmax 함수의 인자로 넣어 분류 문제를 해결할 수 있다.

 

신경망은 선형 모델과 활성함수를 합성한 함수이다.

 

활성 함수

 

활성 함수는 비선형 함수로, 선형 모델 결과값 각각에 개별적으로 적용하여 새로운 잠재 벡터(결과 벡터)를 만든다.

 

 

활성함수를 사용하지 않으면, 선형 모형과 차이가 없게 된다.

 

다층 퍼셉트론은 이러한 신경망이 여러층 합성된 함수이다.

 

 

 

forward propagation (순전파)

 

학습이 아닌, 입력이 주어졌을 때 출력물을 내뱉는 과정을 표현한다.

 

 

back propagation (역전파)

 

딥러닝의 학습 원리로, 파라미터 값을 수정한다.