[TIL] 2021.11.10

딥러닝 모델 구성 요소

- Node/Unit : 각 층을 구성하는 요소

- Layer : 모델을 구성하는 층

- Weight(가중치) : 노드간의 연결강도

 

학습 방법

- 예측값과 실제값 간의 오차값을 최소화 하기 위해 오차값을 최소화 하는 모델의 인자를 찾는 알고리즘 적용

Loss Function 을 최소화 하는 가중치를 찾기 위해 최적화 알고리즘 적용

순전파(Forward Propagation) - 입력값을 바탕으로 출력 값을 계산하는 과정

순전파를 사용하면 예측값과 실제값 간의 오차값을 구해 Loss function을 구할 수 있음

=> 최적화, 경사 하강법(Gradient descent) 사용

 

경사 하강법 - 가중치를 Loss function 값이 작아지게 업데이트 하는 방법이며

가중치는 Gradient 값을 사용해 업데이트를 수행함. Gradient 값은 각 가중치마다 정해지며,

역전파(Backpropogation)을 통해 구할 수 있음

 

딥러닝 모델의 학습순서

1. 학습용 feature 데이터를 입력해 예측값 구하기 (순전파)

2. 예측값과 실제값 사이의 오차 구하기 (Loss 계산)

3. Loss를 줄일 수 있는 가중치 업데이트 하기 (역전파)

4. 1~3 반복으로 Loss를 최소로 하는 가중치 얻기