딥러닝
Neural Network
StoneSeller
2022. 7. 11. 15:08
Neural Network
Neural Network는 행렬 곱과 비선형 변환의 반복적 연산을 활용하여 ground-truth 함수를 근사하는 모델이다.
Linear Neural Networks
Ground-truth 함수에 근사하기 위해 loss를 줄이는 것이 목표이다.
loss function은 convex한 형태이므로 gradient(함수값이 증가하는 방향을 가리킴)에 -를 취해주어 loss를 감소하는 방향을 구한다.
아래와 같이 편미분을 통해 구한 gradient를 이용하여 파라미터가 어느 방향으로 움직였을 때 loss가 최소가 되는 지점을 찾고 파라미터를 update 시킨다.
Deep Neural Network : stack more layers
만약 linear layer를 계속 쌓는다면 linear x linear = linear이여서 linear layer 한개와 별 다를 바가 없다.
∴ x → y 로 가는 mapping이 표현할 수 있는 표현력을 최대한 극대화하기 위해서는 단순히 선형결합을 n번 반복하는 것이 아니라 activation function을 통해 nonlinear transform을 거치고 그렇게 얻어지는 feature vector를 다시 선형변환을 하고 nonlinear transform을 거치는 것을 여러번 반복한다.
728x90