[인공지능] 4장 Learning: Gradient descent algorithm

1.Learning이란?

: input과 ouput이 정해졌을 때 함수 f를 찾는 것 = 가중치를 찾는 것! → error를 최소화하는 것!

(error의 최솟값을 구하는 문제→ 함수의 최솟값을 구하는 문제→ 미분해서 0이 되는 값을 찾는 문제)

 

2.Error

 

3. Optimization(최적화)

: 가중치를 조정함으로써 함수 f를 최소화하거나 최대화하는 것.

  + 최적화하는 값에는 ' * '를 붙인다.(ex. w*)

  + 이때의 함수 f를 objective function, 혹은 criterion이라고 한다.)

  + 만약 최소화하는 과정이라면 함수 f를 cost function, loss function, error function이라고 한다.)

 

4. Gradient descent algorithm(경사 하강법)

: global minimum을 찾는 방법.

  - f '(x) > 0 → x값 감소시키기

  - f '(x) < 0 → x값 증가시키기

 

5. Perceptron training

 - c: learning rate 상수로 여러 실험으로 정함.

       + c의 값이 크면 빠르게 최적화 가능. but 발산할 수도.

       + c의 값이 작으면 느리게 최적화됨.

6. Perceptron training algorithm

k는 노드의 수

7. 기타

1.&nbsp; Computational graph

2. Chain rule

3. Forward pass & Backward pass