Computer Science/Artificial Intelligence11 [인공지능] SP09. Regularization 0. Overfitting training 데이터와 다른 값들이들어오면 loss가 커짐. generalization과 반대! 1. Regularization techniques generalization하게 만들기 위한 방법들의 집합. 9-1 Explicit regularization 1. Explicit regularization g[ϕ]: 매개변수가 덜 선호될 때 큰 값을 반환하는 스칼라를 반환하는 함수. 어떤 매개변수를 덜 선호하도록 유도 λ: 원래 손실 함수와 정규화 항의 상대적인 기여를 제어하는 양의 스칼라. a) Gabor모델의 손실함수 b) 중심에서 멀어질 수록 증가하는 패널티를 추가해 매개변수가 중심에 가까워지도록 유도 최종 손실함수는 원래 손실함수 + 정규화 항의 합 2. 확률적 해석 기.. 2023. 12. 9. [인공지능] SP06. Fitting Models 0. Review Shallow network, Deep network Loss function Learning model -> loss를 줄이는 파라미터 값을 어떻게 찾냐! 학습 과정 (1) 파라미터 초기값 설정 (2) 손실에 대한 기울기(gradient, derivatices, 도함수) 계산 (3) 기울기로 손실 감소를 위해 파라미터 조정 (2), (3) 과정 반복 ▶ 이번 단원에서는 파라미터를 어떻게 조정해서 손실을 줄이는지 다룰 예정. 6-1. Gradient descent 1. Gradient descent 모델 fit을 위해서는 training set {xi, yi}가 필요. 입력 xi를 출력 yi로 잘 매핑하는 모델 f[xi, ϕ]의 매개변수 ϕ를 찾아야함. 이를 위해 손실함수 L[ϕ]을 정.. 2023. 11. 8. [인공지능] SP05. Loss functions 0. Review: Loss functions : 우리는 목푯값과 실제 결과의 차이를 최소화하는 파라미터를 찾아야함! 이때, loss function으로 불일치 정도를 하나의 숫자로 알 수 있음. 1. Task Regression(회귀): y는 실수값. Binary classification(이진 분류): y ∈ {0, 1}는 두 범주 중 하 Multiclass classification(다중 클래스 분류): y ∈ {1, 2, . . . , K}는 K개 범주 중 하나 우리는 우리 목적에 맞는 loss funtion을 만들어야한다! 5-1. Maximum likelihood 1. Maximtm likelihood - 과거: 에러를 많이 줄이자! - 현재: 답을 맞출 확률을 높이자! 2. 결과 분포 예측 .. 2023. 10. 21. [인공지능] SP04. Deep neural networks 0. Deep neural networks : 히든 레이어 수가 1개 이상이다. shallow network보다 선형 공간이 더 많다. 4-1. Composing neural networks 1. 1차원 입출력 신경망을 합성하는 경우 : 히든 레이어 2개. 각각의 히든 레이어는 3개의 노드를 가짐. 입출력은 하나 ㄹa) 첫번째 네트워크의 출력 y는 두번째 네트워크의 입력임. b) 첫번째 네트워크에서는 입력 x를 y로 매핑함. 세 개의 선형 영역으로 이루어짐. 여러 입력 x(회색 원)가 동일한 출력 y(청록색 원)에 매핑 됨. c) 두번째 네트워크는 y를 받아 y'를 반환하는 세 개의 선형 영역으로 이루어짐. 청록색 원이 갈색 원에 매핑 됨. d) (c)에서 정의된 두 번째 네트워크의 함수가 세번 복제 됨.. 2023. 10. 18. [인공지능] SP03. Shallow neural networks 3-1 Neural network example 1. Neural network의 예시 Shallow network: 은닉층이 하나인 신경망 함수 f: 입력 x와, 출력 y를 매핑하는 파라미터 ϕ를 가짐. 파라미터 10개(바이어스 4개, 가중치 6개) 2. 파라미터에 따른 그래프. 파라미터의 선택에 따라 서로 다른 형태의 그래프가 나옴. input, output 관계가 piecewise linear하게 나옴. 그러나 모두 3개의 변곡점을 가지고 있다는 공통점이 있음. joint의 수는 노드 수이다!(마지막 hidden layer의 노드 수가 3개여서 3개의 변곡점.) 3. shallow network그래프 그리는 과정 step1) 0보다 작은 부분을 0으로 만듦.(이때 꺾이는 부분이 최종출력의 joint.. 2023. 10. 18. [인공지능] 6장/ 7장/ 8장 6. Machine learning algorithms 1. 머신러닝 알고리즘 타입(6) ① Supervised leaning(지도 학습) - 각 예제는 레이블이나 목표값과 연결됨.(지도자 O) - x로부터 y를 예측하도록 학습. p(x|y)로 추정해 예측함.(x가 주어졌을 때 y가 나올 확률) ex. 회귀, 분류, 구조화된 출력문제(이미지, 문장, 음성) 등 ② Unspuervised learning(비지도 학습) - 지도자가 없음. 가이드 없이 스스로 데이터를 이해해야함. - 데이터 구조의 유용한 특성을 학습. - 확률 분포 p(x)를 학습. ex. 군집화, 밀도 추정 ③ Semi-supervised learning(반지도 학습) - 일부 예제는 지도 학습처럼 목표값(레이블)을 포함하고, 다른 예제는.. 2023. 10. 17. [인공지능] 5장 Training Multi-layer preceptron 1. 지금까지 배운 것 - feedforward의 목표: 함수 f로 근사화하는 것. 즉, y = f(x, θ ) 매핑하는 것. 바이어스나 가중치를 학습 시켜 목표를 이룸. 2. 델타( δ ) - 델타를 아래와 같이 정의하겠다. - 가장 마지막 노드의 델타는 아래와 같다. - 나머지 노드들의 델타는 아래와 같다. 가장 마지막 노드에서 부터 델타를 계산한다. 마지막에서 두번째 델타의 값은 = (시그모이드 미분에 z^(N-1)을 넣은 값)* (마지막 델타)*(마지막과 그 전 레이어 사이의 가중치) 3. 역전파 학습 과정 작은 값으로 가중치 초기화. while not stop: stop = TRUE for 모든 학습 입력 벡터에 대해 forwardpass()로 output 찾기 target과 output으로 손.. 2023. 10. 1. [인공지능] 4장 Learning: Gradient descent algorithm 1.Learning이란? : input과 ouput이 정해졌을 때 함수 f를 찾는 것 = 가중치를 찾는 것! → error를 최소화하는 것! (error의 최솟값을 구하는 문제→ 함수의 최솟값을 구하는 문제→ 미분해서 0이 되는 값을 찾는 문제) 2.Error 3. Optimization(최적화) : 가중치를 조정함으로써 함수 f를 최소화하거나 최대화하는 것. + 최적화하는 값에는 ' * '를 붙인다.(ex. w*) + 이때의 함수 f를 objective function, 혹은 criterion이라고 한다.) + 만약 최소화하는 과정이라면 함수 f를 cost function, loss function, error function이라고 한다.) 4. Gradient descent algorithm(경사 하.. 2023. 10. 1. [인공지능] 3장 Solving non-linear problems 1. 퍼셉트론의 한계 : not linear한 문제는 해결 어떻게할까?! 2. non-linear problems 해결방법 (1) 직선의 수를 늘린다! ( 2023. 10. 1. [인공지능] 2장 Perceptron 1. 뉴런의 기능(3) - Collection: 신호를 받는 기능 - Processing: 어떤 dendrite로 부터 받는 지에 따라 증폭, 감소를 처리하고 합친 후 하나로 인식 -> activiate - Dissmination: 다른 뉴런으로 신호 전달 2. Neural Networks란 : 몇가지의 패턴으로 연결되어 소통하는 뉴런들의 집합. (각각의 노드들은 심플한 일만 함 -> 신호의 세기 처리 후 전달) 3. Computing ability 1) input signal을 합치기 2) 활성화 규칙으로 output signal 계산 4. 개념 - Percepron: 수학적 모델의 뉴런 - Activation function: treshold보다값이 크면 활성화 - Weight: The role of.. 2023. 9. 19. 이전 1 2 다음
