인공지능9 [인공지능] SP05. Loss functions 0. Review: Loss functions : 우리는 목푯값과 실제 결과의 차이를 최소화하는 파라미터를 찾아야함! 이때, loss function으로 불일치 정도를 하나의 숫자로 알 수 있음. 1. Task Regression(회귀): y는 실수값. Binary classification(이진 분류): y ∈ {0, 1}는 두 범주 중 하 Multiclass classification(다중 클래스 분류): y ∈ {1, 2, . . . , K}는 K개 범주 중 하나 우리는 우리 목적에 맞는 loss funtion을 만들어야한다! 5-1. Maximum likelihood 1. Maximtm likelihood - 과거: 에러를 많이 줄이자! - 현재: 답을 맞출 확률을 높이자! 2. 결과 분포 예측 .. 2023. 10. 21. [인공지능] SP04. Deep neural networks 0. Deep neural networks : 히든 레이어 수가 1개 이상이다. shallow network보다 선형 공간이 더 많다. 4-1. Composing neural networks 1. 1차원 입출력 신경망을 합성하는 경우 : 히든 레이어 2개. 각각의 히든 레이어는 3개의 노드를 가짐. 입출력은 하나 ㄹa) 첫번째 네트워크의 출력 y는 두번째 네트워크의 입력임. b) 첫번째 네트워크에서는 입력 x를 y로 매핑함. 세 개의 선형 영역으로 이루어짐. 여러 입력 x(회색 원)가 동일한 출력 y(청록색 원)에 매핑 됨. c) 두번째 네트워크는 y를 받아 y'를 반환하는 세 개의 선형 영역으로 이루어짐. 청록색 원이 갈색 원에 매핑 됨. d) (c)에서 정의된 두 번째 네트워크의 함수가 세번 복제 됨.. 2023. 10. 18. [인공지능] SP03. Shallow neural networks 3-1 Neural network example 1. Neural network의 예시 Shallow network: 은닉층이 하나인 신경망 함수 f: 입력 x와, 출력 y를 매핑하는 파라미터 ϕ를 가짐. 파라미터 10개(바이어스 4개, 가중치 6개) 2. 파라미터에 따른 그래프. 파라미터의 선택에 따라 서로 다른 형태의 그래프가 나옴. input, output 관계가 piecewise linear하게 나옴. 그러나 모두 3개의 변곡점을 가지고 있다는 공통점이 있음. joint의 수는 노드 수이다!(마지막 hidden layer의 노드 수가 3개여서 3개의 변곡점.) 3. shallow network그래프 그리는 과정 step1) 0보다 작은 부분을 0으로 만듦.(이때 꺾이는 부분이 최종출력의 joint.. 2023. 10. 18. [인공지능] 6장/ 7장/ 8장 6. Machine learning algorithms 1. 머신러닝 알고리즘 타입(6) ① Supervised leaning(지도 학습) - 각 예제는 레이블이나 목표값과 연결됨.(지도자 O) - x로부터 y를 예측하도록 학습. p(x|y)로 추정해 예측함.(x가 주어졌을 때 y가 나올 확률) ex. 회귀, 분류, 구조화된 출력문제(이미지, 문장, 음성) 등 ② Unspuervised learning(비지도 학습) - 지도자가 없음. 가이드 없이 스스로 데이터를 이해해야함. - 데이터 구조의 유용한 특성을 학습. - 확률 분포 p(x)를 학습. ex. 군집화, 밀도 추정 ③ Semi-supervised learning(반지도 학습) - 일부 예제는 지도 학습처럼 목표값(레이블)을 포함하고, 다른 예제는.. 2023. 10. 17. [인공지능] 5장 Training Multi-layer preceptron 1. 지금까지 배운 것 - feedforward의 목표: 함수 f로 근사화하는 것. 즉, y = f(x, θ ) 매핑하는 것. 바이어스나 가중치를 학습 시켜 목표를 이룸. 2. 델타( δ ) - 델타를 아래와 같이 정의하겠다. - 가장 마지막 노드의 델타는 아래와 같다. - 나머지 노드들의 델타는 아래와 같다. 가장 마지막 노드에서 부터 델타를 계산한다. 마지막에서 두번째 델타의 값은 = (시그모이드 미분에 z^(N-1)을 넣은 값)* (마지막 델타)*(마지막과 그 전 레이어 사이의 가중치) 3. 역전파 학습 과정 작은 값으로 가중치 초기화. while not stop: stop = TRUE for 모든 학습 입력 벡터에 대해 forwardpass()로 output 찾기 target과 output으로 손.. 2023. 10. 1. [인공지능] 4장 Learning: Gradient descent algorithm 1.Learning이란? : input과 ouput이 정해졌을 때 함수 f를 찾는 것 = 가중치를 찾는 것! → error를 최소화하는 것! (error의 최솟값을 구하는 문제→ 함수의 최솟값을 구하는 문제→ 미분해서 0이 되는 값을 찾는 문제) 2.Error 3. Optimization(최적화) : 가중치를 조정함으로써 함수 f를 최소화하거나 최대화하는 것. + 최적화하는 값에는 ' * '를 붙인다.(ex. w*) + 이때의 함수 f를 objective function, 혹은 criterion이라고 한다.) + 만약 최소화하는 과정이라면 함수 f를 cost function, loss function, error function이라고 한다.) 4. Gradient descent algorithm(경사 하.. 2023. 10. 1. [인공지능] 3장 Solving non-linear problems 1. 퍼셉트론의 한계 : not linear한 문제는 해결 어떻게할까?! 2. non-linear problems 해결방법 (1) 직선의 수를 늘린다! ( 2023. 10. 1. [인공지능] 2장 Perceptron 1. 뉴런의 기능(3) - Collection: 신호를 받는 기능 - Processing: 어떤 dendrite로 부터 받는 지에 따라 증폭, 감소를 처리하고 합친 후 하나로 인식 -> activiate - Dissmination: 다른 뉴런으로 신호 전달 2. Neural Networks란 : 몇가지의 패턴으로 연결되어 소통하는 뉴런들의 집합. (각각의 노드들은 심플한 일만 함 -> 신호의 세기 처리 후 전달) 3. Computing ability 1) input signal을 합치기 2) 활성화 규칙으로 output signal 계산 4. 개념 - Percepron: 수학적 모델의 뉴런 - Activation function: treshold보다값이 크면 활성화 - Weight: The role of.. 2023. 9. 19. [인공지능] 1장 Introduction 0. 인공지능 과목의 목표 (1) 딥러닝의 기본 개념 (2) PyTorch를 사용한 딥러닝 배우기.(PyTorch: 기계학습을 위한 라이브러리) 1. Intelligence란?(6) - Reasoning: 로직을 통해 결론을 도출하는 것. - Learning: 스스로 학습하는 것. - Language communication: 언어로 소통하는 것.(ex. 챗선생) - Planning: 과정의 계획을 최적으로 세우는 것 - Decision making: 결론을 확정 짓는 것. - Pattern recognition: 보거나 들은 것을 분류하는 것. 등등 2. 인공 지능 응용 분야(6) : Image Processing, Speech/Natural Language Processing, Big Data, Se.. 2023. 9. 19. 이전 1 다음
