Computer Science/Deep Learning Application6 [딥러닝] 10장 컴퓨터 비전, Conv와 멀티모달 학습 10장 컴퓨터 비전, Conv와 멀티모달 학습1. Visual Signals in Computer Vision픽셀 하나하나가 feature뭘 feature로 잡냐!→ ex. color histogram, 선이 어떤 방향으로 있는지에 대한 gradient ... 과정1) 랜덤하게 패치를 뽑고, 비슷한 애들끼리 클러스터해서 codebook만듦.2) 인코딩할 이미지를 codebook 기반으로 feature를 만듦.3) 다양한 방법을 가지고 feature를 만들어서 concat 사람은 눈과 가까운 곳에서는 잘게 잘게 인식하지만, 시신경에서 되로 갈 수록 잘게 잘리 넞ㅇ보를 abstract하게 만들어 버림-> 뇌는 추상화 한다-> Neural Net에 적용하면? -> Convolution!CNN구조로 어떤 tas.. 2024. 6. 15. [딥러닝] 9장 최근 언어 모델 9장 최근 언어 모델1. Parameter-Efficient Training1. Parameter-Efficient Fine-Tunning (PEFT)main idea: 조금의 파라미터만 업데이트 하자!모든 파라미터를 파인튜닝하는 것은 비실용적!요즘 모델들 파라미터 너무 많음. → 사실 parameter-efficient fine tunning해도 성능 비슷요즘의 AI paradigm은 Efficiency 보다 정확도에만 집중함.그러나 Efficiency도 중요하다! 2. Parameter Efficient Full-Finetunning문제점:GPT-3은 1750억 개의 파라미터를 가지고 있음.너무 많은 비용이 들어!Main idea:원래 가지고 있던 파라미터 |ϕ|를 더 작은 크기의 파라미터인 |Θ|.. 2024. 6. 14. [딥러닝] 8장 Generalization과 Evaluation 8장 Generalization과 Evaluation1. Generalization(일반화): 보지 못한 데이터에서도 잘 작동하는 능력!1. 보통 데이터셋을 training:validation:test = 6:2:2로 나눔 2. K-fold Cross Validtaion: 데이터를 무작위로 나누는 것에는 문제가 있어 나온 방법(현재는 사용 x) 매 iteration마다 test set을 바꿔서 실행 3. Overfitting & Underfitting Overfitting: training set을 너무 잘 맞춰서 새로운데이터에 일반화가 잘 안 됨.Underfitting: training set조차 못 맞춤. 4. Shortcut Learning(지름길 학습): 모델이 단순한 패턴을 보고 spuriou.. 2024. 6. 9. [딥러닝] 7장 Language Model에서 어시스턴트로의 발전(언어모델의 3단계) 7장 Language Model에서 어시스턴트로의 발전(언어모델의 3단계)1. Pretraining: In-context Learning 장점1: 추가 학습 없이, 프롬프트엔지니어링(ex.CoT)으로 성능향상 가능.단점1: 맥락에 담을 정보의 양에 한계가 있음.단점2: 복잡한 task에서는 어느정도 gradient step이 필요.(fine tunning)GPT는 pretrained model!BERT는 수만개의 데이터로, GPT는 few-shot으로 학습하는데 성능 비슷함. Chain-of-thought prompting(사고의 사슬) - ex. 수학 문제 예제를 줄 때 풀이과정도 함께 줌."Let's think step by step"과 갗은 문장을 넣어주니 성능이 더 좋아짐. 2. Instructi.. 2024. 6. 9. [딥러닝] Subword Tokenizer 딥러닝실제와 응용 수업시간에 발표를 하기 위해 공부한 내용들을 정리하겠다! Out-Of-Vocabulary(OOV) OOV 문제는 기계가 모르는 단어, 즉 임베딩을 해본 단어가 등장했을 때 주어진 문제를 푸는 것이 어려운 상황을 말한다. Subword Tokenizer 이는 하나의 단어를 더 작은 단위의 의미잇는 여러 서브 워드로 분리해서 인코딩, 임베딩을 하겠다는 것이다. Byte-Pair Encoding(BPE) BPE는 글자(char) 단위에서 점차적으로 단어 집합(vocabulary)를 만들어내는 Bottom up 방식으로 접근한다. 방법: 단어들을 모두 글자 단위로 자르고, 가장 많이 등장하는 유니그램(1-gram)을 하나의 글자 통합한다. 이때 vocabulary와 dictionary가 개념적.. 2024. 4. 10. [딥러닝] 4장 NLP&RNN&LSTM 1. Supervised vs Unsupervised Learning : 학습 시 label 사용 여부에 따라 나뉨. Unsupervised Learning:워드 임베딩, 언어 모델, 비교 학습 Supervised Learning: 감정 분석, 기계 번역, 코드 생성, 요약, 질의 응답 2. NLP: a two-stage approach Unsupervised Learning: Large Corpus 등의 dataset으로 Language Modeling을 수행 Supervised Learning: unsupervised로 가공한 dataset으로 Classification, Regression, Language Generation 등을 수행 3. Language Modeling Language Mode.. 2024. 4. 4. 이전 1 다음
