전체 글108 [딥러닝] 8장 Generalization과 Evaluation 8장 Generalization과 Evaluation1. Generalization(일반화): 보지 못한 데이터에서도 잘 작동하는 능력!1. 보통 데이터셋을 training:validation:test = 6:2:2로 나눔 2. K-fold Cross Validtaion: 데이터를 무작위로 나누는 것에는 문제가 있어 나온 방법(현재는 사용 x) 매 iteration마다 test set을 바꿔서 실행 3. Overfitting & Underfitting Overfitting: training set을 너무 잘 맞춰서 새로운데이터에 일반화가 잘 안 됨.Underfitting: training set조차 못 맞춤. 4. Shortcut Learning(지름길 학습): 모델이 단순한 패턴을 보고 spuriou.. 2024. 6. 9. [딥러닝] 7장 Language Model에서 어시스턴트로의 발전(언어모델의 3단계) 7장 Language Model에서 어시스턴트로의 발전(언어모델의 3단계)1. Pretraining: In-context Learning 장점1: 추가 학습 없이, 프롬프트엔지니어링(ex.CoT)으로 성능향상 가능.단점1: 맥락에 담을 정보의 양에 한계가 있음.단점2: 복잡한 task에서는 어느정도 gradient step이 필요.(fine tunning)GPT는 pretrained model!BERT는 수만개의 데이터로, GPT는 few-shot으로 학습하는데 성능 비슷함. Chain-of-thought prompting(사고의 사슬) - ex. 수학 문제 예제를 줄 때 풀이과정도 함께 줌."Let's think step by step"과 갗은 문장을 넣어주니 성능이 더 좋아짐. 2. Instructi.. 2024. 6. 9. [논문정리, 미팅기록] Hard Sample Aware Network for Contrastive Deep Graph Clustering (AAAI 2023) Hard Sample Aware Network for Contrastive Deep Graph ClusteringYue Liu et al. NIPS 2020c. https://arxiv.org/pdf/2212.08665https://github.com/yueliu1999/HSAN Abstracthard sample minig method에는 2가지 문제점이 있고, 우리는 이 문제점들을 해결하는 방법인 HSAN을 제안한다.😨Problem1. 유사성 계산에서 중요한 구조적 정보가 간과됨. → Sol. 새로운 유사성 측정 기준 도입! (considering attribute embedding and structure embedding)😨Problem2. 어려운 부정 샘플에만 초점을 맞춤. 어려운 긍정 .. 2024. 5. 29. [미팅 후 기록] What Makes for Good View for Conrastive Learning? (NIPS 2020) What Makes for Good View for Conrastive Learning?Yonglong Tian et al. NIPS 2020c. https://arxiv.org/pdf/2005.10243https://github.com/HobbitLong/PyContrast 이 논문을 보게된 배경...그래프에서 링크를 예측하는 것은 중요하다.→ 예측을 잘 하려면 경향성을 아는 것이 중요하다. (특정 값보단!!)→ 이 방안으로 Contrastive Learning이 뜬다.→ Contrastive Learning을 잘 하기 위해서는 View를 잘 만들어야 한다!→ "What Makes for Good View for Conrastive Learning?" Information Theory이 논문을 잘 이해.. 2024. 5. 29. [논문정리, 미팅기록] What Makes for Good View for Conrastive Learning? (NIPS 2020) What Makes for Good View for Conrastive Learning?Yonglong Tian et al. NIPS 2020c. https://arxiv.org/pdf/2005.10243https://github.com/HobbitLong/PyContrast Main point in this paper • reducing the mutual information(MI)• keeping task-relevant in formation위를 만족 시킬 수 있는 View 찾기 → InfoMin Principle 3.1 Multiview Contrastive LearningMI량 >= K개의 방해 요소에 따른 상수 - InfoNCE 손실함수 = MI량의 하한 3.2 Three Regime.. 2024. 5. 23. [웹정보] ch06 Association Rules2 Hash-based Filtering: 문제 상황 길이가 10인 문자열로 이루어진 1billion(10^9)개의 문자열 집합 S가 있음. F를 스캔하여 S 안에 있는 문자열을 출력하고 싶음. 메인메모리는 1GB -> 10^8byte S를 메인메모리에 다 올리지 못함 Solution 8billion 비트로 이루어진 비트 배열을 만들고, 모두 0으로 설정. 범위가 [0, 8*10^9)인 해시함수 h를 선택. S의 각 문자열을 해싱에 하나의 비트로 매핑하고, 해당 비트를 1로 설정. File의 문자열에 해당하는 해시 값이 1인 경우에만 출력 문자열 집합 S에는 1billion개의 문자열이 있음. bit array는 8billion 길이임. 비트 배열의 최대 1/8이 "1"임. false positive가 있을.. 2024. 4. 20. [웹정보] ch06 Association Rules1 Market Baskets 우리는 basket 사이의 관계가 아니라 item 사이의 관계가 궁금하다! Frequent Itemset: itemset이 support threshold 값인 s 이상 나타나면 frequent itemsets이다!! 다른 예시들 Item: 물건, basket: 구매한 물건들의 집합 Item: 문서, basket: 문장 반대로 생각할 수도 있지만 사용하는 목적에 따라 다른 거임. 즉 counting의 대상이 item이 되는 것임 몇개의 문서가 해당 문장을 포함하고 있냐 Item: 단어, basket: 웹페이지 단어로 아래와 같은 웹 마이닝을 할 수 있음 1. 페이지를 주제에 따라 클러스터화 유용한 블로그 찾기 댓글의 감정 판별 모호한 검색어로 검색된 페이지 분할 - ex. 재규.. 2024. 4. 20. 이전 1 2 3 4 5 ··· 16 다음
