2024/06/141 [딥러닝] 9장 최근 언어 모델 9장 최근 언어 모델1. Parameter-Efficient Training1. Parameter-Efficient Fine-Tunning (PEFT)main idea: 조금의 파라미터만 업데이트 하자!모든 파라미터를 파인튜닝하는 것은 비실용적!요즘 모델들 파라미터 너무 많음. → 사실 parameter-efficient fine tunning해도 성능 비슷요즘의 AI paradigm은 Efficiency 보다 정확도에만 집중함.그러나 Efficiency도 중요하다! 2. Parameter Efficient Full-Finetunning문제점:GPT-3은 1750억 개의 파라미터를 가지고 있음.너무 많은 비용이 들어!Main idea:원래 가지고 있던 파라미터 |ϕ|를 더 작은 크기의 파라미터인 |Θ|.. 2024. 6. 14. 이전 1 다음
