본 포스팅은 책 "챗GPT 거부할 수 없는 미래"를 기반으로 합니다.
4학년이 되어서 컴퓨터종합설계 과목을 듣게 되었다!
어찌보면 졸작 느낌이라 멋진 걸 개발하고 싶다는 생각에 팀원들과 주제를 생각하는 데에 매우 오래 걸렸다.
주제는 나중에 다 완성하면 포스팅으로 올려볼 예정이다🍞
나는 이번 프로젝트에서 팀장 겸 AI 파트 개발을 맡는다!!
LLM, 챗지피티를 사용할 예정인데, 이 부분은 거의 무지해서 책을 보며 정리를 해볼까 한다.
책을 읽으면서 알고 있었던 점은 제외하고, 몰랐던 부분과 중요한 부분에 대해서만 정리하겠당
참고로 목차도 책과 다르게 내 마음대로 작성하는 것이다!
1 자연어 처리의 ABC
자연어 처리(Natural Language Processing)
자연어 우리가 일상생활에서 사용하는 언어
자연어 처리 자연어의 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 기술
자연어 처리 알고리즘
자연어 처리 알고리즘 → RNN, LSTM, seq2seq, BERT , GPT ...
하지만 바로 프로젝트에 사용해야 하기때문에 BERT와 GPT에 대해서만 알아보겠다.
(BERT는 내가 궁금해서ㅎㅎ)
BERT(Bidirectional Encoder Representations from Transformers)
: 문장과 문장 사이에 어떤 단어가 적절할지 예측하는 언어 모델
- 빈칸 앞뒤 문맥을 살핌 → 양방향 학습
- pre-training model
- 문장 분류, 질문 응답, 텍스트 유사도 측정 등에 사용
- 다국어 지원
GPT(Generative Pre-trained Transformer)
: 단어가 주어졌을 때 다음에 어떤 단어가 등장할 수 있는지를 예측하는 언어 모델
- 문장의 시작부터 순차적으로 계산 → 단방향 학습
- pre-training model (대규모 데이터로)
- 문장 생성, 기계 번역, 감성 분석 등에 사용
- 생성형 모델
참고로 BERT와 GPT는 모두 Transformer 알고리즘의 심화 버전이다.
Transformer는 아래처럼 여러개의 인코더와 디코더로 이루어져 있다.
