GPT 시리즈 논문 정리 (GPT-1 ~ GPT-4)

 

📘 1. GPT-1

▪️ 논문 제목

Improving Language Understanding by Generative Pre-Training

▪️ 발표 연도

2018년 (OpenAI)

▪️ 한글 요약

• GPT의 시작점. "생성 기반 사전학습(Generative Pre-Training)"이라는 개념을 처음 도입.
• 먼저 대규모 말뭉치로 문장 구조를 **비지도학습(pretraining)**한 후,
  구체적인 과제에 대해 **지도학습(finetuning)**을 수행함.
• 사용 데이터: BookCorpus (책 기반 말뭉치, 약 7천만 문장)
• 구조: 트랜스포머 디코더(Transformer Decoder) 기반
• 성능 개선 포인트: 사전학습만으로도 다양한 자연어 처리 과제에서 향상된 성능 확인

 

 

📙 2. GPT-2

▪️ 논문 제목

Language Models are Unsupervised Multitask Learners

▪️ 발표 연도

2019년 (OpenAI)

▪️ 한글 요약

• 파라미터 수를 크게 확장한 대규모 모델 (최대 15억 개 파라미터)
• WebText라는 새로운 데이터셋으로 훈련 (웹에서 수집한 고품질 텍스트)
• 사전학습만으로도 번역, 요약, 질의응답 등 다양한 작업 가능함을 보여줌
• 논문의 핵심 주장: "별도의 태스크 학습 없이도 다중작업을 할 수 있다"
• 악용 우려로 인해 전체 모델 공개가 한동안 보류됨 (화제의 중심)

 

 

📗 3. GPT-3

▪️ 논문 제목

Language Models are Few-Shot Learners

▪️ 발표 연도

2020년 (OpenAI)

▪️ 한글 요약

• GPT-2보다 훨씬 더 큰 1750억 개 파라미터
• 사전학습만으로 다양한 문제 해결 가능:
  • Zero-shot: 예시 없이도 문제 해결
  • One-shot: 예시 1개
  • Few-shot: 예시 몇 개만 제시
• 기존의 복잡한 학습 과정 없이도 간단한 문장 몇 개로 원하는 결과를 얻을 수 있음
• GPT의 대중적 인지도를 높이는 계기가 된 모델
• 여전히 트랜스포머 디코더 기반
• OpenAI API를 통해 상용화가 시작됨 (ChatGPT의 기반 모델)

 

 

📕 4. GPT-4

▪️ 문서 제목

GPT-4 Technical Report

▪️ 발표 연도

2023년 (OpenAI)

▪️ 한글 요약

• GPT-3.5 대비 더 정밀하고, 더 안전하고, 더 창의적
• 입력으로 텍스트 + 이미지를 받을 수 있는 멀티모달 기능 탑재
• 더 긴 맥락 이해 (최대 수십만 토큰)
• 정확도와 편향 감소를 위한 안전성 향상 강조
• 논문 수준의 상세 정보는 미공개 (비공개 모델 세부 사양)

 

 

📌 총정리 표 (비교)

GPT-1	2018	1.1억	비지도 사전학습 + 지도 미세조정 구조 제안
GPT-2	2019	최대 15억	다중 작업 수행 가능, 공개 논란
GPT-3	2020	1750억	Few-shot 학습 개념 확립, 상용화 시작
GPT-4	2023	비공개	멀티모달, 고성능, 안전성 강화