[배경]
- 딥러닝 모델의 크기가 증가함에 따라, 모듈 튜닝에 있어 모든 파라미터를 미세조정하는 Full-Fine-Tuning 방식은 자원 측면에서 점점 불가능해짐
- LLM 모델 파라미터를 효율적으로 Fine-Tuning 하는 방법이 필요
[본문]
1. PEFT(Parameter Efficient Fine-Tuning) 개념
- LLM을 특정 작업이나 도메인에 맞게, 학습할 파라미터를 제한적으로 설정하여 효율적으로 조정하는 기법
2. 개념도
3. 요소기술
| 구분 | 개념도 | 설명 |
| LoRA (Low-Rank Adaptation) |
 |
- Low-Rank Adaptation 추가하여 필요한 파라미터만을 조정 - 큰 행렬을 저차원 행렬로 분해해 파라미터 수를 줄임 |
| Adapter |  |
- 기존의 신경망 모델에 추가적인 작은 네트워크 모듈을 삽입하는 방식 - 원래 모델의 파라미터는 동결시키고, 새로 추가된 어댑터 파라미터만을 학습하여 성능을 개선 |
| Prompt Tuning |  |
- 입력 데이터에 대해 학습 가능한 프롬프트를 추가하여 모델의 출력을 조정 - 문장 앞에 특수한 토큰을 추가하여 모델의 반응을 조절 |
<그림출처>
LoRA LORA LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 논문
Adapter https://magazine.sebastianraschka.com/p/finetuning-llms-with-adapters
Prompt Tuning https://vinija.ai/nlp/parameter-efficient-fine-tuning/
4. 특징
| 구분 | 설명 |
| 효율성 | 전체 모델이 아닌 일부 파라미터만 조정 |
| 기존모델활용 | 사전 학습된 모델을 기반으로 추가 학습 |
| 자원 절약 | 메모리와 계산 자원을 절약, 학습 효율성 증가 |
5. 비교표
| 구분 | PEFT(Parameter Efficient Fine-Tunning) | 프롬프트 엔지니어링 |
| 개념 | 모델의 파라미터를 조절하여 특정 데이터셋에 대해 더 좋은 성능을 얻는 기법 | 입력되는 질문을 최적화하여 원하는 출력을 얻는 기법 |
| 성능향상 | 높음 | 제한 |
| 비용 | 상대적으로 높음 | 적음 |
| 모델변경 | 모델변경됨 | 변경 없음 |
| 활용 | 특정 도메인에 특화된 성능 | 다양한 상황 질문 대응 |
6. 동향
- PEFT와 RAG를 혼합하여 대규모 모델 GPT-4, BERT에 적용되고 있음
[끝]
[참고]
1. LLM 적용 방법인 PEFT와 RAG 비교 세미나 강의
2. Open AI 2024 세미나에서의 RAG와 Fine-Tuning의 Usecase
- RAG : 모델의 지식적인 측면을 수정하고자 하는 경우
- Fine-Tuning : 모델이 어떻게 답변하고 추론하는지를 수정하고자 하는 경우
'정보통신 Topic > . 정보통신' 카테고리의 다른 글
| 풀스택 옵저버빌리티(FSO) (0) | 2023.07.08 |
|---|---|
| 그린데이터센터 인증제도 (0) | 2023.01.24 |
| 비접촉식(Tagless) 대중교통 요금 결제 시스템 (0) | 2022.08.04 |
| POTN(Packet Optical Transport Network) (0) | 2022.03.18 |
| 인공지능 학습용 데이터(AI Dataset) (0) | 2022.03.15 |
