LLM PEFT(Parameter Efficient Fine-Tuning)

Open source LLM [출처 : https://www.linkedin.com/pulse/deep-dive-opensource-llms-vs-proprietor-dr-rabi-prasad-kutuc]

[배경]
- 딥러닝 모델의 크기가 증가함에 따라, 모듈 튜닝에 있어 모든 파라미터를 미세조정하는 Full-Fine-Tuning 방식은 자원 측면에서 점점 불가능해짐

- LLM 모델 파라미터를 효율적으로 Fine-Tuning 하는 방법이 필요 

[본문]
1. PEFT(Parameter Efficient Fine-Tuning) 개념
- LLM을 특정 작업이나 도메인에 맞게, 학습할 파라미터를 제한적으로 설정하여 효율적으로 조정하는 기법

2. 개념도

PEFT 개념도

3. 요소기술

구분	개념도	설명
LoRA (Low-Rank Adaptation)		- Low-Rank Adaptation 추가하여 필요한 파라미터만을 조정 - 큰 행렬을 저차원 행렬로 분해해 파라미터 수를 줄임
Adapter		- 기존의 신경망 모델에 추가적인 작은 네트워크 모듈을 삽입하는 방식 - 원래 모델의 파라미터는 동결시키고, 새로 추가된 어댑터 파라미터만을 학습하여 성능을 개선
Prompt Tuning		- 입력 데이터에 대해 학습 가능한 프롬프트를 추가하여 모델의 출력을 조정 - 문장 앞에 특수한 토큰을 추가하여 모델의 반응을 조절

<그림출처> 

LoRA LORA LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 논문

Adapter https://magazine.sebastianraschka.com/p/finetuning-llms-with-adapters

Prompt Tuning https://vinija.ai/nlp/parameter-efficient-fine-tuning/

4. 특징

구분	설명
효율성	전체 모델이 아닌 일부 파라미터만 조정
기존모델활용	사전 학습된 모델을 기반으로 추가 학습
자원 절약	메모리와 계산 자원을 절약, 학습 효율성 증가

5. 비교표

구분	PEFT(Parameter Efficient Fine-Tunning)	프롬프트 엔지니어링
개념	모델의 파라미터를 조절하여 특정 데이터셋에 대해 더 좋은 성능을 얻는 기법	입력되는 질문을 최적화하여 원하는 출력을 얻는 기법
성능향상	높음	제한
비용	상대적으로 높음	적음
모델변경	모델변경됨	변경 없음
활용	특정 도메인에 특화된 성능	다양한 상황 질문 대응

6. 동향
- PEFT와 RAG를 혼합하여 대규모 모델 GPT-4, BERT에 적용되고 있음
[끝]

[참고]

1. LLM 적용 방법인 PEFT와 RAG 비교 세미나 강의

2. Open AI 2024 세미나에서의 RAG와 Fine-Tuning의 Usecase

출처 : Maximizing LLM Performance Open AI 2024

- RAG : 모델의 지식적인 측면을 수정하고자 하는 경우

- Fine-Tuning : 모델이 어떻게 답변하고 추론하는지를 수정하고자 하는 경우