sLLM
· 약 2분
sLLM 개요
sLLM 개념
- small Large Language Model
- 기업 전용 특화모델로 활용 가능한 경량화된 거대 언어모델
sLLM 배경
- LLM은 거대 언어모델로 천문학적인 비용과 학습 시간 필요
- 매개변수를 줄이고, 미세조정하여 정확도 향상
LLM과 sLLM 비교
구분 | LLM | sLLM |
---|---|---|
훈련 데이터 크기 | 대규모, 대용량 | 상대적으로 작은 규모, 소용량 |
파라미터 크기 | 수천억 개 | 수십억 개 |
성능 | 더많은 컨텍스트와 언어이해능력 | 작은 모델로 일부 성능 제한 |
배포 용이성 | 대용량으로 배포 어려움 | 작은 규모로 배포 용이 |
사용성 | 학습 리소스 등 자원 사용량이 많아 운영 제약 | 경량화 된 모델로 제한된 자원으로 활용 가능 |
서비스 제공 | 클라우드 기반에서 범용 서비스 적합 | 온프레미스 방식으로 기업내 구축 가능 |
예시 | ChatGPT, Gemini | LLama, Phi-3 |