전이학습

전이학습 개념

• 한 도메인에서 학습된 모델이나 지식을 다른 모데인으로 전이하여 학습 성능을 향상시키는 기법
• 데이터 부족 문제 해결, 학습시간 단축, 모델성능 향상, 컴퓨팅 리소스 절약

전이학습 구성도, 구성요소, 적용방안

전이학습 구성도

• 전이학습시 전수되는 은닉층은 가중치 고정, 나머지 은닉층은 타겟도메인에 맞게 미세조정

전이학습 구성요소

구분	내용	비고
소스도메인	기존 학습 데이터 및 모델이 있는 도메인	풍부한 데이터 보유
타겟도메인	지식 전이하여 학습할 신규 도메인	데이터 부족 해결
특징 추출기	소스 도메인에서 추출된 중요 특징을 타겟 도메인 모델 활용	초기 가이드라인 제공
모델 최적화	타겟도메인 데이터를 통해 모델 재학습 또는 미세조정	성능 최적화

전이학습 적용방안

구분	내용	비고
자연어 처리	번역 및 감정분석시 사전학습 언어모델 활용하여 신규언어 적용	확장성, 적응력 향상
게임 개발	캐릭터 및 환경 생성시 사전학습 모델활용 컨텐츠 생성	학습시간 단축, 현실감
의료 진단	X-Ray, MRI 등 의료 이미지 분석시 사전 학습모델 미세조정 활용	희귀 질병 진단 가능

전이학습 고려사항

• 소스도메인에서 사용된 모델이 타켓도메인에 적합한지 적절성 평가 필요
• 학습률 조정, 드롭아웃 등 정규화 기법을 통해 과적합 방지