머신러닝 최적화 알고리즘
· 3 min read
머신러닝 최적화 알고리즘
- 머신러닝 모델 학습과정에서 모델의 오차를 최소화하거나, 정확도를 최대화하기 위해 파라미터를 조정하여 모델 성능을 최적화하는 알고리즘
- 손실함수를 최소화하여 정확도 향상, 학습 효율화, 과적합 방지
머신러닝 최적화 개념도, 주요 알고리즘, 고려사항
머신러닝 최적화 개념도
머신러닝 최적화 주요 알고리즘
구분 | 내용 | 비고 |
---|---|---|
경사하강법 | 기울기를 사용하여 손실함수 값 최소화하여 파라미터 업데이트 | 보편적 알고리즘 |
확률적 경사하강법 | 한 개의 데이터 셋을 샘플링하여 파라미터 업데이트 | 학습속도 향상 |
미니배치 경사하강법 | 적당한 크기의 미니 데이터셋으로 나눠 경사하강법 적용 | 병렬 컴퓨팅 |
모멘텀 최적화 | 이전 기울기를 사용하여 관성기반 파라미터 업데이트 가속화 | 지역최소값 회피 |
RMSProp | 기울기 크기에 따라 학습률을 조정하여 파라미터 최적화 | 효율적, 지속적 학습 |
Adam | 모멘텀과 RMSProp 장점 결합 최적화 수행 | 높은 성능 |
머신러닝 최적화 알고리즘 고려사항
구분 | 내용 | 비고 |
---|---|---|
모델 선택 | 문제 특성에 맞는 모델 선택 | 데이터 크기, 특성 |
하이퍼파라미터 튜닝 | 학습률, 배치 크기 등 하이퍼파라미터 조정하여 모델 성능 최적화 | 실험적 접근 필요 |
초기화방법 | 파라미터 초기화는 수렴속도와 성능에 영향을 주므로, 적절한 초기화 전략 선택 | 무작위, Xavier 초기화 |
정규화 | L1, L2 정규화를 통한 과적합 방지 | 리지 패널티, 라쏘, 티코노프 |