Skip to main content

머신러닝 최적화 알고리즘

· 3 min read

머신러닝 최적화 알고리즘

  • 머신러닝 모델 학습과정에서 모델의 오차를 최소화하거나, 정확도를 최대화하기 위해 파라미터를 조정하여 모델 성능을 최적화하는 알고리즘
  • 손실함수를 최소화하여 정확도 향상, 학습 효율화, 과적합 방지

머신러닝 최적화 개념도, 주요 알고리즘, 고려사항

머신러닝 최적화 개념도

머신러닝 최적화 주요 알고리즘

구분내용비고
경사하강법기울기를 사용하여 손실함수 값 최소화하여 파라미터 업데이트보편적 알고리즘
확률적 경사하강법한 개의 데이터 셋을 샘플링하여 파라미터 업데이트학습속도 향상
미니배치 경사하강법적당한 크기의 미니 데이터셋으로 나눠 경사하강법 적용병렬 컴퓨팅
모멘텀 최적화이전 기울기를 사용하여 관성기반 파라미터 업데이트 가속화지역최소값 회피
RMSProp기울기 크기에 따라 학습률을 조정하여 파라미터 최적화효율적, 지속적 학습
Adam모멘텀과 RMSProp 장점 결합 최적화 수행높은 성능

머신러닝 최적화 알고리즘 고려사항

구분내용비고
모델 선택문제 특성에 맞는 모델 선택데이터 크기, 특성
하이퍼파라미터 튜닝학습률, 배치 크기 등 하이퍼파라미터 조정하여 모델 성능 최적화실험적 접근 필요
초기화방법파라미터 초기화는 수렴속도와 성능에 영향을 주므로, 적절한 초기화 전략 선택무작위, Xavier 초기화
정규화L1, L2 정규화를 통한 과적합 방지리지 패널티, 라쏘, 티코노프