본문으로 건너뛰기

"pe/algorithm" 태그로 연결된 53개 게시물개의 게시물이 있습니다.

기술사 알고리즘, 인공지능 토픽

모든 태그 보기

sLLM

· 약 3분

sLLM 개요

sLLM 개념

small Large Language Model

  • 기업 전용 특화모델로 활용 가능한 경량화된 거대 언어모델
  • 지식 증류(Knowledge Distillation) 기법을 통해 LLM의 성능을 작고 효율적인 모델로 전달

sLLM 배경

  • LLM은 거대 언어모델로 천문학적인 비용과 학습 시간 필요
  • 매개변수를 줄이고, 미세조정하여 정확도 향상

sLLM 생성 과정

LLM과 sLLM 비교

구분LLMsLLM
훈련 데이터 크기대규모, 대용량상대적으로 작은 규모, 소용량
파라미터 크기수천억 개수십억 개
성능더많은 컨텍스트와 언어이해능력작은 모델로 일부 성능 제한
배포 용이성대용량으로 배포 어려움작은 규모로 배포 용이
사용성학습 리소스 등 자원 사용량이 많아 운영 제약경량화 된 모델로 제한된 자원으로 활용 가능
서비스 제공클라우드 기반에서 범용 서비스 적합온프레미스 방식으로 기업내 구축 가능
예시ChatGPT, GeminiLLama, Phi-3

서포트 벡터 머신

· 약 2분

SVM 개념

  • 마진값을 최대로 하는 서포트 벡터를 찾아 분류 경계선 또는 분류경계면을 기준으로 주어진 데이터를 판단하는 분류모델
  • 서포트 벡터 분류기 + 비선형 커널 = 서포트벡터머신

SVM의 개념도, 문제 해결방법, 장단점

개념도

선형 문제비선형 문제
SVMSVM

문제 해결 방법

구분선형 문제비선형 문제
특징초평면 분리 가능초평면 분리 불가
해결방법마진을 최대화하는 서포트벡터 탐색 후 분류커널 트릭 사용하여 데이터 고차원 매핑

선형 문제

  • 하드 마진: 오류 불가
  • 소프트 마진: 마진 내 오류 허용, 하이퍼파라미터로 제어

장단점

  • 장점: 인공신경망의 과적합 해결방법 제시, 비선형 문제 해결
  • 단점: 단일 SVM 성능 한계

SVM 한계점과 해결방안

  • SVM 데이터 범주간 비율이 비슷하다는 가정에서 학습하고 예측결과 도출, 실제 데이터는 데이터의 불균형이 빈번하여 모델 성능이 저하됨.
  • 앙상블 기법을 이용한 SVM으로 성능 문제 해결.

참조

의사결정나무

· 약 4분

의사결정나무 개요

의사결정나무 개념

  • 주어진 입력값들의 조합을 의사결정규칙에 따라 출력값을 예측하는 모형
  • 의사결정규칙을 트리구조로 나타내어 분류와 예측을 수행하는 분석 방법

의사결정나무 구성도, 구성요소, 유형

의사결정나무 구성도

의사결정나무 구성요소

구분내용비고
루트노드모든 데이터의 첫 속성 평가첫 분기 결정
규칙노드특정 속성에 대한 테스트 수행 후 데이터 분리조건문 따라 하위노드 분기
리프노드최종결과노드, 데이터 분류 또는 예측분류 클래스

의사결정나무 유형

  • 분류트리: 범주형 변수를 예측하기 위해 사용되는 트리 모델, 데이터를 여러 범주로 분류
  • 회귀트리: 연속형 변수의 값을 예측하기 위한 트리모델
구분분류트리회귀트리
대상범주형 변수 대상연속형 변수 대상
특징불순도를 기준으로 최적 분류 결정분산을 최소화하는 방향으로 분할
평가방법지니지수, 엔트로피오차제곱합
사용시기명확한 범주를 가진 데이터 분류연속적 수치 예측, 트렌드 예측

의사결정나무 절차, 평가지표

의사결정나무 절차

  • 성장: 분석목적에 따른 트리 생성
  • 가지치기: 불필요한 가지를 제거하여 과대적합, 과소적합 방지
  • 타당성 평가: 가장 적은 엔트로피를 갖는 나무를 평가하고 최적 모형 선택
  • 해석 및 예측: 구축된 나무모형 해석

의사결정나무 평가지표

구분지표내용
분류나무지니계수해당 구역 내 특정 클래스에 속하는 데이터 비율을 모두 제외한 값
엔트로피데이터의 무질서도를 측정하여 정보 획득량 계산
회귀나무오차제곱합실제 값과 예측 값의 오차 제곱 최소화
  • 지표가 0에 가까울 수록 잘 분류된 모델로 판별 가능

의사결정나무 고려사항

  • Impurity를 0으로 만들기 위해 트리 깊이가 깊어질 경우 오버피팅 발생하므로, 앙상블 기법 사용 고려 필요