본문으로 건너뛰기

"pe/algorithm" 태그로 연결된 30개 게시물개의 게시물이 있습니다.

기술사 알고리즘, 인공지능 토픽

모든 태그 보기

이미지 데이터 어노테이션

· 약 2분

이미지 데이터 어노테이션 개념

  • 인공지능 모델을 학습시키기 위해 이미지 데이터에 레이블을 붙이는 과정
  • 이미지 수준, 객체 수준, 픽셀 수준으로 추가 정보 부여

이미지 데이터 어노테이션의 유형과 기법

이미지 데이터 어노테이션의 유형

  • 픽셀 수준으로 갈수록 높은 정밀도, 어노테이션 비용 증가
  • 이미지 데이터 활용 목적과 수준 및 범위에 따라 적절한 수준의 어노테이션 유형 선택

이미지 데이터 어노테이션의 기법

유형기법설명
이미지 수준이미지 분류이미지 파일 단순 분류
객체 수준바운딩 박스객체의 최소 사각형으로 분류
-폴리곤객체의 윤곽을 따라 다각형으로 어노테이션
-키포인트객체의 주요 특징점 어노테이션
-3D 큐보이드객체를 3차원 박스로 식별하여 위치 및 크기 판별
픽셀 수준시맨틱 세그멘테이션이미지 각 픽셀별 클래스 지정
-인스턴스 세그멘테이션클래스 내에서 개별 객체를 구분해 픽셀 레이블 지정

감정 인식 기술

· 약 4분

감정 인식 기술 개념

  • 자연어로 전달되는 감정을 분류하는 감정 분석 대비 표정, 음성, 자세 등을 관찰하여 광범위한 감정상태를 식별하는 기술
  • 감정 임베딩과 대화형 봇 감정 인식 기술을 통해 다양한 상황과 사용자 요구 대응

감정 인식 기술 유형, 활용 분야

감정 임베딩 기술 유형

구분설명관련 기술
감정 단어 임베딩감정 정보를 단어 임베딩으로 임베딩하는데 중점Emo2Vec, SSWE
이모티콘 임베딩감정을 표현하기 위해 채팅 메세지 내부 이모티콘을 임베딩Emoji2Vec, DeepMoji
다중감정 인식용 단어 인베딩여러 감정 레이블을 동시 할당하여 감정을 더 자세히 설명다중라벨분류, SGM

대화형 봇 윈한 감정 인식 기술 유형

구분설명비고
앙상블 모델 기반 감정인식여러 개별 모델을 결합하여 포괄적, 강인한 모델 구성주요 감정 모델 간 가중 평균 처리
지식 표현 기반 감정인식사전 지식에 정서어휘, 상식, 언어패턴, 정서의미규칙 등 포함하여 표현향상어휘기반 감성 지식 통합
감정인식 위한 전이학습부족한 훈련 데이터 문제 완화, 유도적 전이학습 사용순차전이학습, 다중작업학습
이모티콘수용 감정인식이모티콘 기반에 SVM 등 분류기로 감정 주석 추가이모티콘 포함 텍스트 희소
맥락이해기반 감정인식상황적 표현 학습 위해 발화 및 컨텍스트 수준에서 셀프 어텐션 사용GPT-4o 등 LLM

감정 인식 기술 활용분야

구분활용분야비고
공공SNS 공개 데이터 분석, 감정 모니터링 자살예방, 테러리스트 탐지범죄예방, 안전
의료긴급 상황에서 환자의 감정 예측환자 의도 파악
민간대화형 봇 감정인식 활용 감정기반 응답시스템 구축고객응대, 마케팅

감정 인식 기술 고려사항

  • 사용자 데이터의 최소 수집 및 목적 제한을 위한 법, 제도 마련 필요

가상화폐 스캠탐지

· 약 4분

가상화폐 스캠 개념

  • 폰지사기라고 표현되며 가격의 높은 변동성과 익명성을 악용해 투자자들을 속이는 위협
  • 블록체인, 가상화폐의 급속한 발전으로 폰지사기, 피싱공격, 가짜 ICOs, 러그폰, 다중서명지갑 해킹 등 다양한 유형의 사기 범죄 출현

가상화폐 스캠 탐지 개념도, 분석 유형, 탐지 절차

가상화폐 스캠탐지 개념도

가상화폐 스캠탐지 분석 유형

기반유형내용
기계학습 기반로지스틱 회귀거래 데이터의 다양한 속성 기반으로 확률 분석하여 결정 경계 정의
-랜덤포레스트다수의 결정 트리로 거래 특성 분석, 종합하여 스캠 여부 판별
-SVM거래 데이터를 고차원에서 분류하여 최적 결정경계를 찾아서 높은 정확도
-ADABoost약분류기 결합, 반복학습, 스캠 특성 포착
-LGBM복잡한 거래 뎅치터를 수직적 방식으로 빠르게 탐지
딥러닝 기반LSTM-FCN&BPLSTM-FCN과 BP 신경망을 결합한 하이브리드 모델 사용
-LSTM-CNN순차 데이터 처리용 LSTM과 구조적 특징 파악용 CNN 결합
그래프 기반
경로임베딩
Trans2Vec거래량과 타임스탬프에 랜덤워크 기법과 SVM 활용 분류
-Node2VecEtherScanDB로 Node2Vec과 SVM 활용 분류
그래프신경망 기반
그래프 임베딩
GCN노드와 이웃 간 정보 집계 후 노드 임베딩 생성
-TTAGN거래내역 시간, 구조적 정보를 통합, LSTM, 어텐션 활용 스캠 탐지

가상화폐 스캠탐지 절차

가상화폐 스캠탐지시 고려사항

  • 클래스 불균형으로 인한 오탐 방지 위해 오버샘플링, 언더샘플링, 가중치 조정 등 고려
  • 가상화폐 거래 네트워크의 지속적 변화 학습

앙상블 모델, 배깅, 부스팅

· 약 3분

앙상블 모델의 개념

  • 여러 개별 모델을 결합하여 하나의 강력한 예측 모델을 만드는 기법
  • 배깅은 독립적으로 학습시킨 모델의 결과를 취합하고, 부스팅은 순차학습시켜 이전 모델의 오차를 보완하는 기법

배깅, 부스팅의 구성도, 구성요소

배깅의 구성도, 구성요소, 비교

  • 다수 모델을 학습시켜 예측 결과 도출
구분내용비고
랜덤 샘플링원본 데이터셋을 복원 추출개별 모델 다양성 확보, 과적합 방지
병렬모델학습각 모델을 독립적으로 학습 수행랜덤 포레스트 등 결정 트리 기반
예측 결합각 예측 데이터를 합산하여 결과 도출평균, 투표

부스팅의 구성도, 구성요소

  • 모델을 순차적으로 학습, 가중치 반영하여 예측 결과 도출
구분내용비고
순차모델 학습이전 모델의 오차를 보완하여 학습오차 감소
가중치 업데이트오차가 큰 데이터에 높은 가중치 부여오답 집중 학습
반복 학습가중치 반영 모델 반복 학습순차 실행
예측 결합모든 모델 예측에 가중치 반영한 평균 계산그라디언트 부스팅

배깅, 부스팅 비교

구분배깅부스팅
목표분산 감소, 과적합 방지편향 감소
계산 비용빠름, 병렬느림, 순차
결합 방식평균, 투표가중 평균
  • 데이터 분산, 편향을 참조하여 앙상블 기법 선택

연합학습

· 약 3분

연합학습 개념

  • 데이터를 중앙 저장하지 않고 다수의 로컬 디바이스에서 모델 훈련 후, 훈련된 모델 파라미터를 중앙서버로 전송해 모델을 업데이트하는 분산 인공지능 학습모델
  • 데이터 프라이버시, 보안, 통신비용 절감, 확장성, 속도

연합학습 구성도, 주요 기법, 보안

연합학습 구성도

연합학습 주요 기법

구분내용비고
FedSGD모든 로컬 디바이스에서 계산된 그라디언트를 중앙에서 평균화하여 모델 업데이트데이터 이질성 취약
FedAVG로컬에서 여러 배치 업데이트를 수행 후 결과를 중앙 서버로 전송통신 비용 절감
FedDyn이질적 데이터셋에서 로컬 손실함수에 동적으로 정규화 적용, 글로벌 손실 수렴처리데이터 이질성에 강건함
HyFDCA하이브리드 연합학습으로 클라이언트 다양성을 고려한 모델의 조정과 개인화적응적 개인화 가능

연합학습 보안

구분내용비고
데이터 암호화모델 업데이트 정보 암호화전송구간 보호
차등프라이버시모델 업데이트시 노이즈 추가, 개인 데이터 노출 방지프라이버시 강화
인증, 접근제어로컬장치-서버 간 신뢰할 수 있는 통신 보장무단 접근 차단, HMAC, OAuth
안전한 집계값 노출 없이 중앙서버에서 각 장치의 업데이트 처리중간자 공격 방어

연합학습 고려사항

  • 다양한 하드웨어와 네트워크 조건에서 일관된 성능을 보장할 수 있도록 흐름제어, 오류제어 필요

귀납적 사고, 머신러닝

· 약 3분

귀납적 사고 개념

  • 특정한 사례나 데이터에서 패턴을 발견하고 일반적인 결론이나 규칙을 도출하는 사고방식
  • 데이터 기반 의사결정, 예측 가능성, 지식 확장

귀납적 사고와 머신러닝 관계도, 유형, 활용방안

귀납적 사고와 머신러닝 관계도

귀납적 머신러닝 유형

구분내용비고
지도학습라벨링된 데이터로 모델학습, 새로운 데이터 예측 수행분류, 회귀 등
비지도학습라벨링 없는 데이터로 구조나 새로운 패턴 발견군집화, 차원 축소 등
강화학습에이전트가 환경과 상호작용하여 보상을 통해 학습게임, 로봇공학 등

머신러닝 활용방안

구분활용방안비고
이미지 인식이미지에서 객체, 인물 인식 기술얼굴 인식, 의료 영상 인식
자연어 처리텍스트 데이터 분석, 의미 이해/처리번역, 챗봇, 감정 분석
추천 시스템사용자 데이터 분석, 개인화 서비스상품 추천, 콘텐츠 추천

머신러닝 고려사항

  • 안전하고 지속가능한 AI 생태계를 위해 AI 거버넌스 확립 필요

인공지능 학습용 데이터 품질관리 가이드라인

· 약 4분

인공지능 학습용 데이터 품질관리 가이드라인 개념

  • 인공지능 학습용 데이터 구축시 구축계획수립 단계부터 데이터 획득, 수집, 정제, 가공 등에 대한 절차 및 활동에 대한 기준서
  • 수집 데이터 일관성, 데이터 유용성/신뢰성, 품질 문제 사전 예방/해결방안 제공

인공지능 학습용 데이터 품질관리체계 개념도, 범위, 지표

인공지능 학습용 데이터 품질관리체계 개념도

 ------------------------------------------------------------------------------------
| 품질관리 원칙/대상/기준/조직/절차 |
-----------------------------------------------------------------------------------|
| 계획 | 품질관리 | 구축단계 품질관리 | 적재 | 운영/학습단계 품질관리 |
| 단계 | -------> |---------------------------| -----> |--------------------------|
| 품질 | 계획 | 구축 프로세스 | 구축 데이터 | | 품질오류 | 데이터품질진단 |
| 관리 | | 품질관리 | 품질관리 | | 신고관리 | 개선관리 |
------------------------------------------------------------------------------------
| 품질관리 도구 및 지원 인프라 |
------------------------------------------------------------------------------------

인공지능 학습용 데이터 품질관리 범위

구분범위활동
구축 프로세스 품질 관리데이터 획득/수립/정제/가공 과정 원하는 수준의 품질 보장 활동 수행데이터 품질관리 관점 구축 과정 모니터링
구축 데이터 품질관리원시/원천/라벨링 데이터 등 품질 검사, 오류 개선 활동 수행구축 사업 중 생성 데이터 자체 품질 조치
개방 데이터 품질관리AI Hub 적재 데이터 대상 학습용 데이터셋 품질 향상 활동 수행개방 데이터 품질 개선의견 수용

인공지능 학습용 데이터 품질관리 지표

구분지표내용
구축 공정준비성기본 정책, 규정, 조직, 절차 마련 여부
데이터 적합성기준 적합성데이터의 학습용도 적합성, 다양성, 충분성
데이터 정확성의미 정확성데이터 참값 확인을 위한 정확도, 정밀도, 재현율 등 측정
학습 모델알고리즘 적정성인공지능 학습 알고리즘의 유효성 측정

인공지능 학습용 데이터 품질관리 고려사항

  • 데이터의 수집과 활용 단계에서 개인정보 보호 및 법적 규정 준수 필요

참조

튜링테스트

· 약 2분

튜링테스트 개념

  • 인공지능의 수준을 평가하기 위해 인간과 인공지능의 사고능력을 비교하는 블라인드 테스트
  • 자연어 처리기술 발전, 기계와 인간 구분의 모호성, AI활용 서비스 증가

튜링테스트 구성도, 구성요소, 활용사례

튜링테스트 구성도

튜링테스트 구성요소

구분내용비고
심판AI와 인간을 구별하는 역할익명 대화
AI인간처럼 행동하는 인공지능언어모델 등
인간별도 공간에서 질의응답대조군 역할

튜링테스트 활용사례

구분사례비고
챗봇 개발고객지원 및 서비스 챗봇으리 자연스러운 대화능력 평가사용자 만족도 평가 활용
AI 어시스턴트Siri 등 가상비서의 대화 성능 측정사용자 경험 개선 기여
AI 연구AI 시스템의 지능 수준 평가AI 발전지표

튜링테스트 고려사항

  • LLM의 발전으로 사람보다 더 뛰어난 답변으로 GPT4o모델을 구별해낼 수 있어 튜링테스트 실패 가능
  • 인공지능 품질속성을 기반으로 새로운 평가체계마련 필요

K-means, DBSCAN 클러스터링

· 약 3분

클러스터링 개념

  • 데이터 포인터들을 여러 군집으로 나누어 각 군집 간 유사성을 최소화, 군집 내 유사성을 최대화하는 비지도학습 알고리즘
  • 데이터 내 잠재적 패턴, 그룹 발견, 군집별 맞춤 전략 수립, 군집별 전처리 및 축소

K-means, DBSCAN 클러스터링 개념, 비교

K-means 클러스터링 개념 및 특징

구분내용
개념데이터셋을 K개의 클러스터로 나눠 각 데이터가 가장 가까운 클러스터 중심에 할당하여 군집화하는 알고리즘
특징초기 중심점 설정 민감, 이상치 민감
-가벼운 시간 복잡도, 구형 클러스터 적합

DBSCAN 클러스터링 개념 및 특징

구분내용
개념밀도가 높은 지역에서 클러스터를 형성하고, 밀도가 낮은 지역은 노이즈로 간주하는 알고리즘
특징클러스터 모양이 불규칙해도 좋은 성능
-입실론 거리와 최소 포인트 수 조정이 성능의 핵심 요소

K-means, DBSCAN 클러스터링 비교

구분K-meansDBSCAN
기반거리기반밀도기반
클러스터 형태구형 클러스터 적합임의 모양 식별 가능
노이즈 처리약함강함
처리 속도빠름느림
초기화초기 중심점 선택 중요덜 민감

클러스터링 고려사항

  • 데이터 크기, 형태, 노이즈에 따라 적절한 알고리즘 선택 필요
  • Dunn Index, Silhouette Coefficient 등의 지표로 클러스터링 결과 평가 후 하이퍼파라미터 조정

DSML, MLOps

· 약 3분

DSML 개념

  • 데이터 사이언스와 머신러닝을 활용하여 데이터에서 가치를 창출하고 예측모델을 구축하는 프로젝트
  • 복잡한 워크플로우, 협업의 어려움, 모델 배포의 어려움, 모델 신뢰성과 지속가능성 문제
  • 효율적인 모델관리, 지속적 통합 배포, 모델 모니터링, 유지보수, 향상된 협업을 위해 MLOps

MLOps 개념도, 구성요소, 적용방안

MLOps 개념도

MLOps 구성요소

구분내용비고
자동화 파이프라인데이터준비, 모델훈련/배포과정 자동화로 효율성 증대개발 및 운영 프로세스
버전 관리모델 리뷰, 변경 관리, 롤백 절차 수립VCS 사용
플랫폼 엔지니어링데이터사이언티스트, 엔지니어, 이해관계자 협업 플랫폼 제공모델 거버넌스 확립

MLOps 성숙단계

레벨단계내용
2최적화ML 파이프라인 오케스트레이션, 모델 추적 관리
1통합ML 파이프라인 자동화, 지속적 모델 훈련
0도입수동 워크플로우로 데이터 사이언티스트와 엔지니어가 별도 작업

MLOps 고려사항

  • ISO25029 AI품질속성에 따라 모델의 품질 검증 절차 자동화 필요