"pe/algorithm" 태그로 연결된 27개 게시물개의 게시물이 있습니다.

전이학습 개념​

• 한 도메인에서 학습된 모델이나 지식을 다른 모데인으로 전이하여 학습 성능을 향상시키는 기법
• 데이터 부족 문제 해결, 학습시간 단축, 모델성능 향상, 컴퓨팅 리소스 절약

전이학습 구성도, 구성요소, 적용방안​

전이학습 구성도​

• 전이학습시 전수되는 은닉층은 가중치 고정, 나머지 은닉층은 타겟도메인에 맞게 미세조정

전이학습 구성요소​

구분	내용	비고
소스도메인	기존 학습 데이터 및 모델이 있는 도메인	풍부한 데이터 보유
타겟도메인	지식 전이하여 학습할 신규 도메인	데이터 부족 해결
특징 추출기	소스 도메인에서 추출된 중요 특징을 타겟 도메인 모델 활용	초기 가이드라인 제공
모델 최적화	타겟도메인 데이터를 통해 모델 재학습 또는 미세조정	성능 최적화

전이학습 적용방안​

구분	내용	비고
자연어 처리	번역 및 감정분석시 사전학습 언어모델 활용하여 신규언어 적용	확장성, 적응력 향상
게임 개발	캐릭터 및 환경 생성시 사전학습 모델활용 컨텐츠 생성	학습시간 단축, 현실감
의료 진단	X-Ray, MRI 등 의료 이미지 분석시 사전 학습모델 미세조정 활용	희귀 질병 진단 가능

전이학습 고려사항​

• 소스도메인에서 사용된 모델이 타켓도메인에 적합한지 적절성 평가 필요
• 학습률 조정, 드롭아웃 등 정규화 기법을 통해 과적합 방지

정렬 알고리즘 개념​

• 데이터를 특정 기준에 따라 순서대로 나열하는 기법
• 검색 효율성 향상, 데이터 중복 관리, 알고리즘 성능 향상, 데이터 분석 및 시각화

버블정렬, 삽입정렬, 퀵정렬 개념​

버블정렬 개념​

구분	내용
개념도	2 <-4-> 3 5
개념	두 인접요소를 비교하고 필요시 치환
시간복잡도	평균 $O(n^2)$, 최상 $O(n)$

삽입정렬 개념​

구분	내용
개념도	2->4 3 5
개념	리스트 요소를 하나씩 탐색하여 비교 후 올바른 위치에 삽입
시간복잡도	평균 $O(n^2)$, 최상 $O(n)$

퀵정렬 개념​

구분	내용
개념도	2 <-4 pivot-> 3 5
개념	피벗을 기준으로 리스트를 분할 후 각각 정렬한 뒤 결합
시간복잡도	최악 $O(n^2)$, 평균 $O(nlogn)$

버블정렬, 삽입정렬, 퀵정렬 비교​

구분	버블정렬	삽입정렬	퀵정렬
시간복잡도	$O(n^2)$	$O(n^2)$	$O(nlogn)$
공간복잡도	$O(1)$	$O(1)$	$O(logn)$
안정성	안정적	안정적	불안정
구현난이도	쉬움	쉬움	어려움
사용사례	소량 데이터	거의 정렬된 소량 데이터	대량 데이터

정렬 알고리즘 고려사항​

• 어셈블리로 컴파일 후 AI를 활용하여 기계어의 병렬성을 최적화, 추가 정렬 성능 확보

인공지능 파운데이션 모델 개념​

• 대량의 무라벨 데이터로 학습되어 목적에 맞는 다운스트림 작업에 적용될 수 있는 일반화된 기초 모델
• 데이터의 증가와 하드웨어의 연산 속도 증가로 다양한 작업에서 높은 성능을 보여주는 파운데이션 모델 등장

인공지능 파운데이션 모델 개념도, 핵심요소, 기술동향​

인공지능 파운데이션 모델 개념도​

인공지능 파운데이션 모델 핵심요소​

구분	요소	내용
모델	방대한 학습데이터	텍스트, 이미지, 데이터 이해
-	대규모 파라미터	최소 수억개 이상 파라미터
기술	트랜스포머	순차 데이터 내 관계 학습
-	Few-Shot 러닝	적은 양의 데이터로 미세 조정
기능	범용성	생성형 기반 추론 가능
-	유연성	자연어 처리, 영상 인식 등 다수 분야 활용

인공지능 파운데이션 모델 기술동향​

구분	모델	내용
OpenAI	Sora	텍스트에서 영상 생성
-	GPT4o	뛰어난 감정표현 가능
X	Grok1.5	오픈소스기반 대규모 컨텍스트 처리
Meta	Llama3.1	오픈소스기반, sLLM

인공지능 파운데이션 모델 고려사항​

• 지적재산권, 생성물저작권
• 모델 운영 전력, 훈련시 탄소배출 비용
• 편향, 환각 등 역기능 제거 노력, 윤리원칙 준수 필요

데이터 구조 개념​

• 데이터를 효율적을 저장/관리하여 메모리를 효율적으로 사용하기 위한 방법

선형구조, 비선형구조 유형, 비교​

선형 데이터 구조 유형​

구분	개념도	내용
리스트	-	순차적으로 저장, 큰 삽입/삭제 비용
링크드 리스트	-	노드를 포인터로 연결, 접근시 비효율
스택	-	LIFO, 함수호출시 사용
큐	-	FIFO, 프로세스 스케쥴링 사용
데크	-	양방향 삽입, 삭제, 유연한 데이터 처리

• 데이터 구성요소들을 순차 나열한 자료구조

비선형 데이터 구조 유형​

구분	개념도	내용
그래프	-	정점과 간선의 집합, 방향, 무방향 그래프 존재
트리	-	계층 구조의 노드 집합, 부모-자식 관계 구성
힙	-	완전이진트리의 일종, 부모 노드가 자식보다 크거나 작음

선형, 비선형 데이터 구조 비교​

구분	선형구조	비선형구조
데이터 탐색	순차접근, 탐색	계층접근, 네트워크접근
메모리효율	비효율	효율
구현용이성	쉬움	어려움
레벨	단일레벨	다중레벨
사례	스케쥴링, 버퍼 등	SNS, NW모델링, DOM 등

데이터 구조 선택시 고려사항​

• 사용하려는 자료구조의 탐색, 저장, 삭제에 따른 시간복잡도, 공간복잡도를 고려한 선택 필요

AI HUB 개념​

• AI 학습을 위한 고품질 데이터를 제공하는 플랫폼
• 데이터 접근성 향상, 데이터 품질 보증, 산업 전반의 AI활용 촉진

AI 학습용 데이터 품질관리 개념도, 프레임워크, 품질 지표​

AI 학습용 데이터 품질관리 개념도​

• 데이터 처리 전 단계에서 품질을 보장하여 데이터 신뢰성 제고 및 모델 예측 정확도와 효율성 극대화

AI 학습용 데이터 품질관리 프레임워크​

단계	프로세스	산출물
준비/계획	구축 계획 수립	사업수행계획서, 품질관리계획서 품질지표 기준서
데이터획득/수집	획득/수집 기준 현행화	획득/수집 가이드라인, 개인정보 자율점검표, 수집도구 사용설명서, 원시데이터, 품질관리결과서, 품질검사도구
데이터정제	정제 방법/기준 현행화	정제 가이드라인, 저작도구 사용설명서, 원천데이터, 품질관리 결과서, 품질검사도구
데이터가공	라벨링 방법/기준 현행화	가공 가이드라인, 저작도구 사용설명서, 라벨링데이터, 품질관리 결과서, 품질검사 도구
데이터 학습	구축목적, AI모델 합치성 확인	AI모델 설명서, AI모델 소스코드, 학습모델 파일, 모델 구축 도커이미지, AI모델 테스트 결과서, 품질검사 도구, 보완조치결과서

AI 학습용 데이터셋의 품질 지표​

구분	품질 지표	내용
구축공정	준비성	품질관리를 위해 기본적으로 관리해야하는 정책, 규정, 조직, 절차 마련 및 검사
-	완전성	물리적 구조와 정의한 데이터 형식, 입력값 범위에 맞게 데이터가 저장되도록 설계, 구축되었는지 검사
-	유용성	발주기관의 요구사항이 충분히 반영되었는지, 임무정의에 적합한 데이터 범위와 상세화 정도를 충족하는지 검사
데이터 적합성	기준 적합성	다양성, 신뢰성, 충분성, 균일성, 사실성, 공평성 측정하여 학습용도로 적합한지 검사
-	기술 적합성	파일포맷, 해상도, 선명도, 컬러, 크기, 길이, 음질 등을 측정하여 학습용도로 적합한지 검사
-	통계적 다양성	데이터 편향을 방지하기 위해 클래스 분포도, 인스턴스 분포도, 문장길이, 어휘개수 등을 측정
데이터 정확성	구문 정확성	어노테이션 데이터를 구성하는 속성값과 정의된 데이터 형식, 입력값 범위와 일치성 측정
-	의미 정확성	데이터 참값을 확인하기 위해 정확도, 정밀도, 재현율, IoU, ROUGE, BLEU, Fβ-점수, EM 등 측정
학습모델	알고리즘 적정성	알고리즘을 태스크 단위로 구분하여 사업 수행기관이 제시하는 학습모델의 태스크 적정성 판단
-	유효성	학습용 데이터로 학습시키는데에 적합한 인공지능 알고리즘의 유효성 측정

AI HUB 성공포인트​

• 최신 데이터를 주기적으로 업데이트하여 AI파트너, AI생산자에게 최신트랜드와 패턴 학습 기회 제공

T검정 개념​

• 두 집단 이하의 평균을 비교하여 차이가 있는지 검증하는 통계적 방법으로 독립표본 T검정과 대응표본 T검정으로 구분

독립표본 T검정, 대응표본 T검정 비교, 적용사례​

독립표본 T검정, 대응표본 T검정 비교​

구분	독립표본 T검정	대응표본 T검정
개념	두 독립된 집단의 평균 비교	동일한 집단의 두 시점 비교
표본	독립적인 두 집단	동일한 집단 반복
가정	두 그룹 모집단이 정규분포를 따르고, 분산은 동일	두 시점 간 차이가 정규분포를 따름
검정통계량	두 그룹의 평균차이를 표준오차로 나눠 T값 계산	두 시점의 차이를 표준 오차로 나눠 T값 계산
자유도	n1 + n2 - 2	n - 1

독립표본 T검정, 대응표본 T검정 적용사례​

구분	기법	사례
두 개의 독립된 집단 비교	독립표본 T검정	남, 여 평균 체지방 비교
동일 집단의 두 시점 비교	대응표본 T검정	같은 학생의 기말고사 전/후 성적 비교
같은 집단의 두 조건 비교	대응표본 T검정	동일 환자의 약물치료 전/후 체중 비교

T검정시 고려사항​

• 세 개 이상의 독립된 집단 간의 평균 비교시 ANOVA 기법 활용

머신러닝, 딥러닝 개념​

• 머신러닝: 입력 데이터를 스스로 학습하여 결과를 예측하거나 분류하는 기술
• 딥러닝: 인공신경망에서 은닉층을 깊게 쌓은 머신러닝 기법

머신러닝, 딥러닝 핵심요소 비교, 적용방안​

머신러닝, 딥러닝 핵심요소 비교​

구분	머신러닝	딥러닝
특징	사람의 개입	사람 개입 최소화
학습구성	지도, 비지도, 강화	인공신경망
알고리즘	선형회귀, 의사결정나무, SVM, K-means 등	CNN, RNN, GAN, DBN 등
활용	예측, 분류	예측, 분류, 생성
성능	적은 데이터에서 우수한 성능	대규모 데이터에서 우수한 성능
-	복잡한 패턴인식 한계	복잡한 패턴인식 가능

머신러닝, 딥러닝 적용방안​

구분	머신러닝	딥러닝
금융	신용점수예측, 사기탐지	주가예측, 금융모델링
의료	진단보조, 환자위험도 평가	의료이미지분석, 유전자분석
커머스	고객행동분석, 추천시스템	고객감정분석, 행동패턴분석

머신러닝 성공포인트​

구분	포인트	내용
기술측면	Zero-Shot 학습	학습 비용의 효율화
-	1-Bit 가중치 인코딩	저장 비용의 효율화
에너지측면	태양열 에너지	에너지 사용 학습 비용 절감
-	소형모듈원전	모듈화 원전으로 학습 에너지 충족

• 학습, 저장 비용의 효율화와 에너지 비용절감을 통해 탄소인지 MLOps 환경 구축 필요

데이터 차원 축소 개념​

• 다차원 데이터세트의 차원을 축소해 새로운 저차원 데이터를 생성하는 과정 또는 기술
• 차원의 저주해결, 성능 및 계싼 효율, 학습 효율성, 데이터 시각화

데이터 차원 축소 개념도, 주요 유형, 적용방안​

데이터 차원 축소 개념도​

2차원 데이터 PCA로 1차원되는 그림

데이터 차원 축소 주요 유형​

구분	유형	내용
선형	PCA, 주성분 분석	데이터 분산이 큰 방향으로 차원 축소
-	LDA, 선형판별분석	클래스 간 분산 최대화, 클래스 내 분산 최소화
-	SVD, 특이값분해	데이터 행렬 분해하여 차원 축소, 압축
-	ICA, 독립성분분석	데이터의 독립성분을 추출하여 표현
비선형	t-SNE	고차원 데이터를 확률적 모델링하여 매핑
-	LLE, 지역선형임베딩	인접데이터의 선형관계를 보존하여 축소
-	Isomap, 등거리매핑	데이터 간 거리를 보존하여 저차원 매핑
-	MDS, 다차원스케일링	데이터 간 거리 정보를 근접행렬로 유지 후 매핑
-	커널 PCA	커널트릭 활용 고차원 공간에서 PCA 수행

데이터 차원 축소 적용방안​

구분	내용	비고
데이터 시각화	고차 데이터를 2D, 3D로 변환, 시각화	t-SNE 등
노이즈제거	데이터 주요 특징만 남겨 데이터 품질 향상	PCA 등
특성 선택	중요 속성만 선택하여 분석, 학습 활용	LDA 등
데이터 압축	저장 공간 절약 및 전송 효율성	SVD 등
패턴 인식	데이터 잠재 구조 파악, 패턴 이해	LLE, Isomap

데이터 차원 축소 고려사항​

• 대규모 데이터셋 차원축소 전 계산 비용을 줄이기 위해 데이터 샘플링 고려

디피-헬만 알고리즘 개념​

• 안전하지 않은 채널을 통해 암호키를 안전하게 교환할 수 있도록 하는 비밀키 교환 알고리즘
• 인터넷과 같은 중개 네트워크 환경에서 안전한 키 교환 가능

디피-헬만 알고리즘 개념도, 절차, 활용사례​

디피-헬만 알고리즘 개념도​

디피-헬만 알고리즘 절차​

절차	내용	비고
설정	두 사용자는 큰 소수 P와 정수 G 선택	사전 교환
-	비밀키 a, b를 각각 선택	비밀키 설정
공개값 교환	공개값 A, B 나머지 연산	안전하지 않은 NW 활용
-	두 사용자는 공개값 교환	-
비밀키 계산	서로의 공개값으로 비밀키 나머지 연산 후 암호화 통신	대칭키 기반 통신

디피-헬만 알고리즘 활용사례​

구분	내용	비고
VPN	VPN 연결시 세션 키교환 수행	비대칭 키 교환
TLS	HTTPS 기본 프로토콜인 TLS 키교환시 사용	ECDHE
무선보안	WPA/WPA2 등 무선 보안 프로토콜에 활용	도청 방지

디피-헬만 알고리즘 고려사항​

• 보안을 위해 충분히 큰 키(2048bit 이상)를 사용하여 무차별 연산 공격 방지

트리정렬 개념​

• 이진 탐색 트리를 만들어 데이터를 정렬하는 알고리즘
• 각 요소에 따라 부모노드의 자식을 좌,우로 결정

트리정렬 개념도, 특징, 적용방안​

트리정렬 개념도​

• 중위 순회로 정렬

트리정렬 특징​

구분	내용	비고
시간복잡도	균형이 무너지면 최악케이스	$O(nlogn)$ $O(n^2)$
공간복잡도	트리구조 저장 구조 필요	$O(n)$
안정성	동일한 값의 순서 보장 불가	불안정 정렬
사용 트리	트리 균형을 유지해야 성능 향상	BST, AVL 등

트리정렬 적용방안​

구분	내용	비고
데이터 셋	중간 크기의 데이터 세트에 가장 효과적인 정렬	빅데이터인 경우 메모리 사용량 폭증
데이터 분포	랜덤으로 분포된 데이터 정렬시 효율적	군집의 경우, 편향트리 처리