Eunkwang Shin

샤딩, 파티셔닝 개념​

• 파티셔닝: 큰 테이블을 관리하기 쉬운 단위로 분할하는 기법
• 샤딩: 테이블을 분리하여 다수의 물리DB서버에 분산 저장하는 기법

샤딩, 파티셔닝 구성요고, 주요 데이터베이스 분할 기법​

샤딩, 파티셔닝 구성요소 비교​

구분	샤딩	파티셔닝
목적	데이터 분산저장, 고가용성, 성능	데이터 관리용이, 성능
분할방법	수평분할	수평, 수직분할
분할관점	테이블을 여러 DB로 분할	하나의 DB에서 테이블 분할
관리노드	샤드간 라우팅 수행용 마스터	마스터노드 없음
테이블연동	분할 테이블 간 조인 불가	테이블 간 조인 가능

주요 데이터베이스 분할 기법​

구분	내용	비고
Vertical 분할	테이블별, 열별 분할	구현 간단
Range-Based 분할	하나의 기능이나 테이블이 비대해질시 행 분할	예측 가능성
Key 또는 Hash 분할	엔티티를 해싱하여 분할 결정	균등분포 해싱함수
Directory 기반 분할	파티셔닝 매커니즘을 제공하는 추상화된 서비스를 사용하여 분할	샤딩 사용, 샤드키 연동

데이터베이스 분할 절차도, 세부절차​

데이터베이스 분할 절차도​

데이터베이스 분할 세부절자​

구분	내용	비고
1. 분할 필요성 증가	-	-
2. 분할 방법 결정	-	-
3. AS-IS 성능 측정	-	-
4. 분할 적용, 이관	-	-
5. 어플리케이션 수정	-	-
6. 테스트, 모니터링	-	-

데이터베이스 분할시 고려사항​

• 수평적 확장이 핑료한 대규모 데이터 분할시 샤딩 고려
• 특정 액세스 패턴 최적화시 파티셔닝 고려

옵티마이저 개념​

• DBMS 내에서 SQL 쿼리 실행 계획을 분석하고 최적의 계획을 수립하는 핵심 엔진
• 최적화된 쿼리 실행으로 시스템 자원의 효율적 사용과 응답시간 단축

옵티마이저 구성도, 구성요소, RBO, CBO​

옵티마이저 구성도​

옵티마이저 구성요소​

구분	내용	비고
1. SQL Parser	쿼리파싱, 구문분석, 구문트리생성	문법 검사
2. Query Transformer	쿼리 변환 하의 최적화 가능성 제고	쿼리 재작성
3. Plan Generator	ㅇ여러 가능한 실행 계획 생성	조인, 인덱스 경로
4. Cost Estimator	각 실행 계획 예상 비용 계산	통계 저장, 참조
5. Plan Selector	가장 낮은 비용 실행 계획 선택, 실행	RBO, CBO 방식

RBO, CBO 비교​

구분	RBO	CBO
최적화 기준	고정된 규칙 사용	실행 비용 추정
결정자	인덱스 구조, 연산자, 조건 등	레코드 블록 수, 평균 행 길이, 인덱스 높이, 컬럼 수 분포, 디스크 I/O
특징	실행 계획 예측 용이	저장된 통계 정보 활용
장점	규칙 단순, 빠른 최적화	더 효율적인 실행 계획 수립
단점	복잡한 쿼리 최적화 어려움, 규칙 관리 필요	통계 정보 부정확할시 오류 발생

• 최신 DBMS는 CBO 방식 채택

옵티마이저 적용방안​

구분	방안	비고
DA	모델링시 인덱스 전략 설계, 파티셔닝 고려	효율적 구조 설계
DBA	통계정보 수립 및 갱신, 실행계획 최적화	모너티링, 대응
User	쵲거화된 쿼리 작성, 인덱스 힌트 사용	개발단계 쿼리 최적화, EXPLAIN PLAN

옵티마이저 고려사항​

• 개발자가 쿼리에 EXPLAIN PLAN을 사용하여 분석 후 최적화된 쿼리 구현 필요

데이터베이스 튜닝 개념​

• 응용프로그램, DB, 운영체제 등을 조정하여 한정된 자원으로 최적의 성능을 얻도록하는 개선 작업
• 처리능력증대, 처리시간단축, 응답시간단축, DB로드시간단축

데이터베이스 튜닝 절차, 튜닝 기법​

데이터베이스 튜닝 절차​

설계단계 튜닝 기법​

구분	내용	비고
정규화	데이터 중복 제거, 함수종속성 제거	무결성 확보
반정규화	성능 향상을 위한 중복 허용	조회 성능 개선
파티셔닝	대용량 데이블 분할 관리	관리효율, 조회성능
인덱스 설계	데이터 접근, 스캔 경로 최적화	CBO, RBO
인덱스 지정	PK, FK 지정	조회, 수정 성능 개선

SQL 튜닝 기법​

구분	내용	비고
쿼리재작성	불필요 연산 제거, 분리	실행계획 분석
조인방식변경	조인방식, 순서 변경	조인 유형 고려
인덱스 활용	적절한 인덱스 사용	제약조건 확인
힌트 사용	최적 실행 계획 제어	옵티마이저 제어

힌트 개념 및 유형​

힌트 개념​

• SQL문에 주석형태로 옵티마이저에게 실행계획을 지시하는 구문
• 옵티마이저의 기본 실행 계획이 최적이 아닐 경우, 성능 개선 가능

힌트 유형​

구분	내용	비고
Scan 힌트	효율적인 데이터 접근방식 선택	테이블 또는 인덱스
Join 힌트	효율적인 조인 방식 선택	특정 조인 방식 지정
Leading 힌트	실행 계획의 조인 순서 제어	조인순서 지정
Set 힌트	워크로드나 특정 쿼리에 최적화된 파라미터 선택	쿼리 변수 오버라이딩

데이터베이스 튜닝시 고려사항​

• 튜닝 전,후 성능 변화를 지속적으로 모니터링하고 필요시 추가 튜닝 (시스템 등) 수행

무결성 개념​

• 사용자가 데이터를 변경할 때 관계, 참조 등의 무결성 제약이나 규칙에 의해 데이터의 일관성과 정확성을 유지하는 것

무결성 유형, 보장방법, 적용방안​

무결성 유형​

구분	내용	비고
개체무결성	각 행을 구분하는 유일한 식별자	기본키 사용
참조무결성	외래키는 참조 테이블의 기본키와 일치	외래키 사용
도메인무결성	각 열의 값이 속성에 정의된 도메인 값	데이터 형식, 범위 제한
사용자정의무결성	비지니스 규칙에 따라 사용자 정의	트리거, 프로시저

무결성 보장방법​

구분	내용	비고
응용프로그램	무결성 조건 코드 추가	프로그램상 구현
DB 트리거	Stored Procedure 활용 데이터 변경시 제약 추가	복잡한 요구 구현
제약조건	스키마에 제약조건 설정	변경 용이, 쉬운 구현

무결성 적용방안​

단계	내용	비고
데이터 모델링	모델링시 무결성 유형 고려 정의	무결성 확보 설계
데이터 설계	테이블 생성시 제약조건, 트리거 설정	DBMS 기능 활용
응용프로그램 개발	데이터 입력, 수정, 삭제시 무결성 검사	입력 데이터 검증
운영, 유지보수	주기적인 데이터 값 프로파일링	진단 및 조치

무결성 고려사항​

• 병행제어를 통해 트랜잭션 실패시 무결성을 위반하지 않도록 제어 필요

데이터 마이그레이션 개념​

• 데이터의 정확성과 무결성을 유지하면서, 기존 시스템의 데이터를 새로운 시스템으로 안전히 이전하는 과정
• 마이그레이션 대상 데이터의 품질 확인 및 전략 수립을 위해 진단 프로파일링과 마이그레이션 이후 무결성 확인을 위해 검증 테스트 필요

데이터 마이그레이션 절차도, 세부절차, 프로파일링 기법​

데이터 마이그레이션 절차도​

데이터 마이그레이션 세부절차​

구분	내용	비고
1. 계획 수립	마이그레이션 범위, 목표 정의	리소스 할당, 일정 계획
2. 데이터 프로파일링	데이터 품질 및 구조 분석	AS-IS시스템 품질 관리
3. 데이터 변환	소스 데이터를 타겟 데이터 포맷으로 변환	매핑 테이블 등
4. 데이터 로드	변환된 데이터를 타겟 시스템으로 로드	롤백 전략 수립
5. 검증 테스트	마이그레이션 데이터 검증 및 테스트	데이터 무결성 확인
6. 시스템 전환	새 시스템으로 운영 전환	사용자 교육, 모니터링

데이터 값 진단 프로파일링 기법​

구분	기법	내용
기초 데이터 분석	컬럼 속성 분석	메타데이터 정합성 확인
컬럼 값 분석	누락 값 분석	필수 값이지만 누락 데이터 확인
-	값 허용범위 분석	컬럼 속성 범위 내 값 확인
-	허용 값 목록 분석	컬럼 허용 값 목록, 집합 확인
-	문자열 패턴 분석	문자열 반복시 특성 확인
-	날짜 유형 분석	날짜 포맷, 범위 확인
-	특수 도메인 분석	주민번호, ISBN 등 특정 패턴 확인
-	유일값 분석	유일 컬럼 중복값 확인

데이터 마이그레이션 검증테스트 절차도, 세부절차​

데이터 마이그레이션 검증테스트 절차도​

데이터 마이그레이션 검증테스트 세부절차​

구분	내용	비고
1. 검증팀 구성	-	-
2. 검증 범위 식별	-	-
3. 데이터 검증	-	-
4. 시스템 영향도 파악	-	-
5. 시스템 오픈	-	-

데이터 마이그레이션시 고려사항​

• 테이블 크기에 따라 샘플링하여 마이그레이션 필요
• 마이그레이션 실패, 검증 실패시 롤백 시나리오 수립 필요

데이터 품질관리 개념​

• 좆기 내 외부 정보시스템 및 이해관계자의 기대를 만족시키기 위해 지속적으로 수행하는 데이터 관리 및 개선활동
• 안정성, 신뢰성, 이용편의성, 공익성 제고

데이터 품질관리 아키텍처, 대상​

데이터 품질관리 아키텍처​

구분	데이터	데이터 구조	데이터관리 프로세스
CDO 개괄적관점	데이터	관리	정책
DA 개념적관점	표준 데이터	개념데이터 모델	데이터 표준관리, 요구사항 관리
Modeler 논리적관점	몯레데이터	논리데이터 모델	데이터 모델관리, 데이터 흐름관리
DBA 물리적관점	관리데이터	물리데이터 모델	데이터베이스 관리
User 운용적관점	업무데이터	사용자 뷰	데이터 활용관리

데이터 품질관리 대상​

구분	내용	비고
데이터	조직 내 목표 달성을 위해 사용되어지는 전산화된 데이터	데이터 현상값, 데이터 구조값
데이터 구조	데이터를 취급하는 관점에따라 뷰, 모델, 파일, DB로 제공	단계별 데이터 구조, 조직별 데이터 구조
데이터 관리 프로세스	데이터, 데이터 구조, 품질을 유지하기 위한 절차, 조직, 인력	데이터 정의 프로세스, 데이터 변경 프로세스

데이터 품질관리 성숙모형, 구성요소​

데이터 품질관리 성숙모형​

데이터 품질관리 성숙도 구성요소​

구분	내용	비고
데이터 픔질기준	데이터 품질 정의	데이터 유효성, 데이터 활용성
품질관리 프로세스	데이터 품질기준 향상을 위한 필요 프로세스	요구사항 관리, 데이터 구조 관리, 데이터 흐름관리, DB관리, 표준 관리
품질관리 성숙수준	현재 수준 파악 후 5단계 개선 모형 정의	도입, 정형화, 통합화, 정량화, 최적화

데이터 품질관리 성숙 수준​

도형통량최

단계	구분	내용
5	최적화	데이터 품질관리 개선 도출, 지속 적용
4	정량화	정량적 측정 통한 데이터 품질 관리
3	통합화	전사적 연계 통합 관점, 일관성 있는 품질 관리
2	정형화	품질관리 위한 제반 프로세스 정형화
1	도입	데이터 품질관리 문제점 인식, 부분적 활동

뮤테이션 테스트 개념​

• 소스 코드의 일부를 의도적으로 변경하여 테스트 케이스가 이 변경된 코드를 검출할 수 있는지 확인하는 화이트박스 테스트 기법
• 테스트 케이스 유효성 검증, 코드 품질 향상, 테스트 커버리지 보완, 버그 발견

뮤테이션 테스트 구성도, 구성요소, 적용방안​

뮤테이션 테스트 구성도​

뮤테이션 테스트 구성요소​

구분	내용	비고
원본 코드	테스트할 소스 코드	소프트웨어의 실제 기능을 수행하는 코드
뮤턴트	원본 코드를 변형하여 만든 코드	의도적으로 결함을 삽입한 코드
테스트 케이스	원본 코드와 뮤턴트를 검증하기 위한 테스트 시나리오	다양한 상황을 가정하여 작성된 테스트
킬드 뮤턴트	테스트 케이스가 검출한 뮤턴트	뮤턴트를 정확히 찾아내는 테스트 케이스
라이브 뮤턴트	테스트 케이스가 검출하지 못한 뮤턴트	테스트 케이스의 수정이 필요

뮤테이션 테스트 오퍼레이터​

구분	내용	비고
연산자 교체	코드 내의 연산자를 다른 연산자로 교체	+를 -로, >를 <로 변경
상수 값 변경	코드 내의 상수 값을 다른 값으로 변경	int x = 5;를 int x = 10;으로 변경
조건문 변경	조건문의 논리적 또는 비교 연산자를 변경	if (a > b)를 if (a < b)로 변경
논리적 연산자 변경	논리적 연산자를 다른 연산자로 교체	and를 or로 변경
제어 구조 변경	루프나 조건문 등의 제어 구조를 변경	for 루프를 while 루프로 변경
문장 삭제	코드의 특정 문장을 삭제	변수 할당 문장 또는 조건문 삭제
반환 값 변경	메서드의 반환 값을 다른 값으로 변경	return x;를 return -x;로 변경

뮤테이션 테스트시 고려사항​

• 많은 뮤턴트 생성으로 인한 높은 컴퓨팅 자원과 결과해석에 대한 인적 리소스 필요

CRC 개념​

• 데이터 전송시 무결성을 확인하기 위해 특정한 다항식으로 체크섬을 구하여 오류를 검출하는 방식
• 데이터 전송 신뢰성 향상, 간단한 계산 속도 및 효율성

CRC 구성도, 구성요소, 적용방안​

CRC 구성도​

CRC 구성요소​

구분	내용	비고
데이터	전송하거나 저장하려는 원본 데이터 블록	원본 데이터
생성 다항식	오류 검출을 위한 기준 다항식	CRC 생성 기준
CRC 계산기	데이터 블록에 대해 CRC 값을 계산하는 알고리즘	하드웨어 또는 소프트웨어
코드워드	원본 데이터에 CRC 값을 추가한 최종 데이터 블록	전송 또는 저장될 데이터

CRC 적용방안​

구분	내용	비고
네트워크 통신	TCP/IP, Ethernet 등에서 데이터 패킷의 무결성을 확인	다양한 통신 프로토콜에 사용
저장 장치	하드 드라이브, SSD, CD/DVD 등에서 데이터 무결성 보장	저장된 데이터의 오류 검출
파일 전송	FTP에서 데이터 전송 중 발생할 수 있는 오류를 검출	파일 전송 프로토콜에 적용
임베디드 시스템	마이크로컨트롤러 등에서 데이터 전송 무결성 확인	내장형 시스템의 데이터 통신 신뢰성 보장

CRC 고려사항​

• CRC-32 등 표준 다항식 사용으로 안전성, 상호 운용성 확보

엣지컴퓨팅 개념​

• 데이터가 생성되는 위치 근처에서 데이터를 처리하고 저장하는 분산 컴퓨팅 모델
• 빠른 응답속도, 대역폭 효율, 민감정보 로컬 처리로 인한 보안 강화

엣지컴퓨팅 구성도, 구성요소, 적용방안​

엣지컴퓨팅 구성도​

엣지컴퓨팅 구성요소​

구분	내용	비고
클라우드	대규모 데이터 저장, 분석	중앙 관리
엣지 노드	데이터 처리, 저장, 필터링	디바이스와 클라우드 간 데이터 중재
엣지 디바이스	데이터를 수집, 전송, 로컬 처리	IoT 디바이스, 스마트폰 등

엣지컴퓨팅 적용방안​

구분	내용	비고
자율주행차	센서, 데이터 실시간 처리	실시간 판단, 주행
스마트시티	교통, 안전, 에너지 실시간 분석	관리 효율성
헬스케어	환자 데이터 실시간 모니터링	원격 진료

엣지컴퓨팅 장단점​

구분	요소	내용
장점	대기시간 감소	-
-	비용절감	-
-	실시간 데이터 처리	-
단점	데이터 보안 문제	-
-	복잡한 아키텍처	-

엣지컴퓨팅 고려사항​

• 매터 등 IoT 표준 프로토콜을 사용하여 확장성 대응
• 분산 환경의 로컬 데이터 보안을 위해 E2E 암호화 필요
• 탄소인지컴퓨팅 패러다임으로 데이터센터의 탄소 사용량을 절감하기 위해, 엣지컴퓨팅 활성화 필요

MIV 개념​

• 다수의 카메라로 3D 캡쳐한 영상을 6DoF지원하여 압축하는 비디오 압축 표준
• VR, AR 등 몰입형 미디어에 대한 압축 지원

MIV 구성도, 구성요소, 적용방안​

MIV 구성도​

아틀라스

MIV 구성요소​

구분	기술	내용
인코더	TMIV 인코더	다수의 텍스터, 기하정보 활용 인코딩
-	비디오 인코더	공간 중복 제거 후 인코딩, 아틀라스 포맷기반 HEVC, VCC 코덱으로 전송
디코더	비디오 디코더	비트스트림을 영상으로 디코딩, 아틀라스 포맷으로 MIV 디코더 전달
-	MIV 디코더	후처리, 공간 시점 영상 합성, 사용자 움직임에 따른 뷰포트 생성

MIV 적용방안​

구분	방안	비고
VR, AR 컨텐츠	몰입감 높은 컨텐츠 제작	6DoF
스포트 중계	다양한 시점에서 경기 관람	현장감
교육 컨텐츠	실감형 교육 컨텐츠 제작	체험형

MIV 고려사항​

• 압축 기술 뿐아니라 5G 네트워크를 통해 데이터를 1Gbps 이상으로 송신 필요