본문으로 건너뛰기

생성형 AI 활용 보안 가이드라인

· 약 6분

생성형 AI 개요

생성형 AI 개념

  • 인공지능 기술의 한 종류로서 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터 를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해 주는 기술

생성형 AI 사례

구분주요 설명사례
챗봇 및 가상 비서사용자의 질문에 답변하고 다양한 작업을 수행하는 AI 기반의 대화형 인터페이스ChatGPT, Siri, Alexa
콘텐츠 생성 도구텍스트, 이미지, 비디오 등 다양한 형태의 콘텐츠를 자동으로 생성하는 도구ChatGPT, Canva, DALL·E
언어 번역 서비스다양한 언어 간의 실시간 번역을 제공하는 서비스DeepL, Google Translate, Papago
맞춤형 추천 시스템사용자 선호도를 기반으로 개인화된 추천을 제공하는 시스템Netflix, YouTube, Spotify
문서 요약 및 분석긴 문서를 요약하거나 중요한 정보를 추출하는 도구ChatGPT, Notion AI, SummarizeBot

생성형 AI 원인 및 보안위협

대표 보안 위협주요 원인가능한 보안 위협
잘못된 정보편향최신 데이터 학습 부족
환각 현상
사회적 혼란 조장
고위험 의사 결정
잘못된 의사 결정 유도
AI 모델 악용적대적 시스템 메시지피싱 이메일 및 인물 도용
사이버 보안 위협 코드 작성
대화형 서비스를 악용한 사이버 범죄
커뮤니티 활성화
사회 공학적 영향
가짜 뉴스 생성
유사 AI 모델 서비스 빙자유사 악성 서비스 접근 유도스쿼팅 URL 및 확장 프로그램
가짜 애플리케이션
데이터 유출데이터 합성 과정의 문제
과도한 훈련 데이터 암기 문제
대화 과정에서 개인정보 및 민감 정보 작성
훈련 데이터 유출
데이터 불법 처리 우려
기밀 유출
대화 기록 유출
데이터베이스 해킹 및 회원 추론 공격
플러그인 취약점AI 모델의 적용 범위 확장
안정성 확인 미흡
해커 공격 범위 확장
취약점이 있는 서비스와 연결
새로운 도메인에서의 모델 오작동
‘에이전트’화 된 AI 모델의 악용
멀티모달 악용
확장 프로그램 취약점확장 프로그램 내의 악성 서비스 설치
서비스 제공 업체의 보안 조치 미흡
개인정보 수집
시스템 공격
호스팅 서버 및 스토리지 시스템 위협
API 취약점미흡한 API 키 관리
데이터와 명령 사이의 불분명한 경계
API 키 탈취
악의적인 프롬프트 주입

생성형 AI 개발시 보안위협별 대응방안

개발 단계보안 위협대응 방안
데이터 수집데이터 유출데이터 암호화, 접근 제어 강화, 데이터 마스킹, 정기적인 보안 감사
데이터 프라이버시 침해PII 제거, 데이터 익명화, 프라이버시 보호 기술 적용
데이터 준비데이터 조작데이터 무결성 검증, 디지털 서명, 변조 방지 메커니즘 구축
모델 중독 (Model Poisoning)데이터 검증 및 클렌징, 안전한 데이터 소스 사용, 이상 탐지 시스템 적용
모델 학습악의적인 입력 (Adversarial Attacks)입력 검증 및 필터링, 이상 탐지 시스템 적용, 방어적 학습 기법 도입
모델 도난 및 역공학모델 암호화, 접근 제한, 코드 난독화
모델 배포API 악용API 인증 및 권한 부여, Rate Limiting, API Gateway 사용
시스템 취약점정기적인 취약점 스캔, 보안 패치 적용, 코드 리뷰 강화
무단 접근다중 인증(MFA), 역할 기반 접근 제어(RBAC), 접근 로그 모니터링
서비스 거부 (DoS/DDoS)트래픽 모니터링, Rate Limiting, WAF(Web Application Firewall) 적용

참조