본문으로 건너뛰기

인공지능 시스템 신뢰성 제고를 위한 요구사항

· 약 5분

인공지능 시스템 신뢰성 제고를 위한 요구사항 개요

인공지능 시스템 신뢰성 제고를 위한 요구사항 개념

  • 인공지능 기술이 적용된 시스템의 신뢰성 제고를 위해, 인공지능 개발 및 운영 등의 전체 인공지능 생명주기에서 이해관계자들이 충족해야할 요구사항 제공

인공지능 시스템 신뢰성 제고를 위한 요구사항 필요성

구분내용비고
위험 관리오류, 오작동, 보안 위협 등 잠재적 위험 요소 식별 및 대응 방안 마련리스크 관리 및 대응
신뢰 확보작동 원리와 결과 명확히 설명, 예측 가능성 및 투명성 확보시스템 투명성 및 예측 가능성 확보
규제 준수법적 규제와 표준 준수, 책임성 강화 및 사회적 수용성 증대법적 준수 및 사회적 책임

인공지능 시스템 신뢰성 제고를 위한 요구사항 구성도, 구성요소

구성도

계획 수립 -> 데이터 점검 -> 오픈소스 라이브러리 점검 -> 모델 보안 대책 수립 -> 알림 정책 수립 -> 설명가능성 점검

구성요소

구성내용비고
계획 수립위험 관리, 신뢰성 테스트 계획 수립생명주기 전 영역
데이터 점검신뢰성 있는 데이터인지 점검안정성, 공정성, 견고성
오픈소스 점검보안성, 기능성 점검개발단계 전 보안성 확보
모델 보안 대책 수립편향, 적대적공격 방어 점검지속적 평가
알림 정책 수립장애 발생시 절차 수립안전모드, 알림 등
설명가능성 점검추론 결과 확인, 상호작용 설명투명성, 서비스 오남용 방지
  • AI 생명주기 전 영역에서 인공지능 시스템 신뢰성 제고를 위한 활동 필요.

AI 시스템 생명 주기별 요구사항

구분내용비고
계획 및 거버넌스위험관리 계획, 거버넌스 체계위험 분석, 법 규정 수립
설계 및 개발신뢰성 테스트 계획, 이상 데이터 점검, 편향 제거, 보안성 점검테스트 환경 설계, 데이터 견고성, 편향 제거, 보안 패치 점검
검증 및 확인추적 가능성 확보, 모델 설명 제공데이터 추적, 모델 설명
배치 및 운영모델 방어 대책, 안전 모드, 알림 절차 수립방어 방안, 안전 모드 구현, 알림 기능
지속적 관리데이터 정보 제공, 모델 편향 제거, 시스템 편향 제거데이터 투명성, 알고리즘 편향 제거
서비스 종료서비스 범위 설명오남용 방지
  • 지속적 확인단계는 서비스 운영 중 지속적인 학습을 수행하는 경우 한해 적용

AI 시스템 신뢰성 제고를 위한 고려사항

구분내용비고
기술적인공지능 시스템의 추적 가능성 및 변경 이력 관리시스템 모니터링
관리적위험 관리 계획 수립 및 실행리스크 관리
제도적데이터 프라이버시 및 보안에 대한 제도적 관리프라이버시 보호

기타

AI 시스템 이해관계자

  • AI제공자: 플랫폼 제공자, 서비스 제공자
  • AI생산자: AI개발자, 데이터 과학자
  • AI고객: 서비스 사용자, 서비스 운영자
  • AI파트너: 시스템 통합자, 데이터 공급자
  • AI영향대상: 데이터 영향대상, 시민 단체
  • 관계기관: 규제기관, 정책입안자

해외 AI 신뢰성 요구사항

  • 유네스코: 인공지능 윤리권고
  • EU: The Assessment List on Trustworthy Artificial Intelligence

참조