본문으로 건너뛰기

온디바이스 AI

· 약 3분

온디바이스 AI 개념

  • 클라우드 서버를 거치지 않고 단말 자체에서 AI연산을 수행하는 기술
  • 개인정보/데이터보호, 빠른 응답속도, 비용절감, 오프라인 AI

온디바이스 AI 구성도, 주요 기술

온디바이스 AI 구성도

온디바이스 AI 주요 기술

구분주요기술설명
HW 기술뉴로모픽신경망을 하드웨어적으로 구현하여 초저전력 AI 연산 수행
NPUAI 연산 최적화 전용 프로세서로 CNN, RNN 등 가속 처리
HBM고대역폭 메모리로 AI 연산 시 병렬 처리 성능 향상
SoCCPU, GPU, NPU 통합 설계로 AI 연산 최적화 및 전력 절감
SW 기술엣지컴퓨팅데이터가 생성된 기기에서 직접 AI 연산 수행, 실시간 응답 가능
경량 AI모델/알고리즘모델 경량화, 저전력 최적화 기법으로 모바일·IoT 기기에서도 AI 실행 가능
MoE전문가 모델(Mixture of Experts)로 AI 연산 효율성 향상
BitNet저비트(1~2bit) 연산을 활용한 경량 AI 모델, 전력·메모리 사용 절감
개인정보보호 기술차등프라이버시데이터에 노이즈를 추가하여 개인정보 보호 강화
TPM신뢰할 수 있는 환경에서 AI 연산을 수행하는 보안 칩 활용
데이터 로컬 처리클라우드 전송 없이 기기 내에서 AI 데이터 처리, 보안 및 응답 속도 향상