본문으로 건너뛰기

Full Stack JavaScript Developer | Half-time Open Sourcerer.

모든 저자 보기

AutoGPT

· 약 3분

AutoGPT 개요

AutoGPT 개념

  • GPT-4 기반으로 질문의 태스크를 생성하고, 에이전트는 그 과정을 반복하여 점진적으로 목표를 달성하는 기술

AutoGPT 구성도 및 구성요소

AutoGPT 구성도

AutoGPT 구성요소

구성요소설명예시
사용자 입력AutoGPT에 제공되는 목표 또는 작업이메일 자동 답변 생성
LLM태스크를 생성하기 위해 사용되는 언어 모델GPT-4
에이전트사용자 입력을 기반으로 태스크를 수행, 피드백 루프를 통해 결과를 개선이메일 자동 답변 생성 에이전트
피드백 루프작업의 결과를 반복적으로 입력으로 사용하여 결과를 개선결과 수정 및 재입력

AutoGPT 활용

적용 분야활용 예시설명
소프트웨어 개발자동 코드 생성어플리케이션 전체 자동 생성
디지털 마케팅콘텐츠 추천 시스템사용자의 활동을 기반한 개인화된 콘텐츠를 추천
정보 관리자동 문서 요약긴 문서를 요약하여 핵심 정보 제공

AutoGPT 성공포인트

  • OpenAI API를 사용하여 비용 절감을 위해 단계별로 사람의 확인이 필요한 구조이나, Local sLLM으로 교체시 원하는 결과를 얻기까지의 비용 및 프로세스 절감 가능

참조

RAG, 검색 증강 생성

· 약 4분

RAG 개요

RAG 개념

  • LLM의 출력을 최적화하여 응답을 생성하기 전 학습 데이터 소스 외부의 지식 베이스 데이터를 참조하도록 하는 기술

RAG의 배경

LLM의 문제점설명RAG 기대효과
환각답변이 없을 때 허위정보 제공독점 데이터 활용 정보 제공
최신 데이터일반적인 정보 제공구체적 정보 제공
신뢰성신뢰할 수 없는 출처로부터의 응답 제공신뢰할 수 있는 정보 제공

RAG의 구성도 및 절차

구성도

RAG

웹인터페이스 -> 벡터데이터베이스 -> LLM

구성요소

구분설명특징
웹인터페이스질의 가능한 웹 인터페이스챗봇 형태로 사용
벡터데이터베이스임베딩 데이터 저장최신/프라이빗 데이터 반환
LLM자연어처리, 일반 지식 응답임베딩 데이터 포함 응답

RAG 절차

  • 외부 데이터 생성 및 준비: 텍스트, 이미지, 파일 등 다양한 소스로 임베딩 후 벡터DB 저장
  • 관련 정보 검색: 질문을 기반으로 벡터 유사도 기반 데이터 검색
  • LLM 프롬프트 확장: 검색된 데이터는 LLM 프롬프트와 결합하여 응답 반환
  • 외부 데이터 업데이트: 벡터DB에 새로운 데이터를 주기적으로 업데이트하여 최신화

파인튜닝과 RAG 비교

구분파인튜닝검색증강생성
방식특화데이터를 모델이 재학습데이터 소스 추가 제공으로 모델 성능 향상
데이터 규모작음대규모 지식 베이스
모델 조정재학습으로 모델이 새로운 데이터로 조정됨추가 학습 없어 모델 조정 불필요
비용고비용, 모델 전체 재학습저비용
장점적은 데이터로 학습 가능, 특정 작업에서 효과적 성능 향상재학습 불필요, 과적합 위험 없음, 최신 데이터 반영
단점고품질 데이터 확보 어려움
과적합, 편향, 환각
고비용
LLM 모델에 따른 답변 품질 저하
소스 데이터 속성에 맞는 임베딩 모델 검토 필요

참조

sLLM

· 약 2분

sLLM 개요

sLLM 개념

  • small Large Language Model
  • 기업 전용 특화모델로 활용 가능한 경량화된 거대 언어모델

sLLM 배경

  • LLM은 거대 언어모델로 천문학적인 비용과 학습 시간 필요
  • 매개변수를 줄이고, 미세조정하여 정확도 향상

LLM과 sLLM 비교

구분LLMsLLM
훈련 데이터 크기대규모, 대용량상대적으로 작은 규모, 소용량
파라미터 크기수천억 개수십억 개
성능더많은 컨텍스트와 언어이해능력작은 모델로 일부 성능 제한
배포 용이성대용량으로 배포 어려움작은 규모로 배포 용이
사용성학습 리소스 등 자원 사용량이 많아 운영 제약경량화 된 모델로 제한된 자원으로 활용 가능
서비스 제공클라우드 기반에서 범용 서비스 적합온프레미스 방식으로 기업내 구축 가능
예시ChatGPT, GeminiLLama, Phi-3

OSI 7 레이어

· 약 6분

OSI 7 레이어 개념

OSI 7 레이어

  • 네트워크 충돌 문제 등의 완화를 위해 ISO 7498로 정의된 개방형 시스템 상호연결 국제 표준 네트워크 모델
  • 같은 계층간 논리통신을 제공하기 위하여 터널링 기법(가상통신, Peer to Peer)을 사용
  • 하부 계층 내려갈 때는 캡슐화, 그 반대는 역캡슐화 가정

OSI 7 레이어 기능, 프로토콜 종류

OSI 7 레이어 기능

계층기능설명
응용사용자와 네트워크 간 인터페이스 제공응용프로세스 간 데이터 교환, 인터페이스 제공, 사용자 인터페이스
표현데이터 변환 및 암호화데이터 인코딩, 디코딩, 암복호화, 입출력을 응용게층이 이해하는 형태로 변환
세션세션 설정 및 관리어플리케이션 간 세션 설정 유지, 데이터 교환 동기화, 복구 관리
전송신뢰성 있는 데이터 전송종단 간 신뢰성, 투명성 유지, 데이터 전송, 흐름, 혼잡, 오류 제어
네트워크라우팅 및 패킷 전달목적지 경로 설정, 중계, IP주소활용 패킷 라우팅
데이터링크프레임화, 오류 검출, 수정전송된 데이터를 프레임 단위 처리, 접근 흐름, 오류, 회선 제어
물리데이터 전송 매체와 신호 정의전송매체(케이블, 전송속도) 정의, 전기적 신호 정의, 비트 전송

OSI 7 레이어 프로토콜 종류

계층프로토콜설명
응용HTTP, DNS, SMTP, FTP웹페이지 전송 프로토콜, 도메인명 IP 반환 프로토콜 등
표현JPEG, MPEG, ASCII이미지 압축 및 저장 포맷, 동영상 압축 및 저장 포맷 등
세션SSL/TLS, RPC, SSH보안통신용 암호화, 세션 유지, 원격프로시져 호출 등
전송TCP, UDP, SCTP신뢰성 있는 연결지향 전송, 비연결지향 실시간 전송
네트워크IP, ICMP, IPsec, ARP패킷 라우팅 및 주소지정, 네트워크 문제진단, 오류 보고
데이터링크Ethernet, PPP, L2TPMAC기반 데이터 전송, 종단 간 직접 연결, 데이터 전송
물리RS-232, IEEE802.3, SONET직렬통신 인터페이스 표준, 이더넷 물리매체 지정, 광섬유 동기화

OSI 7 레이어 데이터 종류, 주요 장비

OSI 7 레이어 데이터 종류

계층데이터 종류설명
응용데이터, 메세지어플리케이션 간 주고 받는 순수한 데이터 형태, 컨텐츠
표현데이터어플리케이션 계층 데이터를 공통 포맷으로 변환, 압축, 암호화한 데이터
세션데이터어플리케이션 간 세션을 설정하고 관리하는 데이터
전송세그먼트, 데이터그램종단 간 데이터 전송을 위한 논리적 전송단위, 포트헤더 추가
네트워크패킷네트워크 내 라우팅, 포워딩을 위해 IP 헤더를 추가한 전송 단위
데이터링크프레임물리적으로 연결된 종단 간 통신 신뢰성을 위해 MAC 주소, 오류 제어정보 추가
물리비트디지털 신호 최소 단위, 전기신호 또는 광신호 형태

OSI 7 레이어 주요 장비

계층주요 장비설명
응용웹서버, 이메일 서버, L7 스위치사용자에게 어플리케이션 제공, 트래픽 제어, 컨텐츠 필터링
표현암호화 장비데이터 인코딩 및 암호화 포맷 변환 서버
세션방화벽, 세션 게이트웨이세션 설정, 유지, 종료 관리, 동기점 설정 및 통신세션 보장
전송게이트웨이, L4 스위치종단 간 통신 연결, 로드밸런싱, 포트 기반 필터링
네트워크라우터, L3 스위치패킷 라우팅, 포워딩, 필터링, 네트워크 토폴로지 관리
데이터링크브리지, L2 스위치프레임 전송, 충돌 도메인 분할, 오류 감지, 수정 제공
물리허브, 리피터신호의 전기적, 광학적 전송 담당, 신호 증폭, 분배, 물리 매체 연결

OSI 7 레이어와 TCP/IP와의 비교

TCP/IP 비교프로토콜 구조
tcp/iptcp/ip protocol
  • TCP/IP는 인터넷 구현을 위한 프로토콜로 Defacto 표준.
  • OSI 7 레이어는 컴퓨터 구조를 포함하므로 실제는 TCP/IP의 Hybrid 모델로 구현.

참조

서포트 벡터 머신

· 약 2분

SVM 개념

  • 서포트 벡터, 하이퍼플레인, 차원 전환 원리를 이용하여 주어진 데이터가 어떤 카테고리에 속할지 판단하는 이진선형분류모델
  • 서포트 벡터 분류기 + 비선형 커널 = 서포트벡터머신

SVM의 개념도, 문제 해결방법, 장단점

개념도

선형 문제비선형 문제
SVMSVM

문제 해결 방법

구분선형 문제비선형 문제
특징초평면 분리 가능초평면 분리 불가
해결방법마진을 최대화하는 서포트벡터 탐색 후 분류커널 트릭 사용하여 데이터 고차원 매핑

선형 문제

  • 하드 마진: 오류 불가
  • 소프트 마진: 마진 내 오류 허용, 하이퍼파라미터로 제어

장단점

  • 장점: 인공신경망의 과적합 해결방법 제시, 비선형 문제 해결
  • 단점: 단일 SVM 성능 한계

SVM 한계점과 해결방안

  • SVM 데이터 범주간 비율이 비슷하다는 가정에서 학습하고 예측결과 도출, 실제 데이터는 데이터의 불균형이 빈번하여 모델 성능이 저하됨.
  • 앙상블 기법을 이용한 SVM으로 성능 문제 해결.

참조

의사결정나무

· 약 4분

의사결정나무 개요

의사결정나무 개념

  • 주어진 입력값들의 조합을 의사결정규칙에 따라 출력값을 예측하는 모형
  • 의사결정규칙을 트리구조로 나타내어 분류와 예측을 수행하는 분석 방법

의사결정나무 구성도, 구성요소, 유형

의사결정나무 구성도

의사결정나무 구성요소

구분내용비고
루트노드모든 데이터의 첫 속성 평가첫 분기 결정
규칙노드특정 속성에 대한 테스트 수행 후 데이터 분리조건문 따라 하위노드 분기
리프노드최종결과노드, 데이터 분류 또는 예측분류 클래스

의사결정나무 유형

  • 분류트리: 범주형 변수를 예측하기 위해 사용되는 트리 모델, 데이터를 여러 범주로 분류
  • 회귀트리: 연속형 변수의 값을 예측하기 위한 트리모델
구분분류트리회귀트리
대상범주형 변수 대상연속형 변수 대상
특징불순도를 기준으로 최적 분류 결정분산을 최소화하는 방향으로 분할
평가방법지니지수, 엔트로피오차제곱합
사용시기명확한 범주를 가진 데이터 분류연속적 수치 예측, 트렌드 예측

의사결정나무 절차, 평가지표

의사결정나무 절차

  • 성장: 분석목적에 따른 트리 생성
  • 가지치기: 불필요한 가지를 제거하여 과대적합, 과소적합 방지
  • 타당성 평가: 가장 적은 엔트로피를 갖는 나무를 평가하고 최적 모형 선택
  • 해석 및 예측: 구축된 나무모형 해석

의사결정나무 평가지표

구분지표내용
분류나무지니계수해당 구역 내 특정 클래스에 속하는 데이터 비율을 모두 제외한 값
-엔트로피데이터의 무질서도를 측정하여 정보 획득량 계산
회귀나무오차제곱합실제 값과 예측 값의 오차 제곱 최소화
  • 지표가 0에 가까울 수록 잘 분류된 모델로 판별 가능

의사결정나무 고려사항

  • Impurity를 0으로 만들기 위해 트리 깊이가 깊어질 경우 오버피팅 발생하므로, 앙상블 기법 사용 고려 필요

OWASP 2021 TOP 10

· 약 3분

OWASP 개요

  • Open Web Application Security Project
  • 소프트웨어의 보안 취약점을 분석하고 연구하는 비영리 단체

OWASP 2021 Top 10 취약점

1. 접근 권한 취약점

  • Broken Access Control
  • 사용자가 권한을 벗어나 행동할 수 없도록 정책 시행
  • 취약한 경우 모든 데이터를 무단으로 열람, 수정, 삭제 가능

2. 암호화 오류

  • Cryptographic Failures
  • 적절한 암호화가 없을시 민감 데이터 노출 가능

3. 인젝션

  • Injection
  • SQL, NoSQL, ORM, LDAP의 인젝션 취약점
  • 사용자 제공 데이터 조작을 위한 공격, XSS 포함

4. 안전하지 않은 설계

  • Insecure Design
  • 설계 단계에서 발생하는 보안 결함
  • 요구사항 및 리소스 관리, 보안 설계, 보안 개발 생명 주기

5. 보안 설정 오류

  • Security Misconfiguration
  • 어플리케이션 보안 설정이 누락되거나 클라우드 서비스 권한이 잘못된 경우

6. 취약하고 오래된 컴포넌트

  • Vulnerable and Outdated Components
  • 취약한 어플리케이션, 라이브러리, 프레임워크 등의 보안 위협

7. 식별 및 인증 오류

  • Identification and Authentication Failures
  • 취약한 인증에서 식별까지 포함된 보안 결함
  • 사용자 신원확인, 인증, 세션관리 취약점

8. 소프트웨어 및 데이터 무결성 오류

  • Software and Data Integrity Failures
  • 안전하지 않은 역직렬화가 병합된 항목으로, 어플리케이션이 신뢰할 수 없는 소스, 저장소, 라이브러리, 모듈에 의존하는 경우 발생

9. 보안 로깅 및 모니터링 오류

  • Security Logging and Monitoring Failures
  • 로깅으로 공격 발생 감지 및 대응까지 포함

10. 서버 측 요청 위조

  • Server-Side Request Forgery
  • 어플리케이션이 사용자 제공 URL의 유효성을 검사하지 않고 원격 리소스를 가져올 때 발생

참조

블로그 댓글 기능 비교

· 약 2분

개요

  • 데이터베이스가 필요 없으면서 블로그에 무료로 댓글을 붙힐 수 있는 기능이 필요했다.
  • Hexo 블로그 시스템에서는 Disqus를 사용했었지만, 형편없는 어드민 UX와 많은 트레킹 스크립트로 Gitalk 로 이사를 왔다.
  • Gitalk는 생각보다 괜찮았다. 하지만 Docusaurus 기반 블로그로 이전하게 되면서 문제가 발생했다.
    • 트리쉐이킹 없는 모듈을 호출해야했고, document.title 을 가지고오는 로직이 꼬이는지 가끔 댓글 타이틀을 잘못 가지고 왔다.
  • Docsly는 원하는 위치에 댓글을 다는 게 재밌어보였다.
    • 플로팅 푸터로 가운데에 댓글을 쓰는 기능이 들어간다. 그런데 powered by docsly 워터마크가 꽤 크게 노출되어 블로그가 docsly로 운영되는 듯한 느낌을 준다.
  • Giscus는 Github discussion 기반으로 코멘트를 남기는데 모든 기능을 다 만족했다.

기능 비교

구분DisqusGitalkDocslyGiscus
오픈소스OXO
업데이트지원~2022~20212024~2024~
리액트지원△ (Class)△ (Class)OO
데이터저장ClosedIssuesClosedDiscussions
워터마킹OXOX

결론

가치사슬

· 약 3분

가치사슬 개념

  • 고객에게 가치를 제공함에 있어 마진을 극대화하기 위한 일련의 활동, 기능, 프로세스
  • 경쟁 우위 확보, 비용 절감, 프로세스 개선, 전략적 의사결정 지원, 고객 가치 증대, 기술 혁신 도입

가치사슬의 구성도, 구성요소, 분석 절차

가치사슬 구성도

Value Chain

가치사슬 구성요소

구분활동내용
주요활동생산활동원재료를 제품으로 변환하는 과정
-물류활동원재료, 자재 수급, 저장, 제품, 고객 전달 과정
-고객관리제품 마케팅, 판매, 고객 지원
지원활동기업 인프라회사 전반 경영, 재무, 법무 등
-인적자원 관리직원 채용, 교육, 보상 등
-연구 개발제품과 프로세스 연구 및 지속적 개선
-조달자재와 서비스의 구매
  • 전체 가치사슬 내 자산관리를 위해 ERP 활용

가치사슬 분석 절차

ERP, SCM, MES, CRM 비교

구분ERPMESSCMCRM
목적전사지원생산관리물류/공급망관리고객관리
대상전사활동공정유통고객
활동전사자원통합통합 생산공급망 최적화마케팅, 서비스
가치사슬주요+보조주요주요주요
신기술DX디지털트윈빅데이터O2O

가치사슬 추가적인 고려사항

  • 최신 기술동향 파악하여 가치사슬에 통합하여 기업 경쟁력 및 효율성 강화

참조

ISMS-P

· 약 3분

ISMS-P 개요

ISMS-P 개념

  • 정보보호 및 개인정보보호를 위한 일련의 조치와 활동이 인증기준에 적합한지 인증하는 제도

ISMS-P 법적 근거

  • 정보통신망법 제 47조
  • 개인정보 보호법 제 32조 2

ISMS-P 인증 체계 및 기준

ISMS-P 인증 체계

  • 정책기관: 과기정통부, 개인정보보호위원회
  • 인증기관: 한국인터넷진흥원(KISA), 금융보안원(FSI)
  • 심사기관: 한국정보통신진흥협회(KAIT), 한국정보통신기술협회(TTA), 개인정보보호협회(OPA), 차세대정보보안인증원(NISC)

ISMS-P 인증 기준

1. 관리체계 수립 및 운영

  • 관리체계 기반마련
  • 위험관리
  • 관리체계 점검 및 개선
  • 관리체계 운영

2. 보호대책 요구사항

  • 정책, 조직, 자산관리
  • 인적보안
  • 외부자보안
  • 물리보안
  • 인증 및 권한관리
  • 접근통제
  • 암호화
  • 정보시스템 도입 및 개발 보안
  • 시스템 및 서비스 운영 관리
  • 시스템 및 서비스 보안 관리
  • 사고 예방 및 대응
  • 재해복구

3. 개인정보 처리단계별 요구사항

  • 개인정보 수집 시 보호 조치
  • 개인정보 보유 및 이용 시 보호조치
  • 개인정보 제공 시 보호조치
  • 개인정보 파기 시 보호조치
  • 정보주체 권리 보호

고려사항

  • 매출 300억 이하 중소기업, 매출 300억 이상 중요 통신인프라가 없는 중견기업의 경우 간소화 인증으로 인증 비용 40% 절감 가능

참조