본문으로 건너뛰기

"math" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

모든 태그 보기

선형대수학 용어집

· 약 23분

Linear Algebra

KOENDesc
가우스 소거법Gauss Elimination연립 일차 방정식을 행렬로 표현한 후, 행 연산을 통해 상삼각 행렬로 변환하여 해를 찾는 방법
가역 행렬Invertible Matrix정사각 행렬 중 역행렬이 존재하는 행렬
결합 확률Joint Probability두 개 이상의 사건이 동시에 발생할 확률
경험적 확률Empirical Probability실제 관측된 데이터를 바탕으로 추정한 확률
고유값Eigenvalue선형 변환에서 벡터의 방향은 유지하고 크기만 변화시키는 값
고유값 분해Eigen-decomposition정방 행렬을 고유벡터와 고유값으로 분해하는 방법
고유 벡터Eigenvector선형 변환에서 방향은 유지하고 크기만 변화하는 벡터
과결정계Overdetermined System해가 없거나 유일한 해가 존재하지 않을 가능성이 높은 연립 방정식
방정식의 수가 미지수의 수보다 많을 때 발생
과소결정계Underdetermined System무수히 많은 해가 존재할 가능성이 높은 연립 방정식
방정식의 수가 미지수의 수보다 적을 때 발생
균일 분포Uniformed Distribution주어진 구간 내의 모든 값이 동일한 확률로 나타나는 연속 확률 분포
그람-슈미트 과정Gram-Schmidt process주어진 벡터 집합을 서로 직교하는 단위 벡터 집합으로 변환하는 과정
기대값Expected Value확률 변수가 취할 수 있는 모든 값에 대한 가중 평균
기하 분포Geometric Distribution특정 사건이 처음으로 발생할 때까지 시행 횟수를 나타내는 이산 확률 분포
내적Dot Product두 벡터 사이의 각도와 크기를 이용하여 스칼라 값을 얻는 연산
누적 분포 함수CDF, Cumulative Distribution Function확률 변수가 특정 값 이하의 값을 가질 확률을 나타내는 함수
누적 확률Cumulative Probability특정 값 이하의 값을 가질 확률
다중선형성Multi-linearity행렬의 열 벡터 중 특정 벡터를 변화시킬 때, 다른 벡터를 고정한 상태에서 선형적인 방식으로 반응하는 성질
다항식Polynomial여러 개의 항으로 이루어진 식
다항 분포Multinomial Distribution여러 개의 범주 중 하나를 선택하는 시행을 반복할 때, 각 범주에 속하는 횟수를 나타내는 이산 확률 분포
단위 벡터Unit Vector크기가 1인 벡터
단위 행렬Unit Matrix대각선 성분이 모두 1이고 나머지 성분이 모두 0인 정방 행렬
단체법Simplex Method선형 계획 문제를 해결하는 알고리즘 중 하나
담금질 기법Simulated Annealing최적화 문제를 해결하는 확률적 알고리즘
대각선Diagonal행렬에서 행 인덱스와 열 인덱스가 같은 성분들의 집합
대각행렬Diagonal Matrix대각선 성분을 제외한 모든 성분이 0인 정방 행렬
대각화Diagonalization정방 행렬을 고유벡터를 이용하여 대각 행렬로 변환하는 과정
대칭행렬Symmetric Matrix전치 행렬이 자기 자신과 같은 행렬
도함수Derivative함수의 순간적인 변화율을 나타내는 함수
독립항등분포IID, Independent and Identically Distributed서로 독립이고 동일한 분포를 따르는 확률 변수들
둘레Perimeter도형의 경계선의 길이의 합
매클로린 급수Maclaurin Series함수를 무한 개의 항으로 이루어진 다항식으로 표현하는 방법
멱영 행렬Nilpotent Matrix어떤 자연수 k에 대해 k번 제곱하면 영행렬이 되는 행렬
무어-팬로즈 유사역행렬Moore-Penrose Pseudoinverse Matrix일반적인 역행렬이 존재하지 않는 행렬에 대한 일반화된 역행렬
미분가능성Differentiability함수가 미분 가능한 성질
미적분Calculus함수의 변화율과 넓이를 다루는 수학 분야
볼록 최적화Convex Optimization볼록 함수의 최솟값을 찾는 문제
분류Classification데이터를 여러 개의 클래스로 나누는 작업
블록행렬Block Matrix행렬을 작은 행렬로 나누어 표현한 것
블록대각행렬Block Diagonal Matrix대각선 이외의 모든 행렬 블록이 영행렬인 블록 행렬
비직교Non-orthogonal서로 직교하지 않는
빗변Hypotenuse직각삼각형에서 직각을 마주보는 가장 긴 변
사다리꼴행렬Echelon Form행렬의 특정한 형태로, 가우스 소거법을 통해 얻을 수 있음
사다리꼴 공식Trapezoidal Rule정적분을 근사적으로 계산하는 방법 중 하나
삼각법Trigonometry삼각형의 변과 각 사이의 관계를 다루는 수학 분야
삼각행렬Triangular Matrix대각선 아래 또는 위의 모든 성분이 0인 정방 행렬
선형 독립Linear Independence벡터들의 조합으로 어떤 벡터도 다른 벡터를 나타낼 수 없는 성질
벡터들의 선형 결합이 영벡터가 되기 위해서는 모든 스칼라 값이 0이여야함
선형 방정식Linear Equation미지수의 최고차항이 1인 다항식으로 이루어진 방정식
선형 종속Linear Dependence하나 이상의 벡터가 나머지 벡터들의 선형 결합으로 표현될 수 있는 성질
사영Projection한 공간의 벡터를 다른 공간으로 투영하는 작업
선형계획법Linear Programming선형으로 정의된 목적 함수를 최대화하거나 최소화하면서, 선형 부등식 또는 등식 제약 조건을 만족하는 최적의 해를 찾는 문제
손실함수Loss Function모델의 예측값과 실제값 사이의 차이를 측정하는 함수
수신자 조작 특성ROC, Receiver Operating Characteristics분류 모델의 성능을 평가하는 곡선
실수Real유리수와 무리수를 포함하는 수
아다마르 곱Hadamard product두 행렬의 같은 위치에 있는 성분끼리 곱하여 새로운 행렬을 만드는 연산
아인슈타인 표기법Eienstein Summation Convention반복되는 문자(인덱스)가 보이면 자동으로 더하는 표기법
시그마 생략
아핀 공간Affine Space벡터 공간에서 원점을 포함하지 않는 공간
아핀 변환Affine Transformation평행 이동, 회전, 축척 등의 변환을 포함하는 선형 변환
양의 정부호 행렬Positive Definite Matrix모든 고유값이 양수인 대칭 행렬
양의 준정부호 행렬Positive Semi-definite Matrix모든 고유값이 0 이상인 대칭 행렬
여사건Complement Event어떤 사건이 발생하지 않는 사건
연속 확률 변수Continuous Random Variables실수 전체 또는 그 부분 집합을 값으로 가지는 확률 변수
Column행렬에서 가로로 나열된 원소들의 집합
Nought0
영 공간Null Space어떤 행렬 A에 대해 Ax=0을 만족하는 모든 벡터 x의 집합
외적Outer Product두 벡터의 곱으로 만들어지는 행렬
결과 행렬의 각 성분은 두 벡터의 대응하는 성분의 곱으로 계산
유사 변환Similarity Transformation두 행렬 A와 B가 존재하여 B=P1APB = P^-1AP 를 만족할 때, A와 B는 서로 유사함
기하학적으로 같은 선형 변환을 다른 기저에서 표현한 것과 같음
음의 정부호Negative Definite Matrix모든 고유값이 음수인 대칭 행렬
음의 준정부호Negative Semi-definite Matrix모든 고유값이 0 이하인 대칭 행렬
이계도함수Second-Order Partial Derivatives다변수 함수에서 각 변수에 대해 두 번 미분한 값
이산 확률 변수Discrete Random Variables특정한 값들만 취할 수 있는 확률 변수
이차계획법Quadratic Programming목적 함수가 이차 함수이고 제약 조건이 선형 부등식으로 주어진 최적화 문제
이항 분포Binomial Distribution베르누이 시행을 n번 반복했을 때 성공한 횟수를 나타내는 이산 확률 분포
임계점Critical Point함수의 도함수가 0이 되거나 존재하지 않는 점
극값이나 변곡점
자동 미분Automatic Differentiation컴퓨터 프로그램을 이용하여 함수의 미분을 자동으로 계산하는 기법
전치 행렬Transposed Matrix행렬의 행과 열을 바꾼 행렬
접선Tangent곡선 위의 한 점에서 그 곡선에 접하는 직선
정규 분포Normal Distribution자연 현상에서 가장 흔하게 나타나는 연속 확률 분포, 68.27%, 95.45%, 99.73%
정규 직교 기저 벡터Orthonormal Basis Vector서로 직교하고 크기가 1인 벡터들의 집합으로, 벡터 공간의 기저를 이룸
정규 직교 행렬Orthonormal Matrix모든 행 벡터와 열 벡터가 서로 직교하고 크기가 1인 정방 행렬
정규 확률Normal Probability정규 분포를 따르는 확률 변수가 특정 값을 가질 확률
정방 행렬Square Matrix행의 수와 열의 수가 같은 행렬
조건부 확률Conditional Probability어떤 사건 B가 발생했을 때, 다른 사건 A가 발생할 확률
종 곡선Bell Curve정규 분포의 확률 밀도 함수의 그래프 모양
좌표계Coordinate Frame공간에서 점의 위치를 나타내기 위한 기준 틀
주대각합Trace of Matrix정방 행렬의 대각선 성분들의 합
주변 확률Marginal Probability결합 확률 분포에서 특정 변수에 대한 확률
직각삼각형 삼각비Sohcahtoa직각삼각형의 변의 길이와 각의 크기 사이의 관계를 나타내는 삼각비 (sin, cos, tan)를 쉽게 기억하기 위한 구절
직각의Perpendicular두 직선이나 두 평면이 서로 수직으로 만남
직교Orthogonal두 벡터의 내적이 0일 때, 또는 두 직선이나 두 평면이 서로 수직
직교 행렬Orthogonal Matrix전치 행렬이 역행렬과 같은 정방 행렬
QTQ=QQT=IQ^T Q = Q Q^T = I
Q1=QTQ^{-1} = Q^T
켤레기울기법Conjugate Gradient Method대칭 양정부호 행렬을 갖는 선형 시스템을 푸는 반복적인 알고리즘
특성 다항식Characteristic Polynomial정방 행렬 A에 대해 det(AλI)=0\det(A - \lambda I) = 0 을 만족하는 다항식. 고유값을 찾기 위해 사용
특수해Particular Solution비동차 선형 미분 방정식의 해 중에서 상수항이나 특정 함수를 포함하는 해
특이값 분해SVD, Singular Value Decomposition임의의 행렬을 세 개의 행렬의 곱으로 분해하는 방법
평균Mean데이터 집합의 중심 경향을 나타내는 값
폐쇄성Closure어떤 연산에 대해 그 결과가 항상 해당 집합의 원소가 되는 성질
포아송 분포Poisson Distribution단위 시간 또는 단위 공간에서 어떤 사건이 발생하는 횟수를 나타내는 이산 확률 분포
표준 편차Standard Deviation데이터가 평균값으로부터 얼마나 흩어져 있는지를 나타내는 척도
프로베니우스 놈Frobenius norm행렬의 모든 성분의 제곱의 합의 제곱근
행렬의 크기를 측정하는 방법 중 하나
항등 행렬Identity Matrix대각선 성분이 모두 1이고 나머지 성분이 모두 0인 정방 행렬
Row행렬에서 가로로 나열된 원소들의 집합
행 사다리꼴 행렬Row-Echelon Form가우스 소거법을 통해 얻을 수 있는 행렬의 특수한 형태
행렬Matrix숫자를 직사각형 형태로 나열한 것
행렬은 사상이다
행렬식Determinant정방 행렬에 대응되는 스칼라 값.
행렬의 역행렬 존재 여부, 선형 변환의 비율 등을 나타냄
면적 확대율, 부피 확대율
혼동 행렬Confusion Matrix분류 모델의 성능을 평가하기 위해 사용되는 표
실제 클래스와 예측된 클래스를 비교하여 정확도, 정밀도, 재현율 등을 계산하는 데 사용
확률 밀도 함수PDF, Probability Density Function연속 확률 변수에서 특정 값을 가질 확률의 밀도를 나타내는 함수
회귀Regression하나의 변수와 다른 변수 사이의 관계를 모델링하는 통계적 기법
회전행렬Rotation Matrix공간에서 점을 회전시키는 선형 변환을 나타내는 행렬

Optimization

제약유무ENKO
ConstrainedActive Set Method활성 집합 방법
Barrier Method베리어 방법
Interior Point Method내부 점 방법
Lagrange Multipliers라그랑주 승수법
Penalty Function Method페널티 함수 방법
Sequential Quadratic Programming순차적 이차 프로그래밍
Simplex Method심플렉스법, 단체법
UnconstrainedConjugate Gradient Method켤레기울기법, 공역기울기법
Genetic Algorithm유전자 알고리즘
Gradient Descent경사 하강법
Nelder-Mead Method넬더-미드 방법
Newton's Method뉴턴 방법
Quasi-Newton Methods준 뉴턴 방법 (BFGS)
Simulated Annealing시뮬레이티드 어닐링, 담금질법

Calculus

Log

lnxdx=x(lnx1)+C\int \ln x \, dx = x(\ln x - 1) + C ddx[lnx]=1x\frac{d}{dx} [\ln x] = \frac{1}{x} log2xdx=x(log2x1)ln2+C\int \log_2 x \, dx = \frac{x (\log_2 x - 1)}{\ln 2} + C ddx[log2x]=1xln2\frac{d}{dx} [\log_2 x] = \frac{1}{x \ln 2}

Fraction

1xdx=lnx+C\int \frac{1}{x} dx = \ln|x| + C ddx[1x]=1x2\frac{d}{dx} \left[ \frac{1}{x} \right] = -\frac{1}{x^2}

Product Rule

[f(x)g(x)]=f(x)g(x)+f(x)g(x)[f(x)g(x)]'=f(x)'g(x)+f(x)g(x)'

udv=uvvdu\int u \, dv = uv - \int v \, du

Quotient Rule

[f(x)g(x)]=f(x)g(x)f(x)g(x)g(x)2[\frac{f(x)}{g(x)}]' = \frac{f(x)'g(x)-f(x)g(x)'}{g(x)^2}

Chain Rule

Composition

dydx=dydududx\frac{dy}{dx} = \frac{dy}{du}\frac{du}{dx}

Derivatives of Trigonometric Functions

f(x)f'(x)
sin(x)cos(x)
cos(x)-sin(x)
sec(x)sec(x) * tan(x)
tan(x)sec(x) * sec(x)
csc(x)-csc(x) * cot(x)
cot(x)-csc(x) * csc(x)

CS

KOENDescription
불 대수Boolean algebra-
완전 이진 트리Complete Binary Tree-
유향 비순환 그래프DAG, Directed Acyclic Graph-
전위 순회Pre-order Traversal루트 - 왼쪽 - 오른쪽
전위 표기법Prefix Expression-
중위 순회In-order Traversal왼쪽 - 루트 - 오른쪽
후위 순회Post-order traversal왼쪽 - 오른쪽 - 루트
후위 표기법Postfix Expression-

Complexity

AlgorithmTime complexity
Binary SearchO(logn)O(\log{n})
Balanced Binary SearchO(logn)O(\log{n})
Bellman-FordO(VE)O(V*E)
Bubble SortO(n2)O(n^2)
DijkstraO(ElogV)O(E\log{V})
DFS GraphO(V+E)O(V + E)
Floyd-WarshallO(V3)O(V^3)
Hash TableO(1)O(1)
Heap SortO(nlogn)O(n \log{n})
Quick SelectO(n)O(n)

Graph Search Algorithms

  • DFS
  • Dijkstra's algorithm
  • Bellman-Ford algorithm
  • Floyd-Warshall algorithm

예시

대각행렬

A=(100020003)\mathbf{A} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{pmatrix}

대칭행렬

A=ATA = A^T

B=(123245356)\mathbf{B} = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 5 \\ 3 & 5 & 6 \end{pmatrix}

삼각행렬

C=(123045006)\mathbf{C} = \begin{pmatrix} 1 & 2 & 3 \\ 0 & 4 & 5 \\ 0 & 0 & 6 \end{pmatrix} D=(100230456)\mathbf{D} = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 3 & 0 \\ 4 & 5 & 6 \end{pmatrix}

직교행렬

ATA=IA^T \cdot A = I

E=(100001010)\mathbf{E} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 0 & -1 \\ 0 & 1 & 0 \end{pmatrix}

정규직교행렬

ATA=IA^T \cdot A = I vi=1||\mathbf{v}_i|| = 1 vivj=0(ij)\mathbf{v}_i \cdot \mathbf{v}_j = 0 \quad (i \neq j)

F1=(100010001)\mathbf{F_1} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} F2=(1212012120001)\mathbf{F_2} = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ 0 & 0 & 1 \end{pmatrix} v1=(12)2+(12)2+02=12+12=1=1||\mathbf{v}_1|| = \sqrt{\left( \frac{1}{\sqrt{2}} \right)^2 + \left( -\frac{1}{\sqrt{2}} \right)^2 + 0^2} = \sqrt{\frac{1}{2} + \frac{1}{2}} = \sqrt{1} = 1 v2=(12)2+(12)2+02=12+12=1=1||\mathbf{v}_2|| = \sqrt{\left( \frac{1}{\sqrt{2}} \right)^2 + \left( \frac{1}{\sqrt{2}} \right)^2 + 0^2} = \sqrt{\frac{1}{2} + \frac{1}{2}} = \sqrt{1} = 1 v3=02+02+12=1=1||\mathbf{v}_3|| = \sqrt{0^2 + 0^2 + 1^2} = \sqrt{1} = 1 v1v2=(12)(12)+(12)(12)+00=1212+0=0\mathbf{v}_1 \cdot \mathbf{v}_2 = \left( \frac{1}{\sqrt{2}} \right) \left( \frac{1}{\sqrt{2}} \right) + \left( -\frac{1}{\sqrt{2}} \right) \left( \frac{1}{\sqrt{2}} \right) + 0 \cdot 0 = \frac{1}{2} - \frac{1}{2} + 0 = 0 v1v3=(12)0+(12)0+01=0\mathbf{v}_1 \cdot \mathbf{v}_3 = \left( \frac{1}{\sqrt{2}} \right) \cdot 0 + \left( -\frac{1}{\sqrt{2}} \right) \cdot 0 + 0 \cdot 1 = 0 v2v3=(12)0+(120)+01=0\mathbf{v}_2 \cdot \mathbf{v}_3 = \left( \frac{1}{\sqrt{2}} \right) \cdot 0 + \left( \frac{1}{\sqrt{2}} \cdot 0 \right) + 0 \cdot 1 = 0

멱영행렬

Ak=0(K>0)A^k = 0 \quad (K > 0)

G=(010001000)\mathbf{G} = \begin{pmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{pmatrix}

기대값

이산 확률

E(X)=i=1nxiP(X=xi)E(X) = \sum_{i=1}^{n} x_i P(X = x_i)

연속 확률

E(X)=xf(x)dxE(X) = \int_{-\infty}^{\infty} x f(x) \, dx

f(x)는 확률밀도함수 PDF

분산

Var(X)=E[(XE(X))2]=E(X2)(E(X))2\text{Var}(X) = E\left[(X - E(X))^2\right] = E(X^2) - (E(X))^2

표준편차

σ=Var(X)\sigma = \sqrt{\text{Var}(X)}

테일러 급수

f(x)=f(a)+f(a)(xa)+f(a)2!(xa)2+f(a)3!(xa)3+=n=0f(n)(a)n!(xa)nf(x) = f(a) + f'(a)(x - a) + \frac{f''(a)}{2!}(x - a)^2 + \frac{f'''(a)}{3!}(x - a)^3 + \ldots = \sum_{n=0}^{\infty} \frac{f^{(n)}(a)}{n!}(x - a)^n

맥클로린 급수

테일러급수 + a=0a = 0

f(x)=f(0)+f(0)x+f(0)2!x2+f(0)3!x3+=n=0f(n)(0)n!xnf(x) = f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 + \frac{f'''(0)}{3!}x^3 + \ldots = \sum_{n=0}^{\infty} \frac{f^{(n)}(0)}{n!}x^n ex=1+x+x22!+x33!+=n=0xnn!e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \ldots = \sum_{n=0}^{\infty} \frac{x^n}{n!} sinx=xx33!+x55!x77!+=n=0(1)n(2n+1)!x2n+1\sin x = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \frac{x^7}{7!} + \ldots = \sum_{n=0}^{\infty} \frac{(-1)^n}{(2n + 1)!} x^{2n + 1} cosx=1x22!+x44!x66!+=n=0(1)n(2n)!x2n\cos x = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \frac{x^6}{6!} + \ldots = \sum_{n=0}^{\infty} \frac{(-1)^n}{(2n)!} x^{2n}

이항 분포

E(X)=npE(X) = n \cdot p Var(X)=np(1p)\text{Var}(X) = n \cdot p \cdot (1 - p) σ=np(1p)\sigma = \sqrt{n \cdot p \cdot (1 - p)}

정규 분포

E(X)=μE(X) = \mu Var(X)=σ2\text{Var}(X) = \sigma^2 σ=Var(X)=σ\sigma = \sqrt{\text{Var}(X)} = \sigma

균등 분포

E(X)=a+b2E(X) = \frac{a + b}{2} Var(X)=(ba)212\text{Var}(X) = \frac{(b - a)^2}{12} σ=Var(X)=ba12\sigma = \sqrt{\text{Var}(X)} = \frac{b - a}{\sqrt{12}}

포아송 분포

E(X)=λE(X) = \lambda Var(X)=λ\text{Var}(X) = \lambda σ=λ\sigma = \sqrt{\lambda}

기하 분포

E(X)=1pE(X) = \frac{1}{p} Var(X)=1pp2\text{Var}(X) = \frac{1 - p}{p^2} σ=Var(X)=1pp\sigma = \sqrt{\text{Var}(X)} = \frac{\sqrt{1 - p}}{p}

참조