선형대수학 용어집

Linear Algebra

KO	EN	Desc
가우스 소거법	Gauss Elimination	연립 일차 방정식을 행렬로 표현한 후, 행 연산을 통해 상삼각 행렬로 변환하여 해를 찾는 방법
가역 행렬	Invertible Matrix	정사각 행렬 중 역행렬이 존재하는 행렬
결합 확률	Joint Probability	두 개 이상의 사건이 동시에 발생할 확률
경험적 확률	Empirical Probability	실제 관측된 데이터를 바탕으로 추정한 확률
고유값	Eigenvalue	선형 변환에서 벡터의 방향은 유지하고 크기만 변화시키는 값
고유값 분해	Eigen-decomposition	정방 행렬을 고유벡터와 고유값으로 분해하는 방법
고유 벡터	Eigenvector	선형 변환에서 방향은 유지하고 크기만 변화하는 벡터
과결정계	Overdetermined System	해가 없거나 유일한 해가 존재하지 않을 가능성이 높은 연립 방정식 방정식의 수가 미지수의 수보다 많을 때 발생
과소결정계	Underdetermined System	무수히 많은 해가 존재할 가능성이 높은 연립 방정식 방정식의 수가 미지수의 수보다 적을 때 발생
균일 분포	Uniformed Distribution	주어진 구간 내의 모든 값이 동일한 확률로 나타나는 연속 확률 분포
그람-슈미트 과정	Gram-Schmidt process	주어진 벡터 집합을 서로 직교하는 단위 벡터 집합으로 변환하는 과정
기대값	Expected Value	확률 변수가 취할 수 있는 모든 값에 대한 가중 평균
기하 분포	Geometric Distribution	특정 사건이 처음으로 발생할 때까지 시행 횟수를 나타내는 이산 확률 분포
내적	Dot Product	두 벡터 사이의 각도와 크기를 이용하여 스칼라 값을 얻는 연산
누적 분포 함수	CDF, Cumulative Distribution Function	확률 변수가 특정 값 이하의 값을 가질 확률을 나타내는 함수
누적 확률	Cumulative Probability	특정 값 이하의 값을 가질 확률
다중선형성	Multi-linearity	행렬의 열 벡터 중 특정 벡터를 변화시킬 때, 다른 벡터를 고정한 상태에서 선형적인 방식으로 반응하는 성질
다항식	Polynomial	여러 개의 항으로 이루어진 식
다항 분포	Multinomial Distribution	여러 개의 범주 중 하나를 선택하는 시행을 반복할 때, 각 범주에 속하는 횟수를 나타내는 이산 확률 분포
단위 벡터	Unit Vector	크기가 1인 벡터
단위 행렬	Unit Matrix	대각선 성분이 모두 1이고 나머지 성분이 모두 0인 정방 행렬
단체법	Simplex Method	선형 계획 문제를 해결하는 알고리즘 중 하나
담금질 기법	Simulated Annealing	최적화 문제를 해결하는 확률적 알고리즘
대각선	Diagonal	행렬에서 행 인덱스와 열 인덱스가 같은 성분들의 집합
대각행렬	Diagonal Matrix	대각선 성분을 제외한 모든 성분이 0인 정방 행렬
대각화	Diagonalization	정방 행렬을 고유벡터를 이용하여 대각 행렬로 변환하는 과정
대칭행렬	Symmetric Matrix	전치 행렬이 자기 자신과 같은 행렬
도함수	Derivative	함수의 순간적인 변화율을 나타내는 함수
독립항등분포	IID, Independent and Identically Distributed	서로 독립이고 동일한 분포를 따르는 확률 변수들
둘레	Perimeter	도형의 경계선의 길이의 합
매클로린 급수	Maclaurin Series	함수를 무한 개의 항으로 이루어진 다항식으로 표현하는 방법
멱영 행렬	Nilpotent Matrix	어떤 자연수 k에 대해 k번 제곱하면 영행렬이 되는 행렬
무어-팬로즈 유사역행렬	Moore-Penrose Pseudoinverse Matrix	일반적인 역행렬이 존재하지 않는 행렬에 대한 일반화된 역행렬
미분가능성	Differentiability	함수가 미분 가능한 성질
미적분	Calculus	함수의 변화율과 넓이를 다루는 수학 분야
볼록 최적화	Convex Optimization	볼록 함수의 최솟값을 찾는 문제
분류	Classification	데이터를 여러 개의 클래스로 나누는 작업
블록행렬	Block Matrix	행렬을 작은 행렬로 나누어 표현한 것
블록대각행렬	Block Diagonal Matrix	대각선 이외의 모든 행렬 블록이 영행렬인 블록 행렬
비직교	Non-orthogonal	서로 직교하지 않는
빗변	Hypotenuse	직각삼각형에서 직각을 마주보는 가장 긴 변
사다리꼴행렬	Echelon Form	행렬의 특정한 형태로, 가우스 소거법을 통해 얻을 수 있음
사다리꼴 공식	Trapezoidal Rule	정적분을 근사적으로 계산하는 방법 중 하나
삼각법	Trigonometry	삼각형의 변과 각 사이의 관계를 다루는 수학 분야
삼각행렬	Triangular Matrix	대각선 아래 또는 위의 모든 성분이 0인 정방 행렬
선형 독립	Linear Independence	벡터들의 조합으로 어떤 벡터도 다른 벡터를 나타낼 수 없는 성질 벡터들의 선형 결합이 영벡터가 되기 위해서는 모든 스칼라 값이 0이여야함
선형 방정식	Linear Equation	미지수의 최고차항이 1인 다항식으로 이루어진 방정식
선형 종속	Linear Dependence	하나 이상의 벡터가 나머지 벡터들의 선형 결합으로 표현될 수 있는 성질
사영	Projection	한 공간의 벡터를 다른 공간으로 투영하는 작업
선형계획법	Linear Programming	선형으로 정의된 목적 함수를 최대화하거나 최소화하면서, 선형 부등식 또는 등식 제약 조건을 만족하는 최적의 해를 찾는 문제
손실함수	Loss Function	모델의 예측값과 실제값 사이의 차이를 측정하는 함수
수신자 조작 특성	ROC, Receiver Operating Characteristics	분류 모델의 성능을 평가하는 곡선
실수	Real	유리수와 무리수를 포함하는 수
아다마르 곱	Hadamard product	두 행렬의 같은 위치에 있는 성분끼리 곱하여 새로운 행렬을 만드는 연산
아인슈타인 표기법	Eienstein Summation Convention	반복되는 문자(인덱스)가 보이면 자동으로 더하는 표기법 시그마 생략
아핀 공간	Affine Space	벡터 공간에서 원점을 포함하지 않는 공간
아핀 변환	Affine Transformation	평행 이동, 회전, 축척 등의 변환을 포함하는 선형 변환
양의 정부호 행렬	Positive Definite Matrix	모든 고유값이 양수인 대칭 행렬
양의 준정부호 행렬	Positive Semi-definite Matrix	모든 고유값이 0 이상인 대칭 행렬
여사건	Complement Event	어떤 사건이 발생하지 않는 사건
연속 확률 변수	Continuous Random Variables	실수 전체 또는 그 부분 집합을 값으로 가지는 확률 변수
열	Column	행렬에서 가로로 나열된 원소들의 집합
영	Nought	0
영 공간	Null Space	어떤 행렬 A에 대해 Ax=0을 만족하는 모든 벡터 x의 집합
외적	Outer Product	두 벡터의 곱으로 만들어지는 행렬 결과 행렬의 각 성분은 두 벡터의 대응하는 성분의 곱으로 계산
유사 변환	Similarity Transformation	두 행렬 A와 B가 존재하여 $B = P^-1AP$ 를 만족할 때, A와 B는 서로 유사함 기하학적으로 같은 선형 변환을 다른 기저에서 표현한 것과 같음
음의 정부호	Negative Definite Matrix	모든 고유값이 음수인 대칭 행렬
음의 준정부호	Negative Semi-definite Matrix	모든 고유값이 0 이하인 대칭 행렬
이계도함수	Second-Order Partial Derivatives	다변수 함수에서 각 변수에 대해 두 번 미분한 값
이산 확률 변수	Discrete Random Variables	특정한 값들만 취할 수 있는 확률 변수
이차계획법	Quadratic Programming	목적 함수가 이차 함수이고 제약 조건이 선형 부등식으로 주어진 최적화 문제
이항 분포	Binomial Distribution	베르누이 시행을 n번 반복했을 때 성공한 횟수를 나타내는 이산 확률 분포
임계점	Critical Point	함수의 도함수가 0이 되거나 존재하지 않는 점 극값이나 변곡점
자동 미분	Automatic Differentiation	컴퓨터 프로그램을 이용하여 함수의 미분을 자동으로 계산하는 기법
전치 행렬	Transposed Matrix	행렬의 행과 열을 바꾼 행렬
접선	Tangent	곡선 위의 한 점에서 그 곡선에 접하는 직선
정규 분포	Normal Distribution	자연 현상에서 가장 흔하게 나타나는 연속 확률 분포, 68.27%, 95.45%, 99.73%
정규 직교 기저 벡터	Orthonormal Basis Vector	서로 직교하고 크기가 1인 벡터들의 집합으로, 벡터 공간의 기저를 이룸
정규 직교 행렬	Orthonormal Matrix	모든 행 벡터와 열 벡터가 서로 직교하고 크기가 1인 정방 행렬
정규 확률	Normal Probability	정규 분포를 따르는 확률 변수가 특정 값을 가질 확률
정방 행렬	Square Matrix	행의 수와 열의 수가 같은 행렬
조건부 확률	Conditional Probability	어떤 사건 B가 발생했을 때, 다른 사건 A가 발생할 확률
종 곡선	Bell Curve	정규 분포의 확률 밀도 함수의 그래프 모양
좌표계	Coordinate Frame	공간에서 점의 위치를 나타내기 위한 기준 틀
주대각합	Trace of Matrix	정방 행렬의 대각선 성분들의 합
주변 확률	Marginal Probability	결합 확률 분포에서 특정 변수에 대한 확률
직각삼각형 삼각비	Sohcahtoa	직각삼각형의 변의 길이와 각의 크기 사이의 관계를 나타내는 삼각비 (sin, cos, tan)를 쉽게 기억하기 위한 구절
직각의	Perpendicular	두 직선이나 두 평면이 서로 수직으로 만남
직교	Orthogonal	두 벡터의 내적이 0일 때, 또는 두 직선이나 두 평면이 서로 수직
직교 행렬	Orthogonal Matrix	전치 행렬이 역행렬과 같은 정방 행렬 $Q^T Q = Q Q^T = I$ $Q^{-1} = Q^T$
켤레기울기법	Conjugate Gradient Method	대칭 양정부호 행렬을 갖는 선형 시스템을 푸는 반복적인 알고리즘
특성 다항식	Characteristic Polynomial	정방 행렬 A에 대해 $\det(A - \lambda I) = 0$ 을 만족하는 다항식. 고유값을 찾기 위해 사용
특수해	Particular Solution	비동차 선형 미분 방정식의 해 중에서 상수항이나 특정 함수를 포함하는 해
특이값 분해	SVD, Singular Value Decomposition	임의의 행렬을 세 개의 행렬의 곱으로 분해하는 방법
평균	Mean	데이터 집합의 중심 경향을 나타내는 값
폐쇄성	Closure	어떤 연산에 대해 그 결과가 항상 해당 집합의 원소가 되는 성질
포아송 분포	Poisson Distribution	단위 시간 또는 단위 공간에서 어떤 사건이 발생하는 횟수를 나타내는 이산 확률 분포
표준 편차	Standard Deviation	데이터가 평균값으로부터 얼마나 흩어져 있는지를 나타내는 척도
프로베니우스 놈	Frobenius norm	행렬의 모든 성분의 제곱의 합의 제곱근 행렬의 크기를 측정하는 방법 중 하나
항등 행렬	Identity Matrix	대각선 성분이 모두 1이고 나머지 성분이 모두 0인 정방 행렬
행	Row	행렬에서 가로로 나열된 원소들의 집합
행 사다리꼴 행렬	Row-Echelon Form	가우스 소거법을 통해 얻을 수 있는 행렬의 특수한 형태
행렬	Matrix	숫자를 직사각형 형태로 나열한 것 행렬은 사상이다
행렬식	Determinant	정방 행렬에 대응되는 스칼라 값. 행렬의 역행렬 존재 여부, 선형 변환의 비율 등을 나타냄 면적 확대율, 부피 확대율
혼동 행렬	Confusion Matrix	분류 모델의 성능을 평가하기 위해 사용되는 표 실제 클래스와 예측된 클래스를 비교하여 정확도, 정밀도, 재현율 등을 계산하는 데 사용
확률 밀도 함수	PDF, Probability Density Function	연속 확률 변수에서 특정 값을 가질 확률의 밀도를 나타내는 함수
회귀	Regression	하나의 변수와 다른 변수 사이의 관계를 모델링하는 통계적 기법
회전행렬	Rotation Matrix	공간에서 점을 회전시키는 선형 변환을 나타내는 행렬

Optimization

제약유무	EN	KO
Constrained	Active Set Method	활성 집합 방법
	Barrier Method	베리어 방법
	Interior Point Method	내부 점 방법
	Lagrange Multipliers	라그랑주 승수법
	Penalty Function Method	페널티 함수 방법
	Sequential Quadratic Programming	순차적 이차 프로그래밍
	Simplex Method	심플렉스법, 단체법
Unconstrained	Conjugate Gradient Method	켤레기울기법, 공역기울기법
	Genetic Algorithm	유전자 알고리즘
	Gradient Descent	경사 하강법
	Nelder-Mead Method	넬더-미드 방법
	Newton's Method	뉴턴 방법
	Quasi-Newton Methods	준 뉴턴 방법 (BFGS)
	Simulated Annealing	시뮬레이티드 어닐링, 담금질법

Calculus

Log

$$\int \ln x \, dx = x(\ln x - 1) + C$$ $$\frac{d}{dx} [\ln x] = \frac{1}{x}$$ $$\int \log_2 x \, dx = \frac{x (\log_2 x - 1)}{\ln 2} + C$$ $$\frac{d}{dx} [\log_2 x] = \frac{1}{x \ln 2}$$

Fraction

$$\int \frac{1}{x} dx = \ln|x| + C$$ $$\frac{d}{dx} \left[ \frac{1}{x} \right] = -\frac{1}{x^2}$$

Product Rule

$[f(x)g(x)]'=f(x)'g(x)+f(x)g(x)'$

$$\int u \, dv = uv - \int v \, du$$

Quotient Rule

$[\frac{f(x)}{g(x)}]' = \frac{f(x)'g(x)-f(x)g(x)'}{g(x)^2}$

Chain Rule

Composition

$\frac{dy}{dx} = \frac{dy}{du}\frac{du}{dx}$

Derivatives of Trigonometric Functions

f(x)	f'(x)
sin(x)	cos(x)
cos(x)	-sin(x)
sec(x)	sec(x) * tan(x)
tan(x)	sec(x) * sec(x)
csc(x)	-csc(x) * cot(x)
cot(x)	-csc(x) * csc(x)

CS

KO	EN	Description
불 대수	Boolean algebra	-
완전 이진 트리	Complete Binary Tree	-
유향 비순환 그래프	DAG, Directed Acyclic Graph	-
전위 순회	Pre-order Traversal	루트 - 왼쪽 - 오른쪽
전위 표기법	Prefix Expression	-
중위 순회	In-order Traversal	왼쪽 - 루트 - 오른쪽
후위 순회	Post-order traversal	왼쪽 - 오른쪽 - 루트
후위 표기법	Postfix Expression	-

Complexity

Algorithm	Time complexity
Binary Search	$O(\log{n})$
Balanced Binary Search	$O(\log{n})$
Bellman-Ford	$O(V*E)$
Bubble Sort	$O(n^2)$
Dijkstra	$O(E\log{V})$
DFS Graph	$O(V + E)$
Floyd-Warshall	$O(V^3)$
Hash Table	$O(1)$
Heap Sort	$O(n \log{n})$
Quick Select	$O(n)$

Graph Search Algorithms

• DFS
• Dijkstra's algorithm
• Bellman-Ford algorithm
• Floyd-Warshall algorithm

예시

대각행렬

$$\mathbf{A} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{pmatrix}$$

대칭행렬

$A = A^T$

$$\mathbf{B} = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 5 \\ 3 & 5 & 6 \end{pmatrix}$$

삼각행렬

$$\mathbf{C} = \begin{pmatrix} 1 & 2 & 3 \\ 0 & 4 & 5 \\ 0 & 0 & 6 \end{pmatrix}$$ $$\mathbf{D} = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 3 & 0 \\ 4 & 5 & 6 \end{pmatrix}$$

직교행렬

$A^T \cdot A = I$

$$\mathbf{E} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 0 & -1 \\ 0 & 1 & 0 \end{pmatrix}$$

정규직교행렬

$A^T \cdot A = I$ $||\mathbf{v}_i|| = 1$ $\mathbf{v}_i \cdot \mathbf{v}_j = 0 \quad (i \neq j)$

$$\mathbf{F_1} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}$$ $$\mathbf{F_2} = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ 0 & 0 & 1 \end{pmatrix}$$ $$||\mathbf{v}_1|| = \sqrt{\left( \frac{1}{\sqrt{2}} \right)^2 + \left( -\frac{1}{\sqrt{2}} \right)^2 + 0^2} = \sqrt{\frac{1}{2} + \frac{1}{2}} = \sqrt{1} = 1$$ $$||\mathbf{v}_2|| = \sqrt{\left( \frac{1}{\sqrt{2}} \right)^2 + \left( \frac{1}{\sqrt{2}} \right)^2 + 0^2} = \sqrt{\frac{1}{2} + \frac{1}{2}} = \sqrt{1} = 1$$ $$||\mathbf{v}_3|| = \sqrt{0^2 + 0^2 + 1^2} = \sqrt{1} = 1$$ $$\mathbf{v}_1 \cdot \mathbf{v}_2 = \left( \frac{1}{\sqrt{2}} \right) \left( \frac{1}{\sqrt{2}} \right) + \left( -\frac{1}{\sqrt{2}} \right) \left( \frac{1}{\sqrt{2}} \right) + 0 \cdot 0 = \frac{1}{2} - \frac{1}{2} + 0 = 0$$ $$\mathbf{v}_1 \cdot \mathbf{v}_3 = \left( \frac{1}{\sqrt{2}} \right) \cdot 0 + \left( -\frac{1}{\sqrt{2}} \right) \cdot 0 + 0 \cdot 1 = 0$$ $$\mathbf{v}_2 \cdot \mathbf{v}_3 = \left( \frac{1}{\sqrt{2}} \right) \cdot 0 + \left( \frac{1}{\sqrt{2}} \cdot 0 \right) + 0 \cdot 1 = 0$$

멱영행렬

$A^k = 0 \quad (K > 0)$

$$\mathbf{G} = \begin{pmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{pmatrix}$$

기대값

이산 확률

$$E(X) = \sum_{i=1}^{n} x_i P(X = x_i)$$

연속 확률

$$E(X) = \int_{-\infty}^{\infty} x f(x) \, dx$$

f(x)는 확률밀도함수 PDF

분산

$$\text{Var}(X) = E\left[(X - E(X))^2\right] = E(X^2) - (E(X))^2$$

표준편차

$$\sigma = \sqrt{\text{Var}(X)}$$

테일러 급수

$$f(x) = f(a) + f'(a)(x - a) + \frac{f''(a)}{2!}(x - a)^2 + \frac{f'''(a)}{3!}(x - a)^3 + \ldots = \sum_{n=0}^{\infty} \frac{f^{(n)}(a)}{n!}(x - a)^n$$

맥클로린 급수

테일러급수 + $a = 0$

$$f(x) = f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 + \frac{f'''(0)}{3!}x^3 + \ldots = \sum_{n=0}^{\infty} \frac{f^{(n)}(0)}{n!}x^n$$ $$e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \ldots = \sum_{n=0}^{\infty} \frac{x^n}{n!}$$ $$\sin x = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \frac{x^7}{7!} + \ldots = \sum_{n=0}^{\infty} \frac{(-1)^n}{(2n + 1)!} x^{2n + 1}$$ $$\cos x = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \frac{x^6}{6!} + \ldots = \sum_{n=0}^{\infty} \frac{(-1)^n}{(2n)!} x^{2n}$$

이항 분포

$$E(X) = n \cdot p$$ $$\text{Var}(X) = n \cdot p \cdot (1 - p)$$ $$\sigma = \sqrt{n \cdot p \cdot (1 - p)}$$

정규 분포

$$E(X) = \mu$$ $$\text{Var}(X) = \sigma^2$$ $$\sigma = \sqrt{\text{Var}(X)} = \sigma$$

균등 분포

$$E(X) = \frac{a + b}{2}$$ $$\text{Var}(X) = \frac{(b - a)^2}{12}$$ $$\sigma = \sqrt{\text{Var}(X)} = \frac{b - a}{\sqrt{12}}$$

포아송 분포

$$E(X) = \lambda$$ $$\text{Var}(X) = \lambda$$ $$\sigma = \sqrt{\lambda}$$

기하 분포

$$E(X) = \frac{1}{p}$$ $$\text{Var}(X) = \frac{1 - p}{p^2}$$ $$\sigma = \sqrt{\text{Var}(X)} = \frac{\sqrt{1 - p}}{p}$$

참조

• Wikipedia: Mnemonics in trigonometry
• Unity: 벡터 연산 이해