딥러닝 도전기

$n\times n$ matrix $\mathbf{A}$를 생각해보자. 의 $rank(\mathbf{A}) = n$이면 다음과 같은 특성을 갖는다. 기약행사다리꼴(RREF)로 나타내었을 때 모든 대각성분의 원소가 1이다. - $n\times n$ matrix에서 $rank = n$은 nonsingular matrix (invertible, 가역)이기 위한 필요충분 조건이다. - determinant $\neq 0$ 또한 nonsingular matrix (invertible, 가역)이기 위한 필요충분 조건이다. 기본행연산에 의한 determinant의 변화를 살펴보면 $det(A) \neq 0$이면 $det(RREF(A)) \neq 0$임을 알 수 있다. 따라서 $RREF(A)$ 의 determinant..

$n \times n$행렬 $A$가 가역행렬이기 위한 필요충분조건은 $rank(A) = n$입니다. ($det(A) \ne 0$과 동치) 따라서 행렬의 랭크를 구함으로써 가역인지 아닌지 판단이 가능합니다. (가역 : 역행렬 존재, 가역x: 역행렬 존재 x) $m\times n$행렬 $A$와 $m \times p$행렬 $B$에 대하여 첨가행렬(Augmented matrix) $(A|B)$는 $m \times (n+p)$행렬 $(A\; B)$이다. 즉, 처음 $n$개의 열은 $A$의 열이고, 그다음 $p$개의 열은 $B$의 열인 행렬이다. $n \times n$ 가역행렬 $A$에 대하여 $n \times 2n$첨가행렬 $C = (A|I_n)$이라고 하면 $A^{-1}C = (A^{-1}A|A^{-1}I_n)..

랭크의 정의 행렬 $A \in M_{m\times n}(F)$에 대하여 랭크(rank)는 선형변환 $L_A : F^n \to F^m$의 랭크로 정의하고 $rank(A)$라고 표기한다. 자세한 증명은 제외하고 랭크의 성질을 위주로 알아보겠습니다. 임의의 행렬의 랭크는 일차독립인 열의 최대 개수와 같다. 즉, 행렬의 랭크는 그 열에 의해 생성된 부분공간의 차원이다. 임의의 행렬의 랭크는 일차독립인 행의 최대 개수와 같다. 즉, 행렬의 랭크는 그 행에 의해 생성된 부분공간의 차원이다. 임의의 행렬과 그 행렬의 전치행렬은 같은 랭크를 갖는다 $\to$ $rank(A) = rank(A^T)$ 임의의 행렬의 행과 열은 차원이 같은 부분공간을 생성한다. 차원은 행렬의 랭크와 같다. $n \times n$ 행렬 $A$..

기하학에서 등장하는 선형변환에는 회전, 대칭, 사영이 있다. $R^n$의 등장사상을 분석할 때 이 변환들을 유용하게 사용한다. 선형변환 정의 $V$와 $W$는 모두 $F-$벡터공간이라 하자. 모든 $x, y \in V, c \in F$에 대하여 다음을 모두 만족하는 함수 $T: V \to W$를 $V$에서 $W$로 가는 선형변환이라 한다. 1. $T(x+y) = T(x)+T(y)$ 2. $T(cx) = cT(x)$ $T$가 선형이기 위한 필요충분조건은 모든 $x,y\in V,c\in F$에 대하여 $T(xc+y) = cT(x)+T(y)$인 것이다. 선형변환의 예시 회전(rotation) $T_\theta : R^2 \to R^2$ $T_\theta = \begin{cases} (a_1,a_2)\mbox{..

정의 벡터공간 $V$와 부분집합 $\beta$를 생각하자. $\beta$가 일차독립이고 $V$를 생성하면 $V$의 기저(basis)라고 한다. $\beta$가 $V$의 기저일 때, $\beta$는 $V$의 기저를 형성한다. 위의 정의를 보면 $\beta$가 $V$의 기저이기 위한 조건은 두 가지가 있습니다. 1. $\beta$는 일차 독립이다. 2. $\beta$는 $V$를 생성한다. 이러한 추상적인 말을 염두해두고 기저와 차원에 대해 알아보겠습니다. 표준기저 벡터공간 $F^n$에 대하여 $e_1 = (1, 0, 0, \cdots , 0), e_2 = (0, 1, 0, \cdots, 0), \cdots ,e_n = (0, 0, 0, \cdots, 1)$일 때 집합 $\{e_1, e_2, e_3, \cdo..

$Ax = b$ 를 풀고 싶다. -->$x = A^{-1}b$를 풀면 된다. $A$가 invertible 이 아닐 수 있다. --> $A^TAx = A^Tb$ 를 사용하여 $x = (A^TA)^{-1}A^Tb$를 푼다. continuous dependence 가 깨질 수 있다. (Tikhonov regularization) --> $\alpha x_\alpha + A^TAx_\alpha = A^Tb$를 사용하여 $x_\alpha = (\alpha I+A^TA)^{-1}A^Ty$를 푼다 Tikhonov regularization 은 overfitting을 막을때 사용된다. continuous dependence와 overfitting은 무슨 연관이 있을까?

집합 $S = {{u_1, u_2, u_3, u_4}}$가 생성한 $R^3$의 부분공간을 $W$라고 하자. 여기서 $W$를 생성하는 $S$의 진부분집합을 생각해보자. 이는 $S$에서 꺼낸 한 벡터가 $S$에서 꺼낸 또 다른 벡터들의 일차결합으로 표현되는지 판단하는 문제이다. 쉽게 말하자면, 예를들어 $u_4 = u_1+u_2+u_3$ 이라면 $W$를 생성하는 $S$의 진부분집합은 ${u_1, u_2, u_3}$입니다. $u_4$는 스칼라$a_1, a_2, a_3$에 대해 $a_1u_1, a_2u_2, a_3u_3$로 표현이 될 수 있기 때문입니다. 쉬운 예시를 들어보겠습니다. $u_1 = , u_2 = , u_3 = , u_4 = $일 때 $u_4 = u_1+u_2+3u_3$로 표현될 수 있습니다. 위의..