딥러닝 도전기

위 문제는 테일러 시리즈를 이용하면 어렵지 않게 풀 수 있습니다. 정확한 풀이를 소개하기 전에 제가 시험장에서 작성했던 풀이를 먼저 써보겠습니다. 시험장 풀이 $\sin(x)$의 테일러 전개 $x-\frac{x^3}{3!}+\frac{x^5}{5!}-\cdots$ 에 의해 $\sin(x^2) = x^2 - \frac{x^6}{3!} + \frac{x^{10}}{5!}-\cdots$ 임을 알 수 있고 $sin(x^2)$은 $x = 0$근방에서 $x^2$에 근사함을 알 수 있다. 따라서 $\lim_{x\to 0} \frac{e^{x}\sin(x^2)-x^2}{x^3} = \lim_{x\to 0} \frac{e^{x}x^2-x^2}{x^3} = \lim_{x\to 0} \frac{e^x - 1}{x} = 1$..

기하학에서 등장하는 선형변환에는 회전, 대칭, 사영이 있다. $R^n$의 등장사상을 분석할 때 이 변환들을 유용하게 사용한다. 선형변환 정의 $V$와 $W$는 모두 $F-$벡터공간이라 하자. 모든 $x, y \in V, c \in F$에 대하여 다음을 모두 만족하는 함수 $T: V \to W$를 $V$에서 $W$로 가는 선형변환이라 한다. 1. $T(x+y) = T(x)+T(y)$ 2. $T(cx) = cT(x)$ $T$가 선형이기 위한 필요충분조건은 모든 $x,y\in V,c\in F$에 대하여 $T(xc+y) = cT(x)+T(y)$인 것이다. 선형변환의 예시 회전(rotation) $T_\theta : R^2 \to R^2$ $T_\theta = \begin{cases} (a_1,a_2)\mbox{..

정의 벡터공간 $V$와 부분집합 $\beta$를 생각하자. $\beta$가 일차독립이고 $V$를 생성하면 $V$의 기저(basis)라고 한다. $\beta$가 $V$의 기저일 때, $\beta$는 $V$의 기저를 형성한다. 위의 정의를 보면 $\beta$가 $V$의 기저이기 위한 조건은 두 가지가 있습니다. 1. $\beta$는 일차 독립이다. 2. $\beta$는 $V$를 생성한다. 이러한 추상적인 말을 염두해두고 기저와 차원에 대해 알아보겠습니다. 표준기저 벡터공간 $F^n$에 대하여 $e_1 = (1, 0, 0, \cdots , 0), e_2 = (0, 1, 0, \cdots, 0), \cdots ,e_n = (0, 0, 0, \cdots, 1)$일 때 집합 $\{e_1, e_2, e_3, \cdo..

$Ax = b$ 를 풀고 싶다. -->$x = A^{-1}b$를 풀면 된다. $A$가 invertible 이 아닐 수 있다. --> $A^TAx = A^Tb$ 를 사용하여 $x = (A^TA)^{-1}A^Tb$를 푼다. continuous dependence 가 깨질 수 있다. (Tikhonov regularization) --> $\alpha x_\alpha + A^TAx_\alpha = A^Tb$를 사용하여 $x_\alpha = (\alpha I+A^TA)^{-1}A^Ty$를 푼다 Tikhonov regularization 은 overfitting을 막을때 사용된다. continuous dependence와 overfitting은 무슨 연관이 있을까?

집합 $S = {{u_1, u_2, u_3, u_4}}$가 생성한 $R^3$의 부분공간을 $W$라고 하자. 여기서 $W$를 생성하는 $S$의 진부분집합을 생각해보자. 이는 $S$에서 꺼낸 한 벡터가 $S$에서 꺼낸 또 다른 벡터들의 일차결합으로 표현되는지 판단하는 문제이다. 쉽게 말하자면, 예를들어 $u_4 = u_1+u_2+u_3$ 이라면 $W$를 생성하는 $S$의 진부분집합은 ${u_1, u_2, u_3}$입니다. $u_4$는 스칼라$a_1, a_2, a_3$에 대해 $a_1u_1, a_2u_2, a_3u_3$로 표현이 될 수 있기 때문입니다. 쉬운 예시를 들어보겠습니다. $u_1 = , u_2 = , u_3 = , u_4 = $일 때 $u_4 = u_1+u_2+3u_3$로 표현될 수 있습니다. 위의..

MIT open courseware의 를 공부한 내용을 정리해보았습니다. 이전 포스팅에서 Z-검정(Z-test)에 대해 소개 했습니다. 딥러닝 도전기 [통계학] Z-검정(Z-test) 이번 포스팅에서는 가설 검증을 위해 사용되는 방법인 T-검정(T-test)에 대해 다루어 보겠습니다. 우선 T-test와 Z-test의 차이점에 대해 말씀드리겠습니다. T-test는 평균과 표준편차를 모를 때 사용하고, Z-test는 평균을 모를 때 사용합니다. 정리하자면 평균을 모를 때, 표준편차를 알고 있으면 Z-test를, 표준편차도 모른다면 T-test를 사용합니다. T-test와 Z-test의 공통점은 sample $x_1,x_2,\cdots,x_n$이 정규분포 $N(\mu,\sigma^2)$을 따를 때 사용한다는..

MIT open courseware의 를 공부한 내용을 정리해보았습니다. 이번 포스팅에서는 유의수준(Significance level)과 검정력(Power)에 대해 알아보겠습니다. 가설 검정에는 1종 오류(Type $I$ error) 와 2종 오류(Type $II$ error) 가 있습니다. 1종 오류는 귀무 가설$(H_0)$를 잘못 reject 하는 경우이고 2종 오류는 귀무 가설$(H_0)$를 잘못 accept 하는 경우입니다. 표에서 볼 수 있듯, $H_0$가 True state(참값)일 때 $H_0$를 reject 하는 것을 1종 오류(Type $I$ error)라고 하고 $H_A$가 True state(참값)일 때 $H_0$를 accept 하는 것을 2종 오류(Type $II$ error)라고 ..

MIT open courseware의 를 공부한 내용을 정리해보았습니다. 가설 검증을 위해 사용되는 방법인 Z-검정(Z-test)에 대해 다루어 보겠습니다. Z-test는 정규분포를 따르는 데이터를 다룹니다. $\sigma$를 알고 있고, 평균$\mu$를 모를 때 Z-test를 사용합니다. 정규분포를 따르는 데이터 (normal Data): $x_1, x_2, \cdots, x_n$이 있고, 이 데이터의 평균$\bar{x} = \mu$가 알려져있지 않고, 표준편차$\sigma$가 알려져 있을 때, 귀무 가설$H_0$ (Null hypothesis)와 대립가설 $H_A$ (alternative hypothesis)를 설정한 후 Z-value 와 P-value를 이용하여 $H_0$를 reject 혹은 acc..

MIT open courseware의 를 공부한 내용을 정리해보았습니다. 베이지안 추론(Bayesian inference)에서 자주 등장하는 베타 분포에 대해 다루어 보겠습니다. 베타분포의 정의 베타 분포(beta distribution)란 두 매개변수 $\alpha$와 $\beta$에 의해 [0, 1]구간에서 정의되는 연속확률분포이다. 베타 분포 $Beta(\alpha, \beta)$의 pdf $f(\theta)$는 다음과 같습니다. $f(\theta) = \frac{(\alpha + \beta - 1)!}{(\alpha - 1)!(\beta - 1)!}\theta^{\alpha-1}\theta^{\beta-1}$ 베타 분포 pdf $f(\theta)$의 계수 $\frac{(\alpha+\beta-1)..