질문

• $Ax = b$ 를 풀고 싶다.

-->$x = A^{-1}b$를 풀면 된다.

 

• $A$가 invertible 이 아닐 수 있다.

--> $A^TAx = A^Tb$ 를 사용하여 $x = (A^TA)^{-1}A^Tb$를 푼다.

 

• continuous dependence 가 깨질 수 있다.

(Tikhonov regularization)

--> $\alpha x_\alpha + A^TAx_\alpha = A^Tb$를 사용하여 $x_\alpha = (\alpha I+A^TA)^{-1}A^Ty$를 푼다

 

Tikhonov regularization 은 overfitting을 막을때 사용된다.

 

continuous dependence와 overfitting은 무슨 연관이 있을까?