목적 : 어떤 set X와 Y에 대해 f : X –>  Y 의 best function mapping f를 찾아내고자 하는 것.

 

Risk Minimization

General하게 risk 함수 C를 최소화하는 f는 다음과 같은 방법으로 구할 수 있다.

image

문제점 : set X와 Y의 확률 p를 알 수 없으므로 general한 해를 얻을 수 없다.

 

Empirical Risk Minimization

고로, 경험적으로 주어진 set X와 Y에 대해서만 risk를 최소화한다.

image

큰 수의 법칙(the law of large number)에 따라 set의 크기가 무한대로 커지면 Empirical risk의 해는 general 해로 수렴한다.

문제점 : 함수 f가 존재하는 모든 영역을 조사할 수는 없음

 

Hypothesis Space

고로 함수 f가 특정 가설(hypothesis) 함수 set H에 속한다고 제한해주어야 한다.

image

 

Regularization

위에서 주어진 minimization 식의 해 f*는 여러 개 존재할 수 있음.

그 중 어떤 해가 좋은 해인가?

Minimization의 목적에 따라 다른 prior로써 regularization term이 존재하지만, 가장 간단한 것으로 smoothness가 있다. (일반적으로 주변이랑 큰 차이 없이 smooth하게 진행되는게 자연스럽다는 논리. 실제로 수 많은 문제들을 해결하는 데 사용된다.)

image

목적에 따라 l1-norm이 사용될 수도 있음

Posted by 헬벨