ALL YOUR BAYES ARE BELONG TO US

-Vladimir Vapnik

 

머신 러닝 수업 시간에 윤성로 교수님이 보여주신 사진이다.

교수님은 이 사진으로부터 재미있는(?) 점을 3가지 찾을 수 있다고 하였다

우선 화이트보드에 써있는 VC bound 스러운 공식, 운동이 필요해보이는 후덕한 인상의 뱁닠 교수님, 그리고 마지막으로 화이트보드에 적힌 영어 문장의 문법 오류.

belong은 동사로서 be 동사가 필요치 않다고 설명하시며, 위대한 (VC-dimension, SVM 등) 연구자라도 영어를 실수 할 수 있다고 마무리지었다.

 

하지만 알고보면 이 사진에는 statistical learning theory와 2000년대 초반 인터넷 유행어가 담겨있다.

알다시피 Bayes는 Bayes’ Theorem으로 유명한 통계학자이다.

Bayes’ Theorem

그리고 All your base are belong to us 는 Zero wing이라는 게임에서 엉터리 영어를 구사하여 유행하게 된 일종의 인터넷 드립이다. (http://mirror.enha.kr/wiki/All%20your%20base%20are%20belong%20to%20us)

1991년 비디오 게임 Zero wing

 

뱁닠 교수님 뒤에 써있는 문구는 “BAYES”로, 번역해보자면 “모든 BAYES는 우리에게 접수되었다” 라는 뜻인데, 이건 무슨 의미일까?

화이트 보드 상단의 공식은 VC-bound와 비슷한 성질을 가지고 있는, Empirical risk minimization (ERM)을 이용하였을때 예상되는 risk 의 upper bound에 대한 공식이다.

R(\tau_i) \leq R_{emp}(\tau_i) + \frac{\ln(N)-\ln(\eta)}{l}(1+\sqrt{1+\frac{2R_{emp}(\tau_i)l}{\ln(N)-\ln(\eta)}})

Training data로부터 ERM을 이용하여 risk가 최소화되도록 model을 학습한다면, 새로운 test data에 대한 risk는 위의 식에 의해 bound 된다는 뜻이다. (정확히는 1-eta의 확률로 bound된다)

Bayesian learning framework는 어떤 사후 확률(posterior) P(A|B)를 알아내기 위해 Bayes’ theorem에 의해서 prior P(A)와 likelihood P(B|A)의 곱으로 분리시키고, 모델 A에 대한 적절한 prior를 정의하는 식으로 진행된다.

반면에 ERM framework는 모델에 대한 사전 확률 prior를 정의할 필요 없이, 주어진 training data에 대해 risk가 최소화되도록하는 hypothesis를 구하는 문제이며, 이는 새로운 test data의 risk가 empirical하게 구한 risk에 bound된다는 것을 밝힘으로써 generalization 문제가 해결된다.

결론은, ERM learning framework가 Bayesian의 그것보다 우월하다는 점(prior에 대한 가정이 불필요)을 그 근거가 되는 ERM risk bound 공식과 적절한 드립을 버무려서 표현한 것이라 할 수 있다.

'일상 > 그외' 카테고리의 다른 글

[스포있음] 레옹을 다시봤다.  (3) 2015.12.25
네이버 동영상 광고 생략  (2) 2015.11.25
ALL YOUR BAYES ARE BELONG TO US  (0) 2014.07.02
Coupon Collector’s Problem  (2) 2013.11.14
Posted by 헬벨

댓글을 달아 주세요