베이지안 추론이 뭔데?

0. INTRO

현재 프로그래밍 과제를 하고 있다고 생각해보자.
지난번에 교수님이 주신 테스트 코드로만 오류 여부를 확인하고 제출하니 후에 과제 점수에서 감점된 것을 확인할 수 있었다. 따라서 이번에는 주어진 테스트 코드 외에도 직접 만든 테스트 코드로 오류를 확실하게 잡아서 과제 만점에 도전해보려고 한다! 머리를 쥐어짜 만든 세 번에 걸친 테스트에서 오류 없음이 확인되었다. 그렇다면 이번에는 과제 만점을 받을 수 있을까?

---

학교에서 프로그래밍 수업을 들은 사람이라면 위와 같은 상황을 적어도 한 번은 경험해봤을 것이다. (코드 천재들으...읍읍) 우리는 위와 같은 과정이 베이지안 방식을 따르고 있다고 감히 말할 수 있다! 베이지안 추론은 간단히 말해 새로운 증거를 본 뒤 여러분의 믿음을 업데이트하는 것이다. 여러번의 테스트를 바탕으로 희망찬 마음을 품고 과제 제출을 했을지라도 그에 대한 결과로 과제 만점이 항상 주어지는 것은 아니다. 즉, 결과를 100% 확신하진 않지만, 테스트의 결과를 믿고 매우 강한 자신감을 가질 수는 있다. 

 

실제로 거의 가능하지 않은 경우를 포함하여 모든 문제를 테스트해보지 않는 한 코드에 버그가 없다고 100% 장담할 수 없다. 대신 많은 문제를 테스트할 수 있고, 성공하면 코드에 더 자신감을 가질 수 있다. 하지만 여전히 확신할 수는 없다. 베이지안 추론은 이상적이다. 결과에 대한 믿음을 업데이트하지만, 다른 대안을 배제하지 않은 한 절대적으로 확신할 수는 없다.

---

 

1. 베이지안 vs 빈도주의론

우리는 이러한 부분에서 고전적인 통계학자인 빈도주의자(frequentist)과의 세계관 차이를 엿볼 수 있다.

베이지안 세계관은 확률을 사건에서 믿을 수 있는 정도를 계량한 척도, 즉 사건의 발생을 얼마나 자신하는가로 해석한다. 반면, 빈도론자들은 확률을 사건이 장기적으로 일어나는 빈도로 여긴다. 예로 빈도주의 철학은 항공기의 사고 확률을 오랫동안 발생한 비행기 사고의 빈도로 해석한다. 이러한 해석은 논리적인 이치에 맞지만, 오랫동안 사건 발생을 관찰할 수 없다면 알기 어렵다. 빈도주의의 이러한 한계점은 빠른 기술 발전을 이루고 있는 현대사회에서 두드러지게 나타나고 있다. 예로, 자율주행 기능이 장착된 자동차에 의한 사고 확률을 어떻게 추론할 것인가 하는 의문을 던져본다.

 

결론적으로 베이지안은 확률을 사건 발생에 대한 믿음 또는 확신의 척도로 해석한다. 즉, 믿음이라는 개인의 주관이 개입되는 것이다. 개인은 각자 사건 발생에 서로 다른 믿음을 가지는데, 그렇다고 다른 믿음이 존재한다는 것이 누군가 틀렸다는 것을 의미하지는 않다는 점을 집고 넘어가자! 다음 예는 개인의 믿음과 확률 사이의 관계를 보여준다.

 

어느 환자에게 증상 x,y,z,가 나타나고 있다. 세 가지 증상을 모두 유발하는 질병은 많이 있지만, 이 환자의 병명은 하나일 것이다. 한 의사가 어떤 병이라고 믿더라도, 두 번째 의사는 조금 다른 믿음을 가지고 있을지 모른다. 

---

2. 사전확률과 사후확률

앞서 베이지안 추론은 새로운 증거를 통해 우리의 믿음을 업데이트하는 것이라 말했다. 여기에선 기존의 믿음의 양과 업데이트된 믿음의 양이 필요하다. (물론 증거도 있어야 한다.) 이때, 기존의 믿음의 양을 사전확률이라 하고 업데이트된 믿음의 양을 사후확률이라 한다. 초반의 디버깅 문제를 예시로 들어보자.

 

사전확률은 현재 내 코드에 버그가 있을 것 같다는 나의 믿음의 양이다. 이후 세 가지의 테스트 코드를 모두 통과했다는 것을 확인하였다.(증거) 사후확률은 아직 버그가 있을 순 있지만, 지금 당장 버그가 있을 거 같진 않다라는 나의 믿음의 양이다. 

이처럼 개념은 매우 간단하다! 다만, 나중에 실제로 계산하는 게...(욕욕욕) 여기서 기억할 점은 우리가 더 많은 증거를 얻을수록, 우리의 사전 믿음이 새로운 증거에 의해 희석된다는 점이다. 예로 우리가 가진 증거의 개수가 N이라고 해보자. N → $\infty$ 라고 말할 정도로 증거를 많이 모았다면 베이지안의 결과는 종종 빈도주의자의 결과와 일치할 것이다. 그러므로 N이 커질수록 통계적 추론은 어느정도 객관적이다.

 

사건의 사전적인 불확실성을 도입하는 것은 우리의 추측이 잠재적으로 틀리다는 걸 인정하는 것이다. 데이터, 증거, 기타 정보를 관찰한 후 믿음을 업데이트하면 추측은 덜 틀리게 될 것이다.

 

 

---

출처 :  『프로그래머를 위한 베이지안 with 파이썬』 (캐머런 데이비슨 필론 지음, 곽승주 옮김, 길벗, 2017)