본문 바로가기

통계

(5)

더미 변수(Dummy Variable)와 회귀분석 더미 변수(Dummy Variable)의 이해 회귀분석에서 일반적으로 다루어지는 변수는 온도, 습도, 가격 등 같이 양적으로 비교가 가능한 변수들이다. 하지만, 양적으로 비교가 안되는 질적변수(e.g. 성별, 인종, 학력 등)를 표현하기 위해 더미변수를 사용한다. 회귀분석에서 더미 변수는 표본공간 내에 들어가면 1을 주고, 그렇지 않으면 0을 줌으로써 어떤 특징의 존재 여부를 체크하는 변수다. Full Rank or not... 하지만 요놈이 회귀분석을 할 때,

X

$X$ 의 rank를 Full rank(완전계수) 로 만들지 못하면 망해버린다. 즉, 열과 행간의 종속 관계가 생겨버리면

$XX^{'}$ 행렬식이 0이 되서 역행렬이 존재하지 않는 비정책행렬이 돼버리기 때문에 OLS1(Ordinary Least S..

고유값과 고유벡터 0. Introduction 주성분분석(Principal Component Analysis)을 공부할 때 '고유값 분해'에 대한 내용이 나온다. PCA는 데이터 분포의 주성분을 분석하여 차원을 축소시키는 방법 중 하나로, 고유값 분해는 이러한 주성분 벡터를 찾아낼 때 사용된다. 데이터의 공분산행렬을 찾아서 고유값 분해를 통해 분산을 최대한 유지시켜 주는 공헌도가 큰(값이 큰) 고유값과 고유벡터를 찾아 데이터를 그 고유벡터에 투영시키는 거다. 1. 고유값(EigenValue)과 고유벡터(EigenVector)란? 정방행렬

$\lambda$ , 벡터

$u$ 에 대해,

$Au = \lambda u$ 인

$u \neq 0$ 인 벡터

$u$ 가 존재하면, 실수

$\lambda$ 를

$A$ 의 고유값이라 하고, ..

행렬대수 수리통계학을 공부하다보면 대부분의 수학적 증명이 행렬로 표현되어 있는 걸 볼 수 있다.(특히 다중회귀분석) 이렇게 표현하는게 이해하기 쉽다고 하는 데 하여튼 표현하는 데 편하다는 거엔 동의를 하지만...(입틀막) 행렬의 성질과 계산에 약하면 돌고돌아서 정체불명의 알 수 없는 결론에 도달한 스스로를 발견할 수 있다. 그런고로 자주 나오는 용어와 성질들을 정리해보도록 하자! 행렬에 어느정도 익숙한 사람 입장에서 쓴 내용이니 감안해서 읽도록 하자 1. 행렬의 정의(Matrix) 행렬이란 행과 열로 배열된 수들 바로 행렬 표현식을 봐보자 $$ A = (a_{ij}) = \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & ..

베이지안 추론 예시 0. INTRO 이전 글 : 베이지안 추론이 뭔데? 1. 베이지안 추론 예시 (With 파이썬) 이번에는 베이지안 추론 과정을 파이썬 코드로 확인해보고자 한다. (파이썬 코드는 출처에 기재된 사이트를 참고했다.) 예제 : 아이돌일까, 농부일까? 태태라는 사람이 있다. 그는 세계 미남 1위이다. 그는 춤추고 노래부르는 걸 좋아하며 사람들의 관심을 즐길 줄 아는 사교성을 가지고 있다. 여러분은 태태가 아이돌이라고 생각하는가 아니면 농부라고 생각하는가? 위 설명을 고려해본다면 태태는 아이돌일 가능성이 더 커보이고 대다수의 사람들이 이에 동의할 것이다. 하지만 여기에 직업적인 배경 분포를 가정해보자. 가령, 남자아이돌과 남자 농부의 비율이 1:24이라고 한다면 태태는 통계적으로 농부일 가능성이 더 크다! 이와 ..

베이지안 추론이 뭔데? 0. INTRO 현재 프로그래밍 과제를 하고 있다고 생각해보자. 지난번에 교수님이 주신 테스트 코드로만 오류 여부를 확인하고 제출하니 후에 과제 점수에서 감점된 것을 확인할 수 있었다. 따라서 이번에는 주어진 테스트 코드 외에도 직접 만든 테스트 코드로 오류를 확실하게 잡아서 과제 만점에 도전해보려고 한다! 머리를 쥐어짜 만든 세 번에 걸친 테스트에서 오류 없음이 확인되었다. 그렇다면 이번에는 과제 만점을 받을 수 있을까? 학교에서 프로그래밍 수업을 들은 사람이라면 위와 같은 상황을 적어도 한 번은 경험해봤을 것이다. (코드 천재들으...읍읍) 우리는 위와 같은 과정이 베이지안 방식을 따르고 있다고 감히 말할 수 있다! 베이지안 추론은 간단히 말해 새로운 증거를 본 뒤 여러분의 믿음을 업데이트하는 것이다..

티스토리툴바