본문 바로가기

Statistics

 (5)
Generalized Linear Models (GLM) Generalized Linear Models(GLM) GLM은 일반적인 정규 회귀 모형을 비정규 반응 분포(nonnormal response distribution) 및 평균의 모델링 함수를 포함하도록 확장한 것이다. GLM의 3가지 구성 요소 : - Random Component : 반응변수 $Y$와 그의 확률분포를 규정해야 함. - Systematic Component : 선형 예측 함수에 사용되는 반응변수를 규정 - Link Function : 모형이 Systematic component와 같다고 둘 $E(Y)$의 함수를 규정함. Random Component : GLM의 Random component는 natural exponential family에 속하는 분포로부터 나온 독립적인 관측치 $(..
행렬 응용 : Markov Chain(2) - Stationary Distribution 이제, long-term 상황에서의 Markov Chain의 형태를 살펴보고자 한다. 특히, $n$이 커짐에 따라 Markov Chain이 각 상태(state)에서 보내는 시간의 비율을 알고자 한다. 보다 구체적으로, 다음과 같은 분포를 살펴보고자 한다. $$ \pi^{(n)} = \begin{bmatrix} P(X_n = 0) & P(X_n = 1) & \cdots & \end{bmatrix} \quad as \,\,\, n \rightarrow \infty $$. 본 주제에 대해 더 잘 이해하기 위해, 예시를 먼저 살펴보고 이를 general case로 확대해보고자 한다. 2개의 가능한 State, $S = \{0, 1\}$을 갖는 Markov Chain을 고려하자. Transition Matrix는..
행렬 응용 : 마코프 체인 (Markov Chain) 이 글은 고려대학교 최태련 교수님의 2018년 1학기 통계계산방법 강의와 ratsgo's blog, https://sites.google.com/site/machlearnwiki/RBM/markov-chain를 바탕으로 작성되었습니다. ▶Markov Chain 마코프 체인(Markov Chain)이란, Markov Property(마코프 성질)을 지닌 이산확률과정을 가리킨다. 임의의 $x_0, x_1, \cdots, x_n$과 집합 $A$에 대하여, 다음의 마코프 성질(Markov Property) $$ P(X_{n+1} \in A | X_0 = x_0, X_1 = x_1, \cdots, X_n = x_n) = P(X_{n+1} \in A | X_n = x_n) $$ 이 성립할 때, 확률과정 $\{X_n..
행렬 응용 : Stochastic Process(확률과정) ▶확률과정(Stochastic Process) 시간의 흐름에 따라 변하는 어떤 system을 각 시점에서 나타내는 수치적인 양을 확률변수라 기술, 이 확률변수들을 시간 흐름별로 나열한 집합을 확률과정이라 함. 시간의 흐름이 이산적일 때, 어떤 분포를 따르는 확률변수들의 모임 $\{X_n, n \in N \}$을 이산형(discrete) 확률과정 (stochastic process)라 부른다. (연속적일 때는 연속시간 확률과정) 확률과정은 상관관계를 가지는 무한개의 확률변수의 순서열을 말함. 베르누이 확률분포는 가장 간단한, 대표적인 확률과정이다. 예를 들면, i.i.d. 인 확률변수 $\{X_n, n \in N\}$들의 모임은 확률과정이며, i.i.d 과정이라고도 부른다. $n$은 보통 시간(time)의..
행렬 응용 - Linear Difference Equation ▶차분방정식: 차분방정식은, 시간이 지남에 따라 상태가 변하는 문제를 방정식으로 규정한 것이다. $ \begin{equation} u_{k+1} = Au_k \end{equation}$ 위의 공식은 $u_k$였던 상태가 단위 시간 1이 지났을 경우 행렬 A를 곱하는 것과 같이 변한다는 것을 의미한다. 위 공식을 $k=0$일때부터 순서대로 전개해보면, 아래와 같이 상태가 변함을 알 수 있다. $$ \begin{align*} u_1 &= Au_0 \\ u_2 &= Au_1 = A(Au_0) = A^2 u_0 \\ u_3 &= Au_2 = A(A^2u_0) = A^3 u_0 \\ \vdots \\ u_k &= A^k u_0 \end{align*} $$ 따라서, 시간 $k$에서의 상태는 행렬 $A$의 거듭제곱을..

티스토리툴바