중심극한정리(Central Limit Theorem)

중심극한정리(central limit theorem, CLT)는 큰 수의 법칙과 함께 통계학의 기반이 되는 대표적인 정리이다. 또한, 정규분포의 중요성을 보여주는 정리이기도 하다.

중심극한정리가 말하는 것은, 그 어떤 임의의 확률분포도 이 분포로부터 추출한 값의 평균의 분포는 정규분포로 수렴한다는 것이다.

증명

---

Lemma:

Moment Generating Function (MGF) $\psi (t)$가 다음과 같을 때,

$$\psi (t)=\mathbb{E}[e_{tx}]={\int }_{-\infty }^{\infty }{e}^{tx}p(x)dx\left(=\sum _{k=0}^{\infty }\frac{\mathbb{E}[x^k]}{k!}{t}^k\right)$$

다음을 만족한다.

• Lemma 1:

$$\begin{array}{rl}{\left[\frac{{\partial }^n\psi }{\partial t^n}\right]}_{t=0}& ={\left|{\int }_{-\infty }^{\infty }{x}^n{e}^{tx}p(x)dx\right|}_{t=0}\\ & ={\int }_{\infty }^{\infty }{x}^{n}p(x)dx\\ & =\mathbb{E}[x^n]\end{array}$$

• Lemma 2:

$${\psi }_1(t)={\psi }_2(t)\to p_1(x)=p_2(x)$$

---

• Cumulant Generating Function을 $\varphi (t)=\log \psi (t)$와 같이 정의할 수 있다. 이 함수는 다음의 특징을 가진다.
  • ${\varphi }^{(1)}(0)=\mathbb{E}[X]$ (일계미분 시 기댓값을 생성(generate)한다)
  • ${\varphi }^{(2)}(0)=\text{Var}[X]$ (이계미분 시 분산을 생성한다)
  • ${\varphi }_{X+Y}(t)={\varphi }_X(t)+{\varphi }_Y(t)$
  • ${\varphi }_{cX}(t)={\varphi }_X(ct)$

---

정의에 대한 설명과 보조정리의 증명은 각 문서 참조.