Introduction to Statistics
응용수학1 중간고사 정리
Chapter 1. 확률
사건
집합 S를 표본공간이라 부르자. 그 S의 원소 w는 표본점이라 한다.
저 표본점 중 일부만을 뽑아 만든 집합은 사건이라 하며, 모든 사건은 S의 부분집합이다.
이 사건 또한 집합이기에 집합의 기본적인 연산이 성립한다.
집합의 연산
- 합사건(Union): \(A \cup B = \{x \in S : x \in A \text{ or } x \in B\}S\)
- 곱사건(Intersection): \(A \cap B = \{x \in S : x \in A,\, x \in B\}\)
- 여사건(Complement): \(A^c = \{x \in S : x \notin A\} = (S \backslash A)\)
- 차사건(Difference): \(A \backslash B = \{x \in S : x \in A, x \notin B\}\)
- 드 모르간(De Morgan)의 법칙: \(\displaystyle \left(\bigcup^{\infty}_{i=1}A_i\right)^c = \bigcap^{\infty}_{i=1}{A_i}^c \text{, } \left(\bigcap^{\infty}_{i=1}A_i\right)^c = \bigcup^{\infty}_{i=1}{A_i}^c\)
중복표본점이 없는 두 사건을 배반사건(mutually exclusive)이라 한다.
\[A, B \text{ such that }A \cap B = \emptyset\]모든 쌍이 배반이고 합집합이 S이면 각 사건을 분할이라고 한다.
\[\displaystyle \forall i \neq j, A_i \cap A_j = \emptyset \text{ and } S = \bigcup^{\infty}_{i=1}A_i\]확률
확률 = \(\displaystyle\mathbb{P}(A) = \lim_{n\rightarrow \infty} \frac{\left(n\text{번의 실험에서 $A$가 발생하는 횟수}\right)}{n}\)
고전적 확률의 정의 = \(\displaystyle\mathbb{P}(A) = \frac{\text{(사건 $A$의 표본점의 개수)}}{\text{표본공간 $S$의 표본점의 개수}} = \frac{n(A)}{n(S)}\)
고전적 의미의 확률은 유한 표본공간인 경우에만 정의된다.
그냥 집합의 성질에 양변에 n(S)를 나누고 구하면 확률에도 똑같이 성립한다
공리론적 확률의 정의 = \(\displaystyle P(\bigcup A_n) = \sum P(A_n)\)
간단한 확률의 성질들
- \[\begin{flalign*}\mathbb{P}(\emptyset) = 0,\, \mathbb{P}(S) = 1&& \end{flalign*}\]
- \[\begin{flalign*}\forall A,B \text{ with } A \cap B = \emptyset, \, \mathbb{P}(A \cup B) = \mathbb{P}(A) + \mathbb{P}(B)&& \end{flalign*}\]
- \[\begin{flalign*}\mathbb{P}(A^c) = 1 - \mathbb{P}(A) &&\end{flalign*}\]
- \[\begin{flalign*} A \subset B, \mathbb{P}(A) \leq \mathbb{P}(B), \mathbb{P}(B \backslash A) = \mathbb{P}(B) - \mathbb{P}(A) &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{P}(A \cup B) = \mathbb{P}(A) + \mathbb{P}(B) - \mathbb{P}(A \cap B) &&\end{flalign*}\]
조건부 확률
조건부 확률
\[\mathbb{P}(B|A) = \frac{ \mathbb{P}(A \cap B)}{ \mathbb{P}(A)}\]표본공간을 B로 확정짓는다 생각하자
간단한 공식들 (\(\forall A, B, \mathbb{P}(C) > 0\))
- \[\begin{flalign*} \mathbb{P}(\emptyset | C) = 0, \, \mathbb{P}(S|C) = 1 &&\end{flalign*}\]
- \[\begin{flalign*} \forall A,B \text{ with } A \cap B = \emptyset, \, \mathbb{P}(A \cup B | C) = \mathbb{P}(A|C) + \mathbb{P}(B|C) &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{P}(A^c|C) = 1 - \mathbb{P}(A| C) &&\end{flalign*}\]
- \[\begin{flalign*} A\subset B, \mathbb{P}(A|C) \leq \mathbb{P}(B|C),\, \mathbb{P}(B \backslash A|C) = \mathbb{P}(B|C) - \mathbb{P}(A|C) &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{P}(A\cup B|C) = \mathbb{P}(A|C) + \mathbb{P}(B|C) - \mathbb{P}(A \cap B | C) &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{P}\left(\bigcap_{i = 1}^{n - 1}A_i\right) > 0, \mathbb{P}\left(\bigcap_{i = 1}^{n}A_i\right) = \mathbb{P}(A_1)\mathbb{P}(A_2|A_1)\mathbb{P}(A_3|A_1\cap A_2)\cdots\mathbb{P}\left(A_n|\bigcap_{i = 1}^{n - 1}A_i\right)&&\end{flalign*}\]
- \[\begin{flalign*} A, B\text{ 가 독립(independent)} \Leftrightarrow \mathbb{P}(A \cap B) = \mathbb{P}(A)\mathbb{P}(B) &&\end{flalign*}\]
전확률 공식
각 파티션에서 발생한 B의 확률을 전부 합하면 표본공간에서 발생한 B의 확률과 같다
\[\forall i, \mathbb{P}(A_i)> 0, A \text{ is Partition of S}, \forall B,\] \[\mathbb{P}(B) = \sum_{i = 1}^{n} \mathbb{P}(A_i)\mathbb{P}(B|A_i)\]베이즈 정리
A_i가 파티션이고 P(B)>0일 떄, P(A_i|B) = A_i의 곱의법칙/B의 전확률공식
\[\forall i, \mathbb{P}(A_i) > 0, A \text{ is Partition of S}, \mathbb{P}(B) > 0,\] \[\displaystyle\mathbb{P}(A_i|B) = \frac{\mathbb{P}(A_i)\mathbb{P}(B|A_i)}{\sum_{j = 1}^{n}\mathbb{P}(A_j)\mathbb{P}(B|A_j)}\]\(\mathbb{P}(A_i)\)를 사전확률, \(\mathbb{P}(A_i\vert B)\)를 사후확률이라고 함.
Chapter 2. 확률변수
확률변수: 표본공간의 표본점을 실수로 대응시키는 함수
상태공간: 확률변수의 치역
이산확률변수
이산확률변수: 확률변수의 치역(상태공간)이 유한/가산집합일 때
확률분포: 각 경우에 대한 확률을 표/함수/그래프로 나타낸것
확률질량함수(pmf): 각 이산확률변수가 가질 수 있는 값에 대해 그 값이 나타날 확률을 나타냄
확률질량함수의 각 값은 0이상 1이하이고 모든값의 합은 1이다.
연속확률변수
연속확률변수: 확률변수의 치역(상태공간)이 무한/비가산집합인 경우
확률밀도함수(pdf): 어떤 구간 내에 값이 위치할 확률을 결정함
확률밀도함수의 적분값은 0이상 1이하이고 모든구간 적분시 1이다. 구간의 양 끝 포함여부는 중요치않다.
분포함수
분포함수(cdf): 각 확률함수를 누적합하자
\(F_X(x) = p(X \leq x) = \begin{cases}\displaystyle\sum_{u \leq x} p_X(u) = \sum_{u \leq x} \mathbb{P}(X = u) \\\displaystyle \int_{-\infty}^{x}f(x)dx\end{cases}\)
구하고자 하는 값이 범위나 다수라면 좀 더 효율적으로 구할 수 있다
기댓값(i.e. 평균)
기댓값 (또는 평균): 각 확률변수에 대응하는 확률함수에 확률함수를 곱한 값을 전부 합한 값
\[\mu_X = \mathbb{E}\left[X\right] = \begin{cases}\displaystyle\sum_{u \leq x} xp_X(x) = \sum_{x\in S_X} x\mathbb{P}(X = x) \\\displaystyle \int_{-\infty}^{\infty}xf(x)dx \end{cases}\]기댓값의 성질은 3개 있다.
- \[\begin{flalign*} \mathbb{E}[c] = c &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{E}[aX + b] = a\mathbb{E}[X] + b &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{E}[u(X) + v(X)] = \mathbb{E}[u(X)] + \mathbb{E}[v(x)] &&\end{flalign*}\]
중앙값(\(M_e\)): \(\displaystyle F_X(k) = \frac{1}{2}\) 를 만족하는 상수 \(k\)
최빈값(\(M_o\)): 확률함수가 최대가 될 떄의 상수
확률함수의 모든 값이 같다면 최빈값은 없다.
분산
분산(variance): 평균을 중심으로 밀집한 정도
\[\sigma_X^2= \mathbb{V}\text{ar}\left[X\right] = \mathbb{E}\left[(X - \mu_X)^2\right] = \begin{cases}\displaystyle\sum_{u \leq x} (x - \mu_X)^2p_X(x) \\\displaystyle \int_{-\infty}^{\infty}(x - \mu_X)^2f(x)dx\end{cases}\]분산의 성질은 2개 있다.
- \[\begin{flalign*} \mathbb{V}\text{ar}[X] = \mathbb{E}[X^2] - \mathbb{E}[X]^2 &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{V}\text{ar}[aX + b] = a^2\mathbb{V}\text{ar}[X] &&\end{flalign*}\]
표준편차(standard deviation): 분산에 루트씌우기
분산 혹은 표준편차가 작을수록 평균에 밀집함
표준화 확률변수
\[Z = \displaystyle \frac{X - \mu}{\sigma}\] \[\mathbb{E}[Z] = 0, \,\, \mathbb{V}\text{ar}[Z] = 1\]Chebyshev의 부등식
\[\mathbb{P}(\mu - k\sigma \leq X \leq \mu + k\sigma) \geq 1 - \displaystyle\frac{1}{k^2}, \,\,\,k > 1\]Chapter 3. 결합확률분포
확률질량함수
결합확률질량함수: 두 이산확률변수가 동시에 발생하는 확률
\[p_{X,Y}(x,y)= \begin{cases} P(X=x, Y=y), & (x,y) \in S_X \times S_Y,\\ 0, & \text{otherwise}. \end{cases}\]당연하지만 확률함수의 성질을 다 따른다
주변확률질량함수: 변수를 하나 지정하고 다른 변수는 전부 상수취급(미리 합)
확률밀도함수
결합확률밀도함수: 두 연속확률변수에 대하여 분포를 나타내는 확률
\[f_{X,Y}(x,y) \ge 0, \quad \iint_{\mathbb{R}^2} f_{X,Y}(x,y) \,dx\,dy = 1,\]주변확률밀도함수: 변수를 하나 지정하고 다른 변수는 모두 상수취급(미리 합)
\[\displaystyle f_X(x)=\int_{-\infty}^{\infty} f_{X,Y}(x,y) \,dy, \quad \displaystyle f_Y(y)=\int_{-\infty}^{\infty} f_{X,Y}(x,y) \,dx.\]주변확률함수는 내가 지정한 값을 제외하고 미리 다 더해놓자고 생각하자(차원압축)
결합분포함수
결합분포함수: 결합확률함수의 누적합.
\(F_{X,Y}(x,y)=P(X \le x,\;Y \le y) =\begin{cases} \sum_{u \le x}\sum_{v \le y} p_{X,Y}(u,v), & \text{이산},\\ \int_{-\infty}^x \int_{-\infty}^y f_{X,Y}(u,v) \,dv\,du, & \text{연속}. \end{cases}\)
원하는 값을 구하고자 한다면 2차원 누적합을 생각하자
결합확률함수를 구하고 싶으면 편미분 각각 때려보자
주변분포함수: 주변확률함수의 누적합, 이미 변수 하나로 일원화한거 그냥 간단하게 다 더하자
조건부분포확률함수
조건부확률질량함수: 결합확률질량함수에서 해당 변수의 확률질량함수를 나누자.
\[p_{X|Y}(x|y)=\frac{p_{X,Y}(x,y)}{p_Y(y)}, \quad p_{Y|X}(y|x)=\frac{p_{X,Y}(x,y)}{p_X(x)}.\]조건부확률밀도함수: 결합확률밀도함수에서 해당 변수의 확률밀도함수를 나누자
\[f_{X|Y}(x|y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}, \quad f_{Y|X}(y|x)=\frac{f_{X,Y}(x,y)}{f_X(x)}.\]독립확률변수
독립확률변수: 두 확률변수에 대해 독립이라면 독립이다
독립이면 결합분포함수를 곱으로 쪼갤 수 있다
독립동일분포: 두 확률분포가 같고 p_X = p_Y or f_X = f_Y, 음 이해안돼 GPT 슛
결합분포에 대한 기댓값
단순히 기댓값의 이차원 확장이다. \(\mathbb{E}[u(X,Y)] = \begin{cases}\displaystyle \sum_x\sum_y u(x,y) p_{X,Y}(x,y), & \text{이산},\\ \displaystyle\iint u(x,y) f_{X,Y}(x,y) \,dx\,dy, & \text{연속}. \end{cases}\)
\[\displaystyle\mathbb{E}[X]=\sum_x\sum_y x\,p_{X,Y}(x,y), \quad \mathbb{E}[XY]=\sum_x\sum_y xy\,p_{X,Y}(x,y).\]공분산
공분산: 두 확률변수의 종속관계를 나타내는 척도
\[\mathbb{C}\mathrm{ov}[X, Y] = \mathbb{E}[(X - \mu_X)(Y - \mu_Y)] = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y]\]- \[\begin{flalign*} \mathbb{C}\mathrm{ov}[X, Y] = \mathbb{C}\mathrm{ov}[Y, X] &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{C}\mathrm{ov}[X, X] = \mathrm{Var}[X] &&\end{flalign*}\]
- \[\begin{flalign*} \mathbb{C}\mathrm{ov}[aX + b, cY + d] = ac\mathbb{C}\mathrm{ov}[X, Y] &&\end{flalign*}\]
- \(X, Y\)가 독립이면 \(\mathbb{C}\mathrm{ov}[X, Y] = 0\)
상관계수
상관계수(단위무관) 두 확률변수의 종속관계 나타냄 척도
\[\displaystyle \mathbb{C}\mathrm{orr}[X,Y] = \frac{\mathbb{C}\mathrm{ov}[X,Y]}{\sigma_X\sigma_Y}, \quad (|\mathbb{C}\mathrm{orr}[X,Y]| \leq 1)\]Chapter 4. 이산확률분포
이산균등분포(Discrete Uniform)
이산균등분포: 상태공간 = {1~n}일 때 그 확률질량함수가 모두 균등하게 1/원소개수인것
\(X \sim DU(n)\)로 표현함
초기하분포(Hypergeometric)
초기하분포: 비복원추출에서 사용하는 이산확률분포, \(X \sim H(N,M,n)\)로 표현함
\[p_X(x)=\frac{\binom{M}{x}\binom{N-M}{n-x}}{\binom{N}{n}}, \quad x=\max(0,n+M-N),\dots,\min(n,M).\] \[E[X]=n\frac{M}{N}, \quad Var[X]=n\frac{M}{N}\bigl(1-\frac{M}{N}\bigr)\frac{N-n}{N-1}.\]다변량 초기하분포(Multivariate Hypergeometric)
다변량 초기하분포: 비복원이나 여러 케이스가 있는 경우
\[p_{X_1,\dots,X_k}(x_1,\dots,x_k)=\frac{\prod_{i=1}^k\binom{M_i}{x_i}}{\binom{N}{n}}, \quad \sum_i x_i=n.\]경우가 여러개여도 묶어서 판단 가능하다
이항 분포(Binomial)
이항분포: 통계적 실험의 결과가 서로 배반인 경우, 복원추출
\(X\sim B(n,p)\)로 표현함
???표본비율: 이항분포 확률변수에 대하여 Y = X / n으로 정의
기하분포(Geometirc)
기하분포: 처음으로 성공할 때까지의 횟수,복원추출
비가역성 성질을 지니고 있음, \(X\sim G(p)\)로 표현함
음이항분포(Negative Binomial)
음이항분포: r번쨰에 처음으로 성공할 때 까지의 확률, \(X\sim NB(r,p)\)로 표현함
\[p_X(x)=\binom{x-1}{r-1}p^r(1-p)^{x-r},\quad x=r,r+1,\dots,\] \[E[X]=\frac{r}{p},\quad Var[X]=\frac{r(1-p)}{p^2}.\]푸아송분포(Poisson)
푸아송분포: 한정된 단위 시간이나 공간에서 발생하는 사건의 확률, \(X\sim Poisson(\lambda)\)로 표현함
\[p_X(x)=\frac{\lambda^x}{x!}e^{-\lambda},\quad x=0,1,2,\dots,\] \[E[X]=\lambda, \quad Var[X]=\lambda.\]다항분포(Multinomial)
다항분포: 각 확률이 비균등및 배반, 복원추출, \((X_1,\dots,X_k)\sim Multi(n,p_1,\dots,p_k)\)로 표현함
\[p(x_1,\dots,x_k)=\frac{n!}{x_1!\cdots x_k!}p_1^{x_1}\cdots p_k^{x_k}, \quad \sum_i x_i=n.\]