평균과 분산에 대하여

728x90

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

1. 평균 (Mean)

평균은 주어진 데이터 세트의 모든 값을 더한 후, 그 값을 데이터의 개수로 나눈 값을 의미한다.
주로 실제 관찰된 데이터나 샘플에 대해 계산되며, 우리가 생각하는 일반적인 평균은 "산술 평균" 이다.

2. 기댓값 (Expected Value)

기댓값은 확률 변수의 장기적인 평균값을 의미하며, 주사위를 무한번 굴리고, 산술 평균을 구한 값이 기댓값이다.
확률 변수 $X$가 가질 수 있는 모든 값에 해당 값이 나올 확률을 곱한 후 더하여 계산한다. 기댓값은 분포의 중심을 이론적으로 나타낸다.

확률 변수 $X$가 가질 수 있는 값들이 $x_1, x_2, ..., x_n$이고, 각 값이 나올 확률이 $p_1, p_2, ...,p_n$일 때, 불연속 랜덤 변수에 대하여 기댓값 $E[X]$은 다음과 같이 나타낸다.

$E[x]=\sum_{i=1}^{n}x_ip_i$

연속 랜덤 변수에 대해서는 다음과 같이 나타낸다.

$E[x]=\int_{\infty}^{-\infty}xp(x)dx, E(x)=\mu$

3. 분산 (Variance)

분산은 평균으로부터 "퍼진 정도"를 나타낸다.
평균과의 차이(편차)의 제곱의 평균으로 구할 수 있다.

그런데 왜 절댓값을 안쓰고 제곱값을 사용할까?

$-7, -1, 1, 7$과 $-4, -4, 4, 4$는 분명 평균 0으로부터 퍼진 정도가 다르다. 하지만 절댓값을 사용하면 이 둘의 차이를 구분하지 못한다. 따라서 더 많이 퍼져 있을수록 가중치를 크게 부여하기 위해 제곱값을 사용한다. 제곱값을 다 더하면 너무 큰 값이기 때문에 이를 평균내서 분산을 구한다.

이는 불연속 랜덤 변수에서 다음과 같이 나타낸다.

$V[x]=\sum_{i=1}^{n}(x_i- \mu )^2{p_i}$

연속 랜덤 변수에서는 다음과 같이 나타낸다.

$V[x]=\int_{\infty}^{-\infty}(x- \mu )p(x)dx$

분산을 기댓값으로 나타내자면 다음과 같다.

$E[X^2]- \mu ^{2}$

4. 표준편차 (Standard Deviation)

분산에 제곱근을 씌운 것
이걸 왜 정의했나? -> 제곱해서 평균을 구하면 단위가 이상해지는 문제점이 생긴다. 키의 단위는 $cm$인데, 이를 제곱해서 평균을 구하면 단위가 $cm^2$가 되는 이상한 현상이 발생한다. 따라서 단위를 유지하기 위해 제곱근을 씌운다.