[Bishop - Pattern recognition and ML] - 1.2.1 확률 이론 - 확률 밀도

* 스터디 한 부분을 정리하는 포스팅입니다.

1. probability densities (확률 밀도)

확률 밀도는 고등학교때 배웠던 정적분 이론이 적용된다. 정적분은 기하학적으로 [a,b] 구간에서 함수의 넓이라는 의미를 가진다.
연속된 구간에서 곡선의 넓이를 구하는 것은 변화량이 0으로 수렴할 때, "변화량 * y 값"을 구해서 다 더한 값으로 구한다. 변화량이 0으로 수렴하기 때문에 실제 곡선의 넓이와 유사할 것이기 때문이다.

위의 그림을 식으로 표현하면 아래와 같이 표현할 수 있다.

우리는 이걸 인티그럴이라고 부른다.

확률밀도도 정적분의 기하학적 의미와 같다. 연속된 구간에서 변화량이 0으로 수렴할 때의 해당 구간에서의 곡선의 넓이를 확률밀도 라고 한다.

그런데, 확률 밀도 함수가 되기 위해서는 두가지 조건이 충족되어야한다.
1. p(x)의 값이 반드시 0보다 커야한다.
2. x 구간이 -∞ ~ +∞로 늘어날 경우 확률 밀도의 넓이는 반드시 1이어야 한다.
확률 밀도는 결국 확률 값의 집합으로 이루어진 곡선의 넓이를 구하는 것이므로 값이 0~1사이의 값을 가져야하기 때문이다.

2. cumulative distribution function
이 함수는 위 그림에서 P(x)에 해당하는 것으로 누적으로 계속 값을 더해서 만들어지는 function이다. 그림에서도 보면 y값이 계속 증가만 하는 것을 볼 수 있다.
따라서 이 함수는 식으로 표현하면 아래와 같다.

따라서 이 함수는 P'(x) = p(x)를 만족한다. 왜냐하면 P(x) 함수를 미분해서 특정 x에서의 곡선의 접선의 기울기를 알면 p(x)의 변화율이 얼마나 되는지 알 수 있기 때문이다.