Entropy1 [Machine Learning] 정보(Information) 이론 기초 이번 포스팅에서는 엔트로피, KL-Divergence와 같은 기초적인 정보이론에 대해서 알아보겠습니다 사실 저는 '엔트로피'의 개념을 Thermal/Statistical physics에서 먼저 접했었는데요(맥스웰의 도깨비가 어쩌구... 스털링 근사를 해서 어쩌구...) 결국 물질의 상태를 경우의 수로 따져 확률/통계적인 관점에서 열역학을 접근하는 방식이죠. 일단 우리가 일상 생활에서 쓰는 "정보"라는 단어와 함께 엔트로피(Shannon's Entropy)의 수학적인 정의를 알아볼까요 정보는 놀라움의 정도. 그러니까 우리가 일상에서 흔히 발생하는 "9시에 학교 수업종이 울린다"와 같은 것들은 정보값이 굉장히 낮고 "오늘 학교에 BTS가 와서 공연을 한다"와 같이 자주 발생하지 않는 사건은 정보값이 높은 것.. 2021. 11. 5. 이전 1 다음 반응형
