본문 바로가기
DVB

샤논의 정보이론

by hasd 2008. 6. 26.



 

샤논은 1948 "통신의 수학적 이론"(A Mathematical Theory of Communication)이라는 혁명적인 한편의 논문을 발표했다.벨연구소의 연구원이었던 그는 전화,전보,라디오 등에서 통신상의 잡음의 문제를 해결하기 위한 이론적 기초로써 이 문제를 연구했다.이것은 2차세계대전 동안 암호해독에 종사했던 그의 경력이 큰 도움이 되었다.
 

이 논문은 정보를 수량적으로 다루는 방법을 고찰하여 "정보량"(information content)의 정의를 세우고 이것을 통해 통신의 효율화를 비롯한 정보전달의 여러 가지 문제를 해결할 수 있는 이론적 기초를 제공했다.3)

 

샤논은 정보단위로서 2진법 또는 비트를 택했다.비트는 갤런,온스,인치가 각 부피,무게,길이의 측도인 것처럼 정보량의 측도이다.1비트는 2가지의 똑같은 확률을 가진 메시지 가운데 하나의 선택이다."그것이 이것이냐?"는 질문에 대해 "" 또는 "아니오"의 답이 가능하다.""는 메시지를 받은 사람의 마음속에 있는 모든 불확실성을 제거해주는데 왜냐하면 그는 가능한 두 선택지 가운데 어느 하나가 답이라는 것을 알고 있기 때문이다."아니오"라는 답도 모든 불확실성을 제거해주는데 답이 첫 번째 것이 아니라 두 번째 것이라는 것을 알 수 있기 때문이다.
 

이것은 단지 2개의 부호-"" 1,"아니오" 0-로 되어있기 때문에 아주 융통성 있는 코드이다. 1은 무선 또는 전신 채널을 통해 전기적 임펄스의 형태로 송출하고 0은 임펄스가  송출되하지 않도록 하는 방식으로 전달할 수 있다.또는 ""(on),"오프"(off)의 스윗치 형태로 표현할 수도 있다.비가 오고 있는지 아닌지 애매하다면 "비가 오고 있는가?"라고 물으면 된다.1또는 0의 송출이 답을 제공해줄 것이다.똑같은 것이 동전을 던져서 앞,뒤 어느것이 나올 것인가의 선택에,룰렛에서 붉은 것 또는 검은 것이 나올 것인가의 선택에,짝수가 나올 것인가 홀수가 나올 것인가의 선택에도 적용가능하다.




댓글