[AI정보이론] Channel Capacity

 

 

Channel Capacity (채널 용량)

channel capacity는 정보이론에서 주어진 통신 채널을 통해 오류 없이 전달할 수 있는 최대 정보 전송 속도를 의미한다

 

Cloaude Shannon이라는 분이 디지털 통신 시스템의 성능을 측정하기 위한 지표로 이 방법을 제안하셨다

 

 

 

Information Channel Capacity (정보적 채널 용량)

정보적 채널 용량은 아래와 같이 정의된다

 

C는 채널 용량이고, I(X;Y)는 X와 Y 사이의 상호 정보량이다

최대화 연산은 p(x)를 최적화 함으로써 가능해진다  < p(x) = 입력 확률 분포 >

 

 

 

Operational Channel Capacity (작동적 채널 용량)

작동적 채널 용량은 채널 사용당 비트수로 표현되는 최고 전송 속도이다

추가적으로 정보가 오류 없이 임의로 낮은 확률로 전송될 수 있는 속도라는 의미도 가지고 있다

 

그래서 통신 시스템이 사용할 수 있는 최대 전송 속도를 의미하며, 이 속도에서 정보는 오류없이 거의 완벽하게 전달된다

 

 

 

Noiseless Binary Channel

노이즈가 없는 이진 채널의 경우 정보이론에서 가장 단순한 형태의 통신 채널 중 하나이다

 

노이즈가 없는 이진 채널은 입력과 출력 모두 이진 값을 가지고, 채널을 통해 전송된 비트가 변형되지 않고 그대로 도착한다

따라서 입력 비트가 0이면 출력 비트도 0이고, 입력 비트가 1이면 출력 비트도 1이다

위와같이 X, Y가 있을경우 C는 1이 된다

그리고 이때 p(x)는 0.5, 0.5 이다

 

 

 

Noisy Binary Channel with Nonoverlapping Outputs

노이즈가 있는 이진채널이며 비중복 출력은 X = 0 , X = 1 인 2가지의 경우에 출력이 서로 겹치지 않는다는 것을 의미한다

 

그래서 X가 0일때는 출력값으로 1, 2 가 나온다면 X가 1일때는 출력값으로 3, 4 가 나오게 된다

 

그림으로 나타내면 위와 같이 X가 0일때와 1일때로 구분되어진다

 

 

 

Binary Symmetric Channel (BSC)

이진 대칭 채널은 정보 이론에서 가장 기본적이고 중요한 채널 중 하나이다

 

BSC는 이진 출력을 가지며, 입력비트가 일정한 확률로 오류를 겪는 경우를 모델링한다

 

 

이진 대칭 채널의 동작을 그림으로 나타내면 위와같이 나타난다

 

BSC의 채널 용량 C는 입력과 출력 사이의 상호 정보량 I(X;Y)의 최댓값으로 정의되고  C = 1 - H(P) bits  로 정의된다

 

* BSC는 입력 비트가 일정 확률(p)로 오류를 겪는 이진 채널이다