AI

Channel Capacity (채널 용량)channel capacity는 정보이론에서 주어진 통신 채널을 통해 오류 없이 전달할 수 있는 최대 정보 전송 속도를 의미한다 Cloaude Shannon이라는 분이 디지털 통신 시스템의 성능을 측정하기 위한 지표로 이 방법을 제안하셨다   Information Channel Capacity (정보적 채널 용량)정보적 채널 용량은 아래와 같이 정의된다 C는 채널 용량이고, I(X;Y)는 X와 Y 사이의 상호 정보량이다최대화 연산은 p(x)를 최적화 함으로써 가능해진다     Operational Channel Capacity (작동적 채널 용량)작동적 채널 용량은 채널 사용당 비트수로 표현되는 최고 전송 속도이다추가적으로 정보가 오류 없이 임의로 낮은 확률로 ..

Huffman Code - Binary CaseHuffman 코딩은 주어진 확률 분포에 따라 최적의 접두사 코드를 생성하는 방법이다  확률 변수가  X = {1, 2, 3, 4, 5} 이고, 각 값의 확률은  p(x) = {0.25, 0.25, 0.2, 0.15, 0.15} 라고 가정하면 위와 같은 결과가 나온다 진행과정1. 초기 확률은 오름차순으로 정렬한다2. 가장 작은 두 확률 합치기3. 다시 정렬4. 가장 작은 두 확률 합치기5. 다시 정렬6. 가장 작은 두 확률 합치기7. 다시 정렬8. 마지막으로 남은 두 확률 합치기 위 과정을 모두 거친 후 코드의 길이를 계산하면 2.3 bits가 나온다   Huffman Code - Ternary CaseBinary에서 Ternary로 확장하면 세 개의 가장 ..

기댓값 길이 L(C) 기댓값 길이 L(C)는 p(x)와 l(x)의 곱들의 합으로 구할 수 있다 여기서 l(x)는 코드워드의 길이를 나타내고, 코드워드는 C(x)로 라고 한다  위 방식대로 계산하면 전체 코드의 평균 길이를 계산할 수 있다 예를 들어, 확률 변수 ( X )가 값 1, 2, 3을 가질 수 있고, 각 값의 확률이 각각 p(1) = 0.5, p(2) = 0.3, p(3) = 0.2이며,대응하는 코드워드의 길이가  l(1) = 2, l(2) = 3 , l(3) = 1 일 때, 기댓값 길이 L(C) 는 아래와 같이 계산된다L(C) = (0.5 * 2) + (0.3 * 3) + (0.2 * 1) = 1 + 0.9 + 0.2 = 2.1  X가 Random Variable이고 codeword가 아래와 같..

예측 오류 확률 PeX_hat과 X는 다르다   Fano's Inequality이 부등식은 예측 오류 Pe와 원래 신호 X와 예측된 신호 X_hat 또는 관찰된 신호 Y 사이의 조건부 엔트로피 사이의 관계를 나타낸다 H(Pe)는 예측 오류 확률 Pe의 엔트로피이다예측이 틀릴 확률을 나타내며, 오류가 발생할 확률과 오류가 발생하지 않을 확률에 대한 불확실성의 양을 측정한다Pe는 예측 오류 확률이다|χ|는 입력 신호 X의 가능한 상태들의 수이다H(X|X_hat)는 실제 값 X와 예측값 (X_hat) 사이의 조건부 엔트로피이다이는 예측된 신호가 주어졌을 때 원래 신호의 조건부 엔트로피 이다H(X|Y)는 관찰값 (Y)가 주어졌을 때 실제 값 (X)의 조건부 엔트로피이다이는 관찰된 신호가 주어졌을 때 원래 신호의..

Definition확률변수 X의 관측값을 바탕으로 모수 θ 에 대한 정보를 요약하는 데 사용되는 개념이다 함수 T(X)가 주어진 모수  θ 에 대한 가족 {fθ(x)}에 대해 충분 통계량이라고 할 때, 이는 X가 T(X)가 주어졌을 때  θ 와 독립이라는 의미이다 즉, T(X)를 알고 있다면, 추가적으로 X를 알아내는 것이  θ 에 대한 정보를 제공하지 않는다는 것을 의미한다함수 T(X)가 모수 θ에 대한 확률변수 X의 분포 fθ(x)에 대해 충분하다는 것은,모든 θ에 대해, X의 조건부 분포가 T(X)에만 의존하고 θ에는 의존하지 않는다는 것을 의미한다   충분 통계량의 중요성충분 통계량의 개념은 통계적 추론에서 매우 중요하다 충분 통계량을 사용하면, 모수  θ 에 대한 추론을 위해 원래 데이터 X 전..

Log Sum Inequality로그 합 부등식(Log Sum Inequality)은 확률 분포 사이의 관계를 나타내는 데 사용된다 이 부등식은 두 확률 분포의 엔트로피 혹은 두 확률 분포 사이의 상대 엔트로피(Kullback-Leibler divergence)와 관련하여 자주 등장한다   Concavity of Entropy함수 H(p) = log|χ| - D(p||u)는 p에 대한 엔트로피 함수이다 여기서, χ 는 가능한 모든 상태의 개수를 나타내며, u는 균등 분포(uniform distribution)를 나타낸다 D(p||u)는 p와 u 사이의 Kullback-Leibler divergence(상대 엔트로피)를 나타내며,이는 확률 분포 p가 균등 분포 u와 얼마나 다른지를 측정하는 척도이다 log..

Convex Function ( 볼록함수 )정보이론에서 볼록 함수(convex function) 개념은 엔트로피, 다이버전스 등 다양한 측정치를 분석할 때 중요한 역할을 한다 볼록 함수는 일반적으로 '위로 볼록한' 형태를 가지며, 함수의 두 점 사이에 그린 선분이 함수의 그래프 위에 위치하는 형태를 의미한다  이 식에서, λ는 0과 1 사이의 가중치를 나타내며, x1과 x2는 구간 (a, b) 내의 임의의 두 점이다 이 조건은 볼록 함수의 정의를 제공하며, 본질적으로 x1과 x2를 연결하는 직선 위의 모든 점에 대해, 함수 f(x)의 값이 그 직선 아래에 위치하거나 그 위에 있음을 의미한다  만약 함수가 엄격하게 볼록(strictly convex)이라면, 동일한 조건이 적용되지만, 등호는 오직 λ=0 또..

Chain Rule ( 체인 룰 )정보 이론에서 체인 룰은 여러 개의 랜덤 변수들 사이의 결합 엔트로피를, 이 랜덤 변수들의 조건부 엔트로피를 사용하여 분해하는 방법을 제공한다( 결합 엔트로피 = 조건부 엔트로피를 사용하여 분해, ) 이는 다변수 시스템에서 정보의 양을 이해하는 데 매우 유용하며, 복잡한 시스템의 정보 흐름을 단계별로 분석할 수 있게 해준다 기본적인 정의는 위와 같이 나타난다 항상 i-1 부터 1까지 순서대로 감소한다  정의을 사용하여 숫자가 늘어남에 따라 규칙이 보이는것을 확인할 수 있다   조건부 상호 정보량조건부 상호 정보량(Conditional Mutual Information)은 두 랜덤 변수 X와 Y 사이의 상호 정보량이 세 번째 변수 Z가 주어졌을 때 어떻게 변하는지를 측정..

Relative Entropy ( 상대 엔트로피 ) 상대 엔트로피, 또는 쿨백-라이블러 거리(Kullback-Leibler distance)는 두 확률 질량 함수(PMFs),  p(x)와 q(x) 사이의 차이를 측정하는 데 사용되는 개념이다 두 확률 분포 사이의 '거리'를 나타내는 한 방법으로 생각할 수 있다 다만, 수학적으로 정확한 '거리'의 정의를 충족시키지 않는다는 점에서 '거리'라는 용어는 조금 오해의 소지가 있다그 이유는 상대 엔트로피가 비대칭적이기 때문이다 따라서 D(p||q) 와 D(q||p)는 서로 다른 값을 가진다   상대 엔트로피는 기본적으로 두 확률 분포 사이의 '정보 손실'을 측정한다p(x)를 '실제' 분포, q(x)를 모델이나 가정에 의한 '근사' 분포라고 할 때, 상대 엔트로피는..

Entropy ( 엔트로피 )엔트로피는 확률 변수에 의해 생성되는 정보의 불확실성이나 불명확성의 정도를 수치적으로 나타내는 척도이다  위 식은 확률 변수 X가 특정 값 x를 취할 확률을 나타낸다여기서 합산은 X가 취할 수 있는 모든 값에 대해 이루어진다 엔트로피의 계산에서 사용되는 로그의 밑은 일반적으로 2이며, 이 경우 엔트로피의 단위는 비트(bits)이다로그의 밑을 2로 사용하면, 엔트로피는 "평균적으로 필요한 최소 비트 수"로 해석될 수 있다즉, 확률 변수 (X)의 불확실성을 제거하기 위해 평균적으로 필요한 정보의 양을 나타낸다   엔트로피 H(X)의 값이 클수록, 확률 변수 X의 불확실성이 더 크다는 것을 의미하고H(X)의 값이 작을수록 X의 불확실성이 적으며, 예측하기 더 쉬워진다 예를 들어, ..