Discrete Memoryless Source의 앞글자입니다.
DMS는 통신이론의 중요한 개념입니다. DMS는 유한한 symbol집합 S와 S의 원소 각각에 대한 a priori probabilities
P[output=s]=p_s 로서 정의됩니다. 이전에 발생시킨 심볼이 무엇이었는지에 관계없이 항상 동일한 확률분포(a priori probabilities)에 따라서 출력 심볼을 발생시킵니다...

예를 들어 봅시다.

DMS1:
어떤 binary DMS는 출력 심볼로 0혹은 1을 발생시키고 각각은 1/2과 1/2을 발생확률로 가집니다.
오랜기간 출력 심볼의 수열을 관찰하면 대략 0의 수와 1의 수가 비슷할것입니다.

DMS2:
또 어떤 binary DMS는 출력 심볼로 a와 b를 발생시키고 각각은 1/3과 2/3을 발생확률로 가집니다.

DMS3:
세번째는 출력심볼로 0과 1을 발생시키고 각각의 심볼은 1/3과 2/3을 발생확률로 가집니다.

이러한 어떤 DMS의 출력심볼 한 개를 관찰하여 얻을 수 있는 평균 정보량은 얼마나 될까요?
각각의 심볼을 관찰했을때 얻는 각각의 정보량은 얼마나 될까요?

이러한 정보량을 과연 "정의"할 수 있을까요?

다음 글부터는 이를 천천히 논의해봅시다...