98-2 정보이론 수업계획
전자공학과 송홍엽
※ 수업목표
정보이론은 정보의 내용을 다루는 분야(정보공학 혹은 정보처리) 가 아니고 정보의 효율적인 전송에 관한 이론으로 수학적 통신이론(Mathematical Theory of Communication)이라고도 한다. 여기에서 효율적이라 함은 높은 전송률과 낮은 비트오율을 뜻한다. 이 두가지는 서로 동시에 얻기어려운 trade-off관계에 있으며, 정보이론은 이와 관련된 두가지의 기초적인 문제에 대한 해답을 제공한다. 즉,
(1) 저장채널의 비손실 데이터압축의 한계가 어디인가 ? --- Source Entropy
(2) 통신채널의 무오류 전송률의 한계가 어디인가 ? --- Channel Capacity
정보이론은 디지탈 통신이론과의 위와 같은 관계 이외에도 다른 많은 분야와 깊이 관련되어있다. 본 과목에서는 아래와 같은 topic에 대하여 수학적 이론정립을 목표로 공부하고자 한다.
※ 교재
(A) Norman Abramson, Information Theory and Coding, MacGraw-Hill, 1963. (all chapters) -- 복사제본예정
(B) A. Leon-Garcia, Probability and Random Processes for Electrical Engineering, Addison-Wesley, 1994. (Chapters 2 and 8) -- 구내서점에서 구입.
(C) Other Materials to be distributed.
※ 참고문헌
1. Golomb, Peile, and Scholtz, Basic Concepts in Information Theory and Coding, Plenum, 1994.
2. Cover and Thomas, Elements of Information Theory, Wiley, 1991.
3. Ash, Information Theory, Dover, 1990.
4. Hamming, Coding and Information Theory, prentice-Hall, 1980.
5. Feller, An Introduction to Probability Theory and its Applications, vol. I, 1950.
|
주간 |
수 업 내 용 |
교재 |
HW |
비고 |
|
제1주 |
Introduction to Information Theory and Probability |
A1장 B2장 |
HW#0 |
|
|
제2주 |
Topics on Markov Chain |
B8장 |
HW#1 |
HW#0 제출 |
|
제3주 |
Topics on Markov Chain |
B8장 |
|
|
|
제4주 |
Chapter 2 Information and Sources |
A2장 |
HW#2 |
HW#1 제출 |
|
제5주 |
Chapter 2 Information and Sources |
A2장 |
|
|
|
제6주 |
Chapter 3 Some Properties of Codes |
A3장 |
HW#3 |
HW#2 제출 |
|
제7주 |
Chapter 3 Some Properties of Codes |
A3장 |
|
|
|
제8주 |
중간시험 |
|
|
HW#3 제출 |
|
제9주 |
Chapter 4 Coding Information Sources |
A4장 |
HW#4 |
|
|
제10주 |
Chapter 4 Coding Information Sources |
A4장 |
|
|
|
제11주 |
Chapter 5 Channels and Mutual Information |
A5장 |
HW#5 |
HW#4 제출 |
|
제12주 |
Chapter 5 Channels and Mutual Information |
A5장 |
|
|
|
제13주 |
Chapter 6 Reliable Messages through Unreliable Channels |
A6장 |
HW#6 |
HW#5 제출 |
|
제14주 |
Topics on Design & Graph |
C |
HW#7 |
|
|
제15주 |
Topics on Design & Graph |
C |
|
HW#6 제출 |
|
제16주 |
기말시험 |
|
|
HW#7 제출 |
※ 학점분포 : #A < 40 %, #B<50 %, #C<30 %, #F<10 %
※ 학점부여원칙
"무단"결석 4시간 --> 최고학점 F
지각3회 = 무단결석1시간
HW 2회 미제출 --> 최고학점 B
HW 4회 미제출 --> 최고학점 C
중간(30%)+기말(40%)+HW(30%)=평가점수(100%)