Учебно-методический комплекс по дисциплине «Основы теории информации и кодирования» Специальность 010801. 65 «Радиофизика и электроника»

Министерство образования и науки РФ

ФГБОУ ВПО «Алтайский государственный университет»

Кафедра радиофизики и теоретической физики

Учебно-методический комплекс по дисциплине

«Основы теории информации и кодирования»
Специальность 010801.65 – «Радиофизика и электроника»

Рассмотрено и утверждено

на заседании кафедры от 4.06.2012, протокол №8  

Барнаул

2012

СОДЕРЖАНИЕ

1. 
   Рабочая учебная программа дисциплины (отдельный файл)
   
2. 
   Методические указания по проведению преподавателями основных видов учебных занятий по дисциплине
   
3. 
   Задания для экзаменационного и межсессионного контроля знаний студентов (фонд оценочных средств);
   
4. 
   Материалы, устанавливающие содержание и порядок проведения итоговой аттестации по дисциплине;
   
5. 
   Методические указания студентам по изучению дисциплины, выполнению лабораторных практикумов, контрольных работ, домашних заданий и других видов учебной работы, включая выполнение курсовых проектов (работ);
   
6. 
   Перечень специализированных аудиторий, кабинетов и лабораторий с указанием используемого в учебном процессе по дисциплине основного учебно-лабораторного оборудования, технических средств обучения и контроля.
   

2. 
   Методические указания по проведению преподавателями основных видов учебных занятий по дисциплине
   

Целью курса является освоение студентами основ теории информации и теории кодирования сигналов как носителей информации, а также получение знаний о современных технологиях передачи и преобразования информации.

Основными задачами курса являются:

овладение фундаментальными знаниями по теории информации и теории кодирования;

овладение технологиями кодирования и сжатия, восстановления и хранения информации;

приобретение практических навыков реализации кодирующих и декодирующих алгоритмов.

В результате изучения курса

- студент должен знать:

1. 
   основные понятия и теоремы теории информации и кодирования; 
   
2. 
   основные принципы и способы кодирования и декодирования;
   
3. 
   характеристики кодов разного типа, понятие оптимального и помехоустойчивого кодирования;
   
4. 
   методы исследования кодов и их применений в ЭВМ и системах защиты информации. 
   
5. 
   основные классы кодов, их параметры и алгоритмы кодирования/декодирования;
   
6. 
   основные формально-математические модели каналов связи и способы их количественного описания;
   

  студент должен уметь:

1. 
   вычислять количество информации в сообщениях дискретного источника канала связи; 
   
2. 
   кодировать и декодировать сообщения источника одним из изученных кодов, оценивать его оптимальность и помехоустойчивость; 
   
3. 
   исследовать основные характеристики канала связи;
   
4. 
   оценивать количество информации, вероятность ошибки на выходе канала связи и вероятность ошибочного декодирования; 
   
5. 
   выбирать, реализовывать и применять кодирующие и декодирующие алгоритмы для различных классов задач.
   

Перечень дисциплин, усвоение которых студентам необходимо для изучения данной дисциплины.

Базовый курс информатики, курс методы программирования и прикладные алгоритмы, общематематические дисциплины, в т.ч. курс теории вероятностей и математической статистики, курс физики.

Курс предусматривает лекционные и практические занятия, а также самостоятельную работу студентов в размере ~50% от суммарного объема трудозатрат. По итогам изучения дисциплины студенты сдают экзамен.

Текущий и промежуточный контроль усвоения курса осуществляется посредством выполнения студентами лабораторных работ.

Итоговый контроль осуществляется в форме экзамена.

Для эффективного изучения теоретической части дисциплины необходимо:

- построить работу по освоению дисциплины в порядке, отвечающим изучению основных этапов, согласно приведенным темам лекционного материала;

- систематически проверять знания студентов по контрольным вопросам;

- систематически проверять усвоение содержания ключевых понятий;

- эффективно работать с источниками и литературой по соответствующим темам.

В рамках курса необходимо уделить особое внимание рассмотрению современных методов кодирования и сжатия данных, новым форматам данных, а также рассмотрению основ квантовой теории информации.

Для эффективного изучения практической части дисциплины настоятельно рекомендуется систематически контролировать выполнение лабораторных работ.

Планы лекционных занятий (распределение учебных часов и литература по темам приведены в РПД).

Раздел 1. Основы теории информации и кодирования

1.1. Общефизические основы теории информации. Термодинамика и энтропия. Информация и данные. Кодирование. Цифровые коды. Понятие об экономичном кодировании.

1.2. Вероятностный подход к измерению количества информации. Энтропия вероятностной схемы. Семантическая информация. Аксиомы Хинчина и Фаддеева. Условная энтропия. Взаимная информация и ее свойства. Источники информации. Энтропия источников. Дискретный источник без памяти. Теоремы Шеннона об источниках. Марковские и эргодические источники. Информационная дивергенция.

Раздел 2. Оптимальное кодирование и сжатие данных

2.1. Граница Симмонса. Оптимальное кодирование. Префиксные коды. Частотные алгоритмы. Кодирование Шеннона-Фэно. Кодирование Хаффмана. Арифметическое кодирование. Адаптивные методы и алгоритмы.

2.2. Словарные алгоритмы. Методы Лемпела-Зива.

2.3. Сжатие с потерями. Основные идеи, методы и форматы данных.

2.4. Основы методов фрактального сжатия.

Раздел 3. Теоретические основы передачи данных

3.1. Сигналы с ограниченным спектром. Теорема Котельникова (Найквиста-Шеннона).

3.2. Математическая модель канала связи. Емкость канала. Прямая и обратная теоремы кодирования. Предельные скорости передачи данных через канал без помех/с помехами.

3.3. Временные и спектральные характеристики дискретных сигналов. Преобразование Фурье и вейвлет-преобразование.

Раздел 4. Помехоустойчивое кодирование и контроль ошибок

4.1. Помехоустойчивое кодирование. Основные подходы. Неравенство Крафта-Макмиллана.

4.2. Матричное кодирование. Групповые коды. Совершенные и квазисовершенные коды. Код Хемминга.

4.3. Полиномиальные коды. Коды БЧХ. Коды Рида-Соломона. Циклические избыточные коды.

4.4. Сверточные коды. Турбо-коды.

4.5. Основные положения квантовой теории информации. Квантовые компьютеры. Квантовые алгоритмы. Квантовая криптография.

2. 
   Задания для экзаменационного и межсессионного контроля знаний студентов (фонд оценочных средств)
   

Перечень лабораторных работ:

1. 
   Шифрование подстановкой и раскрытие шифра методом частотного анализа.
   
2. 
   Кодирование методом Шеннона-Фано.
   
3. 
   Кодирование методом Хаффмана
   
4. 
   Арифметическое кодирование
   
5. 
   Адаптивные алгоритмы сжатия данных (конкретный алгоритм выбирается студентом).
   
6. 
   LZ-сжатие данных
   
7. 
   Код Хемминга
   
8. 
   Помехоустойчивое кодирование (конкретный алгоритм выбирается студентом).