Новости

Теорема Шеннона для дискретного источника и дискретного канала с помехами. Физический смысл теоремы. Определения и физический смысл понятий, входящих в формулировку теоремы: производительность дискретного источника, пропускная способность дискретного кана

Работа добавлена:






Теорема Шеннона для дискретного источника и дискретного канала с помехами. Физический смысл теоремы. Определения и физический смысл понятий, входящих в формулировку теоремы: производительность дискретного источника, пропускная способность дискретного кана на http://mirrorref.ru

Вариант N 4

1. Теорема Шеннона для дискретного источника и дискретного канала с помехами. Физический смысл теоремы. Определения и физический смысл понятий, входящих в формулировку теоремы: производительность дискретного источника, пропускная способность дискретного канала.

Для дискретного канала “без помех” и дискретного источника Шеноном была доказана теорема :

Если производительность источника  , то существует способ кодирования и декодирования , позволяющий передатьвсе  сообщения источника со сколь угодно малой ошибкой . Передачувсех  сообщений , при   осуществить невозможно. Физический смысл теоремы сводится к тому , что  как бы не была велика избыточность источника  , все его сообщения могут быть переданы по каналу со сколь угодно малой ошибкой без понижения скорости передачи  если  . Количество информации ,создаваемое источником сообщения в среднем за единицу времени , называется производительностью источника   , этот параметр вводится для источников с фиксированной скоростью передачи;    -энтропия источника   -вероятность появления сообщения  — колич. сообщений в алфавите. Максимально возможная скорость передачи информации по каналу связи при фиксированных ограничениях называется пропускной способностью канала (для дискретного канала без помех) Пропускная способность канала характеризует его предельные возможности в отношении передачи среднего количества информации за единицу времени. - количество информации содержащееся в одном канальном символе илиmax энтропия канала-наибольшая скорость передачи символов в канале.

Для дискретного канала с помехами Шеноном была доказана теорема :

Если производительность источника  , то существует способ кодирования и декодирования , позволяющий передатьвсе  сообщения источника со сколь угодно малой ошибкой . Передачувсех  сообщений , при   осуществить невозможно. Физический смысл теоремы сводится к тому , что  как бы не была велика избыточность источника  , все его сообщения могут быть переданы по каналу со сколь угодно малой ошибкой без понижения скорости передачи  если  . Количество информации ,создаваемое источником сообщения в среднем за единицу времени , называется производительностью источника   , этот параметр вводится для источников с фиксированной скоростью передачи;    -энтропия источника   -вероятность появления сообщения  — колич. сообщений в алфавите. Максимально возможная скорость передачи информации по каналу связи при фиксированных ограничениях называется пропускной способностью канала .

Пропускная способность дискретного канала с помехами определяется как максимально возможная скорость передачи при заданных ограничениях, накладываемых на передаваемые сигналы: . Для каналов с сигналами одинаковой длительности равной , пропускная способность: , где  — энтропия входа канала, а — энтропия помехи, — условная энтропия выхода, — энтропия выхода канала.

2. Пропускная способность непрерывного канала с непрерывным временем в  неограниченной полосе частот. Физический смысл.

.ПС НК с непрерывным временем при бесконечной полосе частот. Физический смысл.

ПС НК называютmax скорость передачи информации, взятую по всем источникам входных сигналов. Если принятый сигнал  с конечным спектром может быть полностью восстановлен по дискретным отсчетам , следующими со скоростью отсчетов/с ,то для непрерывного гауссова канала без памяти с непрерывным временем пропускная способность  Эта формула часто называется формулой Шеннона .Эта формула определяет зависимость пропускной способности рассматриваемого канала от таких его важных характеристик , как ширина полосы пропускания и отношение “сигнал/шум”. Из формулы видно ,что при ограниченном энергетическом ресурсе нужны широкие полосы передачи. А при малых полосах передачи необходима высокая мощность.  Ф-ла Шеннона справедлива только для неискажающего канала с постоянными параметрами и аддитивным “белым шумом” При неравномерном спектре помехи в полосе   возрастает относительно. В канале с замираниями  при средней мощности сигнала   ниже . При “белом шуме” рост полосы  сопровождается ростом мощности помехи   тогда при    . В результате если увеличить  до  ,то можно увеличить ПС менее чем в 1.5 раза. Следов. для НК с неограниченным спектром по каналу с шумами даже при оптимальном кодировании отношение энергии сигнала к спектральной плотности шума должно превышать некоторую пороговую величину .

Вариант N 5

1. Теорема Шеннона для непрерывного источника и непрерывного канала с помехами. Физический смысл теоремы. Определения и физический смысл понятий, входящих в формулировку  теоремы : производительность непрерывного источника,  пропускная  способность непрерывного канала.

ТКШ :если -производительность источника меньше ПС канала , то существует способ оптимального кодирования и декодирования, при котором с вероятностью сколь угодно близкой к 1 принятое сообщение (сигнал) достаточно похоже (мощность шума не превышает пороговое значение) на переданное (на сигнал).Если, такого способа нет. Физический смысл теоремы сводится к тому , что  как бы не была велика избыточность источника  , все его сообщения могут быть переданы по каналу со сколь угодно малой ошибкой без понижения скорости передачи  если  .  Производительность источника непрерывных сообщений можно определить как количество информации, которое необходимо передать за единицу времени, чтобы восстановить сообщение при заданном критерии эквивалентности. Если источник выдает независимые сигнальные отсчеты дискретно во времени со средней скоростью , то его-производительность: ,где-энтропия-наименьшее количество информации, содержащееся в реализации сообщения  относительно реализации, при котором они еще эквивалентны. ПС НК равна: 1)С дискретным временем при скорости передачи равна. можно считать как скорость отсчетов непрерывного сигнала в единицу времени, —отношение сигнал/помеха. 2)С непрерывным временем для гаусова канала , где —полоса частот. Если принятый сигнал  с конечным спектром может быть полностью восстановлен по дискретным отсчетам , следующими со скоростью отсчетов/с ,то для непрерывного гауссова канала без памяти с непрерывным временем пропускная способность  Эта формула часто называетсяформулой Шеннона .Эта формула определяет зависимость пропускной способности рассматриваемого канала от таких его важных характеристик , как ширина полосы пропускания и отношение “сигнал/шум”. Ф-ла Шеннона справедлива только для неискажающего канала с постоянными параметрами и аддитивным “белым шумом”.

2. Энтропия источника дискретных сообщений. Избыточность источника сообщений.

Количество информации, содержащееся в отдельно взятом сообщении  равно .Однако при согласовании информационных св-в источника и информационных возможностей канала важно охарактеризовать источник целиком. Такой характеристикой источника с алфавитом, в кот. содержится m различных сообщений, есть среднее количество информации, приходящееся на одно сообщение .Величинаназ. энтропией источника сообщений. В ТИ энтропия характеризует неопределенность состояния источника до передачи информации. Чем больше энтропия, тем больше содержит информации одно сообщение данного источника. Основными свойствами энтропии источника независимых сообщений явл: 1.,причемтолько при всех из ансамбляm за искл. одной, для которой ; 2.При  энтропия максимальна; 3..Для источника зависимых сообщений главное св-во—при постоянном объеме алфавита энтропия такого источника уменьшается с ростом количества статически зависимых сообщений. Реализации сооб-й будем наз. эквивалентными, если для получателя их различия не существенно. Этот критерий субъективен. Распространен критерий . Сооб-я по этому критерию равны, если .Энтропия непр.источникапри заданном критерии эквивалентности или наз. наименьшее кол-во ин-и, содержащееся в отн. ,при кот. они еще остаются эквивалентнымигде минимум берется по всем парам источника, считающихся эквивалентными. Если ин-ю рассчитывать на 1с, то соот-я энтропия ха-ет -производительность непр.источ.при заданном критерии эквивалентности. определяет количество существенной информации в одном отсчете непр. сообщения. производительностью источника непр. сообщений наз.величина, равная, где -средняя скорость, с которой источник выдает независимые сигнальные отсчеты дискретно во времени.

Вариант N 6

1. Постановка задачи о количественной мере информации. Требования к мере информации. Мера информации. Единица измерения информации.

2. Дифференциальная энтропия  непрерывного   распределения. Эпсилон-энтропия источника непрерывных сообщений.

.Энтропия источника дискретных сообщений. —энтропия источника непрерывных сообщений.

Количество информации, содержащееся в отдельно взятом сообщении  равно .Однако при согласовании информационных св-в источника и информационных возможностей канала важно охарактеризовать источник целиком. Такой характеристикой источника с алфавитом, в кот. содержится m различных сообщений, есть среднее количество информации, приходящееся на одно сообщение .Величинаназ. энтропией источника сообщений. В ТИ энтропия характеризует неопределенность состояния источника до передачи информации. Чем больше энтропия, тем больше содержит информации одно сообщение данного источника. Основными свойствами энтропии источника независимых сообщений явл: 1.,причемтолько при всех из ансамбляm за искл. одной, для которой ; 2.При  энтропия максимальна; 3..Для источника зависимых сообщений главное св-во—при постоянном объеме алфавита энтропия такого источника уменьшается с ростом количества статически зависимых сообщений. Реализации сооб-й будем наз. эквивалентными, если для получателя их различия не существенно. Этот критерий субъективен. Распространен критерий . Сооб-я по этому критерию равны, если .Энтропия непр.источникапри заданном критерии эквивалентности или наз. наименьшее кол-во ин-и, содержащееся в отн. ,при кот. они еще остаются эквивалентнымигде минимум берется по всем парам источника, считающихся эквивалентными. Если ин-ю рассчитывать на 1с, то соот-я энтропия ха-ет -производительность непр.источ.при заданном критерии эквивалентности. определяет количество существенной информации в одном отсчете непр. сообщения. производительностью источника непр. сообщений наз.величина, равная, где -средняя скорость, с которой источник выдает независимые сигнальные отсчеты дискретно во времени.

Теорема Шеннона для дискретного источника и дискретного канала с помехами. Физический смысл теоремы. Определения и физический смысл понятий, входящих в формулировку теоремы: производительность дискретного источника, пропускная способность дискретного кана на http://mirrorref.ru


Похожие рефераты, которые будут Вам интерестны.

1. Реферат К определению условного диаметра реальной частицы дискретного сыпучего тела

2. Реферат Физический смысл показателя преломления

3. Реферат Вторая производная ее геометрический и физический смысл

4. Реферат Строение электронной оболочки атома. Орбиталь. Квантовые числа, их значения и физический смысл

5. Реферат Периодический закон Д.И. Менделеева. Физический смысл порядкового номера элемента. Современная формулировка закона

6. Реферат Изобразите кривую момента М=f(s) асинхронного двигателя в зависимости от скольжения и поясните физический смысл этой кривой. Что такое расчетная формула момента?

7. Реферат Определения момента инерции и проверка теоремы Штейнера

8. Реферат Смысл жизни, смысл бытия

9. Реферат Теорема Вариньона. Применение теоремы Вариньона к определению равнодействующей параллельных сил

10. Реферат МОНИТОРИНГ КАЧЕСТВА ВОДЫ СЕВЕРО-КРЫМСКОГО КАНАЛА КАК ИСТОЧНИКА ПИТЬЕВОЙ ВОДЫ В ЛЕНИНСКОМ РАЙОНЕ В СОВРЕМЕННЫХ УСЛОВИЯХ