Предел шеннона хартли. Смотреть что такое "Теорема Шеннона" в других словарях. Понятие о теоремах шеннона

1. При любой производительности источника сообщений, меньшей пропускной способности канала, существует способ кодирования, позволяющий передавать по каналу все сообщения, вырабатываемые источником.

2. Не существует способа кодирования, обеспечивающего передачу сообщений без их неограниченного накопления, если производительность источника сообщений больше пропускной способности канала.

Кодирование, о котором идет речь в этой формулировке, называется эффективным (безызбыточным) кодированием.

Пример эффективного кода

Множество сообщений – X = {x 1 , ... , x 8 }.

Энтропия множества сообщений – H (X ) = 2,76 бит.

Максимальная энтропия источника – H max = 3,00 бит.

Избыточность источника – R = (3,00– 2,76)/3 = 0,08 .

Среднее число символов на сообщение–l i p i = 2,84 .

Избыточность (остаточная) кода – R к = (3,00– 2,84)/3 =0,05 .

Основная теорема Шеннона о кодировании для канала с помехами

1. При любой производительности источника сообщений, меньшей, чем пропускная способность канала, существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником, со сколь угодно малой вероятностью ошибки.

2. Не существует способа кодирования, позволяющего вести передачу информации со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности канала.

Здесь речь идет о помехоустойчивом кодировании. Помехоустойчивость достигается за счет специальным образом введеннойизбыточности . Это означает, что количество возможных кодовых комбинаций в коде превышает количество сообщений, которые требуется представить (закодировать) в коде. При этом можно построить коды, обнаруживающие ошибки заданной кратности, исправляющие ошибки заданной кратности, а также и то, и другое вместе. Простейшим кодом, обнаруживающим одиночные ошибки, является код спроверкой на четность (добавляется один дополнительный разряд таким образом, чтобы общее число единиц в каждой кодовой комбинации было четным).

Пример помехоустойчивого кода

Основным практическим следствием теорем Шеннона является построение системы передачи данных с использованием двух ступеней кодирования‑декодирования: для устранения избыточности источника и для повышения помехоустойчивости, как это показано на Error: Reference source not found.

9.Эксперимент по нахождению модели объекта.

Теория кодирования информации является одним из разделов теоретической информатики. К основным задачам, решаемым в данном разделе, необходимо отнести следующие:

разработка принципов наиболее экономичного кодирования информации;

согласование параметров передаваемой информации с особенностями канала связи;

разработка приемов, обеспечивающих надежность передачи информации по каналам связи, т.е. отсутствие потерь информации.

Две последние задачи связаны с процессами передачи информации - они будут рассмотрены в гл. 5. Первая же задача - кодирование информации - касается не только передачи, но и обработки, и хранения информации, т.е. охватывает широкий круг проблем; частным их решением будет представление информации в компьютере. С обсуждения этих вопросов и начнем освоение теории кодирования.

3.1. Постановка задачи кодирования. Первая теорема Шеннона

Как отмечалось при рассмотрении исходных понятий информатики, для представления дискретных сообщений используется некоторый алфавит. Однако однозначное соответствие между содержащейся в сообщении информацией и его алфавитом отсутствует.

В целом ряде практических приложений возникает необходимость перевода сообщения хода из одного алфавита к другому, причем, такое преобразование не должно приводить к потере информации.

Введем ряд с определений.

Будем считать, что источник представляет информацию в форме дискретного сообщения, используя для этого алфавит, который в дальнейшем условимся называть первичным. Далее это сообщение попадает в устройство, преобразующее и представляющее его в другом алфавите - этот алфавит назовемвторичным .

Код - (1) правило, описывающее соответствие знаков или их сочетаний первичного алфавита знакам или их сочетаниям вторичного алфавита .

(2) набор знаков вторичного алфавита, используемый для представления знаков или их сочетаний первичного алфавита .

Кодирование - перевод информации, представленной сообщением в первичном алфавите, в последовательность кодов .

Декодирование - операция, обратная кодированию, т.е. восстановление информации в первичном алфавите по полученной последовательности кодов .

Кодер - устройство, обеспечивающее выполнение операции кодирования .

Декодер - устройство, производящее декодирование .

Операции кодирования и декодирования называются обратимыми, если их последовательное применение обеспечивает возврат к исходной информации без каких-либо ее потерь .

Примером обратимого кодирования является представление знаков в телеграфном коде и их восстановление после передачи. Примером кодирования необратимого может служить перевод с одного естественного языка на другой - обратный перевод, вообще говоря, не восстанавливает исходного текста. Безусловно, для практических задач, связанных со знаковым представлением информации, возможность восстановления информации по ее коду является необходимым условием применения кода, поэтому в дальнейшем изложении ограничим себя рассмотрением только обратимого кодирования.

Кодирование предшествует передаче и хранению информации. При этом, как указывалось ранее, хранение связано с фиксацией некоторого состояния носителя информации, а передача - с изменением состояния с течением времени (т.е. процессом). Эти состояния или сигналы будем называть элементарными сигналами - именно их совокупность и составляет вторичный алфавит.

Не обсуждая технических сторон передачи и хранения сообщения (т.е. того, каким образом фактически реализованы передача-прием последовательности сигналов или фиксация состояний), попробуем дать математическую постановку задачи кодирования.

Пусть первичный алфавитА состоит из N знаков со средней информацией на знакI (A) , а вторичный алфавитВ- изМ знаков со средней информацией на знакI (В) . Пусть также исходное сообщение, представленное в первичном алфавите, содержитп знаков, а закодированное сообщение -т знаков. Если исходное сообщение содержитI st (A) информации, а закодированное - I fin (B),то условие обратимости кодирования, т.е.неисчезновения информации при кодировании, очевидно, может быть записано следующим образом:

смысл которого в том, что операция обратимого кодирования может увеличить количество информации в сообщении, но не может его уменьшить. Однако каждая из величин в данном неравенстве может быть заменена произведением числа знаков на среднее информационное содержание знака, т.е.:

Отношение т/n, очевидно, характеризуетсреднее число знаков вторичного алфавита, которое приходится использовать для кодирования одного знака первичного алфавита - будем называть егодлиной кода илидлиной кодовой цепочки и обозначимК(А,В). Следовательно

Обычно N>M и I(А) > I(B), откуда К(А,В) > 1 , т.е. один знак первичного алфавита представляется несколькими знаками вторичного. Поскольку способов построения кодов при фиксированных алфавитахА и Б существует множество, возникает проблема выбора (или построения) наилучшего варианта - будем называть егооптимальным кодом. Выгодность кода при передаче и хранении информации - это экономический фактор, так как более эффективный код позволяет затратить на передачу сообщения меньше энергии, а также времени и, соответственно, меньше занимать линию связи; при хранении используется меньше площади поверхности (объема) носителя. При этом следует сознавать, что выгодность кода не идентична временной выгодности всей цепочки кодирование-передача-декодирование; возможна ситуация, когда за использование эффективного кода при передаче придется расплачиваться тем, что операции кодирования и декодирования будут занимать больше времени и иных ресурсов (например, места в памяти технического устройства, если эти операции производятся с его помощью).

Как следует из β.1), минимально возможным значением средней длины кода будет:

Данное выражение следует воспринимать как соотношение оценочного характера, устанавливающее нижний предел длины кода, однако, из него неясно, в какой степени в реальных схемах кодирования возможно приближение К(А,В) кK min (A,B). По этой причине для теории кодирования и теории связи важнейшее значение имеют две теоремы, доказанные Шенноном. Первая - ее мы сейчас рассмотрим - затрагивает ситуацию с кодированием при отсутствии помех, искажающих сообщение. Вторая теорема относится к реальным линиям связи с помехами и будет обсуждаться в гл. 5.

Первая теорема Шеннона, которая называется основной теоремой о кодировании при отсутствии помех, формулируется следующим образом:

При отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак первичного алфавита, будет сколь угодно близко к отношению средних информации на знак первичного и вторичного алфавитов .

Приведенное утверждение является теоремой и, следовательно, должно доказываться. Мы опустим его, адресовав интересующихся именно доказательной стороной к книге А. М. Яглома и И. М. Яглома . Для нас важно, что теорема открывает принципиальную возможность оптимального кодирования, т.е. построения кода со средней длиной К min (А,В). Однако необходимо сознавать, что из самой теоремы никоим образом не следует, как такое кодирование осуществить практически - для этого должны привлекаться какие-то дополнительные соображения, что и станет предметом нашего последующего обсуждения.

Из (3.2) видно, что имеются два пути сокращения K min (A,B):

уменьшение числителя - это возможно, если при кодировании учесть различие частот появления разных знаков в сообщении, корреляции двухбуквенные, трехбуквенные и т.п. (в п.2.3. было показано, что I 0 >I 1 >I 2 >…>I ∞);

увеличение знаменателя - для этого необходимо применить такой способ кодирования, при котором появление знаков вторичного алфавита было бы равновероятным, т.е. I (B) =log 2 M.

В частной ситуации, рассмотренной подробно К. Шенноном, при кодировании сообщения в первичном алфавите учитывается различная вероятность появления знаков (то, что в п.2.3. мы назвали "первым приближением"), однако, их корреляции не отслеживаются - источники подобных сообщений называютсяисточниками без памяти. Если при этом обеспечена равная вероятность появления знаков вторичного алфавита, то, как следует из β.2), для минимальной средней длины кода оказывается справедливым соотношение:

В качестве меры превышения К(А,В) над K min (A, B) можно ввестиотносительную избыточность кода (Q(A,B):

Данная величина показывает, насколько операция кодирования увеличила длину исходного сообщения. Очевидно, Q(A,B) → 0 приК(А,В) →К min (А,В). Следовательно, решение проблемы оптимизации кода состоит в нахождении таких схем кодирования, которые обеспечили бы приближение средней длины кода к значению K min (AB),равному отношению средних информации на знак первичного и вторичного алфавитов. Легко показать, что чем меньшеQ(A,B), тем I fin (B) ближе к Ist(A)) ,т.е. возникает меньше информации, связанной с кодированием, более выгодным оказывается код и более эффективной операция кодирования.

Используя понятие избыточности кода, можно построить иную формулировку теоремы Шеннона:

При отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю .

Наиболее важной для практики оказывается ситуация, когдаМ = 2, т.е. для представления кодов в линии связи используется лишь два типа сигналов - технически это наиболее просто реализуемый вариант (например, существование напряжения в проводе (будем называть этоимпульсом) или его отсутствие (пауза); наличие или отсутствие отверстия на перфокарте или намагниченной области на дискете); подобное кодирование называетсядвоичным. Знаки двоичного алфавита принято обозначать "О" и "1", но нужно воспринимать их как буквы, а не цифры. Удобство двоичных кодов и в том, что при равных длительностях и вероятностях каждый элементарный сигнал (0 или 1) несет в себе 1 бит информации (log 2 M = 1); тогда из β.3)

и первая теорема Шеннона получает следующую интерпретацию:

При отсутствии помех средняя длина двоичного кода может быть сколь угодно близкой к средней информации, приходящейся на знак первичного алфавита .

Применение формулы (3.4) для двоичных сообщений источника без памяти при кодировании знаками равной вероятности дает:

При декодировании двоичных сообщений возникает проблема выделения из потока сигналов (последовательности импульсов и пауз) кодовых слов (групп элементарных сигналов), соответствующих отдельным знакам первичного алфавита. При этом приемное устройство фиксирует интенсивность идлительность сигналов, а также может соотносить некоторую последовательность сигналов с эталонной (таблицей кодов ).

Возможны следующие особенности вторичного алфавита, используемого при кодировании:

элементарные сигналы (0 и 1) могут иметь одинаковые длительности (τ 0 =τ 1) или разные (τ 0 ≠τ 1);

длина кода может быть одинаковой для всех знаков первичного алфавита (в этом случае код называется равномерным) или же коды разных знаков первичного алфавита могут иметь различную длину (неравномерный код);

коды могут строиться для отдельного знака первичного алфавита (алфавитное кодирование) или для их комбинаций (кодирование блоков, слов ).

Комбинации перечисленных особенностей определяют основу конкретного способа кодирования, однако, даже при одинаковой основе возможны различные варианты построения кодов, отличающихся своей эффективностью. Нашей ближайшей задачей будет рассмотрение различных схем кодирования для некоторых основ.

Лекция 6. Постановка задачи кодирования. Первая теорема Шеннона.

Теория кодирования информации является одним из разделов теоретической информатики. К основным задачам, решаемым в данном разделе информатики, необходимо отнести следующие:

разработка принципов наиболее экономичного кодирования информации;

согласование параметров передаваемой информации с особенностями канала связи;

разработка приемов, обеспечивающих надежность передачи информации по каналам связи, то есть отсутствие потерь информации.

Как отмечалось при рассмотрении исходных понятий информатики, для представления дискретных сообщений используется некоторый алфавит. Однако часто однозначное соответствие между содержащейся в сообщении информацией и его (сообщения) алфавитом отсутствует.

В целом ряде практических приложений возникает необходимость перевода сообщения из одного алфавита в другой, причем такое преобразование не должно приводить к потере информации.

Введем ряд определений.

Будем считать, что источник информации представляет информацию в форме дискретного сообщения, используя для этого алфавит, который мы условимся называть первичным алфавитом . Далее это сообщение попадает в устройство, преобразующее и представляющее сообщение в другом алфавите – этот алфавит мы назовемвторичным алфавитом .

Код – это правило, описывающее соответствие знаков или сочетаний знаков первичного алфавита знакам или сочетаниям знаков вторичного алфавита.

При этом существует и другое определение:

Код – это набор знаков или сочетаний знаков вторичного алфавита, используемый для представления знаков или сочетаний знаков первичного алфавита.

Кодирование – это перевод информации, представленной сообщением в первичном алфавите, в последовательность кодов.

Декодирование – это операция, обратная кодированию, то есть восстановление информации в первичном алфавите по полученной последовательности кодов.

Кодер – это устройтство, обеспечивающее выполнение операции кодирования.

Декодер – это устройство, производящее декодирование.

Операции кодирования и декодирования называются обратимыми , если их последовательное применение обеспечивает возврат к исходной информации без каких-либо ее потерь.

Примером обратимого кодирования является представление знаков в телеграфном коде и их восстановление (получателем) после передачи.

Примером необратимого кодирования может служить перевод с одного естественного языка на другой. При этом обратный перевод, вообще говоря, не восстанавливает исходного текста. Здесь важно понимать, что исходная информация восстанавливается с потерями как в смысловом отношении, так и в смысле искажения в форме представления (полученная после обратного перевода последовательность знаков первичного алфавита практически всегда уже другая по сравнению с исходным текстом).

Безусловно, для практических задач, связанных со знаковым представлением информации, возможность восстановления информации по ее коду является необходимым условием применимости кода, поэтому в дальнейшем мы ограничимся только рассмотрением обратимого кодирования.

Кодирование информации предшествует передаче и хранению информации. При этом хранение информации связано с фиксацией некоторого состояния носителя информации, а передача информации связана с процессом изменения состояния носителя информации (среды), то есть с сигналами. Эти состояния или сигналы мы будем называть элементарными сигналами .Совокупность элементарных сигналов и составляет вторичный алфавит .

Сейчас мы не будем обсуждать технические стороны передачи и хранения сообщения, то есть не будем обсуждать то, каким образом технически реализованы передача и прием последовательности сигналов или фиксация состояний носителя информации (запись информации).

Попробуем сделать математическую постановку задачи кодирования информации.

Пусть первичный алфавит состоит из

, а вторичный алфавитсостоит из
знаков со средней информацией на знак
. Пусть также исходное сообщение, представленное в первичном алфавите, содержитзнаков, а закодированное сообщение (представленное во вторичном алфавите) содержит
знаков. Таким образом, исходное сообщение содержит
информации, а закодированное сообщение содержит
информации.

Операция обратимого кодирования может увеличить количество информации в сообщении, но не может его уменьшить :

.

Это неравенство можно переписать как
или

.

Отношение
характеризует среднее число знаков вторичного алфавита, которое приходится использовать для кодирования одного знака первичного алфавита .

Величину будем называть длиной кода или длиной кодовой цепочки :

.

Из предыдущего неравенства
следует, что
, поэтому:

. (7.1)

Обычно на практике процедуру кодирования реализуют таким образом, что выполняется условие

,

поэтому
, то есть один знак первичного алфавита представляется несколькими знаками вторичного алфавита.

Способов построения кодов при фиксированных алфавитах исуществует множество. Поэтому возникает проблема выбора (или построения) наилучшего варианта кода – будем называть егооптимальным кодом .

Выгодность применения оптимального кода при передаче и хранении информации – это экономический фактор, так как более эффективный код может позволить затратить на передачу сообщения меньше энергии и времени. В случае применения оптимального кода при передаче информации может меньшее время заниматься линия связи. Применение оптимального кода при хранении информации может позволить использовать меньше площади поверхности (объема) носителя информации.

При этом следует осознавать, что выгодность кода не всегда идентична временной выгодности всего процесса «кодирование–передача– декодирование». Возможна ситуация, когда за использование эффективного кода при передаче информации придется расплачиваться тем, что операции кодирования и декодирования будут занимать больше времени и/или иных ресурсов (памяти технического устройства, если эти операции производятся с его помощью).

Как следует из условия (7.1), минимально возможное значение средней длины кода равно:

. (7.2)

Данное выражение следует воспринимать как соотношение оценочного характера, устанавливающее нижний предел длины кода. Однако, из (7.2) неясно, в какой степени в реальных схемах кодирования возможно приближение величины
к значению
.

По этой причине для теории кодирования и теории связи важное значение имеют теоремы, доказанные Шенноном. Первая теорема Шеннона затрагивает ситуацию с кодированием при отсутствии помех, искажающих сообщение. Вторая теорема Шеннона относится к реальным линиям связи с помехами и будет обсуждаться нами позже.

Первая теорема Шеннона , илиосновная теорема о кодировании при отсутствии помех , формулируется так:

При отсутствии помех всегда возможен такой вариант кодирования, при котором среднее число знаков кода, приходящихся на один знак первичного алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов.

Данная теорема утверждает принципиальную возможность оптимального кодирования, то есть построения кода со средней длиной, имеющей значение
.

Однако необходимо сознавать, что из самой этой теоремы никоим образом не следует, как такое кодирование осуществить практически. Для разработки практической реализации оптимального кодирования должны привлекаться дополнительные соображения, которые мы обсудим далее.

Из (7.2) видно, что имеются два пути сокращения величины
:

К. Шеннон подробно рассмотрел следующую частную ситуацию. В этой ситуации при кодировании сообщения учитывается различная вероятность появления знаков в первичном алфавите, то есть величина информации, приходящейся на знак первичного алфавита, рассчитывается в первом приближении:
. Однако корреляции знаков первичного алфавита не учитываются. Источники подобных сообщенийназываются источниками без памяти (на корреляции знаков первичного – своего – алфавита). Если при этом обеспечена равная вероятность появления знаков вторичного алфавита, то, как следует из (7.2), для минимальной средней длины кода
оказывается справедливым соотношение:

. (7.3)

В качестве меры превышения
над
можно ввестиотносительную избыточность кода
:

С учетом (7.2) последнюю формулу можно переписать в виде

причем
.

Величина
показывает, как сильно операция кодирования увеличила длину исходного сообщения. Очевидно, что
при .

Таким образом, решение проблемы оптимизации кодирования состоит в нахождении таких схем кодирования, которые обеспечили бы приближение средней длины кода к значению
, а относительной избыточности
кода – к нулю. Чем меньше значение
, тем возникает меньше избыточной информации, то есть информации, связанной с кодированием; более выгодным оказывается код и более эффективной становится операция кодирования.

Используя понятие избыточности кода, можно построить иную формулировку первой теоремы Шеннона :

При отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю.

Наиболее важной для практики оказывается ситуация, когда во вторичном алфавите
, то есть когда для представления кодов в линии связи используется лишь два типа сигналов. Такое кодирование называетсядвоичным кодированием . Технически это наиболее просто реализуемый вариант. Например, существование напряжения в проводе (импульс) или его отсутствие (пауза); наличие или отсутствие отверстия на перфокарте; наличие или отсутствие намагниченной области на дискете и так далее

Знаки двоичного алфавита принято обозначать «0» и «1», эти знаки нужно воспринимать как буквы. Удобство двоичных кодов также и в том, что при равных длительностях и вероятностях каждый элементарный сигнал (0 или 1) несет в себе ровно 1 бит информации ().

В случае двоичного вторичного алфавита (обозначим
) из формулы (7.3) получаем:

,

и первая теорема Шеннона получает еще одну (третью) формулировку :

При отсутствии помех средняя длина двоичного кода может быть сколь угодно близкой к средней информации, приходящейся на знак первичного алфавита.

Таким образом, при кодировании сообщений источника без памяти двоичными знаками равной вероятности по формуле (7.4) находим:

. (7.5)

При декодировании двоичных сообщений возникает проблема выделения из потока сигналов (последовательности импульсов и пауз) кодовых слов (групп элементарных сигналов), соответствующих отдельным знакам первичного алфавита. При этом приемное устройство фиксируетинтенсивность идлительность сигналов, а также может соотносить последовательность поступающих сигналов с эталонными последовательностями (стаблицей кодов ).

Отметим следующие особенности двоичного вторичного алфавита, используемого при кодировании:

Комбинации перечисленных особенностей вторичного алфавита определяют основу конкретного способа кодирования сообщений. Однако, даже при одинаковой основе возможны различные варианты построения кодов, которые будут отличаться своей эффективностью.

одна из основных теорем теории информации о передаче сигналов по каналам связи при наличии помех, приводящих к искажениям. Пусть надлежит передать последовательность символов, появляющихся с определёнными вероятностями, причём имеется некоторая вероятность того, что передаваемый символ в процессе передачи будет искажён. Простейший способ, позволяющий надёжно восстановить исходную последовательность по получаемой, состоит в том, чтобы каждый передаваемый символ повторять большое число (N ) раз. Однако это приведёт к уменьшению скорости передачи в N раз, т. е. сделает её близкой к нулю. Ш. т. утверждает, что можно указать такое, зависящее только от рассматриваемых вероятностей положительное число v , что при сколько угодно малом ε>0 существуют способы передачи со скоростью v" (v"), сколь угодно близкой к v , дающие возможность восстанавливать исходную последовательность с вероятностью ошибки, меньшей ε. В то же время при скорости передачи v" , большей v , это уже невозможно. Упомянутые способы передачи используют надлежащие «помехоустойчивые» коды. Критическая скорость v определяется из соотношения Hv = C , где Н - Энтропия источника на символ, С - ёмкость канала в двоичных единицах в секунду.

• - ...

  Физическая энциклопедия

• - см Теорема CPT. ...

  Физическая энциклопедия

• - 1) Ли т. - одна из трех классич. теорем теории групп Ли, описывающих связь Ли. локальной группы с ее алгеброй Ли. Ли т. составляют фундамент теории, развитой в 19 в. С. Ли и его школой...

  Математическая энциклопедия

• - математическое утверждение, истинность к-рого установлена путем доказательства. Понятие Т. развивалось и уточнялось вместе с понятием математич. доказательства...

  Математическая энциклопедия

• - утверждение, устанавливаемое при помощи доказательства. обычно состоит из условий и заключения; научное положение...

  Начала современного Естествознания

• - см. Уравнение Шеннона...

  Экологический словарь

• - утверждение или предложение, которое доказывается логическими рассуждениями, основанными на фактах и АКСИОМАХ. см. также ВЕЛИКАЯ ФЕРМА...

  Научно-технический энциклопедический словарь

• - научное положение...

  Философская энциклопедия

• - англ. theorem; нем. Theorem. Утверждение, истинность к-рого устанавливается с помощью системы бесспорных доказательств...

  Энциклопедия социологии

• - см. Уравнение Шеннона...

  Экологический словарь

• - см. Теорема СРТ....
• - предложение некоторой дедуктивной теории, устанавливаемое при помощи Доказательства. Каждая дедуктивная теория состоит из Т., доказываемых одна за другой на основании ранее уже доказанных Т....

  Большая Советская энциклопедия

• - предложение, устанавливаемое при помощи доказательства...

  Современная энциклопедия

• - в математике - предложение, устанавливаемое при помощи доказательства. Теорема обычно состоит из условия и заключения...

  Большой энциклопедический словарь

• - Заимств. в XVIII в. из франц. яз., где théorème < лат. theorema, передающего греч. theōrēma «зримое» > «» ...

  Этимологический словарь русского языка

• - ...

  Орфографический словарь-справочник

"Шеннона теорема" в книгах

Теорема Понтрягина