Книга: Архитекторы компьютерного мира

Клод Шеннон Автор теории информации и практического воплощения булевой алгебры

Клод Шеннон

Автор теории информации и практического воплощения булевой алгебры

Клод Шеннон

В конце 1930-х годов Шеннон был первым, кто связал булеву алгебру с переключающими цепями, являющимися составной частью современных компьютеров. Благодаря этому открытию булева алгебра могла быть использована как способ организации внутренних операций компьютера, способ организации логической структуры компьютера. Таким образом, компьютерная промышленность многим обязана этому человеку, даже несмотря на то, что его интересы подчас находились далеко от компьютеров.

Клод Элвуд Шеннон родился 30 апреля 1916 года в небольшом городе Гайлорд на озере Мичиган.

Его отец был адвокатом и в течение некоторого времени судьей. Его мать преподавала иностранные языки и стала директором Еайлордской средней школы. Молодой Клод очень любил конструировать автоматические устройства. Он компоновал модели самолетов и радиоцепи, создал также радиоуправляемую лодку и телеграфную систему между своим домом и домом друга. Он исправил радиостанции для местного универмага. Томас Эдисон был одновременно его героем детства и дальним кузеном, хотя они ни разу не встречались. Позже Шеннон добавил Исаака Ньютона, Чарльза Дарвина, Альберта Эйнштейна и Джона фон Неймана в список своих героев. В 1932 году Шеннон был зачислен в Мичиганский университет. Клод Шеннон специализировался в электротехнике. Но математика также его увлекала, и он пытался посещать столько курсов, сколько было возможно. Один из тех математических курсов, по символической логике, сыграл большую роль в его карьере. Он получил степень бакалавра по электротехнике и математике. "Вот история моей жизни, — говорит Шеннон. — Взаимодействие между математикой и электротехникой".

В 1936 году Клод Шеннон стал аспирантом Массачусетского технологического института (MIT). Его руководитель Ванневар Буш, создатель дифференциального анализатора (аналогового компьютера) в качестве темы диссертации предложил описать логическую организацию анализатора.

Работая над диссертацией, Шеннон пришел к выводу, что булева алгебра может с успехом использоваться для анализа и синтеза переключателей и реле в электрических схемах. Шеннон писал: "Сложные математические операции возможно выполнить посредством релейных цепей. Числа могут быть представлены позициями реле и шаговыми переключателями. Соединив определенным образом наборы реле, можно производить различные математические операции". Таким образом, объяснял Шеннон, можно собрать релейную схему, выполняющую логические операции И, ИЛИ и НЕ. Также можно реализовать сравнения. С помощью таких цепей легко осуществить конструкцию "If… then…".

В 1937 году Шенноном написана диссертация под названием "Символический анализ релейных и переключательных цепей". Это была необычная диссертация, она расценивалась как одна из наиболее значимых во всей науке того времени: то, что сделал Шеннон, проложило путь к разработке цифровых компьютеров.

Работа Шеннона имела очень важное значение: теперь инженеры в своей повседневной практике, создавая аппаратуру и программы для компьютеров, сети телефонной связи и другие системы, постоянно пользуются булевой алгеброй. Шеннон преуменьшал свою заслугу в этом открытии. "Просто случилось так, что никто другой не был знаком с этими обеими областями (математика и электротехника. — А. Ч.) одновременно," — говорил он. И после заявлял: "Мне всегда нравилось это слово — булева".

Справедливости ради нужно заметить, что до Шеннона установлением связи между булевой алгеброй и переключательными цепями занимались в Америке Ч. Пирс, в России — П. С. Эренфест, В. И. Шестаков и др.

По совету Буша Шеннон решил добиваться докторской степени по математике в MIT. Идея его будущей диссертации родилась у него летом 1939 года, когда он работал в Cold Spring Habor в Нью-Йорке. Буш был назначен президентом Carnegie Institution в округе Вашингтон и предложил Шеннону провести там немного времени: работа, которую делала Барбара Беркс по генетике, могла послужить предметом, для которого Шеннон применит свою алгебраическую теорию. Если Шеннон смог организовать переключение цепей, то почему он не сможет сделать то же в генетике? Докторская диссертация Шеннона, получившая название "Алгебра для теоретической генетики", была завершена весной 1940 года. Шеннон получает докторскую степень по математике и степень магистра по электротехнике. Т. Фрай, директор отделения математики в Bell Laboritories, был впечатлен работой Шеннона в области символической логики и его математическим мышлением. Летом 1940 года он приглашает Шеннона работать в Bell. Там Шеннон, исследуя переключающие цепи, обнаружил новый метод их организации, позволяющий уменьшить количество контактов реле, необходимых для реализации какой-либо сложной логической функции. Он опубликовал доклад, названный "Организация двухполюсных переключающих цепей". В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в Bell Laboratories. С началом войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шеннон присоединился к этой группе и работал над устройствами, которые засекали вражеские самолеты и нацеливали зенитные установки.

AT&T, владелец Bell Laboratories, была ведущей фирмой мира в области связи и естественно, что в лабораториях Bell также велись работы по системам связи. На этот раз Шеннон заинтересовался электронной передачей сообщений. Мало, что было понятно ему в этой области, но он верил, что математика знала ответы на большинство вопросов.

Сначала Шеннон задался простой целью: улучшить процесс передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических возмущений или шума. Он пришел к выводу, что наилучшее решение заключается не в техническом усовершенствовании линий связи, а в более эффективной упаковке информации.

Что такое информация? Оставляя в стороне вопрос о содержании этого понятия, Шеннон показал, что это измеримая величина: количество информации, содержащейся в данном сообщении, есть функция вероятности, что из всех возможных сообщений будет выбрано данное. Он назвал общий потенциал информации в системе сообщений как ее "энтропию". В термодинамике это понятие означает степень случайности (или, если угодно, "перемешанности") системы. (Однажды Шеннон сказал, что понятием энтропии ему посоветовал воспользоваться математик Джон фон Нейман, указавший, что, т. к. никто не знает, что это такое, у Шеннона всегда будет преимущество в спорах, касающихся его теории.)

Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: например, "орел" — "решка", или "да" — "нет". Бит можно представить как 1 или 0, или как присутствие или отсутствие тока в цепи.

На этом математическом фундаменте Шеннон затем показал, что любой канал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно. Этот максимум получил известность как предел Шеннона.

Каким образом можно приблизиться к пределу Шеннона? Первый шаг заключается в том, чтобы воспользоваться избыточностью кода. Подобно тому как влюбленный мог бы лаконично написать в своей любовной записке "я лбл в", путем эффективного кодирования можно сжать информацию, представив ее в наиболее компактной форме. С помощью специальных методов кодирования, позволяющих проводить коррекцию ошибок, можно гарантировать, что сообщение не будет искажено шумом.

Идеи Шеннона были слишком провидческими, чтобы иметь немедленный практический эффект. Схемы на вакуумных электронных лампах просто не могли еще вычислять сложные коды, требовавшиеся для того, чтобы приблизиться к пределу Шеннона. На самом деле только в начале 70-х годов с появлением быстродействующих интегральных микросхем инженеры начали в полной мере пользоваться теорией информации.

Все свои мысли и идеи, связанные с новой наукой — теорией информации, Клод Шеннон изложил в монографии "Математическая теория связи", опубликованной в 1948 году.

Теория информации, помимо связи, проникла также и в другие области, в том числе в лингвистику, психологию, экономику, биологию и даже в искусство. В подтверждение приведем, например, факт: в начале 70-х годов в журнале "IEEE Transactions on Information Theory" была опубликована редакционная статья под названием "Теория информации, фотосинтез и религия". С точки зрения самого Шеннона применение информационной теории к биологическим системам вовсе не является таким уж неуместным, поскольку, по его мнению, в основе механических и живых систем лежат общие принципы. Когда его спрашивают, может ли машина мыслить, он отвечает: "Конечно, да. Я машина и вы машина, и мы оба мыслим, не так ли?"

В действительности Шеннон был одним из первых инженеров, высказавших мысль о том, что машины можно запрограммировать так, чтобы они могли играть в карты и решать другие сложные задачи.

В 1948 году он публикует работу "Программирование компьютера для игры в шахматы". Ранее подобных публикаций на эту тему не было, причем созданная Шенноном шахматная программа явилась основой для последующих разработок и первым достижением в области искусственного интеллекта. В 1950 году он изобрел механическую мышь Тесей, которая, будучи управляема магнитом и сложной электрической схемой, скрытой под полом, могла найти выход из лабиринта.

Он построил машину, "читающую мысли" и играющую в "монетку" — игру, в которой один из играющих пытается угадать, что выбрал другой играющий, "орел" или "решку". Коллега Шеннона, также работавший в Bell Laboratories, Дэвид У. Хейджелбарджер построил опытный образец; машина запоминала и анализировала последовательность прошлых выборов оппонента, пытаясь отыскать в них закономерность и на ее основе предсказать следующий выбор.

Клод Шеннон был одним из организаторов первой конференции по искусственному интеллекту, состоявшейся в 1956 году в Дартмупте. В 1965 году он побывал по приглашению в Советском Союзе, где прочитал ряд лекций по искусственному интеллекту.

В 1958 году Шеннон покинул Bell Laboratories, став профессором в Массачусетском технологическом институте. После того как в 1978 году он официально ушел на пенсию, его величайшим увлечением стало жонглирование. Он построил несколько жонглирующих машин и разработал то, что можно было бы назвать объединенной теорией поля для жонглирования.

С конца 50-х годов Шеннон опубликовал очень мало работ по теории информации. Некоторые из его бывших коллег поговаривали, что Шеннон "перегорел" и ему надоела созданная им самим теория, но Шеннон отрицал это. "Большинство великих математиков писали свои лучшие работы, когда были еще молодыми", — говорил он.

В 1985 году Шеннон и его жена внезапно решили посетить Международный симпозиум по теории информации, состоявшийся в английском городе Брайтоне. В течение многих лет он не принимал участия в конференциях, и сначала его никто не заметил. Затем участники симпозиума стали перешептываться: скромный седоволосый джентльмен, который то приходил, то уходил из залов, где слушались доклады, это — Клод Шеннон. На банкете Шеннон сказал несколько слов, немножко пожонглировал тремя мячами и подписал множество автографов инженерам, выстроившимся в длинную очередь. Как вспоминал один из участников, "это воспринималось так, как будто Ньютон появился на конференции, посвященной проблемам физики".

В начале марта 2001 года, в возрасте 84 лет, после продолжительной болезни Клод Шеннон скончался. Как писали вездесущие журналисты — скончался человек, который придумал бит.

Оглавление книги