Книга: Новые соединения. Цифровые космополиты в коммуникативную эпоху

Краткая история машинного перевода

Краткая история машинного перевода

7 января 1954 года представители команды Джорджтаунского университета и IBM провели в нью-йоркской штаб-квартире компании демонстрацию замечательного устройства – компьютерной системы, которая переводила русские предложения на английский язык. На следующий день Роберт Пламб писал в New York Times:

И пусть словарный запас разработанной Джорджтаунским университетом и IBM программы составлял всего 250 слов и знали они лишь шесть грамматических правил, все равно это был технический триумф. Тем более что память компьютера, на котором она работала, – IBM 701 – не превышала 36Кб, а писать ее пришлось на ассемблере[187] системному программисту IBM Питеру Шеридану. Поскольку программировать на IBM 701 было совсем не просто, Шеридан начал с создания прототипа программы: он собрал не знающих русского добровольцев и раздал им словарные карточки и собственные инструкции на английском языке. Задача волонтеров была сначала найти каждому английскому слову подходящий русский перевод, а затем, пользуясь инструкциями Шеридана, вычленить корень слова, выбрать верное окончание или изменить их порядок в предложении.

Если масштаб состоявшейся в 1954 году демонстрации был весьма скромным – машинный перевод составил 60 тщательно отобранных предложений, то амбиции разработчиков скромными никак не назовешь. Профессор Леон Достерт, разработавший языковую модель, столь кропотливо запрограммированную Шериданом, отметил, что, если сегодня «у нас еще нет возможности загрузить русскую книгу на одном конце и получить английский перевод на другом», в будущем «через пять лет, а может быть три года, межъязыковое преобразование смыслов посредством электронных процессов в важных функциональных областях нескольких языков вполне может стать свершившимся фактом». Для создания таких программ, считал Достерт, потребуется словарь в 20 тысяч слов и 100 грамматических правил – по сути, нужно было лишь расширить продемонстрированный уже прототип.[188]

Прогноз Достерта сегодня может показаться смехотворно оптимистичным, но система, над которой он размышлял, разрабатывалась для перевода научных журналов, а не Толстого или Пушкина. Достерт знал, что словарные системы перевода сталкиваются с серьезными проблемами из-за лингвистической неоднозначности, потому что естественный человеческий язык чрезвычайно неоднозначен. Во многих языках есть омонимы – слова с одинаковым написанием, но разными значениями, нередко встречается также полисемия – когда слово может иметь близкие, но все же различные значения в зависимости от контекста: «Отложив ручку, она протянула ручку и дернула за дверную ручку». Еще более сложные явления, такие как метафора, аллегория или каламбур, переносят задачу на еще более высокий уровень; простым подыскиванием слов в словаре и расстановкой их в грамматически правильном порядке такие задачи не решаются.

Когда переводчик решает, как перевести слово «ручка», то, прочитав и поняв фразу, он выбирает соответствующее слово на языке перевода на основе контекста, в котором это слово было использовано. На испытаниях 1954 года большинство предложений были из области физики и химии – и потому, что разработанная Джорджтаунским университетом и IBM программа должна была переводить научную литературу, и потому, что в контексте научной литературы степень неоднозначности некоторых из используемых терминов заметно снижается.

Чтобы решить проблему контекста и найти способ переводить слово «ручка» правильно, более современные системы перевода пользуются не словарями и грамматическими правилами, но статистическими и вероятностными моделями. Такие системы основываются на громадных объемах текста, так называемых корпусах. Большинство систем используют два корпуса. Первый – это набор предложений на языке перевода, позволяющий программистам разрабатывать «языковую модель». Анализируя это собрание предложений, языковая модель «понимает», что фраза «the blue car» в английском встречается чаще, чем «the car blue», и, выбирая между возможными вариантами перевода, предпочитает грамматически верный не потому, что знает правила грамматики, а потому, что этот вариант является наиболее распространенным. Второй корпус – это собрание предложений, которые были переведены людьми с одного языка на другой, с помощью этого корпуса создается «модель перевода». Модель перевода сообщает, что «el coche azul» чаще всего переводится с испанского как «синий автомобиль», хотя иногда встречается и вариант «авто цвета лазури». Так перевод нового текста становится цепью обоснованных догадок, когда модель перевода подбирает возможные эквиваленты предложения, а языковая модель стремится обеспечить грамматическую верность и читаемость.

Этот метод – статистический машинный перевод – стал возможен только в конце 1980-х. До тех пор компьютерам просто не хватало мощности для работы с огромными объемами данных, необходимыми для построения работающих моделей языка. Если для программы Джорджтаунского университета и IBM использование словаря в 250 слов было амбициозной задачей, корпус, который Google использует в качестве модели английского языка, состоит более чем из 95 миллиардов английских предложений. Учитывая объем данных, необходимых для эффективного использования этого метода, преимущество в их создании получили поисковые системы. Сам процесс индексирования сети предоставляет прекрасную возможность расширения языковых моделей. Однако даже такая система, как Google-переводчик, часто оказывается в рамках необходимости искать заслуживающие доверия параллельные корпусы текстов, а также фразы, переведенные на один или несколько языков.

Найти параллельный корпус совсем непросто, поскольку выполненный профессионалами высококлассный перевод (традиционно) стоит немалых денег. А работоспособность подобных систем обеспечивается их громадными размерами. Составленный Консорциумом лингвистических данных параллельный корпус для перевода между английским и китайским языками включает 200 миллионов слов, что много больше, чем в каждом из этих языков, однако для эффективной работы слова должны быть употреблены в самых разных контекстах. Многие тексты, которые мы могли бы использовать, как, например, переводы романов Стивена Кинга на десятки иностранных языков, остаются для нас недоступны из-за авторских прав. В поисках высококачественных переводных текстов в свободном доступе программисты часто используют правительственные документы: официальные резолюции ООН, переведенные на шесть рабочих языков организации; заседания Европейского парламента, в которых используются документы, переведенные на 23 официальных языка; постановления Канадского правительства, публикующиеся как на английском, так и на французском.

Поскольку процесс статистического машинного перевода – это, по сути, выбор наиболее вероятного перевода из набора примеров, использование таких источников приводит к возникновению забавных побочных эффектов: в машинном переводе мы все немного смахиваем на европейских парламентариев. Действительно, такие системы, как правило, куда лучше справляются с переводом официальных документов, чем с переложением полных сленга и жаргонных словечек мгновенных сообщений.

Так почему же американские и европейские репортеры и «факт-чекеры» не прочли с помощью машинного перевода материал Qilu Evening News, чтобы получить более полное представление о профессионально-техническом училище Ланьсян? Вероятно, отчасти в силу привычки. Долгие годы системы машинного перевода выдавали неудобоваримые, малоосмысленные результаты, и у журналистов развилось стойкое предубеждение против их использования. Однако за последние пять лет качество машинного перевода между китайским и английским резко возросло. Программисты оценивают качество машинного перевода, сравнивая его с работой профессиональных переводчиков. Такое сравнение легло в основу системы оценки качества машинного перевода – Bilingual Evaluation Understudy или BLEU, которая анализирует машинный перевод, подсчитывая количество тех же слов, расставленных в том же порядке, что и в работе профессионального переводчика. Когда специалисты Google решают, что оценка BLEU для новой пары языков (английский/китайский, например) достаточно высока, компания включает пару в набор инструментов Google, доступных бесплатно на translate.google.com. За шесть лет, с 2006 по 2011 год, этот порог преодолели 60 языковых пар.

Машинный перевод материала Qilu Evening News может произвести на журналистов неоднозначное впечатление. Я перевел эту статью с помощью сервиса Google[189] и получил, в частности, следующий результат:

Этот текст можно с грехом пополам разобрать, но читать его совсем непросто. Едва ли кто-нибудь сочтет, что это написано носителем английского языка. Цепкий и принципиальный репортер мог найти статью Qilu в переводе и использовать ее в продолжение своей истории. Но чтобы всякий англоговорящий, старающийся следить за китайскими событиями, ежедневно читал Qilu Evening News с помощью машинного перевода – это маловероятно. Кроме того, даже цепкий репортер мог бы не совсем верно понять прочитанную статью.

Когда IBM и Джорджтаунский университет начали программу перевода русских текстов, их цель состояла в том, чтобы создать систему, которая позволит автоматизировать часть работы по переводу статей научных журналов. При этом все понимали, что, прежде чем представлять их американским ученым, эти переводы нужно будет довести до ума вручную. В начале 1970-х годов программа забуксовала, а государственные спонсоры отвернулись от автоматического машинного перевода и сосредоточились на создании инструментов, которые могли бы повысить эффективность труда профессиональных переводчиков; то есть программах типа «запоминаем перевод», в которых сохраняется переработанная переводчиком сложная фраза, чтобы потом он или его коллеги могли к ней вернуться. Целью государственных структур США стало повышение эффективности живых переводчиков, а не совершенствование автоматизированного перевода.

Научная гонка между СССР и США уже не имеет того политического значения, как в 1950-х. Пережив холодную войну, мы вошли в эпоху сложного, многополярного мира, и теперь аудитория международных СМИ в правительстве США – это разведывательные структуры, в частности Центр открытых источников – подразделение ЦРУ, в котором глобальные события пытаются анализировать, читая местные газеты на пуштунском, азербайджанском и многих других языках. Газеты типа Baku Xalq Q?zeti для аналитиков ЦРУ переводят люди. Эти переводы широкой публике… почти доступны. Незасекреченные переведенные материалы, которые в настоящее время включают в себя посты в блогах, Twitter и на других платформах, министерство торговли США предлагает под маркой World News Connection. Переводы, в совокупности составляющие самую международную газету из известных человечеству, доступны подписчикам за 300 долларов в год, плюс четыре доллара за каждую статью из архива.[190]

Неудивительно, что подписчиков у World News Connection не так уж много: во-первых, это дорого, а во-вторых, большинство читателей, даже среди самых страстных поклонников Азербайджана, не станут изучать все материалы всех бакинских газет. Такие переводчики, как Роланд Сун, который перевел статью Qilu Evening News, ценны не только потому, что производят легко усваиваемый текст, но и потому, что действуют как фильтры, выбирая для перевода материалы, которые могут показаться интересными более широкой аудитории.

Оглавление книги