Цивилизация
В начале июня в Российском государственном гуманитарном университете проходила крупная международная конференция по компьютерной лингвистике и интеллектуальным технологиям «Диалог». Татьяна Даниэлян, заместитель директора по разработке технологий ABBYY, в частности лингвистической платформы Compreno, рассказала «Газете.Ru» о том, как робот общается с человеком, а машина читает тексты.
— Какие качественные изменения произошли в компьютерной лингвистике за последние десять лет?
— Даже за последние пять лет произошли большие сдвиги в этой области, предопределившие взрывное развитие систем искусственного интеллекта:
персональных помощников, роботов, которые умеют общаться с человеком, голосовых ассистентов, «умных» чат-ботов. Работа таких технологий была бы невозможна без компьютерной лингвистики.
Почему все это происходит именно сейчас? Во-первых, в открытом доступе на разных языках появилось очень много ресурсов, где есть готовые данные для работы систем искусственного интеллекта. Если раньше компьютерным лингвистам нужно было вручную готовить необходимые для проведения экспериментов и разработок коллекции текстов (корпуса), то сейчас для любых исследований есть готовые корпуса.
Кроме того, для машинного обучения появилось много средств, которые могут использоваться в различных исследованиях. Это и очень простые классификаторы, которые позволяют применять лингвистические признаки, и очень сложные, но готовые для универсального использования нейросети. Например, уже сейчас можно просто прочитать инструкцию и развернуть такую нейросеть у себя: повторить ее топологию, включить все что нужно и дальше уже проводить эксперименты.
— На какой стадии находятся разработки искусственного интеллекта и в каком направлении стоит двигаться ученым?
— Сейчас прекрасное время для искусственного интеллекта: различные разработки в этом направлении очень активно развиваются, и дальше их число будет расти. Почему теперь это возможно? Компьютеры стали мощнее, они используются в разных областях, где теперь можно применять машинное обучение на больших данных. И дальше эти результаты используются для работы любого искусственного интеллекта.
На текущий момент все разработки в этом направлении нацелены на то, чтобы у человека была возможность освободиться от рутинной работы, — это во-первых.
А во-вторых, благодаря таким разработкам можно исключить человека там, где человеческий фактор, к сожалению, играет скорее отрицательную роль, чем положительную. Безусловно, искусственный интеллект не заменит полностью человека. Но он нужен, чтобы облегчить нам жизнь. И мы с вами решаем, куда дальше будет двигаться искусственный интеллект.
Направлений искусственного интеллекта очень много. И если говорить про ту область, где применяются результаты работы компьютерной лингвистики, то это все, что касается NLP (Natural Language Processing — обработка естественного языка. — «Газета.Ru»). Уже сейчас мы все используем устройства, которые умеют, например, нажатием одной кнопки преобразовывать голос в текст. Сегодня такие сервисы становятся все более умными и учатся отвечать на запросы на человеческом языке. Это и Siri, и GoogleNow, и Amazon с устройством Echo и электронным ассистентом Alexa. Все эти голосовые-языковые интерфейсы, создание которых не было бы возможно без участия компьютерных лингвистов, в ближайшие годы будут окружать нас повсюду и совершенно изменят характер взаимодействия человека и устройств вокруг него. Искусственный интеллект — это и роботы, которые сейчас везде: робот-пылесос или...
— Робот-медсестра?
— Да, тот, который умеет общаться с больными.
И еще неизвестно, кто лучше общается — робот или человек. Это некоторый этический вопрос.
Но кто задает роботам набор фраз для общения с людьми? Человек. Как правило, такие выражения вносят именно компьютерные лингвисты.
Но под роботами мы понимаем не только устройства, но и сами технологии, которые позволяют извлекать и анализировать текстовую информацию. Например, вы приходите в магазин и вводите вопрос в телевизор: «Где мне купить стиральную машину вертикальной загрузки с объемом 20 л воды?» На самом деле там внутри тоже есть некоторый «робот» — технология, способная анализировать ваш запрос и отвечать на него.
— Вы сказали, что роботу необходимый набор фраз задает человек. Как выбираются такие слова и предложения?
— Сейчас все подобные технологии ограничены предметной областью. Это набор лексики, синтаксических конструкций и вообще конструкций, который не всегда задает компьютерный лингвист. Иногда это делает человек, который разбирается в какой-то определенной теме. Далее проходит некоторое машинное обучение, и робот может комбинировать различным образом фразы, которые ему задали.
Так вот, слова и выражения выбираются в зависимости от предметной области. Например, есть робот, который помогает детям с аутизмом концентрировать свое внимание и взаимодействовать с окружающим миром. Для этого он общается с помощью заложенных в него слов и комментариев, может похвалить ребенка. Конечно же, для этого ограничивают его предметную область — не только объем лексики, но и объем конструкций, который может использовать этот робот для общения.
В этой области компьютерная лингвистика очень активно сотрудничает с психологией и применяется в смежных областях.
Почему? Потому что психологи сейчас особенно интересуются речью: каким образом человек говорит; что именно он говорит; как он говорит, если он здоров; как он говорит, если нервничает. Я имею в виду не только порядок слов и ту лексику, которую он использует, но и различные интонации.
— Расскажите, пожалуйста, более подробно о Compreno. Как применяется этот продукт?
— Это технология интеллектуальной обработки информации. Применений у нее очень много. Одно из них — это классификация потока входящих документов. В организациях есть набор документов, который разложен «по папочкам». Что значит «по папочкам»: есть определенная логика, как распределяется информация. Любой документ, который пришел в компанию, неважно, откуда и как, — это может быть, к примеру, электронная почта — должен попасть в определенную «папку» и получить специальную категорию. Такая классификация применяется, например, в работе техподдержки. Все входящие обращения автоматически анализируются по смыслу и направляются в соответствующие департаменты. Это нужно, чтобы сотрудники читали и обрабатывали только необходимые им документы и информацию, а следовательно, клиенты быстрее получали ответы на свои вопросы.
Compreno также используется для анализа и извлечения информации в самых разных бизнес-процессах компании: продажах и маркетинге, HR, бухгалтерском и финансовом учете, а также при работе с государственными органами. Например, нужно понять, что клиент пишет о компании, и технология анализирует его сообщения. Или в компанию приходит масса резюме, из которых нужно извлечь необходимые данные о кандидате, проверить их и загрузить в корпоративную систему. Финансисты и сотрудники бухгалтерии часто сталкиваются с абсолютно разными формулировками в поле назначения платежа, каждый такой текст необходимо проанализировать, причем по смыслу. Отдельный трудоемкий бизнес-процесс, требующий точности и реакции, — это предоставление информации по запросу государственных органов. Например, банкам из огромного количества текстовой информации нужно оперативно найти и переслать в госорган необходимые данные.
Благодаря интеллектуальной обработке весь процесс занимает минимальное количество времени и происходит автоматически.
Еще одна возможность извлечения информации — проверка соответствия ТЗ (техническое задание) и проектной документации объектов строительства. То есть нужно определить, какие между ТЗ и проектной документацией есть неточности, противоречия и так далее. Без извлечения информации это сделать невозможно, потому что ТЗ — одна структура, а конечная документация — другая, и их нужно сравнивать по определенным параметрам. Чтобы провести такое сравнение, эти параметры нужно извлечь отовсюду.
И наконец, интеллектуальный поиск, который позволяет расширить возможности корпоративных информационных систем.
Вам достаточно отправить системе запрос так, как вы его себе формулируете. То есть не когда вы что-то ищете по ключевым словам, например «купить машина два рубля», а как вы сами хотите.
Это лишь часть из всех возможных способов использования программы распознавания текстов в разных бизнес-процессах. Compreno — это очень большой «движок»: есть морфологический модуль, есть семантический, синтаксический, есть извлечение информации. В решениях используются разные возможности программы, но это все равно одна система.
— Может ли чем-то пригодиться Compreno не в бизнесе, а в повседневном использовании?
— Мы сами такое не делаем в компании. Мы сейчас ориентируемся именно на бизнес-заказчика. Но наши партнеры могут взять этот продукт и сделать то приложение на его базе, которое им требуется. У нас есть студенческие проекты, которые мы ведем в компании. У нас две кафедры в МФТИ и одна в РГГУ. Студенты трех кафедр могут брать наши внутренние технологии, то есть OCR (Optical Character Recognition — оптическое распознавание символов. — «Газета.Ru») и Compreno, и делать на их базе различные решения. Сейчас у нас есть, например, прекрасный проект. Студенты взяли Compreno, проанализировали три произведения Жюля Верна и сделали визуализацию. Все делали сами. Я у них только ментором работала, помогала тем, что рассказывала об особенностях работы: как, что можно сделать и так далее. Концепция и реализация — их. Они взяли различные движки, и сейчас вы можете использовать их визуализацию и очень быстро проанализировать любую книжку.
Вы можете узнать, какие там были персонажи, куда ездили, где они путешествовали, посмотреть все на карте, узнать, во что они были одеты, как общались друг с другом и так далее.
— Если мы еще раз вернемся к распознаванию текста и извлечению информации — поступали ли к вам когда-нибудь запросы от «Антиплагиата» и интересно ли вам работать в этой области?
— Именно с использованием Compreno к нам не поступали такие задачи. Были немного другие, я объясню почему. «Антиплагиат» сейчас нужен только преподавателям, для того чтобы понять, откуда были надерганы цитаты. Это можно сделать и без нашего продукта, он для этого слишком умен. Это все равно что забивать гвозди микроскопом, это не нужно. Сейчас есть очень простые средства, которые позволяют отсечь заимствования.
А есть и другой сценарий, когда кто-то берет текст и его переделывает, начиная с того, что все слова заменяет синонимами, и заканчивая тем, что просто берет смысл и переделывает структуру. Тут, конечно, без специальной программы не обойтись — у нас был такой проект, но я пока не могу раскрывать клиентов.