Ученые из США доказали, что Realtime API от OpenAI для голосовой связи может быть использован для дешевой автоматизации телефонного мошенничества. Об этом сообщает SecurityLab.
Идея о возможных злоупотреблениях голосовыми ИИ-моделями появилась еще в июне, когда OpenAI задержала выпуск голосовой функции в ChatGPT из-за вопросов безопасности. Ранее компания демонстрировала голосовую модель, имитирующую голос знаменитости, но отозвала инструмент после реакции со стороны общественности.
Тем не менее выпущенный в начале октября Realtime API предоставляет схожие возможности сторонним разработчикам. Он позволяет отправлять текст или аудио модели GPT-4o и получать ответы в виде текста, аудио или их комбинации. Несмотря на принятые меры безопасности, риск злоупотреблений оказался высоким, что подтвердили результаты эксперимента ученых из Иллинойского университета в Урбане-Шампейн (UIUC).
Ученые разработали ИИ-агентов, целью которых было телефонное мошенничество. Стоимость каждого удачного звонка составила около $0,75. Для создания агентов потребовалось около тысячи строк кода, основная часть которого была направлена на работу с голосовым API.
ИИ-агенты использовали модель GPT-4o, инструмент автоматизации браузеров Playwright и инструкции для совершения мошенничеств. Сценарии включали взлом банковских аккаунтов и криптовалютных кошельков, кражу подарочных кодов и учетных данных. Отмечается, что для успешного перевода денег с банковского счета агенту потребовалось 26 шагов.
Успех различных сценариев варьировался. Кража учетных данных Gmail достигала 60% успеха, занимала 122 секунды и обходилась в $0,28. Переводы с банковских счетов оказались сложнее — среднее время выполнения составило 183 секунды при 20% успеха и стоимостью $2,51.
Средний показатель успеха всех сценариев составил 36%, а средняя стоимость — $0,75. Основные причины неудач заключались в ошибках распознавания речи и сложности навигации по банковским сайтам.
Авторы исследования отмечают, что для противодействия автоматизированному телефонному мошенничеству нужен комплексный подход, аналогичный кибербезопасности, включающий усилия провайдеров сотовой связи, поставщиков ИИ и регуляторов.
Ранее OpenAI назвала сроки создания новой модели искусственного интеллекта.