Исследователи искусственного интеллекта (ИИ) из подразделения Google Research американской корпорации Google создали генератор видеоконента по текстовым запросам под названием Lumiere. Команда разместила отчет о проделанной работе на платформе научных публикаций arXive.
Согласно описанию, новая нейросеть сможет генерировать готовые ролики в высоком разрешении в соответствии с короткими запросами вида «два енота читают книгу».
Google описывает технологию, лежащую в основе нового инструмента, как «революционную архитектуру пространства-времени U-Net». Она была разработана для создания видео за один сеанс работы ИИ-модели.
Инструмент может как создавать видеоролики с нуля, так и редактировать уже готовые клипы в соответствии с запросами. Также Lumiere способен анимировать статичное изображение.
В Google пока не уточнили, планируют ли они сделать Lumiere общедоступным сервисом, и если да, то как скоро. Это может быть связано с юридическими последствиями, которые возникнут из-за генерации в Lumiere видеороликов с нарушением законов об авторском праве.
Ранее нейросеть Сбера сумела превзойти ChatGPT по качеству ответов на английском.