Компания OpenAI, создавшая ChatGPT и Dall-e, представила новую нейросеть Sora, которая может по текстовому запросу создавать «реалистичные» и «креативные» ролики. Это может изменить подход к созданию визуального контента.
Sora позволяет создавать видеозаписи продолжительностью до 60 секунд, при этом поддерживая высокое качество изображения и точно следуя указаниям пользователя. Основная задача проекта заключается в обучении искусственного интеллекта пониманию и имитации физического мира в движении.
Текстовый запрос в Sora для создания ролика выше: «Стильная женщина идет по улице Токио, наполненной теплым светом неоновых и анимированных вывесок. Она одета в черную кожаную куртку, длинное красное платье, черные ботинки. На ней солнцезащитные очки и красная помада. Она идет уверенно и непринужденно. Улица влажная и отражает свет. Много пешеходов вокруг».
Другие примеры запросов, по которым Sora уже способна генерировать видео, включают как реалистичные сцены людьми и животными, так и очевидно фантастические, например, с бродящими по снежному полю мамонтами или китами, плывущими по воздуху среди зданий.
На данный момент доступ к модели предоставлен экспертам по информационной безопасности для оценки потенциальных угроз и рисков, а также художникам и дизайнерам для получения обратной связи и дальнейшего совершенствования модели.
OpenAI акцентирует внимание на вопросах безопасности и этики использования Sora и разрабатывает инструменты для выявления фейкового контента, в том числе классификатор для определения видео, созданных с помощью ИИ. В случае интеграции модели в продукты OpenAI, планируется использование метаданных C2PA для улучшения прозрачности происхождения контента.
В техническом отношении модель Sora представляет собой сочетание GPT и диффузионной модели, генерирующей видео. Последняя начинает со случайного шума и постепенно убирает его в ходе множества шагов. Такой подход позволяет модели сохранять последовательность изображения объектов, даже если они временно выходят из поля зрения «камеры».
OpenAI, в рамках проекта Sora, стремится продемонстрировать потенциал развития искусственного интеллекта и возможности, которые появятся на горизонте в ближайшем будущем. Технический доклад по Sora будет опубликован позднее.
