Google представляє Gemini Omni, модель штучного інтелекту, яка створює та редагує відео з тексту, зображень та аудіо
Gemini Omni — це нова модель штучного інтелекту від Google, яка генерує відео на основі кількох вхідних даних та редагування з використанням природної мови.
Google представила Gemini Omni, нову модель штучного інтелекту, яка підсилює мультимодальні можливості платформи Gemini, зосереджуючись на створенні та редагуванні відео з різних типів вхідних даних. По суті, це пряма еволюція Nano Banana, призначеної для створення та редагування зображень.
Gemini Omni була розроблена для прийняття та поєднання різних форматів вхідних даних, включаючи текст, зображення, аудіо та відео, що дозволяє їй генерувати відеоконтент на основі цих посилань. За даними Google, модель поєднує можливості міркування з генерацією контенту, використовуючи знання Gemini для структурування сцен з візуальною та контекстною узгодженістю.
Серед основних функцій — редагування відео за допомогою природної мови. Користувач може давати послідовні інструкції, і кожна зміна інтегрується в історію редагування. Цей процес дозволяє зберігати узгодженість таких елементів, як персонажі, сценарії та фізична динаміка, протягом усього відео, навіть після багаторазових модифікацій.
Система також дозволяє трансформувати існуючі відео. Можна змінювати дії, вводити нові елементи або повністю модифікувати візуальний контекст послідовності. Google повідомляє, що модель зберігає безперервність наративу, навіть коли застосовуються суттєві зміни, включаючи зміни стилю, середовища або кадрування.
Gemini Omni інтегрує більш детальний підхід до моделювання фізичних явищ, таких як гравітація, кінетична енергія та динаміка рідин, з метою зробити згенеровані відео більш реалістичними. Крім того, модель спирається на знання Gemini в таких галузях, як наука, історія та культура, що дозволяє їй створювати контент, який виходить за рамки візуального реалізму та представляє концептуальну узгодженість.
Інше застосування включає створення пояснювальних відео. З коротких описів система може генерувати візуальний контент, який допомагає ілюструвати складніші концепції, використовуючи анімацію та графічні зображення.
Gemini Omni також дозволяє об'єднувати різні посилання в один результат, що означає, що зображення, текст, відео та аудіо можна використовувати як основу для створення нового контенту. На початковому етапі аудіопідтримка обмежується голосовими посиланнями, і планується розширення на інші типи звукового введення. Користувач також може визначати візуальні стилі або ефекти за допомогою інструкцій природною мовою або довідкових матеріалів.
Серед доступних функцій – створення відео з цифровими аватарами, які дозволяють генерувати контент із зовнішністю та голосом користувача. Google зазначає, що продовжує тестувати функції, пов’язані з редагуванням аудіо та мовлення, зосереджуючись на відповідальному використанні цих технологій.
Усі відео, згенеровані за допомогою Gemini Omni, містять невидимий цифровий водяний знак під назвою SynthID, який дозволяє ідентифікувати контент, створений штучним інтелектом. Перевірку можна виконати за допомогою інструментів, пов’язаних з екосистемою Gemini, включаючи додаток, Chrome та Пошук Google.
Перша модель цього нового покоління, Gemini Omni Flash, вже почала бути доступною через додаток Gemini та платформу Google Flow для користувачів з підписками Google AI Plus, Pro та Ultra. Компанія також підтвердила інтеграцію в YouTube Shorts та додаток YouTube Create, де вона буде доступна без додаткової плати, починаючи з цього тижня.
Начало
Вход
Регистрация