Содержание:
Runway ML — нейросеть для создания видео от стартапа RunwayML. Используя генеративную модель ИИ Gen-1 позволяет пользователям преобразовывать видео прямо на своих телефонах или компьютерах.
Что такое Runway ML?
Runway ML — платформа для создания видео от стартапа Runway. Используя генеративную модель ИИ Gen-1 позволяет пользователям преобразовывать видео прямо на своих телефонах или компьютерах.
Помимо стандартного набора для любого видеоредактора, эта нейросеть может накладывать автоматические субтитры, генерировать текст для видео, а также преобразовать видео при помощи какого-либо эффекта. Главная особенность такого формата работы в том, что на изображение накладывается не фильтр, а оно полноценно преобразовывается в соответствующей стилистике: например, если применить фильтр “пластилин” — то все действующие лица в нем будут сделаны будто бы из пластилина. Рендер происходит быстро, занимая 1-2 минуты.
Что умеет нейросеть Runway ML?
Все инструменты сервиса можно разделить на 4 подгруппы:
- Генерация видео контента и изображений на основе тз. В качестве Тз выступает или запрос пользователя, или готовый материал, который он предоставил
- Работа с объектами: удаление объектов, размытие лиц, раскрашивание цветом и цветокоррекция, датчик движения объектов и т.д.
- Работа с фоном: удаление или замена фона, добавление зеленого экрана, блюр.
- Редактирование: удаление лишних шумов, раскадровка, генерация субтитров и транскрипция.
Функционал у нейросети огромен, мы протестируем несколько самых полезных функциях и расскажем о них вам.
Где скачать Runway ML для Android и iPhone
Runway ML доступен только в виде приложения для компьютера и пока не предлагает версию для Android. Вы можете скачать его на официальном веб-сайте RunwayML.com и установить его на свой компьютер, чтобы начать использовать его мощные функции машинного обучения.
Для пользователей iPhone недавно было выпущено приложение. Обладатели яблока могут скачать его, как и любое другое приложение, в GooglePlay.
Как пользоваться нейросетью Runway ML
Для начала в ней нужно зарегистрироваться. Открываем сайт: https://runwayml.com/
И нажимаем кнопку Sign Up в верхнем правом углу.
Далее выбираем регистрацию через аккаунт Гугл. Можете использовать другой способ. если вам так удобнее.
На следующем скриншоте подписали, какие инструменты и где находятся в админке, чтоб вы не запутались:
Далее попробуем сам функционал Ранвей. Начнем, пожалуй, с преобразования изображения в видео.
Как сделать видео из картинки при помощи Runway ML
Нажмите на кнопку “Image to Video”.
Нажмите на надпись “upload a file” и выберите изображение на компьютере. Дождитесь загрузки.
Нажмите на кнопку “generate”. Дождитесь завершения генерации.
Как видим, получилось нечто немного странное, но достаточно рельефно и живописно. При использовании качественных фотографий и электронных рисунков результат выходит лучше. В данном случае в генератор мы засунули картину нашего сотрудника 🙂 Таким образом можно использовать эту нейронку для арбитража трафика, например, генерировать с её помощью креативы.
Как сделать видео из текста при помощи Runway ML
С картинкой мы удачу попытали, попробуем сгенерировать видеозапись из текста.
Для начала нам нужен сам текст. Идем в нейросеть для написания сказок 🙂
Пишем сюда короткое начало для сказки:
И вуаля — получаем целую историю для ИИ! Теперь идем обратно в ранвей и выбираем функцию “Text to Video”.
Копируем из Порфирича нашу историю про кота и вставляем в гугл переводчик. Это важно! Из текстов на русском языке ранвей генерирует кракозябры:
После переведенный текст вставляем в генератор:
Нажимаем на кнопку “generate”. Дождитесь завершения генерации!
Готово. Вот такую видеозапись сгенерировал ИИ по нашей сказке.
Как заменить фон через Runway ML
Выбираем функцию “Remove Background”.
В библиотеке ассетов слева выбираем видео, в котором заменив фон. В нашем случае мы хотим поменять фон коту из истории выше 🙂
Ассет появляется в колонке справа. Нажимает под ним кнопку “Add to timeline”.
Расставьте внутри объекта маркеры, которые позволят нейросети выделить его по контуру автоматически.
Дождитесь, пока создастся маска выделения.
Нажмите “Go to project”. Фон удалится автоматически.
Теперь можем поставить на фон всё, что угодно.Не забудьте поместить кадр с фоном ниже, чем ваше изображение без фона.
Мы в библиотеке ассетов взяли картину, которую уже использовали, и просто добавили на слой за объектом, после чего растянули по ширине.
Теперь наш кот не в офисе, а в горах. Отправили его в отпуск 🙂 По желанию в редакторе Ранвей можно также добавить музыку.
Как раскрасить фото через Runway ML
Для этой задачи мы взяли рандомную фотку из поиска гугл.
Открываем Ранвей, нажимаем на кнопку “view all tools”.
Листаем до инструмента “Add Colors”. Выбираем его.
Выбираем файл и загружаем его в сервис.
Нажимаем кнопку “Colorise”. Ждем.
Вот такой итог получился!
С колоризацией ЧБ изображений Ранвей справляется на отлично.
Примеры результатов из Runway ML
Собрали в отдельную тему свои примеры того, что можно сгенерировать в Ранвей.
Функционал у ИИ очень широкий и интересный, показать всё в одном обзоре — просто не реально. Пока на взгляд автора этого текста самый полезный навык — удаление фона.
Плюсы и минусы Runway ML
Плюсы
- Широкий функционал, благодаря которому можно сделать с видео или фото буквально что угодно.
- Есть 3Д генератор.
- Постоянно обучается и развивается, постепенно проходит адаптацию под мобильные устройства.
- Можно хранить готовые проекты внутри сервиса.
- Есть возможность добавить сюда и отредактировать автоматические субтитры.
Минусы
- Не поддерживает русский язык.
- На базовом тарифе можно лимит видео имеет ограничение по длительности до 12 минут. Если нужен более длинный хронометраж, воспользуйтесь платной подпиской.
- Если исходник недостаточно четкий, выдает кракозябры.
- Есть 2 минутный колдаун при выполнении любых операций.
- нет приложения под Андроид (а сейчас это принципиально важно, ведь многие монтируют видео с телефона).
- Требует модерации в ряде операций, так как в противном случае может удалить с видео лишнее или наоборот не прихватить нужный вам фрагмент.
Какие аналоги есть у Runway ML?
На рынке существует несколько аналогов Runway ML, которые также предлагают возможности машинного обучения и создания интерактивных проектов. Некоторые из них включают:
- Google Colab: Это бесплатная платформа, предоставляемая Google, которая позволяет запускать код Python в облаке с использованием библиотек машинного обучения, таких как TensorFlow и PyTorch.
- TensorFlow.js: Это библиотека машинного обучения, разработанная Google, которая позволяет запускать модели машинного обучения непосредственно в веб-браузере, что обеспечивает возможность создания интерактивных проектов с использованием машинного обучения.
- PyTorch: Это фреймворк машинного обучения с открытым исходным кодом, разработанный Facebook. PyTorch предлагает широкий выбор моделей и алгоритмов машинного обучения и позволяет создавать и обучать собственные модели.
- OpenAI: OpenAI предлагает несколько платформ и инструментов для исследования и разработки в области искусственного интеллекта, включая GPT (Generative Pre-trained Transformer), позволяющий создавать тексты, и DALL-E, модель для генерации изображений.
- Hugging Face: Hugging Face предоставляет библиотеки и модели для обработки естественного языка и генерации текста. Они также разработали библиотеку Transformers, которая содержит широкий выбор предобученных моделей для различных задач.
Каждый из этих аналогов имеет свои особенности и преимущества, и выбор зависит от конкретных потребностей и задач, с которыми вы сталкиваетесь.
Как видим, Runway ML — крутой и современный сервис, который должен облегчить жизнь и работу и видеомонтажерам, и блоггерам. Бесплатной версии платформы хватит в том числе и для студенческих проектов, поэтому мы рекомендуем взять ее на вооружение. Сказать точно, получится ли здесь создавать дипфейки, как это делали пользователи Миджорни, но для рабочих задач — крутой сервис.
Краткое резюме по статье
Ранвей МЛ можно использовать для создания, редактирования и корректирования видео. Функционал этой программы настолько огромен, что в одном сервисе одновременно можно и раскрашивать черно-белое видео, и заменять фон, и корректировать качество картинки, и генерировать запись по ключевым словам с субтитрами. +
Ранвей МЛ можно использовать для создания, редактирования и корректирования видео. Функционал этой программы настолько огромен, что в одном сервисе одновременно можно и раскрашивать черно-белое видео, и заменять фон, и корректировать качество картинки, и генерировать запись по ключевым словам с субтитрами.
Можно ли пользоваться Runway ML бесплатно? +
Да, можно. В пробном тарифе вы получаете 125 кредитов на использование нейросети. Одновременно вы сможете создать до 3 проектов, которые в сумме могут занять до 5 ГБ места в сервисе. Сохранять видеозапись можно будет в качестве до 720р. Докупить кредиты на использование нейросети не получится. 1 кредит — это от 6 до 25 секунд сгенерированного видео. Если нужно больше возможностей, используйте платный тариф. Стоимость платного тарифа начинается от 12$
Может ли Runway ML заменить видеомонтажера? +
Хотя этот сервис и имеет широкий функционал для обработки видео, он не является полноценным заменителем видеомонтажера. Runway ML сконцентрирован на предоставлении возможностей машинного обучения и создании интерактивных проектов, использующих модели и алгоритмы искусственного интеллекта.
Однако, Runway ML может быть полезным дополнением к видеомонтажному процессу. Например, с помощью Runway ML можно использовать модели генеративной искусственной нейронной сети для создания уникальных визуальных эффектов или алгоритмы распознавания объектов для автоматического маркирования и индексации видеофайлов. Это позволяет усилить креативный потенциал и уникальность видеомонтажа.
Таким образом, вместе с видеомонтажером, Runway ML может быть использован как инструмент для расширения возможностей обработки видео и создания уникальных эффектов.
Какие лимиты есть в Runway ML? +
В Ранвей есть несколько тарифов. В базовом вы сможете создать до 3 проектов, которые в сумме могут занять до 5 ГБ места в сервисе. Сохранять видео можно будет в качестве до 720р. Докупить кредиты на использование нейросети не получится. 1 кредит — это от 6 до 25 секунд сгенерированного видео.
Какие аналоги есть у Runway ML? +
На рынке существует несколько аналогов Runway ML, которые также предлагают возможности машинного обучения и создания интерактивных проектов. Некоторые из них: Google Colab — бесплатная платформа Google; TensorFlow.js еще одно детише от Google, которая позволяет запускать модели машинного обучения непосредственно в веб-браузере; PyTorch — фреймворк машинного обучения с открытым исходным кодом, разработанный Facebook; OpenAI — несколько платформ и инструментов для исследования и разработки в области искусственного интеллекта, включая GPT; Hugging Face — библиотеки и модели для обработки естественного языка и генерации текста. Они также разработали библиотеку Transformers, которая содержит широкий выбор предобученных моделей для различных задач.
Каждый из этих аналогов имеет свои особенности и преимущества, и выбор зависит от конкретных потребностей и задач, с которыми вы сталкиваетесь.
Чем Runway ML отличается от Stable Diffusion? +
Runway ML — это полнофункциональная платформа для работы с машинным обучением и создания интерактивных проектов, в то время как Stable Diffusion — это конкретный алгоритм для генерации стабильных изображений. Если вам нужно работать с машинным обучением в разных контекстах и задачах, Runway ML может предложить широкий набор инструментов и моделей. Если ваша задача сосредоточена исключительно на генерации стабильных изображений, то Stable Diffusion может быть более подходящим вариантом.
