Россиянин обучил нейросеть «оживлять» известные картины. Его хобби помогло увидеть другую улыбку Моны Лизы

Фото: Instagram*

Россиянин Денис Ширяев «оживил» известные картины с помощью нейросетей. У молодого человека есть и другие проекты — ролики с невероятно хорошим качеством, которые были сняты в XIX и XX веках. Если вас интересовало, как могла выглядеть Мона Лиза в реальной жизни, то мы покажем. А как удалось достичь такого эффекта, в интервью «360» рассказал сам творец.

Денис Ширяев — молодой человек, который не получал программистского образования, а просто четыре года назад начал заниматься работой с нейронными сетями. Самое первое видео на канале Ширяева появилось четыре месяца назад. Тогда он выпустил переделанное видео 1896 года под названием «Прибытие поезда в Ла-Сьота». Отличие работы Ширяева от исходника в том, что он сделан нейросетью в высоком разрешении и хорошем качестве — будто съемку вели в XXI веке. Ролик Ширяева набрал почти четыре миллиона просмотров.

Другие работы Ширяева похожего формата. Он брал старые видео, обучал нейросеть преображать картинку и выкладывал на YouTube. Он также превратил ролик 1906 года с видом на Сан-Франциско в современный, а также преобразовал «самое старое записанное видео» — «Сцена в саду Раундхэй». Это самый первый известный фильм в истории кинематографа, датированный 14 октября 1888 года. Кадры нейросеть смогла преобразить в полноценное видео.

На днях Ширяев попробовал новый формат — «оживление» картин. Он взял семь известных работ художников и обучил нейронную сеть превращать портрет в живого человека (не буквально), который даже может улыбаться, смеяться, грустить или задумчиво смотреть. В числе выбранных картин была «Мона Лиза» (написана между 1503 и 1505 годами Леонардо да Винчи).

Также нейросеть смогла «оживить» картину «Рождение Венеры» (1482–1486, Сандро Боттичелли).

Всего в ролике семь картин. Помимо вышеуказанных, там есть: «Девушка с жемчужной сережкой», «Ночной дозор», «Автопортрет с терновым ожерельем и колибри», «Дама с горностаем», «Американская готика».

Несколько нейросетей работали как одна

«360» удалось пообщаться с автором «оживленных» картин Денисом Ширяевым. Он рассказал, что примерно четыре года занимается нейронными сетями, но это не его рабочая сфера, а только хобби. Все началось с Telegram-канала о нейронных сетях, где Ширяев публиковал интересные для него алгоритмы работы.

Например, одна нейронная сеть обучена на десятках тысячах фотографий и «галлюцинирует» лицо, похожее на то, которое дается в виде картины, пытается сделать что-то наиболее похожее.

Другая сеть позволяет применить эмоции из TikTok-видео на уже сгенерированную картину, в итоге получается наслоение нейронных сетей.

Ролик с «оживлением» картин Ширяев делал в свободное время. Это заняло у него примерно три месяца. Сначала он хотел сделать подборку из 15 картин, потом из 10, но когда понял, что все это занимает много времени, остановился на семи.

В начале мая на канале Ширяева вышло видео Берлина в 1945 году, но его заблокировали правообладатели из Германии. Уговоры не помогли, и теперь ролик посмотреть нельзя. Для Ширяева обидно было, что на то творение он потратил очень много времени, так как вычисления нейронных сетей быстро не происходят.

На этом работа Ширяева не закончена. Он планирует «оживить» портреты других известных людей, события и пейзажи. Через какое-то время молодой человек планирует показать, как мог выглядеть Вольфганг Моцарт.

    Пока ничего не найдено

    Задизайнено в Студии Артемия Лебедева Информация о проекте