Студент чернігівської політехніки за допомогою штучного інтелекту створив музичний кліп

Ці зображення повністю згенеровані нейронною мережею, а так безпосередньо вона працює.

Студент чернігівської політехніки, програміст і один із учасників молодого рок-гурту Ігор Меліхов зміг налаштувати штучний інтелект таким чином, аби він створював анімацію на кожен рядок авторської пісні, враховуючи їхній сенс, і трансформував кадри відповідно до змісту наступного.



Ігор Меліхов, учасник гурту The Streechers, програміст: «Для України такий кліп створений вперше. Були кліпи, які оброблялися нейронними мережами, тобто спочатку записувалися живі люди, а потім нейронні мережі створювали якісь додаткові спецефекти. Але такого, аби весь кліп з нуля був написаний нейромережею такого в Україні ще не було».

За словами Ігоря, у світі є кілька подібних проєктів. Там для візуалу до музики використовували чіткий прозовий текст. Також є роботи, для яких мережа була навчена з інших кліпів, вони є теж доволі абстрактні.

Спочатку хлопець спробував просто використати існуючу програму, на яку випадково натрапив у соцмережах. Але потім удосконалив її і отримав більш конкретні образи.

Так як для роботи мережа використовує випадкові числа і величини, на один і той же текст щоразу вона генерує послідовність нових унікальних зображень. Весь процес обробки однієї пісні триває від кількох годин доби. Хлопець наочно показує як це працює.

Серед тих анімацій, що обрані після кількох спроб запуску і змонтовані, вгадуються пейзажі, квіти, собака, пташка, метелик, кісточка, тощо. Натомість решта неоднозначних фрагментів – це спроба нейронної мережі передати настрій і своє бачення.

Ігор впевнений, що його досвід – це один із кроків до створення повноцінного візуального контенту до пісень у такий спосіб. Загалом же у нейромереж широке застосування.

Що стосується власне рок-гурту, то це історія дружби і творчості чотирьох молодих людей ще зі школи. У 2020 році вони випустили дебютний альбом з авторськими композиціями і нині працюють над наступним. У своїх роботах поєднують звучання класичного британського року з елементами рок-н-ролу, прогресивного року, кантрі, класичної музики та R&B. Знайти групу, а також переглянути унікальний кліп, можна в ютубі, або через сторінку у Фейсбуці.

Сюжет телеканалу «Дитинець»

Хочете отримувати головне в месенджер? Підписуйтеся на наш Telegram.

Додати в: