Як працюють набори даних штучного інтелекту – і як художники можуть з ними співпрацювати

Деякі з найбільш знакових культурних моментів сталися в результаті співпраці Жана-Мішеля Баскія та Енді Ворхола відомий союз 1983 року до сучасних обмежених випусків крапель від сучасних художників і будинків моди.

Співпраця об’єднує різні точки зору, навички та впливи, що призводить до унікальних і часто новаторських творінь. Сьогодні митці розширюють свої горизонти співпраці завдяки партнерству з досить нетрадиційною творчою силою: штучним інтелектом (ШІ).

«У дні, коли ти маєш справу з письменницьким блоком або синапси T спрацьовують певним чином, було справді круто бачити, як Технології [AI] запускає цей творчий FLOW і розширює сферу ідей і можливостей для артистів», — сказав Кріс МакГаррі, засновник і генеральний директор музичної платформи AI. WarpSound.

Але якщо ви коли-небудь пробували використовувати мовну модель ШІ ChatGPT, ввів експериментальну підказку в модель перетворення тексту в зображення Стабільнадифузія або погралися з генератором тексту в музику Google MusicLM, можливо, ви помітили, що ШІ T може читати думки – принаймні поки. Ваші перші спроби роботи з інструментами штучного інтелекту можуть призвести до загальних результатів або просто таких, які T зовсім відповідають вашим задумам.

«Вони погані», — пожартував ONE музикант про свій досвід випробування музичних генераторів ШІ. Коментар був зроблений у травні під час семінару з виробництва музики ШІ під час інавгурації Саміт довжин хвиль у Брукліні, Нью-Йорк, організована мережею музичних досліджень Water & Music. Учасники аудиторії погодилися, що інструменти штучного інтелекту, незважаючи на складність, все ж мають помітну криву навчання.

Для креативних людей робота з машинним навчанням вимагає розуміння того, як найкраще передавати дані та вдосконалювати алгоритм, щоб доповнювати свої художні починання.

Як працюють набори даних

ONE із основних способів використання можливостей ШІ для художників є створення власних наборів даних, які зазвичай складаються з тексту, зображень, звуків, мелодій і відео. Для успіху кожного проекту машинного навчання можуть знадобитися навчальні набори даних різного розміру. Є багато корисних курси і відео доступні онлайн, які найкраще пояснюють, як оптимізувати набори даних.

Щоб створити потужний інструмент, який усе ще виглядає «автентичним», художники можуть навчити машини на основі своїх попередніх робіт. Це може допомогти їм відрізнити їхню співпрацю в області штучного інтелекту від тих, що генеруються безкоштовними моделями з відкритим вихідним кодом, які, як правило, використовують загальнодоступні дані та іноді можуть здатися сухими та загальними.

Загалом, дані безкоштовної моделі ШІ надходять із загальнодоступних джерел. Дані часто збирають інтернет-роботи, які збирають широкодоступну сировину та каталогізують інформацію. Водночас приватні компанії та дослідницькі фірми частіше використовують приватні набори даних, особливо коли йдеться про закони про авторське право.

«Ми повинні знайти способи використання даних, які є законними», — сказав Майкл Турбот, менеджер із просування Технології компанії Sony Computer Science Lab (CSL) Париж, незалежна дослідницька лабораторія, під час саміту Wavelengths Summit. Лабораторія працює далі Виробництво музики за допомогою ШІ інструменти для художників.

За словами Turbot, Sony CSL підлягає процесу аудиту від Sony Music Publishing, щоб працювати з будь-якими виконавцями, які зараз мають контракт із видавництвом. Тому компанія Sony CSL ретельно включала в свої набори даних лише юридично закриті звуки та пісні, вибираючи лише пісні, що є суспільним надбанням, або пісні, що належать виконавцям, які працюють у партнерстві з Sony CSL і які дали чіткий дозвіл.

«Ми повинні бути надзвичайно обережними з використанням даних», — сказав Турбот. «Інакше ми знаємо, що двері були б миттєво закриті людьми, або у своїй галузі, або з художниками».

Створення власного набору даних

Подібно до приватних компаній і лабораторій, художники можуть курувати власні набори даних, використовуючи власні матеріали. Складання правильного набору даних має вирішальне значення для того, щоб штучний інтелект точно відобразив унікальний стиль і голос виконавця. Набір даних є основою для алгоритмів ШІ, керуючи процесом прийняття рішень.

Уточнення набору даних AI передбачає багатоетапний процес. Це починається зі збору високоякісного вихідного матеріалу, або з музики виконавця, або з робіт, які відображають бажаний стиль. Деякі митці можуть об’єднувати різні набори даних, щоб представити епохи своєї творчої еволюції, або створювати унікальні набори даних для кожного нового проекту.

«Останнім часом я брав старі малюнки, коли був дуже молодим», — сказав фотореалістичний художник ШІ Клер Сільвер в лютому Twitter Space. "Я розміщував їх у ШІ з підказками спробувати відтворити те, що я бачив тоді, і намагався малювати, але T мав навичок, щоб поділитися. І це було справді круто".

Сільвер сказала, що використовує комбінацію моделей ШІ, в тому числі DreamStudio і НМКД.

Літературна художниця Саша Стайлз, яка співпрацює з мовними моделями GPT з 2018 року, каже, що вона налаштовує свої набори даних за допомогою «компендіуму навчальних матеріалів», який почався з чернеток її рукопису та всієї її «Human поезії». Потім вона додала нотатки про дослідження, довідкові матеріали та надихаючу літературу.

«Там [були] вірші та есе, які стосувалися того, про що я писав», — сказав Стайлз. «Є уривки з Т. С. Еліота, є уривки з Вітмена та Дікінсона, а також є невеликі фрагменти з різних статей новин».

Стайлз додав, що робота з мовною моделлю штучного інтелекту схожа на те, що «взяти всі речі, які крутилися в моїй голові, коли я працював над своїм рукописом, помістити їх у систему та використати алгоритми для їх синтезу».

З кожним носієм якість набору даних виконавця має значення для отримання найкращого результату, але особливо для музикантів якість AUDIO має велике значення. «Коли продюсер або художник використовує модель, важливо розуміти, що якість вхідного голосу є життєво важливою», — сказав Джеральдо Рамос, генеральний директор компанії Мойзес, програма, яка дозволяє музикантам створювати власну бібліотеку пісень. «Якщо співак погано виступає, вихід буде таким же поганим, як і вхід».

Дозвольте штучному інтелекту розвинути вас артистично

Незважаючи на очікується 42,6 мільярда доларів мистецька співпраця з ШІ все ще є експериментальною. Курування та вдосконалення набору даних штучного інтелекту вимагає розуміння машинного навчання, уваги до деталей, великого терпіння та достатньої цікавості.

Тим не менш, використання штучного інтелекту в креативних галузях T виглядає швидкоплинним трендом. Сама ідея сягає 1959 року, коли перша книга про комп'ютерну композицію музики було опубліковано, і, здається, воно тільки прискорюється з появою ігор у метавсесвіті Невзаємозамінні токени (NFT) на основі ШІ.

Хоча ШІ пропонує неймовірні можливості для творчих людей, деякі продовжують висловлювати занепокоєння про випадки його використання, стверджуючи, що штучний інтелект не може замінити ні Human емоції, ні зв’язок між артистами та фанатами. Але якщо ви хочете співпрацювати зі штучним інтелектом таким чином, щоб поважати ваше ремесло, розвиваючи свою роботу, створіть власний набір даних — чудовий спосіб почати.