Comment fonctionnent les ensembles de données d'IA et comment les artistes peuvent collaborer avec eux

Certains des moments culturels les plus emblématiques sont le fruit de collaborations, de celles de Jean-Michel Basquiat à celles d'Andy Warhol.célèbre syndicat de 1983aux éditions limitées d’aujourd’hui des artistes contemporains et des maisons de mode.

Les collaborations rassemblent des perspectives, des compétences et des influences différentes, donnant naissance à des créations uniques et souvent révolutionnaires. Aujourd'hui, les artistes élargissent leurs horizons collaboratifs grâce à des partenariats avec une force créative peu conventionnelle : l'intelligence artificielle (IA).

« Les jours où vous êtes confronté au syndrome de la page blanche ou où les synapses T fonctionnent pas d'une certaine manière, c'est vraiment cool de voir la Technologies [IA] déclencher ce FLOW créatif et élargir le domaine de l'idéation et des possibilités pour les artistes », a déclaré Chris McGarry, fondateur et PDG de la plateforme musicale AI. WarpSound.

Mais si vous avez déjà essayé d’utiliser le modèle de langage de l’IAChatGPT, a saisi une invite expérimentale dans le modèle texte-imageDiffusion stableou joué avec le générateur de texte en musique de GoogleMusiqueLMVous avez peut-être remarqué que l'IA ne lit T dans les pensées – du moins pas encore. Vos premières tentatives d'utilisation d'outils d'IA pourraient aboutir à des résultats génériques, ou simplement ne T refléter exactement ce que vous aviez en tête.

« Ils sont mauvais », a plaisanté un musicien à propos de son expérience avec les générateurs de musique IA. Ce commentaire a été formulé en mai lors d'un atelier sur la production musicale IA, lors de la cérémonie d'inauguration. Sommet des longueurs d'ondeÀ Brooklyn, New York, organisé par le réseau de recherche musicale Water & Music, les participants ont convenu que les outils d'IA, bien que sophistiqués, nécessitent néanmoins une courbe d'apprentissage importante.

Pour les créatifs, aborder l’apprentissage automatique nécessite de comprendre comment l’alimenter au mieux en données et affiner son algorithme pour compléter ses efforts artistiques.

Comment fonctionnent les ensembles de données

ONEun des principaux moyens par lesquels les artistes peuvent exploiter la puissance de l'IA est de créer leurs propres ensembles de données, généralement composés de textes, d'images, de sons, de mélodies et de vidéos. Chaque projet d'apprentissage automatique peut nécessiter des ensembles de données d'entraînement de différentes tailles pour réussir. De nombreuses ressources sont utiles. cours et vidéosdisponibles en ligne qui expliquent au mieux comment optimiser les ensembles de données.

Pour créer un outil puissant et authentique, les artistes peuvent entraîner des machines à partir de leurs travaux antérieurs. Cela peut les aider à distinguer leurs collaborations d'IA de celles générées par des modèles libres et open source, qui ont tendance à utiliser des données accessibles au public et peuvent parfois paraître arides et génériques.

En règle générale, les données d'un modèle d'IA gratuit proviennent de sources publiques. Elles sont souvent obtenues par des robots d'exploration d'Internet qui récupèrent des données brutes largement disponibles et les cataloguent. Par ailleurs, les entreprises privées et les cabinets d'études sont plus susceptibles d'utiliser des ensembles de données propriétaires, notamment lorsque le droit d'auteur est en jeu.

« Nous devons trouver des moyens d’utiliser les données qui soient légaux », a déclaré Michael Turbot, responsable de la promotion Technologies chez Laboratoire d'informatique Sony (CSL)Paris, laboratoire de recherche indépendant, lors du Sommet des Longueurs d'Ondes. Le laboratoire travaille surProduction musicale assistée par l'IAoutils pour artistes.

Selon Turbot, Sony CSL est soumise à un processus d'audit de Sony Music Publishing afin de pouvoir collaborer avec des artistes actuellement sous contrat avec la maison d'édition. Sony CSL a donc pris soin d'inclure uniquement des sons et des chansons juridiquement irréprochables dans ses bases de données, en privilégiant uniquement les chansons du domaine public ou celles appartenant à des artistes travaillant en partenariat avec Sony CSL et ayant donné leur autorisation explicite.

« Nous devons être extrêmement prudents dans notre utilisation des données », a déclaré Turbot. « Sinon, nous savons que les portes nous seraient immédiatement fermées, que ce soit par les acteurs de leur secteur ou par les artistes. »

Créer votre propre ensemble de données

À l'instar des entreprises et des laboratoires privés, les artistes peuvent créer leurs propres ensembles de données à partir de leur propre matériel. Compiler les données adéquates est crucial pour garantir que l'IA capture avec précision le style et la voix uniques d'un artiste. Ces données servent de base aux algorithmes d'IA et guident son processus décisionnel.

L'affinement d'un ensemble de données d'IA implique un processus en plusieurs étapes. Il commence par la collecte de sources de haute qualité, issues de la musique de l'artiste ou d'œuvres reflétant son style. Certains artistes fusionnent différents ensembles de données pour représenter les différentes époques de leur évolution créative ou choisissent de créer des ensembles de données uniques pour chaque nouveau projet.

« Dernièrement, j'ai repris de vieux dessins de quand j'étais très jeune », a déclaré l'artiste IA photoréalisteClaire Silveren févrierEspace TwitterJe les ai intégrés à l'IA avec des invites pour essayer de recréer ce que je voyais à l'époque et ce que je dessinais, mais je n'avais T les compétences nécessaires pour le partager. Et c'est vraiment génial.

Silver a déclaré qu'elle utilise une combinaison de modèles d'IA, notammentDreamStudio et NMKD.

L'artiste littéraire Sasha Stiles, qui collabore avec les modèles linguistiques GPT depuis 2018, explique qu'elle personnalise ses ensembles de données grâce à un « recueil de supports de formation » composé de brouillons de son manuscrit et de toute sa « poésie Human ». Elle y ajoute ensuite des notes de recherche, des documents de référence et des ouvrages inspirants.

« J'y ai rangé des poèmes et des essais en rapport avec les sujets que j'abordais », a expliqué Stiles. « Il y a des extraits de T.S. Eliot, des passages de Whitman et Dickinson, et même des extraits de divers articles de presse. »

Stiles a ajouté que travailler avec un modèle de langage d'IA, c'était comme « prendre toutes les choses qui tourbillonnaient dans ma tête lorsque je travaillais sur mon manuscrit, les mettre dans un système et utiliser des algorithmes pour les synthétiser ».

Quel que soit le support, la qualité des données d'un artiste est essentielle pour obtenir le meilleur résultat. Mais pour les musiciens en particulier, la qualité AUDIO est primordiale. « Lorsqu'un producteur ou un artiste utilise un modèle, il est essentiel de comprendre que la qualité vocale d'entrée est primordiale », a déclaré Geraldo Ramos, PDG de Moïse, une application qui permet aux musiciens de se constituer une bibliothèque musicale personnalisée. « Si le chanteur joue mal, le résultat sera aussi mauvais que le résultat initial. »

Laissez l'IA vous étirer artistiquement

Malgré le42,6 milliards de dollars attendusBien que les investissements dans l'IA générative soient aujourd'hui importants, les collaborations artistiques avec l'IA demeurent expérimentales. La gestion et l'affinement d'un ensemble de données d'IA nécessitent une compréhension de l'apprentissage automatique, une attention aux détails, beaucoup de patience et une grande curiosité.

Cela dit, l'utilisation de l'IA dans les industries créatives ne semble T être une tendance passagère. L'idée elle-même remonte à 1959, lorsque premier livre sur la composition musicale assistée par ordinateura été publié, et cela ne semble que s'accélérer avec l'essor du jeu métavers etJetons non fongibles (NFT) alimentés par l'IA.

Bien que l’IA offre des opportunités incroyables aux créatifs, certainscontinuer à exprimer ses inquiétudes À propos de ses cas d'utilisation, il a soutenu que l'IA ne peut remplacer l'émotion Human , ni le lien qui se crée entre artistes et fans. Mais si vous souhaitez collaborer avec l'IA tout en respectant votre art et en faisant évoluer votre travail, créer votre propre ensemble de données est un excellent point de départ.