Como funcionam os conjuntos de dados de IA – e como os artistas podem colaborar com eles

Alguns dos momentos culturais mais emblemáticos aconteceram como resultado de colaborações, de Jean-Michel Basquiat e Andy Warholfamoso sindicato de 1983para as edições limitadas de hoje de artistas contemporâneos e casas de moda.

As colaborações reúnem diferentes perspectivas, habilidades e influências, resultando em criações únicas e muitas vezes inovadoras. Hoje, os artistas estão expandindo seus horizontes colaborativos por meio de parcerias com uma força criativa pouco convencional: inteligência artificial (IA).

“Em dias em que você está lidando com bloqueio criativo, ou as sinapses T estão disparando de uma certa maneira, tem sido muito legal ver a Tecnologia [IA] despertar esse FLOW criativo e expandir o reino da ideação e da possibilidade para os artistas”, disse Chris McGarry, fundador e CEO da plataforma de música de IA Som de urdidura.

Mas se você já tentou usar o modelo de linguagem de IABate-papoGPT, inseriu um prompt experimental no modelo de texto para imagemDifusão estávelou brincou com o gerador de texto para música do GoogleMúsicaLM, você pode ter notado que a IA T consegue ler mentes – pelo menos não ainda. Suas primeiras tentativas de trabalhar com ferramentas de IA podem resultar em saídas genéricas, ou simplesmente aquelas que T capturam bem o que você tinha em mente.

“Eles são ruins”, brincou um músico sobre sua experiência ao testar geradores de música de IA. O comentário foi feito em maio durante um workshop sobre produção de música de IA na inauguração Cume dos comprimentos de ondano Brooklyn, Nova York, organizado pela rede de pesquisa musical Water & Music. Os participantes da audiência concordaram que as ferramentas de IA, embora sofisticadas, ainda vêm com uma curva de aprendizado perceptível.

Para os criativos, lidar com o aprendizado de máquina requer uma compreensão de como melhor alimentá-lo com dados e refinar seu algoritmo para complementar seus esforços artísticos.

Como funcionam os conjuntos de dados

Uma das principais maneiras pelas quais os artistas podem aproveitar o poder da IA ​​é criando seus próprios conjuntos de dados, normalmente compostos de texto, imagens, sons, melodias e vídeo. Cada projeto de aprendizado de máquina pode exigir conjuntos de dados de treinamento de tamanhos diferentes para ter sucesso. Há muitas cursos e vídeosdisponíveis on-line que explicam melhor como otimizar conjuntos de dados.

Para criar uma ferramenta poderosa que ainda pareça “autêntica”, os artistas podem treinar máquinas com base em seus trabalhos anteriores. Isso pode ajudá-los a distinguir suas colaborações de IA daquelas geradas por modelos gratuitos e de código aberto, que tendem a usar dados disponíveis publicamente e às vezes podem parecer secos e genéricos.

Em termos gerais, os dados de um modelo de IA livre vêm de fontes publicadas publicamente. Os dados são frequentemente obtidos por bots rastreadores da internet que coletam material bruto amplamente disponível e catalogam as informações. Enquanto isso, empresas privadas e firmas de pesquisa são mais propensas a usar conjuntos de dados proprietários, particularmente quando as leis de direitos autorais são uma preocupação.

“Temos de encontrar formas de utilizar dados que sejam legais”, disse Michael Turbot, gestor de promoção Tecnologia da Laboratório de Ciência da Computação da Sony (CSL)Paris, um laboratório de pesquisa independente, durante o Wavelengths Summit. O laboratório está trabalhando emProdução musical assistida por IAferramentas para artistas.

De acordo com Turbot, a Sony CSL está sujeita a um processo de auditoria da Sony Music Publishing para trabalhar com quaisquer artistas atualmente sob contrato com a editora. A Sony CSL, portanto, tem sido cuidadosa em incluir apenas sons e músicas legalmente herméticos em seus conjuntos de dados, optando apenas por músicas de domínio público ou músicas pertencentes a artistas trabalhando em parceria com a Sony CSL que deram permissão explícita.

“Temos que ser extremamente cuidadosos com o uso de dados”, disse Turbot. “Caso contrário, sabemos que as portas seriam imediatamente fechadas pelas pessoas, seja em sua indústria ou com artistas.”

Criando seu próprio conjunto de dados

Assim como empresas e laboratórios privados, os artistas podem fazer a curadoria de seus próprios conjuntos de dados usando seu próprio material. Compilar o conjunto de dados certo é crucial para garantir que a IA capture com precisão o estilo e a voz únicos de um artista. O conjunto de dados atua como a base para os algoritmos de IA, orientando seu processo de tomada de decisão.

Refinar um conjunto de dados de IA envolve um processo de várias etapas. Começa com a coleta de material de origem de alta qualidade, seja da música do artista ou de obras que refletem seu estilo desejado. Alguns artistas podem mesclar diferentes conjuntos de dados para representar eras em sua evolução criativa ou optar por criar conjuntos de dados exclusivos para cada novo projeto.

“Ultimamente, tenho pegado desenhos antigos de quando eu era muito jovem”, disse o artista fotorrealista de IAClaire Prataem fevereiroEspaço Twitter. “Eu os coloquei em IA com prompts para tentar recriar o que eu estava vendo naquela época e tentando desenhar, mas T tinha habilidade para compartilhar. E isso tem sido muito legal.”

Silver disse que usa uma combinação de modelos de IA, incluindoEstúdio de Sonhos e NMKD.

A artista literária Sasha Stiles, que colabora com os modelos de linguagem do GPT desde 2018, diz que personaliza seus conjuntos de dados com um “compêndio de materiais de treinamento” que começou com rascunhos de seu manuscrito e toda a sua “poesia Human ”. Ela então adicionou notas de pesquisa, material de referência e literatura inspiradora.

“Escondidos ali [havia] poemas e ensaios que eram pertinentes às coisas sobre as quais eu estava escrevendo”, disse Stiles. “Há trechos de T.S. Eliot, há passagens de Whitman e Dickinson e há, na verdade, pequenos pedaços de vários artigos de notícias também.”

Stiles acrescentou que trabalhar com um modelo de linguagem de IA era como “pegar todas as coisas que estavam girando na minha cabeça enquanto eu estava trabalhando no meu manuscrito, colocá-las em um sistema e usar algoritmos para sintetizá-las”.

Com cada meio, a qualidade do conjunto de dados de um artista importa para produzir o melhor resultado, mas para músicos em particular, a qualidade do AUDIO é de alta importância. “Quando um produtor ou artista usa um modelo, é essencial entender que a qualidade da voz de entrada é vital”, disse Geraldo Ramos, CEO da Moisés, um aplicativo que permite que músicos criem uma biblioteca personalizada de músicas. “Se o cantor tiver uma performance ruim, a saída será tão ruim quanto a entrada.”

Deixando a IA te desenvolver artisticamente

Apesar doesperados US$ 42,6 bilhõessendo despejados em investimentos em IA generativa hoje, colaborações artísticas com IA ainda são experimentais. Curar e refinar um conjunto de dados de IA requer uma compreensão de aprendizado de máquina, atenção aos detalhes, muita paciência e ampla curiosidade.

Dito isto, usar IA em indústrias criativas T parece ser uma tendência passageira. A ideia em si remonta a 1959, quando a primeiro livro sobre composição musical auxiliada por computadorfoi publicado e parece estar apenas acelerando com o surgimento dos jogos do metaverso eTokens não fungíveis (NFTs) alimentados por IA.

Embora a IA ofereça oportunidades incríveis para os criativos, algumascontinuar a expressar preocupações sobre seus casos de uso, argumentando que a IA não pode substituir a emoção Human , nem a conexão formada entre artistas e fãs. Mas se você quiser colaborar com a IA de maneiras que respeitem sua arte enquanto evolui seu trabalho, criar seu próprio conjunto de dados é uma ótima maneira de começar.