Cómo funcionan los conjuntos de datos de IA y cómo pueden colaborar con ellos los artistas

Algunos de los momentos culturales más emblemáticos sucedieron como resultado de colaboraciones, desde Jean-Michel Basquiat y Andy Warholfamosa unión de 1983hasta las ediciones limitadas que lanzan hoy artistas contemporáneos y casas de moda.

Las colaboraciones unen diferentes perspectivas, habilidades e influencias, dando como resultado creaciones únicas y, a menudo, revolucionarias. Hoy en día, los artistas están ampliando sus horizontes colaborativos mediante alianzas con una fuerza creativa poco convencional: la inteligencia artificial (IA).

“En los días en los que estás lidiando con el bloqueo del escritor, o las sinapsis no se activan de cierta manera, ha sido realmente genial ver cómo la Tecnología [de IA] genera ese FLOW creativo y expande el ámbito de la ideación y las posibilidades para los artistas”, dijo Chris McGarry, fundador y director ejecutivo de la plataforma de música de IA. Sonido de deformación.

Pero si alguna vez has intentado utilizar el modelo de lenguaje de IAChatGPT, introdujo un mensaje experimental en el modelo de texto a imagenDifusión estableo jugó con el generador de texto a música de GoogleMúsicaLMQuizás hayas notado que la IA no puede leer la mente, al menos no todavía. Tus primeros intentos con herramientas de IA pueden generar resultados genéricos o que simplemente no reflejen lo que tenías en mente.

"Son malos", bromeó un músico sobre su experiencia probando generadores de música con IA. El comentario se hizo en mayo durante un taller sobre producción musical con IA en la inauguración. Cumbre de longitudes de ondaEn Brooklyn, Nueva York, organizado por la red de investigación musical Water & Music. Los participantes coincidieron en que las herramientas de IA, si bien sofisticadas, aún presentan una curva de aprendizaje considerable.

Para los creativos, abordar el aprendizaje automático requiere comprender cómo alimentarlo mejor con datos y refinar su algoritmo para complementar sus esfuerzos artísticos.

Cómo funcionan los conjuntos de datos

Una de las principales maneras en que los artistas pueden aprovechar el poder de la IA es creando sus propios conjuntos de datos, generalmente compuestos por texto, imágenes, sonidos, melodías y videos. Cada proyecto de aprendizaje automático puede requerir conjuntos de datos de entrenamiento de diferentes tamaños para tener éxito. Hay muchas herramientas útiles. cursos y vídeosdisponibles en línea que explican mejor cómo optimizar los conjuntos de datos.

Para crear una herramienta potente que mantenga la autenticidad, los artistas pueden entrenar máquinas basándose en su trabajo previo. Esto les ayuda a distinguir sus colaboraciones de IA de las generadas por modelos gratuitos y de código abierto, que suelen usar datos públicos y, en ocasiones, pueden resultar aburridos y genéricos.

En general, los datos de un modelo de IA gratuito provienen de fuentes públicas. Estos datos suelen obtenerse mediante bots que rastrean internet y recopilan información de fácil acceso. Por otro lado, las empresas privadas y las firmas de investigación tienden a utilizar conjuntos de datos propietarios, especialmente cuando las leyes de derechos de autor son un problema.

“Tenemos que encontrar formas de utilizar los datos que sean legales”, dijo Michael Turbot, gerente de promoción de Tecnología en Laboratorio de Ciencias de la Computación de Sony (CSL)París, un laboratorio de investigación independiente, durante la Cumbre de Longitudes de Onda. El laboratorio está trabajando enProducción musical asistida por IAHerramientas para artistas.

Según Turbot, Sony CSL está sujeta a un proceso de auditoría por parte de Sony Music Publishing para poder trabajar con cualquier artista que tenga contrato con la editorial. Por ello, Sony CSL ha tenido cuidado de incluir únicamente sonidos y canciones legalmente seguros en sus conjuntos de datos, optando únicamente por canciones de dominio público o canciones pertenecientes a artistas que trabajan en colaboración con Sony CSL y que han otorgado su autorización explícita.

“Debemos ser extremadamente cuidadosos con el uso de los datos”, dijo Turbot. “De lo contrario, sabemos que las personas, ya sea en su sector o en el de los artistas, nos cerrarían las puertas al instante”.

Creando tu propio conjunto de datos

Al igual que las empresas y los laboratorios privados, los artistas pueden crear sus propios conjuntos de datos con su propio material. Recopilar el conjunto de datos adecuado es crucial para garantizar que la IA capture con precisión el estilo y la voz únicos de un artista. El conjunto de datos sirve de base para los algoritmos de IA, guiando su proceso de toma de decisiones.

Refinar un conjunto de datos de IA implica un proceso de varios pasos. Comienza con la recopilación de material fuente de alta calidad, ya sea de la música del artista o de obras que reflejen su estilo deseado. Algunos artistas pueden fusionar diferentes conjuntos de datos para representar etapas de su evolución creativa u optar por crear conjuntos de datos únicos para cada nuevo proyecto.

“Últimamente, he estado tomando dibujos antiguos de cuando era muy joven”, dijo el artista de IA fotorrealistaClaire Silveren febreroEspacio de TwitterLos he estado usando IA con indicaciones para intentar recrear lo que veía en aquel entonces y lo que intentaba dibujar, pero no tenía la habilidad para compartirlo. Y eso ha sido genial.

Silver dijo que utiliza una combinación de modelos de IA, incluidosEstudio de sueños y NMKD.

La artista literaria Sasha Stiles, quien colabora con los modelos de lenguaje GPT desde 2018, afirma que personaliza sus conjuntos de datos con un "compendio de materiales de capacitación" que comenzó con borradores de su manuscrito y toda su "poesía Human ". Posteriormente, añadió notas de investigación, material de referencia y literatura inspiradora.

“Allí había poemas y ensayos relacionados con los temas sobre los que escribía”, dijo Stiles. “Hay extractos de T.S. Eliot, pasajes de Whitman y Dickinson, y también fragmentos de varios artículos periodísticos”.

Stiles agregó que trabajar con un modelo de lenguaje de IA fue como "tomar todas las cosas que rondaban en mi cabeza mientras trabajaba en mi manuscrito, ponerlas en un sistema y usar algoritmos para sintetizarlas".

En cualquier medio, la calidad del conjunto de datos de un artista es fundamental para obtener el mejor resultado, pero para los músicos en particular, la calidad del AUDIO es fundamental. "Cuando un productor o artista utiliza un modelo, es fundamental comprender que la calidad de la voz de entrada es vital", afirmó Geraldo Ramos, director ejecutivo de Moisés, una aplicación que permite a los músicos crear una biblioteca de canciones personalizada. «Si el cantante tiene una mala interpretación, el resultado será tan malo como la entrada».

Dejando que la IA te impulse artísticamente

A pesar de lase esperan 42.600 millones de dólaresSi bien hoy en día se invierte en IA generativa, las colaboraciones artísticas con IA aún son experimentales. Curar y refinar un conjunto de datos de IA requiere conocimientos de aprendizaje automático, atención al detalle, mucha paciencia y mucha curiosidad.

Dicho esto, el uso de la IA en las industrias creativas no parece ser una tendencia pasajera. La idea en sí se remonta a 1959, cuando... Primer libro sobre composición musical asistida por computadorase publicó, y parece que solo se está acelerando con el auge de los juegos de metaverso yTokens no fungibles (NFT) impulsados por IA.

Si bien la IA ofrece oportunidades increíbles para los creativos, algunassiguen expresando preocupaciones Sobre sus casos de uso, argumentando que la IA no puede reemplazar las emociones Human ni la conexión que se forma entre artistas y fans. Pero si quieres colaborar con la IA de forma que respete tu oficio y evolucione tu trabajo, crear tu propio conjunto de datos es una excelente manera de empezar.