La IA descentralizada está recuperando protagonismo en los últimos meses a medida que más personas comienzan a explorar la intersección de la Web3 y la IA generativa. Si bien la mayoría de las personas están de acuerdo en que la descentralización puede tener beneficios positivos para la IA, los caminos técnicos específicos se topan con obstáculos importantes.

Por ejemplo, si bien todos pensamos que las redes informáticas descentralizadas (DePIN) pueden ayudar a contrarrestar los juegos de acumulación de GPU dominados por las grandes plataformas tecnológicas, la realidad es que los requisitos de preentrenamiento y ajuste de los grandes modelos de base requieren topologías de GPU concentradas con buses de comunicación masivos.

De manera similar, las redes de datos descentralizadas parecen una idea clara para mitigar la creciente concentración de datos en las grandes empresas, pero en la práctica los intentos de resolver ese problema han tenido un éxito muy mediocre.

Al pensar en la descentralización de la IA, es importante darse cuenta de que la IA tiende a evolucionar cada vez más hacia arquitecturas centralizadas, lo que hace que cualquier esfuerzo de descentralización sea increíblemente desafiante. Para que la IA generativa descentralizada supere esos desafíos naturales, debe depender de cuatro tendencias clave o influir en ellas:

• Para que la IA descentralizada sea factible, la IA generativa de código abierto debe volverse más común
• La IA descentralizada es un juego de inferencia y nada más
• Las infraestructuras de datos y computación de la Web3 deben escalarse para satisfacer las demandas de los modelos de base
• Los modelos de base deben adaptarse para funcionar en infraestructuras descentralizadas. Casi todos los caminos hacia la IA descentralizada dependen de algunas de estas cuatro ideas.

La IA como fuerza de centralización

En la historia de la Tecnología, existen tendencias que evolucionan fundamentalmente hacia Mercados centralizados, mientras que otras son Mercados más abiertos y equilibrados. El móvil es el ejemplo canónico de una Tecnología que evolucionó hacia un mercado centralizado con dos actores principales.

Esto se debe principalmente a los complejos requisitos en términos de hardware, software, investigación, cadena de suministro y distribución, que solo unas pocas empresas pueden dominar. Otras tendencias, como las bases de datos, comenzaron como fuerzas de centralización con empresas como Oracle, IBM y Microsoft, y evolucionaron hacia Mercados más competitivos con muchos actores de código abierto.

La IA tiene ONE de los ADN más centralizados de cualquier tecnología de la historia. Esto se debe, obviamente, a las dependencias en áreas como la informática o los datos, que también están fundamentalmente centralizadas. Desde esa perspectiva, es natural esperar que el mercado de la IA esté dominado por un puñado de empresas.

Cualquier mercado centralizado puede utilizar una fuerza de contrapeso. En ese sentido, es tentador pensar que las cadenas de bloques podrían ser ese elemento. Si bien esa conclusión es correcta en términos direccionales, para materializarse requerirá el impulso de fuerzas externas del mercado, así como la adopción generalizada de la IA generativa de código abierto y la evolución de la infraestructura y los modelos de base de la Web3.

La IA generativa de código abierto debe convertirse en una práctica común

No existe una IA generativa descentralizada sin una IA generativa de código abierto. La ola de innovación en IA generativa de código abierto es ciertamente impresionante, pero solo un puñado de empresas, como HuggingFace, Meta, Mistral o Stability, son alternativas viables a OpenAI, Anthropic o Google.

La IA descentralizada se centrará en flujos de trabajo de inferencia con modelos básicos de código abierto

Las aplicaciones empresariales con fuertes restricciones de seguridad y Privacidad , así como las empresas emergentes de IA en industrias reguladas, parecen ser fuertes vectores de crecimiento para la IA generativa de código abierto. En esos escenarios, la infraestructura de IA Web3 puede convertirse en una alternativa viable. Si asumimos que la IA generativa de código abierto alcanzará cierto nivel de adopción generalizada, el próximo desafío es comprender qué casos de uso dentro del ciclo de vida de las soluciones de IA generativa son adecuados para infraestructuras descentralizadas.

La IA descentralizada es un juego de inferencia

En términos simplistas, el ciclo de vida de los modelos de IA generativa se puede dividir en tres fases principales: preentrenamiento, ajuste e inferencia.

Los dos primeros tienen que ver con lograr que los modelos generalicen el conocimiento en función de los datos, mientras que la inferencia está relacionada con las predicciones que generan los modelos. El tamaño extremadamente grande de los modelos de base y sus complejos requisitos computacionales hacen que las infraestructuras descentralizadas sean completamente imprácticas para escenarios de preentrenamiento y ajuste.

Estos flujos de trabajo requieren cientos o miles de GPU conectadas por buses de comunicación de alto rendimiento que pueden ingerir datos y recalcular pesos en un modelo durante semanas o meses. Sin mencionar que los datos necesarios para el preentrenamiento y el ajuste fino a menudo se almacenan en centros de datos en la nube, por lo que trasladarlos a una infraestructura descentralizada resulta completamente prohibitivo en términos de costos.

La inferencia es un escenario mucho más práctico para la IA generativa descentralizada y, posiblemente, el ONE que podría funcionar en el estado actual de las tecnologías. Desde una perspectiva de mercado, las cargas de trabajo de inferencia también representan un porcentaje mayor de los ingresos de la IA generativa. Ahora que sabemos que la IA descentralizada se centrará en los flujos de trabajo de inferencia con modelos de base de código abierto, debemos determinar qué tipo de infraestructura Web3 puede respaldar esos casos de uso.

Las infraestructuras Web3 necesitan crecer

La generación actual de entornos de ejecución de cadenas de bloques no ha sido diseñada para ejecutar grandes modelos de base, ni siquiera para casos de uso de inferencia. Para abordar ese desafío, definitivamente se necesitan nuevos entornos de ejecución de cadenas de bloques optimizados para cargas de trabajo computacionales más grandes y complejas. La computación de inferencia fuera de la cadena es un buen punto intermedio, pero no T por completo las preocupaciones de centralización con la IA generativa.

Los modelos de base deben hacerse más pequeños

El año pasado, Microsoft acuñó el término "pequeños modelos de lenguaje" basándose en su trabajo sobre un modelo de base llamado Phi y el icónico artículo"Los libros de texto son todo lo que necesitas"El pequeño Phi tenía solo 3B parámetros y fue entrenado previamente con una serie de libros de texto de informática, y pudo superar a 70B modelos en tareas de matemáticas y ciencias de la computación.

El trabajo sobre Phi indicó que los modelos más pequeños y especializados son ONE de los pasos más importantes hacia la adopción de la IA generativa. De la misma manera que las infraestructuras Web3 necesitan escalar para adoptar modelos básicos, la tendencia SLM puede hacer que los modelos sean más prácticos para ejecutarse en la infraestructura Web3. Es poco probable que veamos una infraestructura Web3 que ejecute un modelo de un billón de parámetros en el futuro NEAR , pero es definitivamente posible que se alcancen entre 2 y 3 mil millones de millones.

Un camino difícil pero posible hacia la IA descentralizada

La idea de una IA generativa descentralizada es conceptualmente trivial, pero muy difícil en la práctica. La IA evoluciona naturalmente como una Tecnología cada vez más centralizada, y cualquier esfuerzo de descentralización es una batalla cuesta arriba. La adopción generalizada de modelos de IA generativa de código abierto es esencial para la viabilidad de las infraestructuras de IA descentralizadas. De manera similar, el estado actual de la IA generativa sugiere que la mayoría de los casos de uso iniciales de la IA descentralizada se centrarán en la inferencia en lugar del preentrenamiento o el ajuste fino. Finalmente, para que la IA descentralizada sea práctica, las infraestructuras de la Web3 deben escalar en varios órdenes de magnitud, mientras que los modelos de base deben volverse más pequeños y más adaptables a los entornos descentralizados.

Esa combinación de factores representa el mejor camino hacia una IA generativa descentralizada. Ese camino será extremadamente difícil pero, al menos por ahora, ciertamente posible.