L’IA décentralisée regagne de l’importance ces derniers mois, car de plus en plus de personnes commencent à explorer l’intersection entre le Web3 et l’IA générative. Si la plupart des gens s’accordent à dire que la décentralisation peut avoir des effets positifs pour l’IA, les voies techniques spécifiques se heurtent à des obstacles majeurs.

Par exemple, alors que nous pensons tous que les réseaux de calcul décentralisés (DePIN) peuvent aider à contrebalancer les jeux d’accumulation de GPU dominés par les grandes plateformes technologiques, la réalité est que les exigences de pré-formation et de réglage fin des grands modèles de fondation nécessitent des topologies de GPU concentrées avec des bus de communication massifs.

De même, les réseaux de données décentralisés semblent être une bonne idée pour atténuer la concentration croissante des données dans les grandes entreprises. Mais, dans la pratique, les tentatives pour résoudre ce problème n’ont rencontré qu’un succès très médiocre.

Lorsque l’on réfléchit à la décentralisation de l’IA, il est important de comprendre que l’IA a tendance à évoluer de plus en plus vers des architectures centralisées, ce qui rend tout effort de décentralisation incroyablement difficile. Pour que l’IA générative décentralisée surmonte ces défis naturels, elle doit s’appuyer sur quatre tendances clés ou les influencer :

• Pour que l’IA décentralisée devienne réalisable, l’IA générative open source doit devenir plus courante
• L'IA décentralisée est un jeu d'inférence et rien d'autre
• Les infrastructures de calcul et de données Web3 doivent évoluer pour répondre aux exigences des modèles de base
• Les modèles de base doivent être adaptés pour fonctionner dans des infrastructures décentralisées. La plupart des chemins vers une IA décentralisée dépendent de variantes de ces quatre idées.
  

L'IA comme force de centralisation

Dans l'histoire de la Technologies, il existe des tendances qui évoluent fondamentalement vers des Marchés centralisés, tandis que d'autres sont des Marchés plus ouverts et équilibrés. Le mobile est l'exemple canonique d'une Technologies qui a évolué vers un marché centralisé avec deux acteurs principaux.

Cela est principalement dû aux exigences complexes en termes de matériel, de logiciels, de recherche, de chaîne d'approvisionnement et de distribution, que seules quelques entreprises peuvent maîtriser. D'autres tendances, comme les bases de données, ont commencé comme des forces de centralisation avec des entreprises comme Oracle, IBM et Microsoft, et ont évolué vers des Marchés plus compétitifs avec de nombreux acteurs open source.

L’IA est ONEune des technologies les plus centralisées de l’histoire. Cela est évidemment dû aux dépendances dans des domaines tels que le calcul ou les données, qui sont également fondamentalement centralisés. De ce point de vue, il est naturel de s’attendre à ce que le marché de l’IA soit dominé par une poignée d’entreprises.

Tout marché centralisé peut utiliser une force de contrepoids. En ce sens, il est tentant de penser que les blockchains pourraient être cet élément. Bien que cette conclusion soit correcte dans le sens directionnel, pour se concrétiser, elle nécessitera l’impulsion des forces extérieures du marché ainsi que l’adoption généralisée de l’IA générative open source et l’évolution de l’infrastructure et des modèles de base du Web3.

L'IA générative open source doit devenir courante

Il n’y a pas d’IA générative décentralisée sans IA générative open source. La vague d’innovation dans l’IA générative open source est certainement époustouflante, mais seule une poignée d’entreprises, telles que HuggingFace, Meta, Mistral ou Stability, sont des alternatives viables à OpenAI, Anthropic ou Google.

L'IA décentralisée se concentrera sur les flux de travail d'inférence avec des modèles de base open source

Les applications d’entreprise soumises à de fortes contraintes de sécurité et de Politique de confidentialité , ainsi que les startups d’IA dans les secteurs réglementés, semblent être de puissants vecteurs de croissance pour l’IA générative open source. Dans ces scénarios, l’infrastructure d’IA Web3 peut devenir une alternative viable. Si nous partons du principe que l’IA générative open source gagnera un certain niveau d’adoption généralisée, le prochain défi consiste à comprendre quels cas d’utilisation au sein du cycle de vie des solutions d’IA générative sont bien adaptés aux infrastructures décentralisées.

L'IA décentralisée est un jeu d'inférence

En termes simples, le cycle de vie des modèles d’IA génératifs peut être divisé en trois phases principales : la pré-formation, le réglage fin et l’inférence.

Les deux premières concernent la généralisation des connaissances par les modèles à partir des données, tandis que l'inférence est liée aux prédictions produites par les modèles. La taille extrêmement importante des modèles de base et leurs exigences de calcul complexes rendent les infrastructures décentralisées totalement impraticables pour les scénarios de pré-formation et de réglage fin.

Ces flux de travail nécessitent des centaines ou des milliers de GPU connectés par des bus de communication hautes performances capables d'ingérer des données et de recalculer les pondérations d'un modèle pendant des semaines ou des mois. Sans compter que les données nécessaires à la pré-formation et au réglage fin sont souvent stockées dans des centres de données cloud, et qu'il est donc totalement prohibitif de les transférer vers une infrastructure décentralisée.

L’inférence est un scénario beaucoup plus pratique pour l’IA générative décentralisée et, sans doute, le ONE qui pourrait fonctionner dans l’état actuel des technologies. Du point de vue du marché, les charges de travail d’inférence représentent également un pourcentage plus élevé des revenus de l’IA générative. Maintenant que nous savons que l’IA décentralisée se concentrera sur les flux de travail d’inférence avec des modèles de base open source, nous devons déterminer quel type d’infrastructure Web3 peut prendre en charge ces cas d’utilisation.

Les infrastructures Web3 doivent se développer

La génération actuelle d'environnements d'exécution de blockchain n'a pas été conçue pour exécuter de grands modèles de fondation, même pour des cas d'utilisation d'inférence. Pour relever ce défi, de nouveaux environnements d'exécution de blockchain optimisés pour des charges de travail de calcul plus importantes et plus complexes sont absolument nécessaires. Le calcul d'inférence hors chaîne est un bon compromis, mais ONE ne répond T entièrement aux problèmes de centralisation de l'IA générative.

Les modèles de fondation doivent devenir plus petits

L'année dernière, Microsoft a inventé le terme « petits modèles de langage » en s'appuyant sur ses travaux sur un modèle de base appelé Phi et sur l'emblématique article« Les manuels scolaires sont tout ce dont vous avez besoin »Le petit Phi n'avait que 3B paramètres et était pré-entraîné sur une série de manuels d'informatique, et il était capable de surpasser 70B modèles dans les tâches de mathématiques et d'informatique.

Les travaux sur Phi ont montré que des modèles plus petits et plus spécialisés constituent ONEune des étapes les plus importantes vers l’adoption de l’IA générative. De la même manière que les infrastructures Web3 doivent évoluer pour adopter les modèles de base, la tendance SLM peut rendre les modèles plus pratiques à exécuter sur l’infrastructure Web3. Il est peu probable que nous voyions une infrastructure Web3 exécuter un modèle à mille milliards de paramètres dans un avenir NEAR , mais le 2B-3B est certainement possible.

Un chemin difficile mais possible vers une IA décentralisée

L’idée d’une IA générative décentralisée est triviale sur le plan conceptuel mais très difficile à mettre en œuvre dans la pratique. L’IA évolue naturellement vers une Technologies de plus en plus centralisée, et tout effort de décentralisation est une bataille difficile. L’adoption généralisée de modèles d’IA générative open source est essentielle à la viabilité des infrastructures d’IA décentralisées. De même, l’état actuel de l’IA générative suggère que la plupart des cas d’utilisation initiaux de l’IA décentralisée se concentreront sur l’inférence plutôt que sur la pré-formation ou le réglage fin. Enfin, pour que l’IA décentralisée soit pratique, les infrastructures Web3 doivent évoluer sur plusieurs ordres de grandeur, tandis que les modèles de base doivent devenir plus petits et plus adaptables aux environnements décentralisés.

Cette combinaison de facteurs représente la meilleure voie vers une IA générative décentralisée. Ce chemin sera extrêmement difficile mais, du moins pour l’instant, certainement possible.