A IA deve ser descentralizada, mas como?

A intersecção da Web3 com a inteligência artificial (IA), especificamente na forma de IA generativa, tornou-se um dos tópicos mais quentes de debate dentro da comunidade Cripto . Afinal, a IA generativa está revolucionando todas as áreas de Stacks de software tradicionais, e a Web3 não é exceção. Dado que a descentralização é a CORE proposta de valor da Web3, muitos dos projetos e cenários emergentes de IA generativa da Web3 projetam alguma forma de proposta de valor de IA generativa descentralizada.

Jesus Rodriguez é o CEO da IntoTheBlock.

Na Web3, temos uma longa história de olhar para cada domínio através de uma lente de descentralização, mas a realidade é que nem todos os domínios podem se beneficiar da descentralização, e para cada domínio, há um espectro de cenários de descentralização. Decompor essa ideia de um ponto de vista de primeiros princípios nos leva a duas perguntas-chave:

• A IA generativa merece ser descentralizada?
• Por que a IA descentralizada T funcionou em escala antes e o que há de diferente na IA generativa?
• Quais são as diferentes dimensões da descentralização na IA generativa?

Essas questões estão longe de ser triviais, e cada uma ONE pode desencadear debates apaixonados. No entanto, acredito que pensar nessas questões é essencial para desenvolver uma tese abrangente sobre as oportunidades e os desafios na intersecção da Web3 e da IA ​​generativa.

A IA merece ser descentralizada?

O caso filosófico para descentralizar a IA é simples. IA é conhecimento digital, e conhecimento pode ser a construção número um do mundo digital que merece ser descentralizada. Ao longo da história da Web3, fizemos muitas tentativas de descentralizar coisas que funcionam extremamente bem em uma arquitetura centralizada, e onde a descentralização T forneceu benefícios óbvios. Conhecimento não é um dos candidatos naturais para descentralização, tanto do ponto de vista técnico quanto econômico.

O nível de controle que está sendo acumulado pelos grandes provedores de IA está criando uma lacuna enorme com o resto da concorrência a ponto de estar se tornando assustador. A IA não evolui linearmente ou mesmo exponencialmente; ela segue uma curva multiexponencial.

Leia Mais: Jesus Rodriguez - Como os protocolos DeFi estão construindo capacidades mais granulares e extensíveis

O GPT-4 representa uma melhoria massiva em relação ao GPT 3.5 em muitas dimensões, e essa trajetória provavelmente continuará. Em algum momento, torna-se inviável tentar competir com provedores de IA centralizados. Um modelo de rede descentralizada bem projetado pode permitir um ecossistema no qual diferentes partes colaboram para melhorar a qualidade dos modelos, o que permite acesso democrático ao conhecimento e compartilhamento dos benefícios.

Transparência é o segundo fator que pode ser considerado ao avaliar os méritos da descentralização em IA. Arquiteturas de modelos de fundação envolvem milhões de neurônios interconectados em várias camadas, tornando impraticável entender usando práticas tradicionais de monitoramento. Ninguém realmente entende o que acontece dentro do GPT-4, e a OpenAI não tem incentivos para ser mais transparente nessa área. Redes de IA descentralizadas podem permitir benchmarks de testes abertos e guardrails que fornecem visibilidade sobre o funcionamento de modelos de fundação sem exigir confiança em um provedor específico.

Por que a IA descentralizada T funcionou até agora?

Se o caso da IA ​​descentralizada é tão claro, então por que T vimos nenhuma tentativa bem-sucedida nessa área? Afinal, a IA descentralizada não é uma ideia nova, e muitos de seus princípios datam do início dos anos 1990. Sem entrar em detalhes técnicos, a principal razão para a falta de sucesso das abordagens de IA descentralizada é que a proposta de valor era questionável, na melhor das hipóteses.

Antes de grandes modelos de fundação entrarem em cena, o paradigma de arquitetura dominante eram diferentes formas de aprendizado supervisionado que exigiam conjuntos de dados altamente curados e rotulados, que residiam principalmente dentro dos limites corporativos. Além disso, os modelos eram pequenos o suficiente para serem facilmente interpretáveis usando ferramentas tradicionais. Finalmente, o caso do controle também era muito fraco, pois nenhum modelo era forte o suficiente para causar qualquer nível de preocupação.

Em uma reviravolta um tanto paradoxal, a proeminência da IA generativa em larga escala e de modelos de base de forma centralizada ajudou a tornar viável o caso da IA descentralizada pela primeira vez na história.

Agora que entendemos que a IA merece ser descentralizada e que desta vez é um pouco diferente das tentativas anteriores, podemos começar a pensar sobre quais elementos específicos requerem descentralização.

As dimensões da descentralização na IA

Quando se trata de IA generativa, não há uma abordagem única para a descentralização. Em vez disso, a descentralização deve ser considerada no contexto das diferentes fases do ciclo de vida dos modelos de fundação. Aqui estão três estágios principais no ciclo de vida operacional dos modelos de fundação que são relevantes para a descentralização:

• O pré-treinamento é o estágio em que um modelo é treinado em grandes volumes de conjuntos de dados rotulados e não rotulados.
• O ajuste fino, que normalmente é opcional, é a fase na qual um modelo é “retreinado” em conjuntos de dados específicos do domínio para otimizar seu desempenho em diferentes tarefas.
• Inferência é o estágio em que um modelo gera previsões com base em entradas específicas.

Ao longo dessas três fases, há diferentes dimensões que são boas candidatas à descentralização.

A Dimensão da Descentralização Computacional

A computação descentralizada pode ser incrivelmente relevante durante o pré-treinamento e ajuste fino e pode ser menos relevante durante a inferência. Os modelos de fundação notoriamente exigem grandes ciclos de computação de GPU, que são tipicamente executados em data centers centralizados. A noção de uma rede de computação de GPU descentralizada na qual diferentes partes podem fornecer computação para o pré-treinamento e ajuste fino de modelos pode ajudar a remover o controle que grandes provedores de nuvem têm sobre a criação de modelos de fundação.

A Dimensão da Descentralização de Dados

A descentralização de dados pode desempenhar um papel incrivelmente importante durante as fases de pré-treinamento e ajuste fino. Atualmente, há muito pouca transparência em torno da composição concreta de conjuntos de dados usados para pré-treinar e ajustar modelos de base. Uma rede de dados descentralizada pode incentivar diferentes partes a fornecer conjuntos de dados com divulgações apropriadas e rastrear seu uso em modelos de base de pré-treinamento e ajuste fino.

A Dimensão da Descentralização da Otimização

Muitas fases durante o ciclo de vida dos modelos de fundação exigem validações, frequentemente na forma de intervenção Human . Notavelmente, técnicas como aprendizado por reforço com feedback Human (RLHF) permitem a transição do GPT-3 para o ChatGPT ao fazer com que humanos validem as saídas do modelo para fornecer melhor alinhamento com os interesses Human . Esse nível de validação é particularmente relevante durante as fases de ajuste fino e, atualmente, há muito pouca transparência em torno dele. Uma rede descentralizada de validadores Human e de IA que realizam tarefas específicas, cujos resultados são imediatamente rastreáveis, pode ser uma melhoria significativa nessa área.

Leia Mais: Jesus Rodriguez - Uma nova blockchain para IA generativa?

A Dimensão da Descentralização da Avaliação

Se eu pedisse para você selecionar o melhor modelo de linguagem para uma tarefa específica, você teria que adivinhar a resposta. Os benchmarks de IA são fundamentalmente quebrados, há muito pouca transparência em torno deles e eles exigem BIT confiança nas partes que os criaram. Descentralizar a avaliação de modelos de base para diferentes tarefas é uma tarefa incrivelmente importante para aumentar a transparência no espaço. Esta dimensão é particularmente relevante durante a fase de inferência.

A Dimensão da Descentralização da Execução do Modelo

Finalmente, a área mais óbvia de descentralização. Usar modelos de fundação hoje requer confiança em infraestruturas controladas por uma parte centralizada. Fornecer uma rede na qual cargas de trabalho de inferência podem ser distribuídas entre diferentes partes é um desafio bastante interessante que pode trazer uma tremenda quantidade de valor para a adoção de modelos de fundação.

A maneira certa de fazer IA

Os modelos de fundação impulsionaram a IA para a adoção generalizada e também aceleraram todos os desafios que vêm com as capacidades rapidamente crescentes desses modelos. Entre esses desafios, o caso da descentralização nunca foi tão forte.

O conhecimento digital merece ser descentralizado em todas as suas dimensões: dados, computação, validação, otimização, execução. Nenhuma entidade centralizada merece ter tanto poder sobre o futuro da inteligência. O caso da IA ​​descentralizada é claro, mas os desafios técnicos são tremendos. A descentralização da IA ​​exigirá mais de um avanço técnico, mas o objetivo certamente é atingível. Na era dos modelos de fundação, a IA descentralizada é a maneira certa de abordar a IA.