L'effetto DeepSeek-R1 e Web3-AI

Il mondo dell'intelligenza artificiale (IA) è stato preso d'assalto qualche giorno fa con il rilascio di DeepSeek-R1, un modello di ragionamento open source che eguaglia le prestazioni dei migliori modelli di fondazione, pur affermando di essere stato costruito utilizzando un budget di formazione notevolmente basso e nuove tecniche di post-formazione. Il rilascio di DeepSeek-R1 non solo ha sfidato la saggezza convenzionale che circonda le leggi di scalabilità dei modelli di fondazione, che tradizionalmente favoriscono enormi budget di formazione, ma lo ha fatto nell'area di ricerca più attiva nel settore: il ragionamento.

La natura open-weights (in contrapposizione a open-source) della release ha reso il modello facilmente accessibile alla comunità AI, portando a un'ondata di cloni nel giro di poche ore. Inoltre, DeepSeek-R1 ha lasciato il segno nella corsa AI in corso tra Cina e Stati Uniti, rafforzando ciò che è diventato sempre più evidente: i modelli cinesi sono di qualità eccezionalmente elevata e pienamente in grado di guidare l'innovazione con idee originali.

A differenza della maggior parte dei progressi nell'AI generativa, che sembrano ampliare il divario tra Web2 e Web3 nel regno dei modelli di base, il rilascio di DeepSeek-R1 comporta implicazioni reali e presenta opportunità intriganti per Web3-AI. Per valutarle, dobbiamo prima esaminare più da vicino le innovazioni e i differenziatori chiave di DeepSeek-R1.

All'interno di DeepSeek-R1

DeepSeek-R1 è stato il risultato dell'introduzione di innovazioni incrementali in un framework di pre-addestramento consolidato per i modelli di fondazione. In termini generali, DeepSeek-R1 segue la stessa metodologia di addestramento della maggior parte dei modelli di fondazione di alto profilo. Questo approccio consiste in tre passaggi chiave:

1. Pre-allenamento:Inizialmente il modello viene preaddestrato per prevedere la parola successiva utilizzando enormi quantità di dati non etichettati.
2. Fine-Tuning supervisionato (SFT):Questa fase ottimizza il modello in due aree critiche: seguire le istruzioni e rispondere alle domande.
3. Allineamento con le preferenze Human : Viene condotta un'ultima fase di messa a punto per allineare le risposte del modello alle preferenze Human .

La maggior parte dei principali modelli di fondazione, compresi quelli sviluppati da OpenAI, Google e Anthropic, aderiscono a questo stesso processo generale. Ad alto livello, la procedura di addestramento di DeepSeek-R1 non sembra significativamente diversa. Tuttavia, anziché pre-addestrare un modello di base da zero, R1 ha sfruttato il modello di base del suo predecessore, DeepSeek-v3-base, che vanta ben 617 miliardi di parametri.

In sostanza, DeepSeek-R1 è il risultato dell'applicazione di SFT a DeepSeek-v3-base con un dataset di ragionamento su larga scala. La vera innovazione risiede nella costruzione di questi dataset di ragionamento, che sono notoriamente difficili da costruire.

Primo passo: DeepSeek-R1-Zero

ONE degli aspetti più importanti di DeepSeek-R1 è che il processo non ha prodotto un solo modello, ma due. Forse l'innovazione più significativa di DeepSeek-R1 è stata la creazione di un modello intermedio chiamato R1-Zero, specializzato in compiti di ragionamento. Questo modello è stato addestrato quasi interamente utilizzando l'apprendimento per rinforzo, con un affidamento minimo sui dati etichettati.

L'apprendimento per rinforzo è una tecnica in cui un modello viene premiato per aver generato risposte corrette, consentendogli di generalizzare la conoscenza nel tempo.

R1-Zero è piuttosto impressionante, in quanto è stato in grado di eguagliare GPT-o1 nei compiti di ragionamento. Tuttavia, il modello ha avuto difficoltà con compiti più generali come la risposta alle domande e la leggibilità. Detto questo, lo scopo di R1-Zero non è mai stato quello di creare un modello generalista, ma piuttosto di dimostrare che è possibile raggiungere capacità di ragionamento all'avanguardia utilizzando solo l'apprendimento per rinforzo, anche se il modello non funziona bene in altre aree.

Secondo passaggio: DeepSeek-R1

DeepSeek-R1 è stato progettato per essere un modello di uso generale che eccelle nel ragionamento, il che significa che doveva superare R1-Zero. Per raggiungere questo obiettivo, DeepSeek ha ricominciato con il suo modello v3, ma questa volta lo ha perfezionato su un piccolo set di dati di ragionamento.

Come accennato in precedenza, i dataset di ragionamento sono difficili da produrre. È qui che R1-Zero ha svolto un ruolo cruciale. Il modello intermedio è stato utilizzato per generare un dataset di ragionamento sintetico, che è stato poi utilizzato per mettere a punto DeepSeek v3. Questo processo ha prodotto un altro modello di ragionamento intermedio, che è stato successivamente sottoposto a un'ampia fase di apprendimento di rinforzo utilizzando un dataset di 600.000 campioni, anch'esso generato da R1-Zero. Il risultato finale di questo processo è stato DeepSeek-R1.

Sebbene abbia omesso diversi dettagli tecnici del processo di pre-addestramento R1, ecco i due punti principali da trarre:

1. R1-Zero ha dimostrato che è possibile sviluppare sofisticate capacità di ragionamento utilizzando l'apprendimento di rinforzo di base. Sebbene R1-Zero non fosse un modello generalista forte, ha generato con successo i dati di ragionamento necessari per R1.
2. R1 ha ampliato la tradizionale pipeline di pre-addestramento utilizzata dalla maggior parte dei modelli di fondazione incorporando R1-Zero nel processo. Inoltre, ha sfruttato una notevole quantità di dati di ragionamento sintetico generati da R1-Zero.

Di conseguenza, DeepSeek-R1 è emerso come un modello che corrispondeva alle capacità di ragionamento di GPT-o1, pur essendo stato sviluppato utilizzando un processo di pre-addestramento più semplice e probabilmente significativamente più economico.

Tutti concordano sul fatto che R1 segna una pietra miliare importante nella storia dell'IA generativa, ONE che probabilmente rimodellerà il modo in cui vengono sviluppati i modelli di base. Quando si tratta di Web3, sarà interessante esplorare come R1 influenza il panorama in evoluzione di Web3-AI.

DeepSeek-R1 e Web3-AI

Finora, Web3 ha faticato a stabilire casi d'uso convincenti che aggiungano chiaramente valore alla creazione e all'utilizzo di modelli di fondazione. In una certa misura, il flusso di lavoro tradizionale per il pre-addestramento dei modelli di fondazione sembra essere l'antitesi delle architetture Web3. Tuttavia, nonostante sia nelle sue fasi iniziali, il rilascio di DeepSeek-R1 ha evidenziato diverse opportunità che potrebbero naturalmente allinearsi con le architetture Web3-AI.

1) Reti di fine-tuning dell'apprendimento tramite rinforzo

R1-Zero ha dimostrato che è possibile sviluppare modelli di ragionamento utilizzando l'apprendimento per rinforzo puro. Da un punto di vista computazionale, l'apprendimento per rinforzo è altamente parallelizzabile, il che lo rende adatto alle reti decentralizzate. Immagina una rete Web3 in cui i nodi vengono compensati per la messa a punto di un modello su attività di apprendimento per rinforzo, ognuno applicando strategie diverse. Questo approccio è molto più fattibile di altri paradigmi di pre-addestramento che richiedono topologie GPU complesse e infrastrutture centralizzate.

2) Generazione di dataset di ragionamento sintetico

Un altro contributo fondamentale di DeepSeek-R1 è stato quello di mostrare l'importanza dei dataset di ragionamento generati sinteticamente per le attività cognitive. Questo processo è anche adatto per una rete decentralizzata, in cui i nodi eseguono lavori di generazione di dataset e vengono compensati quando questi dataset vengono utilizzati per il pre-addestramento o la messa a punto dei modelli di fondazione. Poiché questi dati sono generati sinteticamente, l'intera rete può essere completamente automatizzata senza intervento Human , il che la rende ideale per le architetture Web3.

3) Inferenza decentralizzata per piccoli modelli di ragionamento distillato

DeepSeek-R1 è un modello enorme con 671 miliardi di parametri. Tuttavia, quasi immediatamente dopo il suo rilascio, è emersa un'ondata di modelli di ragionamento distillati, che vanno da 1,5 a 70 miliardi di parametri. Questi modelli più piccoli sono significativamente più pratici per l'inferenza in reti decentralizzate. Ad esempio, un modello R1 distillato da 1,5B–2B potrebbe essere incorporato in un protocollo DeFi o distribuito all'interno di nodi di una rete DePIN. Più semplicemente, è probabile che assisteremo all'ascesa di endpoint di inferenza di ragionamento convenienti alimentati da reti di elaborazione decentralizzate. Il ragionamento è ONE dominio in cui il divario di prestazioni tra modelli piccoli e grandi si sta riducendo, creando un'opportunità unica per Web3 di sfruttare in modo efficiente questi modelli distillati in impostazioni di inferenza decentralizzate.

4) Ragionamento sulla provenienza dei dati

ONE delle caratteristiche distintive dei modelli di ragionamento è la loro capacità di generare tracce di ragionamento per un dato compito. DeepSeek-R1 rende disponibili queste tracce come parte del suo output di inferenza, rafforzando l'importanza della provenienza e della tracciabilità per i compiti di ragionamento. Internet oggi funziona principalmente su output, con poca visibilità sui passaggi intermedi che portano a quei risultati. Web3 offre l'opportunità di tracciare e verificare ogni passaggio di ragionamento, creando potenzialmente un "nuovo Internet del ragionamento" in cui trasparenza e verificabilità diventano la norma.

Web3-AI ha una possibilità nell'era del ragionamento post-R1

Il rilascio di DeepSeek-R1 ha segnato una svolta nell'evoluzione dell'IA generativa. Combinando innovazioni intelligenti con paradigmi di pre-addestramento consolidati, ha sfidato i flussi di lavoro tradizionali dell'IA e ha aperto una nuova era nell'IA incentrata sul ragionamento. A differenza di molti modelli di base precedenti, DeepSeek-R1 introduce elementi che avvicinano l'IA generativa al Web3.

Gli aspetti chiave di R1 (dataset di ragionamento sintetico, training più parallelizzabile e crescente necessità di tracciabilità) si allineano naturalmente con i principi Web3. Mentre Web3-AI ha lottato per ottenere una trazione significativa, questa nuova era di ragionamento post-R1 potrebbe presentare la migliore opportunità di sempre per Web3 di svolgere un ruolo più significativo nel futuro dell'IA.