Ang DeepSeek-R1 Effect at Web3-AI

Ang mundo ng artificial intelligence (AI) ay sinalanta ng bagyo ilang araw na ang nakalipas sa paglabas ng DeepSeek-R1, isang open-source na modelo ng pangangatwiran na tumutugma sa pagganap ng mga nangungunang modelo ng pundasyon habang sinasabing ginawa ito gamit ang isang napakababang badyet sa pagsasanay at nobelang mga diskarte sa post-training. Ang pagpapalabas ng DeepSeek-R1 ay hindi lamang hinamon ang kumbensyonal na karunungan na pumapalibot sa mga batas sa pagsukat ng mga modelo ng pundasyon - na tradisyonal na pinapaboran ang napakalaking badyet sa pagsasanay - ngunit ginawa ito sa pinaka-aktibong lugar ng pananaliksik sa larangan: pangangatwiran.

Dahil sa open-weights (kumpara sa open-source) na likas na katangian ng release, ang modelo ay madaling ma-access sa AI community, na humahantong sa pagdami ng mga clone sa loob ng ilang oras. Bukod dito, ang DeepSeek-R1 ay nag-iwan ng marka sa patuloy na karera ng AI sa pagitan ng China at Estados Unidos, na nagpapatibay sa kung ano ang lalong nakikita: Ang mga modelong Tsino ay may napakataas na kalidad at ganap na may kakayahang magmaneho ng pagbabago gamit ang mga orihinal na ideya.

Hindi tulad ng karamihan sa mga pagsulong sa generative AI, na tila nagpapalawak ng agwat sa pagitan ng Web2 at Web3 sa larangan ng mga modelo ng pundasyon, ang pagpapalabas ng DeepSeek-R1 ay may tunay na implikasyon at nagpapakita ng mga nakakaintriga na pagkakataon para sa Web3-AI. Upang masuri ang mga ito, kailangan muna nating tingnan nang mabuti ang mga pangunahing inobasyon at pagkakaiba ng DeepSeek-R1.

Sa loob ng DeepSeek-R1

Ang DeepSeek-R1 ay ang resulta ng pagpapakilala ng mga incremental na inobasyon sa isang mahusay na itinatag na balangkas ng pretraining para sa mga modelo ng pundasyon. Sa malawak na termino, ang DeepSeek-R1 ay sumusunod sa parehong pamamaraan ng pagsasanay gaya ng karamihan sa mga high-profile na modelo ng pundasyon. Ang diskarte na ito ay binubuo ng tatlong pangunahing hakbang:

1. Pretraining: Ang modelo ay paunang sinanay upang mahulaan ang susunod na salita gamit ang napakalaking dami ng walang label na data.
2. Pinangangasiwaang Fine-Tuning (SFT): Ino-optimize ng hakbang na ito ang modelo sa dalawang kritikal na lugar: pagsunod sa mga tagubilin at pagsagot sa mga tanong.
3. Pag-align sa Mga Kagustuhan ng Human : Isinasagawa ang panghuling yugto ng fine-tuning upang iayon ang mga tugon ng modelo sa mga kagustuhan ng Human .

Karamihan sa mga pangunahing modelo ng pundasyon - kabilang ang mga binuo ng OpenAI, Google, at Anthropic - ay sumusunod sa parehong pangkalahatang prosesong ito. Sa isang mataas na antas, ang pamamaraan ng pagsasanay ng DeepSeek-R1 ay hindi lumilitaw na makabuluhang naiiba. Ngunit gayunpaman, sa halip na pretraining ng base na modelo mula sa simula, ginamit ng R1 ang batayang modelo ng hinalinhan nito, ang DeepSeek-v3-base, na ipinagmamalaki ang kahanga-hangang 617 bilyong parameter.

Sa esensya, ang DeepSeek-R1 ay ang resulta ng paglalapat ng SFT sa DeepSeek-v3-base na may malaking-scale na dataset ng pangangatwiran. Ang tunay na pagbabago ay nakasalalay sa pagbuo ng mga database ng pangangatwiran na ito, na napakahirap na buuin.

Unang Hakbang: DeepSeek-R1-Zero

Ang ONE sa pinakamahalagang aspeto ng DeepSeek-R1 ay ang proseso ay hindi lamang gumawa ng isang modelo kundi dalawa. Marahil ang pinaka makabuluhang pagbabago ng DeepSeek-R1 ay ang paglikha ng isang intermediate na modelo na tinatawag na R1-Zero, na dalubhasa sa mga gawain sa pangangatwiran. Ang modelong ito ay sinanay halos lahat gamit ang reinforcement learning, na may kaunting pag-asa sa may label na data.

Ang reinforcement learning ay isang pamamaraan kung saan ang isang modelo ay ginagantimpalaan para sa pagbuo ng mga tamang sagot, na nagbibigay-daan sa pag-generalize ng kaalaman sa paglipas ng panahon.

Ang R1-Zero ay lubos na kahanga-hanga, dahil nagawa nitong tumugma sa GPT-o1 sa mga gawain sa pangangatwiran. Gayunpaman, nakipaglaban ang modelo sa mas pangkalahatang mga gawain tulad ng pagsagot sa tanong at pagiging madaling mabasa. Iyon ay sinabi, ang layunin ng R1-Zero ay hindi kailanman lumikha ng isang pangkalahatang modelo ngunit sa halip ay ipakita na posible na makamit ang makabagong kakayahan sa pangangatwiran gamit ang reinforcement na pag-aaral lamang - kahit na ang modelo ay hindi gumaganap nang maayos sa ibang mga lugar .

Pangalawang Hakbang: DeepSeek-R1

Ang DeepSeek-R1 ay idinisenyo upang maging isang pangkalahatang layunin na modelo na napakahusay sa pangangatwiran, ibig sabihin ay kailangan nitong malampasan ang R1-Zero. Upang makamit ito, nagsimula muli ang DeepSeek gamit ang v3 na modelo nito, ngunit sa pagkakataong ito, pinino ito sa isang maliit na dataset ng pangangatwiran.

Gaya ng nabanggit kanina, ang mga dataset ng pangangatwiran ay mahirap gawin. Ito ay kung saan ang R1-Zero ay gumanap ng isang mahalagang papel. Ang intermediate na modelo ay ginamit upang bumuo ng isang synthetic na dataset ng pangangatwiran, na pagkatapos ay ginamit upang i-fine-tune ang DeepSeek v3. Ang prosesong ito ay nagresulta sa isa pang intermediate na modelo ng pangangatwiran, na pagkatapos ay inilagay sa isang malawak na bahagi ng pag-aaral ng reinforcement gamit ang isang dataset ng 600,000 sample, na nabuo din ng R1-Zero. Ang huling resulta ng prosesong ito ay ang DeepSeek-R1.

Bagama't inalis ko ang ilang teknikal na detalye ng proseso ng pretraining ng R1, narito ang dalawang pangunahing takeaway:

1. Ipinakita ng R1-Zero na posibleng bumuo ng mga sopistikadong kakayahan sa pangangatwiran gamit ang basic reinforcement learning. Bagama't ang R1-Zero ay hindi isang malakas na pangkalahatang modelo, matagumpay itong nakabuo ng data ng pangangatwiran na kinakailangan para sa R1.
2. Pinalawak ng R1 ang tradisyunal na pipeline ng pretraining na ginagamit ng karamihan sa mga modelo ng pundasyon sa pamamagitan ng pagsasama ng R1-Zero sa proseso. Bukod pa rito, gumamit ito ng malaking halaga ng data ng synthetic na pangangatwiran na nabuo ng R1-Zero.

Bilang resulta, lumitaw ang DeepSeek-R1 bilang isang modelo na tumugma sa mga kakayahan sa pangangatwiran ng GPT-o1 habang ginagawa gamit ang isang mas simple at malamang na makabuluhang mas murang proseso ng pretraining.

Sumasang-ayon ang lahat na ang R1 ay nagmamarka ng isang mahalagang milestone sa kasaysayan ng generative AI, ONE na malamang na maghugis muli sa paraan ng pagbuo ng mga modelo ng pundasyon. Pagdating sa Web3, magiging kawili-wiling tuklasin kung paano naiimpluwensyahan ng R1 ang umuusbong na tanawin ng Web3-AI.

DeepSeek-R1 at Web3-AI

Hanggang ngayon, nagpupumilit ang Web3 na magtatag ng mga nakakahimok na kaso ng paggamit na malinaw na nagdaragdag ng halaga sa paglikha at paggamit ng mga modelo ng pundasyon. Sa ilang lawak, ang tradisyunal na daloy ng trabaho para sa mga modelo ng pundasyon ng pretraining ay lumilitaw na kabaligtaran ng mga arkitektura ng Web3. Gayunpaman, sa kabila ng pagiging nasa maagang yugto nito, ang pagpapalabas ng DeepSeek-R1 ay na-highlight ang ilang mga pagkakataon na natural na maaaring umaayon sa mga arkitektura ng Web3-AI.

1) Reinforcement Learning Fine-Tuning Networks

Ipinakita ng R1-Zero na posibleng bumuo ng mga modelo ng pangangatwiran gamit ang purong reinforcement learning. Mula sa isang computational na pananaw, ang reinforcement na pag-aaral ay lubos na parallelizable, ginagawa itong angkop para sa mga desentralisadong network. Isipin ang isang Web3 network kung saan ang mga node ay binabayaran para sa fine-tuning ng isang modelo sa mga gawain sa pag-aaral ng reinforcement, bawat isa ay naglalapat ng iba't ibang mga diskarte. Ang diskarte na ito ay higit na magagawa kaysa sa iba pang mga paradigma ng pretraining na nangangailangan ng mga kumplikadong topologies ng GPU at sentralisadong imprastraktura.

2) Synthetic Reasoning Dataset Generation

Ang isa pang mahalagang kontribusyon ng DeepSeek-R1 ay ang pagpapakita ng kahalagahan ng synthetically generated na mga dataset ng pangangatwiran para sa mga gawaing nagbibigay-malay. Ang prosesong ito ay angkop din para sa isang desentralisadong network, kung saan ang mga node ay nagpapatupad ng mga trabaho sa pagbuo ng dataset at binabayaran dahil ang mga dataset na ito ay ginagamit para sa pretraining o fine-tuning na mga modelo ng pundasyon. Dahil ang data na ito ay synthetically nabuo, ang buong network ay maaaring ganap na awtomatiko nang walang interbensyon ng Human , na ginagawa itong perpektong akma para sa mga arkitektura ng Web3.

3) Desentralisadong Inference para sa Maliit na Distilled Reasoning Models

Ang DeepSeek-R1 ay isang napakalaking modelo na may 671 bilyong mga parameter. Gayunpaman, halos kaagad pagkatapos ng paglabas nito, lumitaw ang isang wave ng distilled reasoning models, mula 1.5 hanggang 70 bilyong parameter. Ang mas maliliit na modelong ito ay higit na praktikal para sa hinuha sa mga desentralisadong network. Halimbawa, ang isang 1.5B–2B distilled R1 na modelo ay maaaring i-embed sa isang DeFi protocol o i-deploy sa loob ng mga node ng isang DePIN network. Mas simple, malamang na makita natin ang pagtaas ng cost-effective na reasoning inference inference endpoints na pinapagana ng mga desentralisadong compute network. Ang pangangatwiran ay ONE domain kung saan lumiliit ang agwat sa pagganap sa pagitan ng maliliit at malalaking modelo, na lumilikha ng natatanging pagkakataon para sa Web3 na mahusay na magamit ang mga distilled na modelong ito sa mga setting ng desentralisadong hinuha.

4) Pangangatwiran Data Provenance

Ang ONE sa mga tampok na pagtukoy ng mga modelo ng pangangatwiran ay ang kanilang kakayahang bumuo ng mga bakas ng pangangatwiran para sa isang naibigay na gawain. Ginagawa ng DeepSeek-R1 na available ang mga bakas na ito bilang bahagi ng output ng inference nito, na nagpapatibay sa kahalagahan ng provenance at traceability para sa mga gawain sa pangangatwiran. Ang internet ngayon ay pangunahing gumagana sa mga output, na may kaunting visibility sa mga intermediate na hakbang na humahantong sa mga resultang iyon. Nagpapakita ang Web3 ng pagkakataong subaybayan at i-verify ang bawat hakbang sa pangangatwiran, na posibleng lumikha ng "bagong internet ng pangangatwiran" kung saan naging pamantayan ang transparency at verifiability.

May Pagkakataon ang Web3-AI sa Post-R1 Reasoning Era

Ang paglabas ng DeepSeek-R1 ay minarkahan ang isang pagbabago sa ebolusyon ng generative AI. Sa pamamagitan ng pagsasama-sama ng matatalinong inobasyon sa mga naitatag na paradigma ng pretraining, hinamon nito ang mga tradisyunal na daloy ng trabaho ng AI at nagbukas ng bagong panahon sa AI na nakatuon sa pangangatwiran. Hindi tulad ng maraming nakaraang mga modelo ng pundasyon, ang DeepSeek-R1 ay nagpapakilala ng mga elemento na naglalapit sa generative AI sa Web3.

Mga pangunahing aspeto ng R1 – mga dataset ng synthetic na pangangatwiran, mas parallelizable na pagsasanay at ang lumalaking pangangailangan para sa traceability – natural na umaayon sa mga prinsipyo ng Web3. Habang ang Web3-AI ay nagpupumilit na makakuha ng makabuluhang traksyon, ang bagong post-R1 na panahon ng pangangatwiran ay maaaring magpakita ng pinakamagandang pagkakataon para sa Web3 na gumanap ng mas makabuluhang papel sa hinaharap ng AI.