Эффект DeepSeek-R1 и Web3-AI

Мир искусственного интеллекта (ИИ) был взят штурмом несколько дней назад с выпуском DeepSeek-R1, модели рассуждений с открытым исходным кодом, которая соответствует производительности лучших фундаментальных моделей, при этом утверждая, что была создана с использованием удивительно низкого бюджета обучения и новых методов постобучения. Выпуск DeepSeek-R1 не только бросил вызов общепринятым взглядам на законы масштабирования фундаментальных моделей, которые традиционно отдают предпочтение огромным бюджетам обучения, но и сделал это в самой активной области исследований в этой области: рассуждениях.

Природа релиза с открытыми весами (в отличие от открытого исходного кода) сделала модель легкодоступной для сообщества ИИ, что привело к всплеску клонов в течение нескольких часов. Более того, DeepSeek-R1 оставил свой след в продолжающейся гонке ИИ между Китаем и Соединенными Штатами, подтвердив то, что становится все более очевидным: китайские модели отличаются исключительно высоким качеством и полностью способны стимулировать инновации с помощью оригинальных идей.

В отличие от большинства достижений в области генеративного ИИ, которые, по-видимому, увеличивают разрыв между Web2 и Web3 в области базовых моделей, выпуск DeepSeek-R1 несет реальные последствия и представляет интригующие возможности для Web3-AI. Чтобы оценить их, мы должны сначала более подробно рассмотреть ключевые инновации и отличительные черты DeepSeek-R1.

Внутри DeepSeek-R1

DeepSeek-R1 стал результатом внедрения дополнительных инноваций в хорошо зарекомендовавшую себя структуру предварительной подготовки для фундаментальных моделей. В общих чертах, DeepSeek-R1 следует той же методологии обучения, что и большинство известных фундаментальных моделей. Этот подход состоит из трех ключевых шагов:

1. Предварительная подготовка:Модель изначально обучена предсказывать следующее слово, используя огромные объемы немаркированных данных.
2. Контролируемая тонкая настройка (SFT):На этом этапе модель оптимизируется в двух важнейших областях: выполнение инструкций и ответы на вопросы.
3. Соответствие Human предпочтениям: Проводится заключительный этап тонкой настройки, чтобы привести ответы модели в соответствие с предпочтениями Human .

Большинство основных базовых моделей, включая разработанные OpenAI, Google и Anthropic, придерживаются этого же общего процесса. На высоком уровне процедура обучения DeepSeek-R1 не выглядит существенно отличающейся. Однако вместо того, чтобы предварительно обучать базовую модель с нуля, R1 использовала базовую модель своего предшественника, DeepSeek-v3-base, которая может похвастаться впечатляющими 617 миллиардами параметров.

По сути, DeepSeek-R1 является результатом применения SFT к DeepSeek-v3-base с крупномасштабным набором данных рассуждений. Реальная инновация заключается в построении этих наборов данных рассуждений, которые, как известно, трудно построить.

Первый шаг: DeepSeek-R1-Zero

ONE из важнейших аспектов DeepSeek-R1 является то, что процесс создал не одну модель, а две. Возможно, самым значительным нововведением DeepSeek-R1 стало создание промежуточной модели под названием R1-Zero, которая специализируется на задачах рассуждения. Эта модель была обучена почти полностью с использованием обучения с подкреплением, с минимальной опорой на маркированные данные.

Обучение с подкреплением — это метод, при котором модель вознаграждается за генерацию правильных ответов, что позволяет ей со временем обобщать знания.

R1-Zero весьма впечатляет, поскольку он смог сравниться с GPT-o1 в задачах на рассуждение. Однако модель испытывала трудности с более общими задачами, такими как вопросы и ответы и читаемость. При этом целью R1-Zero никогда не было создание универсальной модели, а скорее демонстрация возможности достижения самых современных возможностей рассуждения с использованием только обучения с подкреплением — даже если модель не очень хорошо работает в других областях.

Второй шаг: DeepSeek-R1

DeepSeek-R1 был разработан как универсальная модель, которая преуспевает в рассуждениях, то есть ей нужно было превзойти R1-Zero. Чтобы добиться этого, DeepSeek снова начал со своей модели v3, но на этот раз он настроил ее на небольшом наборе данных рассуждений.

Как упоминалось ранее, наборы данных для рассуждений сложно создавать. Именно здесь R1-Zero сыграл решающую роль. Промежуточная модель использовалась для создания синтетического набора данных для рассуждений, который затем использовался для тонкой настройки DeepSeek v3. Этот процесс привел к созданию еще одной промежуточной модели для рассуждений, которая впоследствии была подвергнута обширной фазе обучения с подкреплением с использованием набора данных из 600 000 образцов, также сгенерированного R1-Zero. Конечным результатом этого процесса стал DeepSeek-R1.

Хотя я и опустил несколько технических деталей процесса предварительной подготовки R1, вот два основных вывода:

1. R1-Zero продемонстрировал, что можно развивать сложные способности рассуждения, используя базовое обучение с подкреплением. Хотя R1-Zero не была сильной универсальной моделью, она успешно генерировала данные рассуждения, необходимые для R1.
2. R1 расширил традиционный конвейер предварительной подготовки, используемый большинством базовых моделей, включив в процесс R1-Zero. Кроме того, он использовал значительный объем данных синтетического рассуждения, сгенерированных R1-Zero.

В результате DeepSeek-R1 стала моделью, которая по возможностям рассуждения соответствует GPT-o1, но при этом была создана с использованием более простого и, вероятно, значительно более дешевого процесса предварительного обучения.

Все согласны с тем, что R1 знаменует собой важную веху в истории генеративного ИИ, ONE , вероятно, изменит способ разработки базовых моделей. Когда дело доходит до Web3, будет интересно изучить, как R1 влияет на развивающийся ландшафт Web3-AI.

DeepSeek-R1 и Web3-AI

До сих пор Web3 боролся за создание убедительных вариантов использования, которые явно добавляют ценность созданию и использованию базовых моделей. В некоторой степени традиционный рабочий процесс для предварительной подготовки базовых моделей, по-видимому, является антитезой архитектур Web3. Однако, несмотря на то, что он находится на ранних стадиях, выпуск DeepSeek-R1 выявил несколько возможностей, которые могли бы естественным образом соответствовать архитектурам Web3-AI.

1) Сети тонкой настройки обучения с подкреплением

R1-Zero продемонстрировал, что можно разрабатывать модели рассуждений, используя чистое обучение с подкреплением. С вычислительной точки зрения обучение с подкреплением в высокой степени параллелизуемо, что делает его хорошо подходящим для децентрализованных сетей. Представьте себе сеть Web3, где узлы получают компенсацию за тонкую настройку модели на задачах обучения с подкреплением, каждый из которых применяет разные стратегии. Этот подход гораздо более осуществим, чем другие парадигмы предварительной подготовки, требующие сложных топологий GPU и централизованной инфраструктуры.

2) Генерация набора данных для синтетического рассуждения

Другим ключевым вкладом DeepSeek-R1 стала демонстрация важности синтетически сгенерированных наборов данных для когнитивных задач. Этот процесс также хорошо подходит для децентрализованной сети, где узлы выполняют задания по генерации наборов данных и получают компенсацию, поскольку эти наборы данных используются для предварительной подготовки или тонкой настройки базовых моделей. Поскольку эти данные сгенерированы синтетически, вся сеть может быть полностью автоматизирована без вмешательства Human , что делает ее идеальной для архитектур Web3.

3) Децентрализованный вывод для небольших моделей рассуждений

DeepSeek-R1 — это огромная модель с 671 миллиардом параметров. Однако почти сразу после ее выпуска появилась волна дистиллированных моделей рассуждений, в диапазоне от 1,5 до 70 миллиардов параметров. Эти меньшие модели значительно более практичны для вывода в децентрализованных сетях. Например, дистиллированная модель R1 размером 1,5–2 млрд может быть встроена в протокол DeFi или развернута в узлах сети DePIN. Проще говоря, мы, вероятно, увидим рост экономически эффективных конечных точек вывода рассуждений, работающих на децентрализованных вычислительных сетях. Рассуждения — это ONE из областей, где разрыв в производительности между малыми и большими моделями сокращается, что создает уникальную возможность для Web3 эффективно использовать эти дистиллированные модели в условиях децентрализованного вывода.

4) Обоснование происхождения данных

ONE из определяющих особенностей моделей рассуждений является их способность генерировать следы рассуждений для заданной задачи. DeepSeek-R1 делает эти следы доступными как часть своего вывода вывода, усиливая важность происхождения и прослеживаемости для задач рассуждений. Сегодняшний интернет в основном работает с выходами, с небольшой видимостью промежуточных шагов, которые приводят к этим результатам. Web3 предоставляет возможность отслеживать и проверять каждый шаг рассуждений, потенциально создавая «новый интернет рассуждений», где прозрачность и проверяемость становятся нормой.

У Web3-AI есть шанс в эпоху рассуждений после R1

Выпуск DeepSeek-R1 ознаменовал поворотный момент в развитии генеративного ИИ. Объединив умные инновации с устоявшимися парадигмами предварительной подготовки, он бросил вызов традиционным рабочим процессам ИИ и открыл новую эру в ИИ, ориентированном на рассуждения. В отличие от многих предыдущих базовых моделей, DeepSeek-R1 представляет элементы, которые приближают генеративный ИИ к Web3.

Ключевые аспекты R1 — наборы данных синтетического рассуждения, более параллелизуемое обучение и растущая потребность в прослеживаемости — естественным образом соответствуют принципам Web3. В то время как Web3-AI изо всех сил пытался получить значимую поддержку, эта новая эра рассуждений после R1 может предоставить наилучшую возможность для Web3 играть более значимую роль в будущем ИИ.