Святой Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ обучение модели является этапом с наибольшими затратами ресурсов и самым высоким техническим барьером, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянного крупномасштабного вычислительного вкладу, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором мы сосредоточимся в данной статье.
Централизованное обучение - это наиболее распространённый традиционный способ, при котором единая организация выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, низкоуровнего программного обеспечения, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта глубокая координация архитектуры позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её весьма подходящей для обучения масштабных моделей, таких как GPT, Gemini, обладая высокими показателями эффективности и контролем ресурсов, но одновременно имея такие проблемы, как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачи обучения модели и распределить их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически имеется "Децентрализация", в целом контроль, управление и синхронизация все еще осуществляются централизованной организацией, и часто это происходит в среде высокоскоростной локальной сети с использованием технологий высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельная обработка данных: каждый узел обучает разные данные, параметры делятся, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные трубопроводы: последовательное выполнение по этапам, увеличение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение параллельной гранулярности
Распределенное обучение является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник дистанционно управляет работой нескольких сотрудников из разных "офисов" для выполнения задач. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и ) обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его основная характеристика заключается в том, что несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов шифрования, обеспечивающих честность вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Проблема с эффективностью связи: нестабильная сетевая связь, очевидные ограничения синхронизации градиентов
Недостаток доверенного выполнения: отсутствие доверенной среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката при исключениях
Децентрализация тренировки можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно жизнеспособная масштабируемая децентрализация тренировки" все еще является системной инженерной задачей, охватывающей множество аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но вопрос о том, может ли это быть "совместным эффективным + стимулированием честности + правильностью результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация, но все же зависит от доверенных координаторов и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленности.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, они изначально не подходят для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые или касающиеся конфиденциальных данных ), ограничены юридическими и этическими нормами и не могут быть открыто поделены; в то время как задачи, которые не имеют базиса для сотрудничества, такие как закрытые модели предприятий или внутреннее обучение прототипов (, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализации обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, которые легко параллелятся и могут быть стимулированы, Децентрализация обучения демонстрирует очевидные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи после обучения, связанные с выравниванием поведения ), такие как RLHF, DPO (, обучение и аннотирование данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
![Крипто ИИ Святой Грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в передовых областях Децентрализация обучения и федеративного обучения, к代表ительным блокчейн-проектам относятся Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai представили множество оригинальных исследований в области системной архитектуры и алгоритмного проектирования, что отражает передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальные результаты инженерного прогресса. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дальше будут рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI обучения.
) Prime Intellect: Тренировочные траектории могут быть проверены в рамках сети кооперативного обучения.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов, используя три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
(# 01、Структура протокола Prime Intellect и ценность ключевых модулей
![Крипто AI святой грааль: Децентрализация обучения на переднем крае])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL является фреймворком моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать циклы задач на локальном уровне и координировать совместную работу через стандартизированные интерфейсы и механизмы верификации и агрегации. В отличие от традиционных процессов обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения обучения
TOPLOC(Доверяемое Наблюдение & Проверка Политики-Локальности) является ключевым механизмом проверки обучаемости, предложенным Prime Intellect, для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а анализирует локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения проверки легковесной структуры. Впервые он преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивируемой сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по полосе и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии рассинхронизации, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, созданного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на связь, связанных с глобальной синхронизацией, и завершить совместное обучение модели, полагаясь только на локальных соседей. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального совместного обучения. Он является одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека согласованной связи
PCCL###Prime Collective Communication Library( является легковесной библиотекой связи, созданной Prime Intellect для Децентрализация AI обучающей среды, направленной на решение проблем совместимости традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность к пропускной способности и совместимость устройств в обучающих сетях, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect построил тренировочную сеть без разрешений, которую можно проверять и которая имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определить обучающую среду, начальную модель, функцию вознаграждения и критерии валидации
Узлы проверки: Используйте механизм TOPLOC для проверки подлинности обучающего поведения и участия в расчете вознаграждений и агрегации стратегий.
Ядро протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального учебного поведения".
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2:Первая выпускаемая可验证Децентрализация обучающая модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель усиленного обучения, созданная с помощью асинхронного, не требующего доверия Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была совместно обучена более чем на 100 гетерогенных узлах GPU, расположенных на трех континентах.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
17 Лайков
Награда
17
4
Репост
Поделиться
комментарий
0/400
GasFeeVictim
· 08-13 18:22
Еще один проект, который занимается Мошенничеством.
Посмотреть ОригиналОтветить0
TokenRationEater
· 08-13 05:29
Вычислительная мощность快要烧干我新买的3090了
Посмотреть ОригиналОтветить0
SigmaBrain
· 08-13 05:05
шелковистый и ценные идеи
Посмотреть ОригиналОтветить0
just_another_fish
· 08-13 05:02
Мы всегда будем эксплуатироваться технологическими гигантами.
Децентрализация AI тренировки: от Prime Intellect до INTELLECT-2
Святой Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ обучение модели является этапом с наибольшими затратами ресурсов и самым высоким техническим барьером, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянного крупномасштабного вычислительного вкладу, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором мы сосредоточимся в данной статье.
Централизованное обучение - это наиболее распространённый традиционный способ, при котором единая организация выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, низкоуровнего программного обеспечения, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта глубокая координация архитектуры позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её весьма подходящей для обучения масштабных моделей, таких как GPT, Gemini, обладая высокими показателями эффективности и контролем ресурсов, но одновременно имея такие проблемы, как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачи обучения модели и распределить их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически имеется "Децентрализация", в целом контроль, управление и синхронизация все еще осуществляются централизованной организацией, и часто это происходит в среде высокоскоростной локальной сети с использованием технологий высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник дистанционно управляет работой нескольких сотрудников из разных "офисов" для выполнения задач. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и ) обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его основная характеристика заключается в том, что несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов шифрования, обеспечивающих честность вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно жизнеспособная масштабируемая децентрализация тренировки" все еще является системной инженерной задачей, охватывающей множество аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но вопрос о том, может ли это быть "совместным эффективным + стимулированием честности + правильностью результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация, но все же зависит от доверенных координаторов и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленности.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, они изначально не подходят для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые или касающиеся конфиденциальных данных ), ограничены юридическими и этическими нормами и не могут быть открыто поделены; в то время как задачи, которые не имеют базиса для сотрудничества, такие как закрытые модели предприятий или внутреннее обучение прототипов (, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализации обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, которые легко параллелятся и могут быть стимулированы, Децентрализация обучения демонстрирует очевидные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи после обучения, связанные с выравниванием поведения ), такие как RLHF, DPO (, обучение и аннотирование данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
![Крипто ИИ Святой Грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в передовых областях Децентрализация обучения и федеративного обучения, к代表ительным блокчейн-проектам относятся Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai представили множество оригинальных исследований в области системной архитектуры и алгоритмного проектирования, что отражает передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальные результаты инженерного прогресса. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дальше будут рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI обучения.
) Prime Intellect: Тренировочные траектории могут быть проверены в рамках сети кооперативного обучения.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов, используя три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
(# 01、Структура протокола Prime Intellect и ценность ключевых модулей
![Крипто AI святой грааль: Децентрализация обучения на переднем крае])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL является фреймворком моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать циклы задач на локальном уровне и координировать совместную работу через стандартизированные интерфейсы и механизмы верификации и агрегации. В отличие от традиционных процессов обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения обучения
TOPLOC(Доверяемое Наблюдение & Проверка Политики-Локальности) является ключевым механизмом проверки обучаемости, предложенным Prime Intellect, для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а анализирует локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения проверки легковесной структуры. Впервые он преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивируемой сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по полосе и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии рассинхронизации, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, созданного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на связь, связанных с глобальной синхронизацией, и завершить совместное обучение модели, полагаясь только на локальных соседей. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального совместного обучения. Он является одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека согласованной связи
PCCL###Prime Collective Communication Library( является легковесной библиотекой связи, созданной Prime Intellect для Децентрализация AI обучающей среды, направленной на решение проблем совместимости традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность к пропускной способности и совместимость устройств в обучающих сетях, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect построил тренировочную сеть без разрешений, которую можно проверять и которая имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального учебного поведения".
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2:Первая выпускаемая可验证Децентрализация обучающая модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель усиленного обучения, созданная с помощью асинхронного, не требующего доверия Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была совместно обучена более чем на 100 гетерогенных узлах GPU, расположенных на трех континентах.