Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация кооперативной технической революции
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и высшими техническими барьерами, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой индустрией" в строительстве ИИ систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованное обучение — это наиболее распространенный традиционный метод, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающим весь процесс обучения: от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой контрольной системой. Эта архитектура глубокой координации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но также сталкивается с проблемами монополизации данных, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие физического "распределённого" характера, в целом управление и синхронизация всё равно контролируются централизованными учреждениями, часто работают в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры совместно используются, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение параллельной гранулярности
Распределённое обучение — это комбинация "централизованного управления + распределённого исполнения", аналогично тому, как один и тот же начальник дистанционно руководит сотрудниками нескольких "офисов", чтобы совместно выполнить задачу. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, и с использованием механизмов криптоощущения для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач.
Проблема с эффективностью связи: нестабильная сетевое соединение, явные проблемы с синхронизацией градиентов
Отсутствие доверенного выполнения: нехватка доверенной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях
Недостаток единой координации: нет центрального диспетчера, распределение задач и механизм отката ошибок сложны
Децентрализация тренировки можно понять как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "настоящая жизнеспособная крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как архитектура системы, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация модели и другие, но вопрос о том, возможно ли "совместное действие + честные стимулы + правильные результаты", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные возможности сотрудничества, одновременно обладая преимуществами распределенных данных в рамках Децентрализация, но все же зависит от надежной координационной стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры развертывания в промышленности.
Сравнительная таблица AI тренировочных парадигм ( Техническая архитектура × Доверительная мотивация × Применение характеристик )
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, огромных потребностей в ресурсах или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, и трудно эффективно разделять и синхронизировать в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным открытое совместное использование; а задачи, лишенные стимулов для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью стимулирования, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: микротренировкой LoRA, задачами постобучения с выравниванием поведения, задачами по обучению и аннотированию данных с краудсорсингом, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценами совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Обзор адаптивности задач обучения по Децентрализации
Децентрализация тренировка классических проектов анализ
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первоначальный инженерный прогресс. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также далее обсуждены их различия и взаимодополняющие отношения в системе децентрализованного обучения ИИ.
Prime Intellect: тренируемая траектория, проверяемая с помощью совместной сети усиленного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
一、Структура и ключевые модули ценности протокола Prime Intellect
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамочным решением для моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разделяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо завершать цикл задач локально и согласовываться с механизмами валидации и агрегации через стандартизированные интерфейсы. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировок
TOPLOC — это основная механика обучаемой верификации, предложенная Prime Intellect, используемая для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от таких тяжелых решений, как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые поведенческие траектории в процессе обучения преобразованы в верифицируемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для построения аудируемой и мотивированной сети децентрализованного совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и изменчивых сетевых условий. Он сочетает в себе механизм gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что позволяет постепенно сойтись к весам и развиваться в нескольких версиях. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения и является основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации связи, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально предназначена для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Архитектура основана на параллельной обработке данных, и с помощью построения разреженных топологических структур, таких как Ring, Expander и Small-World, она избегает высоких затрат на связь, связанных с глобальной синхронизацией, и может завершать координированное обучение моделей, полагаясь только на соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, значительно повышая доступность для участия в глобальном кооперативном обучении и являясь одной из ключевых коммуникационных инфраструктур для создания сети Децентрализация обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения AI, предназначенная для решения проблем адаптации традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно увеличивает пропускную способность сети обучения и совместимость устройств, обеспечивая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть без разрешений, которая может быть проверена и обладает экономическими стимулами, позволяя любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определяет обучающую среду, начальную модель, функцию вознаграждения и критерии валидации
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Верификационные узлы: использование механизма TOPLOC для проверки достоверности учебного поведения и участие в расчете вознаграждений и агрегации стратегий
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года. Это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, не требующего доверия, Децентрализация узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры. Время обучения превышает 400 часов, демонстрируя осуществимость и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и первым системным внедрением предложенной Prime Intellect парадигмы "обучение равно консенсус".
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
12 Лайков
Награда
12
4
Поделиться
комментарий
0/400
RugResistant
· 7ч назад
Снова пропагандируют Децентрализация.
Посмотреть ОригиналОтветить0
OnlyOnMainnet
· 20ч назад
А это снова рисование пирога, сказанное равносильно тому, что не сказано.
Посмотреть ОригиналОтветить0
FarmHopper
· 20ч назад
Это достигло высшей степени
Посмотреть ОригиналОтветить0
OnChainDetective
· 20ч назад
хм... только что проследил за паттерном потока обучающих данных... выглядит подозрительно как единственная точка отказа, если честно
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация и совместной технологии революции
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация кооперативной технической революции
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и высшими техническими барьерами, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой индустрией" в строительстве ИИ систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованное обучение — это наиболее распространенный традиционный метод, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающим весь процесс обучения: от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой контрольной системой. Эта архитектура глубокой координации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но также сталкивается с проблемами монополизации данных, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие физического "распределённого" характера, в целом управление и синхронизация всё равно контролируются централизованными учреждениями, часто работают в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Распределённое обучение — это комбинация "централизованного управления + распределённого исполнения", аналогично тому, как один и тот же начальник дистанционно руководит сотрудниками нескольких "офисов", чтобы совместно выполнить задачу. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, и с использованием механизмов криптоощущения для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "настоящая жизнеспособная крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как архитектура системы, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация модели и другие, но вопрос о том, возможно ли "совместное действие + честные стимулы + правильные результаты", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные возможности сотрудничества, одновременно обладая преимуществами распределенных данных в рамках Децентрализация, но все же зависит от надежной координационной стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры развертывания в промышленности.
Сравнительная таблица AI тренировочных парадигм ( Техническая архитектура × Доверительная мотивация × Применение характеристик )
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, огромных потребностей в ресурсах или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, и трудно эффективно разделять и синхронизировать в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным открытое совместное использование; а задачи, лишенные стимулов для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью стимулирования, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: микротренировкой LoRA, задачами постобучения с выравниванием поведения, задачами по обучению и аннотированию данных с краудсорсингом, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценами совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Обзор адаптивности задач обучения по Децентрализации
Децентрализация тренировка классических проектов анализ
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первоначальный инженерный прогресс. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также далее обсуждены их различия и взаимодополняющие отношения в системе децентрализованного обучения ИИ.
Prime Intellect: тренируемая траектория, проверяемая с помощью совместной сети усиленного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
一、Структура и ключевые модули ценности протокола Prime Intellect
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамочным решением для моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разделяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо завершать цикл задач локально и согласовываться с механизмами валидации и агрегации через стандартизированные интерфейсы. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировок
TOPLOC — это основная механика обучаемой верификации, предложенная Prime Intellect, используемая для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от таких тяжелых решений, как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые поведенческие траектории в процессе обучения преобразованы в верифицируемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для построения аудируемой и мотивированной сети децентрализованного совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и изменчивых сетевых условий. Он сочетает в себе механизм gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что позволяет постепенно сойтись к весам и развиваться в нескольких версиях. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения и является основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации связи, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально предназначена для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Архитектура основана на параллельной обработке данных, и с помощью построения разреженных топологических структур, таких как Ring, Expander и Small-World, она избегает высоких затрат на связь, связанных с глобальной синхронизацией, и может завершать координированное обучение моделей, полагаясь только на соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, значительно повышая доступность для участия в глобальном кооперативном обучении и являясь одной из ключевых коммуникационных инфраструктур для создания сети Децентрализация обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения AI, предназначенная для решения проблем адаптации традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно увеличивает пропускную способность сети обучения и совместимость устройств, обеспечивая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть без разрешений, которая может быть проверена и обладает экономическими стимулами, позволяя любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года. Это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, не требующего доверия, Децентрализация узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры. Время обучения превышает 400 часов, демонстрируя осуществимость и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и первым системным внедрением предложенной Prime Intellect парадигмы "обучение равно консенсус".