Poolside AI: как команда из 70 человек строит Model Factory и обучает Laguna S за 8 недель

Подкаст Latent Space выпустил большой разговор с Eiso Kant - сооснователем и со-CEO Poolside AI. Речь о том, как небольшая команда строит полный цикл обучения моделей, и почему Laguna S 2.1 уже бьёт конкурентов куда более крупного размера.

Как вообще появился Poolside

Eiso Kant начал строить языковые модели для кода ещё в 2015 году - после того, как его вдохновили работы Андрея Карпатого с RNN. На это ушло четыре года и $12 миллионов до того, как рынок вообще начал интересоваться подобными вещами.

Выход ChatGPT воспринял как подтверждение правоты - не как угрозу. Именно тогда Poolside вернулся к открытым весам и открытым исследованиям.

Model Factory: 10-20 тысяч экспериментов в месяц

Главная тема разговора - Model Factory, сквозная инженерная система Poolside для обучения и улучшения моделей.

Команда - менее 70 исследователей - ежемесячно прогоняет от 10 000 до 20 000 экспериментов. Цикл выпуска модели сократился с шести месяцев до пяти-восьми недель.

Что за этим стоит:

• Стриминг данных прямо в процесс обучения - это ускорило экспериментирование.
• Иммутабельные данные, версионированный код и воспроизводимость экспериментов как базовые принципы.
• Агенты, которые сами пишут код, запускают задачи, оценивают результаты и правят пайплайны будущих обучений.
• Низкоточные вычисления (low-precision compute) как одна из точек роста эффективности.

Kant говорит прямо: 95% разработки модели сводится к лучшим данным или лучшей вычислительной эффективности. По его оценке, само по себе построение модели - это на 90% инженерия.

Laguna S: 118B параметров, 8B активных

Laguna S - MOE-архитектура (Mixture of Experts): 118 миллиардов суммарных параметров, 8 миллиардов активных при инференсе. От начала обучения до релиза - восемь недель.

Модель обходит недавний релиз Thinking Machines (~1T параметров в открытых весах) при том, что сама почти в 10 раз меньше по размеру.

Kant объясняет результат через три механизма: persistence (настойчивость), verification (верификация) и backtracking (возврат и пересмотр). По его мнению, они дают больше, чем просто «сырой интеллект» большой модели.

При этом Poolside не дистиллирует чужие большие модели - обучает с нуля.

Где граница между моделью и харнессом

Отдельная тема - model vs harness: что именно даёт агентные возможности, сама модель или обёртка вокруг неё.

Kant считает, что MCP и традиционные tool calls - «глупость» (его слова). Будущие агенты, по его версии, будут писать скрипты под задачу, а не выбирать из десятков заранее заданных инструментов. Он выступает за минималистичные харнессы, контейнеры и максимальную свободу модели.

Открытость, конкуренция и регулирование

Kant явно высказывается за экосистему из 100 компаний, разрабатывающих foundation-модели, а не за олигополию из пяти - даже если Poolside входил бы в эту пятёрку.

Он разделяет «открытые веса» и «по-настоящему открытые исследования» - это разные вещи. Poolside сознательно строит глобальную исследовательскую команду за пределами Bay Area, вне главной воронки найма.

По регулированию: он считает, что неудачные законы могут случайно зафиксировать олигополию из двух-трёх компаний. Унилатеральная AI-безопасность в глобально конкурентной среде, по его мнению, не работает.

Раунд финансирования Poolside - $500 миллионов, поднятых в период, когда инвесторы ещё сомневались в реальности AGI.

Что ещё обсуждали

• Reinforcement learning сдвигается раньше в pre-training - Kant считает это важным направлением.
• Next-token prediction пока извлекает слишком мало знаний из веба.
• Mid-training по сути является ранней формой curriculum design.
• Distillation и environments назвал «любимыми наркотиками» AI-индустрии.
• Vision в приоритете, аудио - нет. Язык - самая вычислительно эффективная модальность для знаний и рассуждений, по его оценке.
• Wall-clock time для reinforcement learning - один из главных текущих узких мест Poolside.

Что это значит

Если тебя интересует, как строить AI-продукты с прицелом на реальные задачи, - здесь много конкретики. Poolside показывает, что размер модели не единственный аргумент: 118B MOE с умной архитектурой и правильным харнессом обходит триллионник.

Подход «Model Factory» - это фактически ответ на вопрос, как маленькая команда может конкурировать с большими лабораториями: через воспроизводимость, скорость итераций и агентизацию самого процесса обучения.

Финансирование есть, модели выходят, техрепорты детальные. За Poolside стоит следить.

Источник: Latent Space, 23 июля 2025, читать и слушать