Компания Google выпустила экспериментальную нейросеть DiffusionGemma, которая кардинально меняет привычный подход к генерации текста. В отличие от традиционных чат-ботов, создающих текст последовательно по одному слову, новая модель формирует сразу весь текстовый блок и затем дорабатывает его до читаемого состояния. Такой метод позволяет значительно повысить скорость работы и эффективность использования оборудования, хотя и требует определенных компромиссов в качестве итогового результата.
Принцип работы и отличие от аналогов
Новая модель распространяется по открытой лицензии Apache 2.0 и ориентирована в первую очередь на разработчиков и исследователей. Традиционные большие языковые модели, такие как Gemma 4, генерируют текст последовательно — токен за токеном (токен представляет собой базовую единицу текста, обычно равную части слова или целому слову). Каждое следующее слово зависит от предыдущего, что ограничивает возможности аппаратного ускорения.
DiffusionGemma использует принципиально иной подход. Процесс начинается с заполнения всего поля случайными, нечитаемыми символами, которые затем последовательно очищаются и структурируются за несколько проходов. В обзорах работу модели сравнивают с процессом создания черновика и последующей редактуры всего текста одновременно, в то время как стандартные нейросети пишут строго по порядку.
Производительность и технические требования
Переход на параллельную генерацию значительно увеличил скорость работы. По заявлению разработчиков, DiffusionGemma работает до четырех раз быстрее стандартных авторегрессионных моделей при обработке единичных запросов. Тесты на высокопроизводительном оборудовании показывают следующие результаты:
- свыше 1000 токенов в секунду на профессиональном ускорителе NVIDIA H100;
- около 700 токенов в секунду на потребительской видеокарте RTX 5090.
С технической точки зрения DiffusionGemma представляет собой модель класса Mixture-of-Experts (архитектура «смеси экспертов») с общим объемом 26 миллиардов параметров. При этом во время работы одновременно активируются только около 3,8 миллиарда параметров, что позволяет существенно снизить нагрузку на вычислительные ресурсы. В квантованном (сжатом) виде модель способна запускаться на флагманских потребительских видеокартах, требуя около 18 гигабайт видеопамяти.
Преимущества и область применения
DiffusionGemma способна обрабатывать и генерировать до 256 токенов параллельно за один шаг, анализируя взаимосвязи между всеми элементами блока одновременно. Это дает ей целостное видение генерируемого фрагмента и делает модель эффективной для решения структурированных задач:
- автоматическое дополнение пропущенных фрагментов программного кода;
- генерация структурированных форматов данных, таких как JSON;
- решение сложных логических задач и математических уравнений;
- исправление внутренних противоречий в тексте непосредственно в процессе генерации.
Основным недостатком технологии на данный момент является качество выдачи. Представители Google открыто признают, что DiffusionGemma пока уступает стандартным моделям линейки Gemma 4. Текст может быть менее стабильным и проработанным, поэтому нейросеть не подходит для создания сложных или художественных текстов.
Разработчики позиционируют новинку как экспериментальный инструмент для сценариев, где скорость отклика важнее идеальной точности — например, для интерактивных помощников по написанию кода или быстрых диалоговых систем.
