Энтузиасты из команды Squeez Labs представили необычное устройство CrankGPT — портативный чат-бот на базе искусственного интеллекта, который функционирует полностью в офлайн-режиме и получает энергию от ручного генератора. Устройству не требуется подключение к интернету или внешним источникам питания, что делает его потенциально готовым к работе в экстремальных условиях.
Технические особенности и принцип работы
Аппаратная часть CrankGPT построена на базе одноплатного компьютера Raspberry Pi с 8 ГБ оперативной памяти. Для обработки запросов используются компактные локальные языковые модели от Meta* и Google. Устройство способно распознавать устную речь, отвечать на вопросы и выполнять перевод между языками без обращения к облачным серверам.
Для запуска процесса пользователю необходимо вручную вращать ручку генератора. Вырабатываемого электричества достаточно для питания микрокомпьютера и работы нейросети. По словам создателей, при условии правильного хранения в сухом месте при умеренной температуре аппарат способен прослужить до ста лет, хотя со временем владельцу все же придется заменить карту памяти SD.
Преимущества локального искусственного интеллекта
Разработчики создали шуточную страницу продаж CrankGPT, где в зависимости от потребностей пользователя предлагаются различные версии генераторов — от базовой ручной ручки до стационарного велотренажера и даже целого спортивного зала, вырабатывающего энергию для более мощных вычислений. Однако за этим юмором скрывается серьезная цель.
Проект наглядно демонстрирует преимущества локального запуска нейросетей:
- Конфиденциальность: все данные пользователя обрабатываются непосредственно на устройстве и не передаются сторонним технологическим компаниям.
- Экологичность: локальные модели не требуют огромных затрат энергии и водных ресурсов, которые обычно расходуются на охлаждение крупных дата-центров.
- Автономность: интеллектуальный помощник остается работоспособным в экстремальных условиях, при полном отсутствии сотовой связи и центрального электроснабжения.
В настоящее время крупные игроки рынка все еще вынуждены перенаправлять сложные запросы пользователей на удаленные серверы. Тем не менее по мере оптимизации алгоритмов и роста производительности потребительской электроники локальные нейросети будут становиться все более доступными и эффективными.
* — деятельность компании запрещена на территории РФ
