Стартап Liquid AI представил компактную reasoning-модель LFM2.5

Стартап Liquid AI, основанный исследователями MIT, презентовал свою новую модель LFM2.5-1.2B-Thinking, которая обладает 1,2 миллиарда параметров. Она может функционировать на смартфонах и ноутбуках, занимая менее 1 ГБ оперативной памяти. Модель построена на инновационной архитектуре, использующей «жидкие нейросети» вместо стандартного трансформера.

Концепция жидких нейросетей возникла из изучения нервной системы червя C. elegans, который имеет всего 302 нейрона, но способен к движению и взаимодействию с окружающей средой. В отличие от традиционных моделей, где веса фиксированы, жидкие нейросети могут динамически изменять свои параметры. В LFM2.5 реализован гибридный подход: 10 сверточных блоков с меняющимися весами и 6 блоков внимания.

На тестах модель демонстрирует лучшие результаты по выполнению инструкций по сравнению с более крупной Qwen3-1.7B, однако уступает в олимпиадной математике. Разработчики рекомендуют LFM2.5 для задач извлечения данных и RAG. На ноутбуке модель обрабатывает 237 токенов в секунду, а на смартфоне — 70. Liquid AI ведет переговоры с AMD и Qualcomm о оптимизации под нейропроцессоры. Модель поддерживает восемь языков, однако русский не входит в их число, хотя лицензия позволяет свободно дообучать ее.

Помогите проекту, поделитесь с друзьями ;)

Добавить комментарий