Теперь можно запускать огромную модель с 35 миллиардами параметров прямо на iPhone — представлен открытый движок Edge0.

Теперь можно запускать огромную модель с 35 миллиардами параметров прямо на iPhone — представлен открытый движок Edge0. Он дает возможность работать с локальными нейронными сетями на базе архитектуры MoE, не создавая большой нагрузки на оперативную память — в пиковых моментах используется всего от 1 до 2,5 ГБ. Для оптимизации применяется хитрость: вместо оперативки задействуется флеш-память устройства. Доступны модели с 8 миллиардами параметров (https://huggingface.co/Edge0/Edge0-8B-A1B-preview) и с 35 миллиардами (https://huggingface.co/Edge0/Edge0-35B-A3B-preview); для второй версии потребуется iPhone 15 Pro или более новая модель. Исходный код можно скачать с GitHub (https://github.com/Edge0-AI/edge0/).