Mixture of Experts (MoE)

Архитектура, в которой модель состоит из нескольких «экспертов», но для каждого запроса активируется только часть из них. Позволяет масштабировать параметры без пропорционального роста вычислений. Используется в Mixtral и DeepSeek V3.