Model MoE může mít mnohem více celkových parametrů, než aktivuje pro jeden token, ale jeho požadavky na ukládání na zařízení nejsou omezeny na tyto aktivní parametry. Různé tokeny mohou vybrat různé odborníky v různých vrstvách, zatímco paměť zařízení často nemůže pojmout všechny odborné váhy. Bez omezení latence mohou váhy zůstat na SSD nebo jiném úložišti, mohou být načteny podle potřeby a po výpočtu uvolněny. To umožňuje odvození velkého modelu, ale opakované
Dalším přístupem je omezit počet dostupných odborníků. Například oprava expertní podmnožiny pro celou výzvu může snížit frekvenci načítání, ale omezuje následné směrování na úrovni tokenu na tuto podmnožinu, potenciálně vylučuje odborníky, které by model jinak vybral, a snižuje jeho schopnosti. Ústředním cílem je tedy plynulý závěr bez ohrožení výkonu: zachování schopnosti modelu při zajištění dostatečné propustnosti při omezené paměti a
MiniCPM-V 4.7 35B-A3B řeší tuto výzvu třemi doplňkovými technikami:
Díky těmto technikám je MiniCPM-V 4.7 35B-A3B prvním open-source modelem MoE, který běží hladce na zařízení bez kompromisů ve výkonu a dosahuje 13+ tokenů/s na iPhonu 17 Pro Max.
