numsu/AREX-2-27B-INT8-W8A16

Toto je numerická kvantizace BAAI/AREX-2 ↗, nikoli jemné doladění. Byl exportován z oficiální revize „d4e3502f92d9e889031c2d04e387ab2eb3520268“. Model, architektura, data školení a upstream evaluační kredit patří BAAI a upstream přispěvatelům. Výsledky z předcházejícího modelu BF16 neměří tento modelový checkpoint INT8.

AREX-2 je 27B-parametrový, Qwen3.8 kompatibilní multimodální model pro úkoly agentů s dlouhým horizontem. modelový checkpoint upstream deklaruje délku nativního kontextu 262 144 tokenů. Architekturu, možnosti, hodnotící protokoly a pokyny k použití naleznete na kartě modelu upstream ↗.

modelový checkpoint načetl a prošel krátkým testem kouře textového rozhovoru v připnutém snímku nasazení vLLM 0.29.0 na 2×RTX 3090 a dokončil syntetickou servírovací matici níže. Nebylo provedeno žádné hodnocení kvality úlohy ani multimodální hodnocení; nebyl testován nativní limit 262 144 tokenů.

Paměť GPU je pozorovaná alokace celého procesu podávání, nikoli samotné hmotnosti modelu. Nejdelší požadavek benchmarku měl 128 003 promptních tokenů a 1 024 vygenerovaných tokenů; to nezakládá kapacitu na nakonfigurovaném limitu 262 144 tokenů.