⚡
MiniMax-M3 je nativní multimodální model s kontextem 1M. Má ~428B parametrů a ~23B aktivovaných parametrů.
M3 je poháněn MiniMax Sparse Attention (MSA) ↗, vysoce výkonným operátorem s řídkou pozorností určeným pro miliony kontextů. Ve srovnání s GQA MSA dramaticky snižuje výpočet pozornosti a paměťovou stopu při zachování kvality modelu.
📄 Přečtěte si technickou zprávu: arXiv:2606.13392 ↗ · Hugging Face Papers ↗
M3 podporuje tři režimy uvažování prostřednictvím parametru "myšlení": - "povoleno"— Odůvodnění je vždy povoleno. -"adaptivní"— M3 automaticky určuje, kdy je další uvažování prospěšné. -"zakázáno"— Odůvodnění je zakázáno, aby se minimalizovala latence a maximalizovala propustnost.
Licence
other
Zaměření
image-text-to-text
Velikost repozitáře
795.5 GB