Xiaomi: MiMo-V2.5

Vícekrokové úlohy a práce s nástroji podle popisu vydavatele
• API přijímá více druhů médií
• Kontext alespoň 500 000 tokenů
• API podporuje režim uvažování
• Odkaz na dostupný model na Hugging Face
• Součet vstupní a výstupní ceny nejvýše 1 USD za milion tokenů každého druhu

Dej modelu úlohu se třemi kroky a ověř správnost volání nástrojů.

Nativní pro text, obraz, video a zvuk model & Agent (MoE)

Komplexní autonomní agenti, kódování a vícekrokové uvažování (učení pomocí odměn a zpětné vazby)
• Multimodální analýza sjednocující video, zvuk, obrázky i text
• Práce s celými repozitáři a dlouhými konverzacemi (až 1 000 000 tokenů)

Vstup: $0.140
Výstup: $0.280
Čtení cache: $0.003

1 050 000 tokenů

Inherits the hybrid design from MiMo-V2-Flash, interleaving Sliding Window Attention (SWA) and Global Attention (GA) with a 5:1 ratio and 128 sliding window. This reduces KV-cache storage by nearly 6× while maintaining long-context performance via learnable attention sink bias.

Text · Zvuk · Obrázky · Video

Volání nástrojů · Uvažování (reasoning) · Opakované využití uloženého vstupu

Veřejně dostupné váhy pro vlastní provoz.
Licence: mit
Velikost repozitáře: 294.0 GB
Náklady na vlastní provoz závisí na použité infrastruktuře.

Zdědí hybridní design od MiMo-V2-Flash, prokládá posuvným oknem pozornost (SWA) a globální pozornost (GA) s poměrem 5:1 a 128 posuvným oknem. To snižuje úložiště mezipaměti KV téměř 6x při zachování výkonu v dlouhém kontextu prostřednictvím naučitelné zaujatosti záchytu pozornosti.

Vybaven 729M-param Vision Transformer (ViT) s hybridním oknem a vyhrazeným zvukovým enkodérem inicializovaným z váhy MiMo-Audio, který umožňuje vysoce kvalitní obraz, video a audio porozumění.

Tři lehké moduly MTP s hustými FFN urychlují odvození pomocí spekulativního dekódování a zlepšují efektivitu tréninku učení pomocí odměn a zpětné vazby.

Trénováno na celkem ~48T žetonech s využitím smíšené přesnosti FP8. Kontextové okno podporuje až 1 milion tokenů.