⚡
Kolibri-1 je otevřený 78B model směsi odborníků společnosti Aleph Alpha (3,5B aktivní parametry, 384 směrovaných odborníků plus jeden sdílený odborník na vrstvu) pro němčinu a angličtinu, s režimem myšlení a voláním nástrojů. Toto úložiště obsahuje stejné soubory jako Sakura-MicroQuality-Kolibri-1-GGUF ↗ s 19 nejméně používanými směrovanými odborníky z každé odstraněné vrstvy (365 z 384), o 4,5 % menšími. Tento repozitář obsahuje jeden soubor GGUFStejná metoda, stejné texty, stejný stroj pro každý soubor; nižší KL divergence znamená blíže originálu BF16:
Proč: bitový rozpočet na tenzor je přidělen z naměřené citlivosti (viz Jak byl vytvořen), nikoli z pevných pravidel. Úplná tabulka níže.
"Typy tenzorů podle velikosti" uvádí podíl bajtů souboru na typ ggml (všechny jsou standardní typy llama.cpp, takže soubory běží v zásobě llama.cpp). Sloupce kvality: znamenají KL divergenci distribuce dalšího tokenu kvantizovaného modelu proti zdroji BF16 na vynechaném textu (nižší je lepší) a jak často se nejpravděpodobnější token nemění (vyšší je lepší).
Licence
apache-2.0
Zaměření
text-generation
Velikost repozitáře
83.8 GB
Optimalizováno pro lokální běh (formát: GGUF).
• Podpora strukturovaného volání nástrojů (tool/function calling) pro agentní úlohy.
Zadej úlohu s definovanými nástroji v JSON schématu a ověř správnost volání funkcí.
Dostupné v GGUF pro llama.cpp, LM Studio či Ollama. Velikost repozitáře je 83.8 GB (vyžaduje výkonnou GPU s velkou pamětí). Licence: apache-2.0.
