Prompt48/Kolibri-1-GGUF

Independent GGUF conversion and quantization of Aleph Alpha's Kolibri-1 ↗. Aleph Alpha vytvořil původní model; Prompt48 vyrobil tyto artefakty GGUF z původního kontrolního bodu. Nebylo provedeno žádné další školení.

Tyto soubory vyžadují podporu architektury Kolibri. Tato verze používá llama.cpp na adrese 836d57176s náplastí Kolibri od Hob-forge/Seraphiel102, která je k dispozici na Hob-forge/Kolibri-1-GGUF ↗. Obyčejné sestavy llama.cpp, Ollama a LM Studio bez této podpory nemohou tyto soubory načíst.

Implementační záplata je MIT; původní hmotnost modelu je Apache-2.0. Původní licence modelu je součástí této verze.

Zdrojem je blokový modelový checkpoint FP8 společnosti Aleph Alpha, převedený na meziprodukt BF16 GGUF. Dekvantizace na BF16 neobnoví přesnost ztracenou v původním kontrolním bodu FP8. Každá kvantizace je generována přímo z tohoto meziproduktu, nikoli z jiné nízkobitové kvantizace.