bartowski/Mellum2.1-12B-A2.5B-Thinking-GGUF

Použití llama.cpp ↗ release b11490 ↗ pro kvantizaci.

Tyto kvantizace běží s llama.cpp ↗ - instalovatelné v jednom řádku přes llama.app ↗:

llama-server obsahuje vestavěné webové uživatelské rozhraní chatu, které se standardně zobrazuje na adrese https://deepvize.cz. ↗

Tyto požadavky byly vytvořeny s verzí llama.cpp b11490 - pokud je architektura tohoto modelu nově podporována, budete potřebovat tuto verzi nebo novější, abyste je mohli spustit.