SandLogicTechnologies/minicpm5-2b-gguf

MiniCPM5-2B je kompaktní hustý jazykový model ze série MiniCPM5, vyvinutý společností OpenBMB pro místní asistenty, kódovací agenty, pracovní postupy používání nástrojů, úkoly uvažování a nasazení s omezenými zdroji. Model je navržen tak, aby poskytoval silné schopnosti v rámci relativně malého parametru a paměťové stopy.

Model obsahuje přibližně 2,52 miliardy parametrů a používá standardní architekturu LlamaForCausalLM se Skupinovou pozorností dotazu. Podporuje nativní délku kontextu až 131 072 tokenů, takže je vhodný pro aplikace, které vyžadují dlouhodobé zpracování kontextu při zachování kompaktní velikosti modelu.

MiniCPM5-2B je poslední po-trénované vydání v modelové řadě MiniCPM5-2B. Jeho školicí program zahrnuje doladění pod dohledem, posilovací učení a destilaci on-policy (OPD) s vyhrazeným školením zaměřeným na uvažování, kódování, používání nástrojů a agentské schopnosti.

Toto úložiště poskytuje GGUF-konvertované verze MiniCPM5-2B pro efektivní lokální odvození. Součástí dodaného převodu je referenční soubor F16 společně s variantami IQ3_M, IQ4_NL, IQ4_XS a Q6_K.