Divergence KL proti modelu bf16, vynucená učitelem přes pevné přepisy chatu (34 přepisů, 18 167 tokenů; hodnoceno na 4 926 pozicích):
Pro měřítko, stejné měření (stejné přepisy, pozice a reference bf16, všechny tokeny) pro další kvantizace tohoto modelu:
Čtěte jasně: int4 sám o sobě stojí asi 0,17 i s váhami Google pro kvantifikaci. Běh stejných vah v zářivosti s int8 aktivacemi přidává asi 0,07 a 3 body top-1; čísla zářivosti a aktivační kvantizaci nelze oddělit (plugin nemá cestu int4 s 16bitovými aktivacemi pro tyto váhy). Hmotnosti tohoto souboru, GPTQ - vyčísleno z bf16 místo vyškoleno pro int4, přidejte asi 0,06 nahoře, o 1,2 bodu lepší dohoda TOP-1 než th
Další kontroly tohoto souboru (Radiance, --num-speculative-tokens 3, chamtivý, pokud není uvedeno jinak): vyhledávání jehel v zásobníku sena při 7 961 a 31 998 promptních žetonech (nalezeno v obou případech, žetony odpovědí při pravděpodobnosti log −0,0; 203 564 žetonů bylo zkontrolováno pouze v předchozím sestavení); úkol německého seznamu (všech devět rakouských států a hlavních měst, chamtivý a třikrát při teplotě 1,0); 10/10 při kontrole volání na nástroj; pět testovacích obrázků pod [Vision](#vision).
