Falconsai/Athr_Agent_Sec

Karta zdrojového modelu: „Falconsai/Athr_Agent_Sec“ @ „main“, doslovně uvedena níže. Jeho licencí je úložiště. Následuje záznam Model Surgeon.

Typy otázek: „choice“ (vyberte jednu), „noul“ (ano/ne) a „score“ (objednané úrovně). Testovací hardware: NVIDIA RTX PRO 6000 Blackwell Server Edition.

Pro zařízení Qualcomm zkompilujte „model.onnx“ s Qualcomm AI Hub (QNN). Latence na zařízení dosud nebyla měřena.

Nakladač reprodukuje kalibrované pravděpodobnosti tréninkového notebooku, a to jak v fp32, v rozmezí 0,0e +00 (nano), 0,0e +00 (základní). Benchmark běžel ve smíšené přesnosti bf16 na GPU, která se liší od fp32 až o 1,3e-02 (nano), 1,6e-02 (báze) v pravděpodobnosti.