Přejít na obsah

Autor: David Soudil

Praxe 7 min čtení

Jetson Thor dokončil agentní test 6,4× rychleji

Jedno malé zařízení zvládlo za necelou půlhodinu práci, kterou referenční řešení dělalo víc než dvě a půl hodiny. NVIDIA uvádí, že její runtime TensorRT Edge-LLM s modelem Qwen3.6-27B na jednom vývojářském kitu Jetson AGX Thor dokončil všech 1 007 kroků výkonnostní zátěže benchmarku MLPerf Inference v6.1 Edge Agentic za 24 minut a 36 sekund.

Novinky 7 min čtení

Ray LLM DLC nasadí model na dvou GPU uzlech v EKS

Amazon Web Services zveřejnilo na svém blogu o umělé inteligenci návod, jak provozovat velký jazykový model (LLM) rozložený na více výpočetních uzlech. Příspěvek ukazuje nasazení jednoho takového modelu na dvou GPU uzlech ve službě Amazon EKS, tedy v řízeném prostředí Kubernetes od AWS.