Přejít na obsah

inference LLM

Novinky 7 min čtení

Ray LLM DLC nasadí model na dvou GPU uzlech v EKS

Amazon Web Services zveřejnilo na svém blogu o umělé inteligenci návod, jak provozovat velký jazykový model (LLM) rozložený na více výpočetních uzlech. Příspěvek ukazuje nasazení jednoho takového modelu na dvou GPU uzlech ve službě Amazon EKS, tedy v řízeném prostředí Kubernetes od AWS.