# gpu

KV Cache Transform Coding komprimira memoriju transformera do 20 puta i ubrzava generiranje odgovora, najavljuje Nvidia.

LinkedIn je ugasio pet odvojenih sustava preporuke sadržaja i uveo jedinstveni model velikog jezika, čime je poboljšao relevantnost feeda i smanjio potrošnju GPU-a.

GPU klasteri za umjetnu inteligenciju troše milijarde, a često besposličare jer objektne pohrane ne mogu dostaviti podatke. Stručnjaci F5-a upozoravaju na potrebu za novim slojem isporuke podataka koji će ukloniti uska grla.

Shimon Ben-David iz WEKA-e upozorava da golemi kontekst potreban za „stanje-svjesne” AI agente usporava GPU-ove te zahtijeva novu memorijsku infrastrukturu.