LinkedIn je tijekom protekle godine rastavio složenu infrastrukturu svojeg feeda i pet odvojenih cjevovoda (engl. pipelines) zamijenio jedinstvenim sustavom temeljenim na velikom jezičnom modelu. Promjena zahvaća tri razine — dohvat sadržaja, rangiranje objava i raspodjelu računalnih resursa — a cilj je bio istodobno povećati relevantnost za više od 1,3 milijarde korisnika i smanjiti troškove GPU-a.
„Prešli smo na vrlo velik LLM kako bismo sadržaj razumjeli znatno dublje i povezali ga s članovima na osobnijoj razini”, izjavio je potpredsjednik inženjeringa Tim Jurka. Dodao je da su tijekom procesa provedene stotine testova prije nego što je novi sustav postao standardna okosnica mreže.
Ključne promjene • Ujedinjen dohvat: ranije su zasebni sustavi posluživali objave iz mreže kontakata, lokalno trendovite teme, industrijski filtrirani sadržaj i druge izvore. Sada jedinstveni LLM čita sve te signale kao tekstualne prompte i formira zajednički skup kandidata. • Pametnije rangiranje: vlasnički generativni preporučivač obrađuje povijest interakcija kao kronološku priču karijere, a ne kao niz nepovezanih klikova. Time nastoji predvidjeti što će korisnika profesionalno potaknuti u sljedećem koraku. • Optimizirana infrastruktura: CPU-intenzivna obrada značajki odvojena je od GPU-teške inferencije, a tim je razvio prilagođene C++ učitavače podataka i varijantu Flash Attentiona. Paralelno čuvanje kontrolnih točaka dodatno štedi GPU memoriju.
Brojevi kao tokeni Jedno od otkrića testne faze bilo je da model ne razlikuje broj prikaza od običnih riječi. Kad je u promptu pisalo „views:12345”, popularnost se gubila u šumu tokena. Rješenje je došlo u obliku posebnih oznaka koje pretvaraju metriku dosega u percentilne „kofere”, pa model sada jasnije uvažava popularnost objave.
Konačni rezultat, tvrde u LinkedInu, jest feed koji preciznije spaja nazive poslova, vještine i industrije s ponašanjem korisnika – ali i izlazi jeftinije za održavanje nego skup nepovezanih sustava koji je zamijenio. Za inženjere izvan tvrtke ostaje najvažnija lekcija: uvođenje LLM-a rješava stare probleme personalizacije, ali istodobno otvara posve novu klasu tehničkih izazova oko podataka, performansi i troškova.