OpenAI je u tehničkom prikazu pojasnio kako ChatGPT i API platformu za oko 800 milijuna korisnika pokreće – ne distribuirana baza ni šardirani klaster – nego jedan jedini primarni PostgreSQL poslužitelj na Azureu, uz gotovo 50 replikâ raspoređenih po više regija.
• Jedan primarni poslužitelj zadužen je za sve upise, dok replike opslužuju čitanja. • Sustav obrađuje milijune upita u sekundi, uz p99 latenciju u niskim dvoznamenkastim milisekundama i dostupnost od 99,999 %. • U protekloj godini opterećenje na PostgreSQL-u poraslo je više od deset puta.
Ključne optimizacije
- Connection pooling: vrijeme uspostave veze skraćeno je s 50 na 5 ms.
- Cache locking: spriječeno je stvaranje „stada” pri promašajima u kešu, što je uklonilo nagla opterećenja baze.
Poruka arhitektima Iskusni tim naglašava da se odluka o šardiranju treba temeljiti na stvarnim obrascima rada, a ne na panici oko rasta ili pomodnim tehnološkim trendovima. AI aplikacije, čiji su zahtjevi pretežno čitalački s povremenim naletima upisa, mogu daleko dogurati s jednim primarcem uz pažljivo ciljane zahvate.
Zaključak je jasan: prvo pronađite stvarna uska grla i iscijedite maksimum iz provjerenih rješenja; radikalna rekonstrukcija arhitekture nije uvijek nužna.