Skupa GPU infrastruktura koju tvrtke posljednjih godina masovno kupuju za razvoj umjetne inteligencije često ne radi punim kapacitetom. Što je najgore, problem nije u samom hardveru, nego u manje vidljivom sloju koji podatke prenosi između objektne pohrane i računala.
„While people are focusing their attention, justifiably so, on GPUs, because they're very significant investments, those are rarely the limiting factor,” objašnjava Mark Menger, solutions architect u F5-u. „They're capable of more work. They're waiting on data.”
Taj „nevidljivi” sloj isporuke podataka u većini se organizacija nije planski gradio. Zbog toga se pri naglim skokovima opterećenja, kvarovima ili prelasku između različitih okruženja javljaju uska grla, a skupi GPU-i ostaju bez posla. Kada su AI okruženja čvrsto povezana s točno određenim točkama pohrane, svaki zastoj u mreži ili disku multiplicira se na stotine ili tisuće paralelnih procesa.
Prema riječima Maggie Stringfellow, potpredsjednice za upravljanje proizvodom BIG-IP, uzroci su duboko ukorijenjeni u dizajnu tradicionalnih sustava pohrane: „Traditional storage access patterns were not designed for highly parallel, bursty, multi-consumer AI workloads. Efficient AI data movement requires a distinct data delivery layer designed to abstract, optimize, and secure data flows independently of storage systems, because GPU economics make inefficiency immediately visible and expensive.”
Drugim riječima, AI traži samostalan i programski upravljiv sloj koji objekte iz pohrane priprema i servira točno onom brzinom kojom ih algoritmi troše. Bez toga, svako proširenje klastera ili migracija u oblak prijeti prekidima rada i neplaniranim troškovima.
Menger upozorava da se računalna snaga GPU-a danas vrlo brzo razotkriva kao suvišna u trenutku kada „čeka podatke”, što odmah udara po proračunu: ulaže se u silicij koji stoji – a razlog leži u softversko-mrežnom zastoju, ne u kibernetičkim čipovima.
Rješenje, složni su sugovornici, leži u izgradnji zasebnog, skalabilnog sloja za isporuku podataka koji će apstrahirati različite sustave pohrane, balansirati promet i kriptografski ga štititi – kako bi GPU-i napokon prestali čekati, a investment u AI počeo davati puni povrat.