Berlin — Potpuno nova generacija alata mijenja način na koji se u poduzećima gradi i održava podatkovna infrastruktura. Tvrtka dltHub osigurala je 8 milijuna dolara početnog kapitala predvođenog fondom Bessemer Venture Partners kako bi ubrzala razvoj svojeg otvorenog Python alata DLT, koji već ostvaruje 3 milijuna mjesečnih preuzimanja i pokreće radne tokove u više od 5 000 organizacija iz financijskog, zdravstvenog i proizvodnog sektora.
„Any Python developer should be able to bring their business users closer to fresh, reliable data”, izjavio je suosnivač i izvršni direktor Matthias Krzykowski, ističući ambiciju da se kompleksni inženjering podataka svede na razinu pisanja običnog Python koda.
Ključni adut DLT-a je automatizacija zadataka koji su donedavno tražili cijele timove infrastrukturnih i DevOps stručnjaka. Alat sam rješava evoluciju sheme, inkrementalno učitava samo nove zapise te se bez izmjena pokreće na AWS-u, u postojećim podatkovnim skladištima ili lokalno. Dokumentacija je strukturirana tako da ju je lako „progutati” velikim jezičnim modelima, što je dovelo do eksplozije tzv. YOLO programiranja – kopiranja poruke o pogrešci u AI pomoćnika i dobivanja rješenja u trenu.
Rezultati govore sami za sebe: korisnici su u rujnu izradili više od 50 000 prilagođenih konektora, dvadeset puta više nego početkom godine. Hoyt Emerson, konzultant koji je trebao prebaciti podatke iz Google Cloud Storagea u Amazon S3 i analitičko skladište, opisuje iskustvo: „That's when DLT gave me the aha moment”. Cijeli je proces završio za pet minuta, a AI asistenti poslužili su mu za generiranje predložaka i konfiguracija.
DLT se tako pozicionira između klasičnih ETL sustava poput Informatice, koji nude grafičko sučelje i tešku korporativnu regulativu, te novijih SaaS rješenja fokusiranih na gotove konektore, ali s rizikom vezivanja uz jednog dobavljača. Krzykowski tvrdi da je modularnost presudna: „DLT needs to be interoperable and modular. It can be deployed anywhere. It often becomes part of other people's data infrastructures.”
Šire gledano, to je dio pomaka prema tzv. sklopivom (composable) podatkovnom sloju – umjesto monolitnih platformi, tvrtke kombiniraju male, međusobno zamjenjive komponente. Uz pomoć AI-a, jedan Python programer danas može postići učinak cijelog tima, a poduzeća koja tu priliku iskoriste mogu značajno smanjiti troškove i ubrzati isporuku rješenja.
Investicija bi trebala ubrzati izgradnju cloud platforme koja će nadograditi otvoreni paket kompletnim rješenjem „od kraja do kraja”. S jedinom naredbom moći će se postaviti cjevovodi, transformacije i Jupyter bilježnice – bez brige o infrastrukturi.
Ako se trend nastavi sadašnjim tempom, masovna demokratizacija inženjeringa podataka više nije pitanje „hoće li”, nego „koliko brzo”.