Databricks je objavio preuzimanje start-upa Mooncake, specijaliziranog za povezivanje PostgreSQL baza s lakehouse formatima, čime želi eliminirati potrebu za tradicionalnim ETL cjevovodima i ubrzati prijenos podataka za analitiku i umjetnu inteligenciju.
Financijski detalji transakcije nisu otkriveni, ali tehnološki učinak već je jasan: testovi pokazuju ubrzanje tipičnih operacija prijenosa podataka od 10 do 100 puta, a kod „sramotno paralelnih” zadataka – poput konverzije formata – i osjetno više.
Akvizicija dolazi svega nekoliko mjeseci nakon što je Databricks kupio Neon, poslužiteljsko rješenje za PostgreSQL. Upravo je bivši izvršni direktor Neona, Nikita Šamgunov, sada potpredsjednik inženjerstva u Databricksu, od prvog dana zagovarao kupnju Mooncakea kako bi se ubrzala tranzicija iz transakcijskog u analitički svijet bez posrednih ETL slojeva.
Zašto je Mooncake ključan
- pgmooncake – proširenje koje omogućuje analitička opterećenja izravno na PostgreSQL-u.
- moonlink – komponenta koja u stvarnom vremenu pretvara red-orijentirane podatke u kolonarne formate (Iceberg, Delta) i uključuje sloj za ubrzanje koji smanjuje latenciju pri svakoj metapodatkovnoj ili S3 operaciji.
„I think what agents expect now is the ability to iterate very quickly, and then the infrastructure should give agents fairly uniform access to data”, istaknuo je Šamgunov, objašnjavajući zašto moderni agenti koji samostalno generiraju aplikacije ne mogu čekati spore ETL kanale.
Suosnivač i glavni arhitekt Databricksa Reynold Xin slikovito je opisao novonastalu arhitekturu: nekada je OLTP baza imala „jednu malu cijev” (primjerice JDBC) – brzu, ali usku; sada, s Mooncakeom, „stvaramo neograničen broj daleko širelih cijevi” koje višestruko povećavaju protočnost.
Udar na ponudu velikih oblaka
Integracijom Mooncakea Databricks izravno konkurira upravljanim PostgreSQL uslugama velikih cloud pružatelja poput AlloyDB-a i Amazona Aurore. Dok svi nude odvajanje pohrane i računalnih resursa, Databricks tvrdi da ima prednost zahvaljujući već ugrađenom spoju operativnih i analitičkih modela.
Napad se vodi i cijenom: osnovni Neon paket, koji je prije akvizicije stajao 25 USD mjesečno, sada je srezan na samo 5 USD.
Što to znači za tvrtke
• Razvojni timovi mogu odmah analizirati podatke iz operativnih baza, bez čekanja da inženjeri izgrade i održe pipelines.
• Platformski odjeli usmjerit će se na upravljanje pristupom, kvalitetom podataka i optimizacijom radnih opterećenja unutar jedinstvene platforme, umjesto na orkestraciju složenih ETL tokova.
• Organizacije koje razvijaju aplikacije pogonjene agentima smanjuju ovisnost o zasebnim timovima za obradu podataka, što ubrzava plasman novih proizvoda.
Preuzimanjem Mooncakea Databricks šalje jasnu poruku: u eri automatiziranog razvoja aplikacija, podaci moraju biti dostupni odmah – a skupi i krhki ETL više nije opcija.