S&P Global Market Intelligence tvrdi da je premostio dugogodišnju prazninu u procjeni kreditne sposobnosti malih i srednjih poduzeća (SME) u Sjedinjenim Državama. Tehnološki tim kompanije razvio je RiskGauge, AI-platformu koja pretražuje više od 200 milijuna web stranica, obrađuje podatke kroz niz algoritama i na kraju dodjeljuje ocjenu rizika svakoj tvrtki.
„Naš je cilj bio proširenje i učinkovitost”, istaknuo je Moody Hadi, voditelj razvoja novih proizvoda u odjelu risk solutions. Zahvaljujući RiskGaugeu, pokrivenost privatnih SME-ova u SAD-u povećana je pet puta – na oko 10 milijuna aktivnih tvrtki koje nisu obiteljska gospodarstva ni obrti.
Platforma je izgrađena na arhitekturi Snowflakea, a cijeli proces sastoji se od:
- crawlera i web scrapera koji prikupljaju podatke,
- sloja za predobradu,
- „rudara” koji izdvajanju ključne informacije,
- kuratora koji ih sređuju,
- te konačnog RiskGauge bodovanja.
U središnjem dijelu toka podataka Snowflakeov skladišni sustav i Snowpark Container Services omogućuju brzo procesuiranje terabajta sadržaja. Nakon čišćenja kodova i tagova, algoritmi se fokusiraju isključivo na čitljiv tekst.
Ocjene se kreću od 1 (najmanji rizik) do 100 (najveći), a korisnici – institucionalni ulagači, banke i osiguravatelji – dobivaju detaljna izvješća s financijskim pokazateljima, firmografijom, poviješću poslovanja i usporedbom s konkurencijom.
Ključnu ulogu imaju ensemble algoritmi koji „glasovanjem” više manjih modela potvrđuju osnovne podatke o tvrtki (naziv, opis djelatnosti, lokaciju) te analiziraju tonalitet objava na webu. Sustav potom tjedno skenira stranice i ažurira podatke samo ako detektira promjenu putem hash ključeva.
Izazovi su bili golema količina podataka i neujednačen izgled internetskih stranica. „Morali smo stalno optimizirati algoritme; neki su imali izvrsnu preciznost, ali su bili računalno preskupi”, objasnio je Hadi. Zbog različitih formata webova tim je izbjegao tvrdo kodiranje i robotsku automatizaciju, fokusirajući se na izdvajanje relevantnog teksta i odbacivanje skripti i nepotrebnog koda.
S kontinuiranim prikupljanjem i automatskim ažuriranjima, RiskGauge S&P-ju prvi put omogućuje sustavno praćenje kreditnog rizika milijuna malih privatnih tvrtki – segmenta koji je dosad bio gotovo nevidljiv tradicionalnim analitičkim alatima.