Tvrtka Nvidia i istraživači sa sveučilišta Berkeley, Stanford i Texas u Austinu objavili su DreamDojo – sustav umjetne inteligencije koji humanoidnim robotima omogućuje da stječu znanje promatrajući ljude, a ne ponavljajući skupe demonstracije u laboratoriju.
Ključ je golema zbirka pod nazivom DreamDojo-HV: 44 000 sati egocentričnih videozapisa u kojima se ljudi kreću kroz najrazličitija okruženja i barataju tisućama predmeta. Autori naglašavaju da je riječ o „15 puta duljem trajanju, 96 puta više vještina i 2 000 puta više scena” od dosad najveće baze korištene za slične modele.
Sustav uči u dvije etape. Prvo u fazi pretreniranja izvlači opća fizička pravila iz ljudskih videa, a potom se u post-treningu prilagođava konkretnom robotu uz neprekidne akcije. Ta kombinacija, kažu znanstvenici, uklanja usko grlo skupog prikupljanja podataka specifičnih za svaki stroj.
Napredak se vidi i u brzini: uz postupak destilacije model ostvaruje interakciju u stvarnom vremenu pri 10 sličica u sekundi tijekom više od minute, što otvara mogućnosti za daljinsko upravljanje i planiranje „u hodu”. DreamDojo je već testiran na platformama GR-1, G1, AgiBot i YAM, gdje je uspješno izvodio cijele sekvence manipulacija u raznolikim okruženjima.
Predstavljanje dolazi u trenutku kada Jensen Huang u Davosu robotsku umjetnu inteligenciju naziva „once-in-a-generation” prilikom, ističući da će iduće desetljeće biti presudno za primjenu te tehnologije u industriji. Hoće li DreamDojo ubrzo prijeći iz laboratorija u tvornice, tek treba vidjeti, ali istraživači poručuju kako su roboti uz toliko ljudskih snimki dobili ono najvažnije: priliku da svijet nauče promatrajući nas, a ne isključivo vježbajući na vlastitim pogreškama.