Sähköisen kaupankäynnin tilausten tullessa varastorobotti poimii mukeja hyllyltä ja sijoittaa ne laatikoihin lähetystä varten. Kaikki hyräilee, kunnes varasto käsittelee muutosta ja robotin täytyy nyt tarttua korkeampiin, kapeampiin, ylösalaisin varastoituihin mukeihin.
Tämän robotin uudelleenohjelmointi merkitsee käsin tuhansia kuvia, jotka osoittavat, kuinka se saa otteen näistä uusista mukeista, ja sitten järjestelmän harjoittelemista uudelleen.
Mutta MIT:n tutkijoiden kehittämä uusi tekniikka vaatisi vain kourallisen ihmisen esittelyjä robotin ohjelmointiin. Tämä koneoppimismenetelmä antaa robotille mahdollisuuden poimia ja sijoittaa ennennäkemättömiä esineitä, jotka ovat satunnaisissa asennoissa, joita se ei ole koskaan tavannut. 10–15 minuutin kuluessa robotti olisi valmis suorittamaan uuden poiminta- ja paikkatehtävän.
Tekniikka käyttää hermoverkkoa, joka on erityisesti suunniteltu rekonstruoimaan 3D-objektien muotoja. Vain muutamalla esittelyllä järjestelmä käyttää hermoverkon oppimia 3D-geometriasta tarttuakseen uusiin objekteihin, jotka ovat samanlaisia kuin demoissa.
Tutkijat osoittavat simulaatioissa ja käyttämällä todellista robottikättä, että heidän järjestelmänsä voi tehokkaasti manipuloida ennennäkemättömiä mukeja, kulhoja ja pulloja, jotka on järjestetty satunnaisiin asentoihin käyttämällä vain 10 demonstraatiota robotin opettamiseen.
"Tärkein panoksemme on yleinen kykymme tarjota paljon tehokkaammin uusia taitoja roboteille, joiden on toimittava jäsentymättömämmissä ympäristöissä, joissa voi olla paljon vaihtelua. Konsepti rakentamalla yleistäminen on kiehtova ominaisuus, koska tämä ongelma on tyypillisesti paljon vaikeampi”, sanoo Anthony Simeonov, sähkötekniikan ja tietojenkäsittelytieteen (EECS) jatko-opiskelija ja artikkelin toinen kirjoittaja.
Simeonov kirjoitti artikkelin yhdessä pääkirjailijan Yilun Dun kanssa, joka on EECS:n jatko-opiskelija; Andrea Tagliasacchi, Google Brainin henkilöstötutkija; Joshua B. Tenenbaum, Paul E. Newtonin urakehityksen kognitiivisten tieteiden ja laskennan professori Brain and Cognitive Sciences -osastolla ja Computer Science and Artificial Intelligence Laboratoryn (CSAIL) jäsen; Alberto Rodriguez, luokan 1957 apulaisprofessori konetekniikan laitoksella; ja vanhemmat kirjailijat Pulkit Agrawal, CSAILin professori, ja Vincent Sitzmann, tuleva apulaisprofessori EECS:stä. Tutkimus esitellään kansainvälisessä robotiikan ja automaation konferenssissa.
Geometrian ymmärtäminen
Robotti voidaan kouluttaa poimimaan tietty esine, mutta jos esine makaa kyljellään (ehkä se kaatui), robotti näkee tämän täysin uutena skenaariona. Tämä on yksi syy siihen, että koneoppimisjärjestelmien on niin vaikeaa yleistää uusiin objektisuuntauksiin.
Tämän haasteen voittamiseksi tutkijat loivat uudentyyppisen hermoverkkomallin, Neural Descriptor Fieldin (NDF), joka oppii esineluokan 3D-geometrian. Malli laskee geometrisen esityksen tietylle kohteelle käyttämällä 3D-pistepilveä, joka on joukko tietopisteitä tai koordinaatteja kolmessa ulottuvuudessa. Datapisteet saadaan syvyyskamerasta, joka antaa tietoa kohteen ja näkökulman välisestä etäisyydestä. Vaikka verkkoa koulutettiin simuloimaan suurella tietojoukolla synteettisiä 3D-muotoja, sitä voidaan soveltaa suoraan todellisen maailman esineisiin.
Tiimi suunnitteli NDF:n ominaisuudella, joka tunnetaan nimellä equivariance. Tällä ominaisuudella, jos mallille näytetään kuva pystyssä olevasta mukista ja sitten kuva samasta mukista kyljellään, se ymmärtää, että toinen muki on sama kohde, vain käännettynä.
"Tämä ekvivarianssi antaa meille mahdollisuuden käsitellä paljon tehokkaammin tapauksia, joissa tarkkailemasi objekti on jossain mielivaltaisessa suunnassa", Simeonov sanoo.
Kun NDF oppii rekonstruoimaan samankaltaisten objektien muotoja, se oppii myös yhdistämään näiden objektien toisiinsa liittyviä osia. Se esimerkiksi oppii, että mukien kahvat ovat samankaltaisia, vaikka jotkut mukeista olisivat korkeampia tai leveämpiä kuin toiset tai niissä olisi pienemmät tai pidemmät kahvat.
"Jos haluat tehdä tämän toisella lähestymistavalla, sinun on merkittävä kaikki osat käsin. Sen sijaan lähestymistapamme löytää nämä osat automaattisesti muodon rekonstruktiosta", Du sanoo.
Tutkijat käyttävät tätä koulutettua NDF-mallia opettaakseen robotille uuden taidon vain muutamalla fysikaalisella esimerkillä. He siirtävät robotin käden esineen siihen osaan, jonka haluavat sen tarttuvan, kuten kulhon reunaan tai mukin kahvaan, ja tallentavat sormenpäiden sijainnit.
Koska NDF on oppinut niin paljon 3D-geometriasta ja muotojen rekonstruoinnista, se voi päätellä uuden muodon rakenteen, minkä ansiosta järjestelmä voi siirtää esittelyt uusiin objekteihin mielivaltaisissa asennoissa, Du selittää.
Voittajan valitseminen
He testasivat malliaan simulaatioissa ja todellisella robottikäsivarrella käyttämällä esineinä mukeja, kulhoja ja pulloja. Heidän menetelmänsä onnistumisprosentti oli 85 prosenttia poiminta ja sijoittaminen -tehtävissä uusilla kohteilla uudessa suunnassa, kun taas paras lähtötaso pystyi saavuttamaan vain 45 prosentin onnistumisprosentin. Menestys tarkoittaa uuteen esineeseen tarttumista ja sen sijoittamista kohdepaikkaan, kuten mukien ripustamista telineeseen.
Monet perusviivat käyttävät 2D-kuvatietoja 3D-geometrian sijaan, mikä vaikeuttaa näiden menetelmien integrointia ekvivarianssiin. Tämä on yksi syy, miksi NDF-tekniikka toimi niin paljon paremmin.
Vaikka tutkijat olivat tyytyväisiä sen suorituskykyyn, heidän menetelmänsä toimii vain siinä objektiluokassa, johon se on koulutettu. Robotti, joka on opetettu poimimaan mukeja, ei pysty poimimaan laatikoita tai kuulokkeita, koska näissä esineissä on liian erilaisia geometrisiä piirteitä kuin verkko on opetettu.
"Tulevaisuudessa sen skaalaaminen useisiin kategorioihin tai luopuminen kokonaan luokasta olisi ihanteellista", Simeonov sanoo.
He aikovat myös mukauttaa järjestelmän ei-jäykille esineille ja pitkällä aikavälillä mahdollistaa järjestelmän suorittamisen poiminta- ja sijoitustehtävien kohdealueen muuttuessa.
Tätä työtä tukevat osittain Defence Advanced Research Projects Agency, Singapore Defense Science and Technology Agency ja National Science Foundation.
###
Kirjoittaja Adam Zewe, MIT News Office
Paperi: "Neuraalikuvauskentät: SE(3) - Ekvivariant Object Representations for Manipulation"
https://arxiv.org/pdf/2112.05124.pdf
Projektin verkkosivu
https://yilundu.github.io/ndf/
Artikkelin otsikko
"Neuraalikuvauskentät: SE(3)-Equivariant Object Representations for Manipulation"
