Dla ludzi znalezienie zgubionego portfela zakopanego pod stosem przedmiotów jest całkiem proste -- po prostu usuwamy rzeczy ze stosu, dopóki nie znajdziemy portfela. Ale w przypadku robota zadanie to wymaga złożonego wnioskowania na temat stosu i znajdujących się w nim obiektów, co stanowi duże wyzwanie.
Naukowcy z MIT zademonstrowali wcześniej ramię robota, które łączy informacje wizualne i sygnały o częstotliwości radiowej (RF), aby znaleźć ukryte obiekty, które zostały oznaczone tagami RFID (odbijającymi sygnały wysyłane przez antenę). Opierając się na tej pracy, opracowali teraz nowy system, który może skutecznie wydobywać każdy przedmiot zakopany w stosie. Dopóki niektóre elementy w stosie mają znaczniki RFID, element docelowy nie musi być oznaczony, aby system mógł go odzyskać.
Algorytmy stojące za systemem, znane jako FuseBot, uzasadniają prawdopodobną lokalizację i orientację obiektów pod stosem. Następnie FuseBot znajduje najskuteczniejszy sposób na usunięcie przeszkadzających obiektów i wyodrębnienie docelowego elementu. To rozumowanie umożliwiło FuseBotowi znalezienie więcej ukrytych przedmiotów niż najnowocześniejszy system robotyki w o połowę krótszym czasie.
Ta prędkość może być szczególnie przydatna w magazynie e-commerce. Robot, którego zadaniem jest przetwarzanie zwrotów, może wydajniej znajdować elementy w nieposortowanym stosie dzięki systemowi FuseBot, mówi starszy autor Fadel Adib, profesor nadzwyczajny na Wydziale Inżynierii Elektrycznej i Informatyki oraz dyrektor grupy Signal Kinetics w Media Lab.
„To, co ten dokument pokazuje po raz pierwszy, to fakt, że sama obecność elementu oznaczonego RFID w środowisku znacznie ułatwia wykonywanie innych zadań w bardziej wydajny sposób. Udało nam się to zrobić, ponieważ dodaliśmy multimodalne wnioskowanie w systemie -- FuseBot może wnioskować zarówno na temat wizji, jak i RF, aby zrozumieć stos przedmiotów” – dodaje Adib.
Do Adiba dołączają asystenci naukowi Tara Boroushaki, która jest głównym autorem; Laura Dodds; i nazistowski Naeem. Badania zostaną zaprezentowane na konferencji Robotyka: Nauka i Systemy.
Tagi kierowania
Niedawny raport rynkowy wskazuje, że ponad 90 procent sprzedawców detalicznych w USA używa obecnie tagów RFID, ale technologia ta nie jest uniwersalna, co prowadzi do sytuacji, w których tagowane są tylko niektóre przedmioty w stosach.
Ten problem zainspirował badania grupy.
Dzięki FuseBot ramię robota wykorzystuje dołączoną kamerę wideo i antenę RF do pobrania nieoznakowanego obiektu docelowego z mieszanego stosu. System skanuje stos za pomocą kamery, aby stworzyć model 3D otoczenia. Jednocześnie wysyła sygnały ze swojej anteny w celu zlokalizowania tagów RFID. Te fale radiowe mogą przenikać przez większość stałych powierzchni, dzięki czemu robot może „widzieć” w głąb stosu. Ponieważ przedmiot docelowy nie jest oznaczony, FuseBot wie, że przedmiot nie może znajdować się dokładnie w tym samym miejscu, co znacznik RFID.
Algorytmy łączą te informacje, aby zaktualizować model 3D środowiska i wskazać potencjalne lokalizacje docelowego elementu; robot zna jego rozmiar i kształt. Następnie system analizuje obiekty w stosie i lokalizacje znaczników RFID, aby określić, który element należy usunąć, w celu znalezienia elementu docelowego przy jak najmniejszej liczbie ruchów.
Włączenie tego rozumowania do systemu było trudne, mówi Boroushaki.
Robot nie jest pewien, w jaki sposób przedmioty są zorientowane pod stosem ani w jaki sposób gąbczasty przedmiot może zostać zdeformowany przez naciskanie na niego cięższych przedmiotów. Pokonuje to wyzwanie za pomocą rozumowania probabilistycznego, wykorzystując wiedzę o rozmiarze i kształcie obiektu oraz lokalizacji znacznika RFID do modelowania przestrzeni 3D, którą obiekt prawdopodobnie będzie zajmował.
Usuwając elementy, korzysta również z rozumowania, aby zdecydować, który element „najlepiej” usunąć w następnej kolejności.
„Jeśli dam człowiekowi stos przedmiotów do przeszukania, najprawdopodobniej najpierw usunie największy przedmiot, aby zobaczyć, co jest pod nim. To, co robi robot, jest podobne, ale zawiera również informacje RFID, aby podjąć bardziej świadomą decyzję. pyta: „O ile więcej zrozumie ten stos, jeśli usunie ten przedmiot z powierzchni?” – mówi Boroushaki.
Po usunięciu przedmiotu robot ponownie skanuje stos i wykorzystuje nowe informacje do optymalizacji swojej strategii.
Wyniki wyszukiwania
To rozumowanie, a także wykorzystanie sygnałów RF, dały FuseBotowi przewagę nad najnowocześniejszym systemem, który wykorzystywał tylko wizję. Zespół przeprowadził ponad 180 eksperymentalnych prób z użyciem prawdziwych robotycznych ramion i stosów artykułów gospodarstwa domowego, takich jak artykuły biurowe, wypchane zwierzęta i odzież. Zmieniali rozmiary stosów i liczbę elementów oznaczonych RFID w każdym stosie.
FuseBot skutecznie wyodrębnił przedmiot docelowy w 95 procentach przypadków, w porównaniu z 84 procentami w przypadku innego systemu robotycznego. Osiągnął to, wykorzystując o 40% mniej ruchów i był w stanie zlokalizować i odzyskać wybrane przedmioty ponad dwa razy szybciej.
„Widzimy dużą poprawę wskaźnika sukcesu dzięki włączeniu tych informacji RF. Ekscytujące było również to, że byliśmy w stanie dopasować wydajność naszego poprzedniego systemu i przekroczyć ją w scenariuszach, w których docelowy element nie miał RFID tag” – mówi Dodds.
FuseBot można stosować w różnych ustawieniach, ponieważ oprogramowanie realizujące złożone wnioskowanie można zaimplementować na dowolnym komputerze --, którego wystarczy tylko skomunikować się z ramieniem robota wyposażonym w kamerę i antenę — dodaje Boroushaki.
W niedalekiej przyszłości naukowcy planują wprowadzić do FuseBot bardziej złożone modele, aby lepiej radził sobie z obiektami odkształcalnymi. Poza tym są zainteresowani odkrywaniem różnych manipulacji, takich jak ramię robota, które odpycha przedmioty z drogi. Przyszłe iteracje systemu mogą być również wykorzystywane z robotem mobilnym, który przeszukuje wiele stosów w poszukiwaniu zagubionych przedmiotów.
Praca ta została częściowo sfinansowana przez National Science Foundation, Sloan Research Fellowship, NTT DATA, Toppan, Toppan Forms i MIT Media Lab.