Gemini Robotics On-Device to nowa AI od Google DeepMind. Została zaprojektowana z myślą o pracy bezpośrednio na urządzeniu, bez potrzeby stałego połączenia z internetem.
W marcu Google zaprezentowało Gemini Robotics, oparty na modelu Gemini 2.0 system typu VLA (Vision-Language-Action), zdolny do rozumienia i działania w fizycznym świecie. Teraz przyszła pora na jego wersję lokalną – Gemini Robotics On-Device.
To najbardziej wydajna i uniwersalna wersja tego systemu, działająca bezpośrednio na robotach – bez potrzeby zdalnych serwerów i połączeń z chmurą.
Model ten został zoptymalizowany pod kątem niskiego opóźnienia oraz energooszczędności. Czyni go to idealnym do zadań wymagających natychmiastowej reakcji i działania w warunkach niestabilnego lub całkowicie niedostępnego internetu.
Zwinność, szybkość i adaptacja
Gemini Robotics On-Device wykazuje wyjątkową zręczność i zdolność do adaptacji w wielu złożonych zadaniach.
Potrafi m.in. rozpoznawać obiekty, wykonywać precyzyjne manipulacje (takie jak zapinanie zamków czy składanie ubrań) i reagować na polecenia wydawane w języku naturalnym.
W testach laboratoryjnych system osiągnął bardzo dobre wyniki zarówno w zadaniach znanych, jak i w tych zupełnie nowych. Pokazał tym samym zdolność do uogólniania wiedzy na niespotykane wcześniej sytuacje.
Dodatkowo, Gemini Robotics On-Device dostosowuje się do nowych zadań już po zaledwie 50–100 demonstracjach. To ogromna oszczędność czasu i zasobów w porównaniu z tradycyjnym szkoleniem modeli AI.
Współpraca z różnymi robotami
Choć model trenowany był pierwotnie na robotach ALOHA, z powodzeniem wykorzystano go również do pracy na innych platformach. Takich jak bi-arm Franka FR3 oraz humanoidalny Apollo firmy Apptronik.
W obu przypadkach system z powodzeniem wykonywał zadania wymagające precyzji i zręczności. Od złożonych operacji montażowych po manipulację nieznanymi wcześniej obiektami.
Odpowiedzialność i bezpieczeństwo
Google DeepMind podkreśla, że rozwój Gemini Robotics On-Device odbywa się zgodnie z zasadami odpowiedzialnej sztucznej inteligencji.
Zastosowano tu m.in. warstwowe zabezpieczenia semantyczne i fizyczne, integrację z niskopoziomowymi kontrolerami bezpieczeństwa oraz rygorystyczne testy bezpieczeństwa (red-teaming i benchmarki).
W rozwój modelu zaangażowały się zespoły zajmujące się oceną wpływu społecznego i etycznego. Ich rekomendacje są regularnie wdrażane przez zespół inżynierski.
Nowe narzędzia dla twórców robotów
Wraz z nowym modelem, DeepMind udostępnia również Gemini Robotics SDK. Jeszcze to zestaw narzędzi programistycznych, który umożliwia testowanie i dostosowywanie modelu do własnych potrzeb. Twórcy mogą uruchamiać symulacje w środowisku fizycznym MuJoCo, trenować model na nowych danych oraz łatwo eksperymentować z zadaniami manipulacyjnymi.
Na razie dostęp do modelu i SDK otrzymają wybrani partnerzy w ramach programu zaufanych testerów. Google jednak zapowiada, że to dopiero początek jego otwartego podejścia do zaawansowanej robotyki.
Foto: Google DeepMind.