Hệ thống thị giác mới của MIT CSAIL giúp robot hiểu cơ thể của chúng - The Robot Report

MIT CSAIL đã phát triển một hệ thống điều khiển robot mới gọi là Neural Jacobian Fields (NJF), cho phép robot hiểu và điều khiển cơ thể của chính mình chỉ bằng dữ liệu hình ảnh từ một camera duy nhất, mà không cần dựa vào cảm biến nhúng hay các mô hình thiết kế sẵn. Phương pháp này giúp robot học được các mô hình nội tại của mình bằng cách quan sát tác động của các chuyển động ngẫu nhiên, cung cấp cho chúng một dạng nhận thức về cơ thể. Hệ thống đã được thử nghiệm thành công trên nhiều nền tảng robot đa dạng, bao gồm một bàn tay khí nén mềm, một bàn tay Allegro cứng, một cánh tay in 3D và một nền tảng xoay không cảm biến, chứng minh tính bền vững của nó trên các hình thái khác nhau. Đột phá chính của NJF nằm ở việc tách rời điều khiển robot khỏi các giới hạn phần cứng, từ đó cho phép thiết kế robot linh hoạt hơn, tiết kiệm chi phí và phi truyền thống mà không cần các mảng cảm biến phức tạp hay cấu trúc gia cố. Bằng cách tận dụng một mạng nơ-ron kết hợp tái tạo hình học 3D với trường Jacobian dự đoán cách các bộ phận robot di chuyển theo lệnh, NJF xây dựng dựa trên các trường bức xạ nơ-ron (NeRF) để...