Hệ thống thị giác MIT dạy robot hiểu cơ thể của chúng

Các nhà nghiên cứu tại CSAIL của MIT đã phát triển một hệ thống điều khiển robot mới gọi là Neural Jacobian Fields (NJF), cho phép robot học cách cơ thể của chúng di chuyển như thế nào khi phản ứng với các lệnh động cơ chỉ thông qua quan sát bằng hình ảnh, mà không cần dựa vào cảm biến tích hợp hay các mô hình được mã hóa thủ công. Sử dụng một camera đơn và các chuyển động khám phá ngẫu nhiên, NJF cho phép các robot—từ bàn tay robot mềm đến cánh tay cứng và các nền tảng quay—tự động xây dựng một mô hình nội bộ về hình học 3D và độ nhạy điều khiển của chúng. Phương pháp này mô phỏng cách con người học kiểm soát các chi của mình bằng cách quan sát và thích nghi với các chuyển động của chính họ, chuyển đổi lĩnh vực robot từ lập trình truyền thống sang việc dạy robot thông qua trải nghiệm. Đổi mới chính của NJF nằm ở việc tách rời điều khiển robot khỏi các giới hạn phần cứng, cho phép các nhà thiết kế tạo ra các robot mềm, có thể biến dạng hoặc có hình dạng không đều mà không cần tích hợp cảm biến hay chỉnh sửa cấu trúc để dễ dàng mô hình hóa hơn. Bằng cách tận dụng một mạng nơ-ron lấy cảm hứng từ các trường bức xạ nơ-ron (NeRF), NJF tái tạo hình dạng robot và phản ứng của nó với các đầu vào điều khiển chỉ dựa trên dữ liệu hình ảnh. Điều này...