Cách đào tạo robot đa năng với quy trình nghiên cứu và mô hình nền tảng của NVIDIA - The Robot Report

Các nhà nghiên cứu của NVIDIA đang thúc đẩy việc đào tạo robot có khả năng mở rộng bằng cách tận dụng trí tuệ nhân tạo sinh tạo, các mô hình nền tảng thế giới (WFMs) và quy trình tạo dữ liệu tổng hợp nhằm vượt qua những thách thức truyền thống trong việc thu thập và gán nhãn bộ dữ liệu lớn cho mỗi nhiệm vụ hoặc môi trường robot mới. Trung tâm của nỗ lực này là việc sử dụng các WFMs như NVIDIA Cosmos, được đào tạo trên hàng triệu giờ dữ liệu thực tế để dự đoán các trạng thái tương lai và tạo chuỗi video từ một hình ảnh duy nhất. Khả năng này cho phép tạo dữ liệu tổng hợp nhanh chóng với độ chân thực cao, tăng tốc đáng kể quá trình học của robot và giảm thời gian phát triển từ hàng tháng xuống còn vài giờ. Các thành phần chính trong phương pháp của NVIDIA bao gồm DreamGen, một quy trình tạo dữ liệu tổng hợp tạo ra dữ liệu quỹ đạo robot đa dạng và chân thực với sự can thiệp tối thiểu của con người, và các mô hình GR00T giúp thúc đẩy việc học kỹ năng tổng quát trên nhiều nhiệm vụ và hình thể khác nhau. Quy trình DreamGen bao gồm bốn bước chính: huấn luyện bổ sung một mô hình nền tảng thế giới (ví dụ, Cosmos-Predict2) trên một tập hợp nhỏ các bản trình diễn thực tế, tạo video robot tổng hợp chân thực từ các gợi ý hình ảnh và ngôn ngữ, trích xuất các hành động giả...