Nvidia Cosmos 3 Nano: 4 model mở mô phỏng lái xe, robot

NVIDIA công bố ngày 05/11/2026 trên blog Hugging Face 4 checkpoint mở từ Cosmos 3 Nano, mỗi checkpoint 16 tỷ tham số huấn luyện được, giấy phép OpenMDW1.1 cho dùng thương mại theo điều khoản. Bốn model mô phỏng lái xe đa camera kèm LiDAR và robot hai tay.

4 checkpoint, mỗi checkpoint một việc

Bốn checkpoint đều là bản hậu huấn luyện của Cosmos 3 Nano, dùng chung một nền tảng world model nhưng làm bốn việc khác nhau. Người dùng chọn checkpoint theo đúng việc cần làm, không dùng một model cho mọi việc.

Transfer-Auto sinh video đồng bộ trên tối đa 11 góc camera, kể cả camera mắt cá, kèm sinh LiDAR chung với ảnh RGB. Sim-Bimanual hỗ trợ mô phỏng tương tác hai tay cho hai dạng robot YAM và AgiBot, điều khiển bằng chính sách hoặc tay cầm của người vận hành.

Sim-Auto chạy streaming, Transfer-Auto sinh dữ liệu offline

Hai checkpoint lái xe là hai đầu của một quy trình. Transfer-Auto làm dữ liệu offline: sinh trọn cảnh lái xe để huấn luyện và đánh giá. Sim-Auto là bản chưng cất nhân quả của Transfer-Auto, sinh từng đoạn ngắn camera và LiDAR liên tiếp chỉ trong vài bước khử nhiễu, dùng lịch sử đã sinh và điều khiển lái mới để chạy streaming dài và tương tác được.

Quy trình huấn luyện có 4 giai đoạn: thích ứng hai chiều, ép buộc theo thầy, chưng cất nhất quán, rồi tự ép buộc trên chính lịch sử do model sinh ra. Giai đoạn cuối quan trọng vì một vật thể dự đoán hơi lệch sẽ thành ngữ cảnh cho khung hình sau, lỗi có thể chồng lên nhau. Blog nhấn mạnh một lần chạy ngắn thành công chỉ chứng minh quy trình chạy được, chưa chứng minh model đã hội tụ.

Giấy phép OpenMDW1.1 cho dùng thương mại theo điều khoản

Cả 4 checkpoint dùng giấy phép OpenMDW1.1, cho phép dùng thương mại và phi thương mại theo điều khoản của giấy phép. Kèm theo checkpoint là công thức hậu huấn luyện đầy đủ, để người dùng tự huấn luyện tiếp trên dữ liệu của mình rồi chưng cất thành bản streaming riêng.

Cách dùng thực tế đi theo đúng thứ tự: thích ứng Transfer-Auto trên dữ liệu cảm biến của mình trước, rồi mới chưng cất thành Sim-Auto cho mô phỏng nhanh. Làm ngược thứ tự này thì model streaming sẽ không khớp với dàn cảm biến thật. Ai từng chạy model mở trên máy cá nhân sẽ thấy quy trình này quen thuộc, và bài Mô hình mã nguồn mở: 5 câu hỏi trước khi chạy trên máy nêu đúng 5 câu cần hỏi trước khi tải bất kỳ checkpoint nào về máy. Bài LM Studio vs Ollama: 7 khác biệt khi chạy AI trên máy so sánh hai công cụ chạy model cục bộ phổ biến nhất hiện nay.

Chạy thử cần Linux, GPU NVIDIA và Docker

Blog ghi rõ yêu cầu chạy thử: Linux, GPU NVIDIA, Docker và NVIDIA Container Toolkit. Bản thiết lập vLLM-Omni công bố đã thử trên một GPU GB200. Blog ghi rõ đây không phải thông số bộ nhớ tối thiểu, nên bài này không nêu con số VRAM tối thiểu nào.

Điểm này đáng ghi rõ vì nhiều bài viết khác đã nêu con số 96GB VRAM từ nguồn phụ mà blog gốc không có. Tới lúc viết bài này, tài liệu kỹ thuật của NVIDIA chưa nêu mức VRAM tối thiểu cho 4 checkpoint. Ai có ý định chạy thử nên đọc kỹ tài liệu kỹ thuật và kiểm tra bản thiết lập vLLM-Omni trước khi mua phần cứng.

Rủi ro, chi phí ẩn và điểm mù khi dùng Cosmos 3 Nano

Rủi ro lớn nhất là mô phỏng đẹp chưa chắc dùng được để huấn luyện chính sách thật. Blog nói rõ công việc phía trước là đo xem model có hỗ trợ học chính sách và đánh giá một cách trung thực hay không, hiểu giới hạn của nó, rồi cải thiện chỗ còn thiếu. Một lần chạy ngắn thành công chỉ chứng minh quy trình chạy được, chưa chứng minh model đã hội tụ.

Chi phí ẩn nằm ở phần cứng và thời gian hậu huấn luyện. Blog yêu cầu Linux, GPU NVIDIA, Docker và NVIDIA Container Toolkit, bản thiết lập mẫu thử trên một GPU GB200. Muốn mô phỏng vòng kín thì cần thêm runtime mô phỏng và bộ kết xuất bản đồ kịch bản, tức là chi phí không dừng ở việc tải checkpoint về.

Điểm mù là chưa có số đo độc lập nào về chất lượng mô phỏng của 4 checkpoint này trên dữ liệu thật của người dùng. Mọi con số trong bài đều lấy từ blog công bố của NVIDIA, chưa có bên thứ ba kiểm chứng. Ai dùng checkpoint để sinh dữ liệu huấn luyện nên đánh giá chất lượng trên tập kiểm tra riêng của mình trước khi tin hoàn toàn vào dữ liệu sinh ra.

*Cánh tay robot gắn camera. Ảnh: Pavel Danilyuk, Pexels, 2021-06-22.*

Mã định danh bài toán: nvidia-cosmos-3-nano-la-gi (chuẩn JSON / API).

— Quang Minh, từ phòng đo kiểm 3A.