NVIDIA đã công bố Jetson Orin Nano 2, một mô-đun tính toán biên giúp đưa AI tạo sinh trực tiếp lên máy bay không người lái, robot và các hệ thống thị giác.

Đưa AI tạo sinh đến biên

Việc chạy các mô hình tạo sinh lớn từng đòi hỏi GPU tại các trung tâm dữ liệu. Orin Nano 2 đã thay đổi hoàn toàn kịch bản này: giờ đây các nhà phát triển có thể chạy các mô hình đó ngay trên chính thiết bị. Máy móc không còn phải chờ đợi chỉ thị từ đám mây; chúng xử lý dữ liệu cảm biến và hành động trong thời gian thực.

Đối với các startup, điều này giúp giảm độ trễ, cắt giảm mức sử dụng băng thông và giữ quyền riêng tư cho dữ liệu—một yếu tố quan trọng đối với các địa điểm từ xa hoặc môi trường bảo mật.

Một tiêu chuẩn mới cho máy móc tự hành

Bo mạch này hướng tới các robot di động tự hành (AMR) và thiết bị bay không người lái (UAV). Kiến trúc của NVIDIA cung cấp đủ khả năng xử lý để điều phối đồng thời các luồng dữ liệu từ camera, LiDAR và các cảm biến khác.

Các robot được trang bị Orin Nano 2 có thể vượt ra khỏi các lộ trình được lập trình sẵn. Các mô hình thị giác-ngôn ngữ cho phép chúng diễn giải môi trường xung quanh và điều hướng trong các bối cảnh động với sự hiểu biết giống như con người, thích ứng với các chướng ngại vật ngay tức thì.

Tại sao điều này lại quan trọng đối với hệ sinh thái AI

Nỗ lực của NVIDIA trong việc phổ cập hóa AI tại biên báo hiệu một sự chuyển dịch từ trí tuệ thuần đám mây sang khả năng tác động vật lý. Khi các mô hình LLM và mô hình khuếch tán (diffusion models) phát triển, phần cứng có khả năng chuyển đổi các thông tin kỹ thuật số thành chuyển động sẽ trở nên thiết yếu.

Bằng cách cung cấp một bo mạch ở phân khúc phổ thông, NVIDIA hạ thấp rào cản cho các nhà đổi mới phần cứng, lan tỏa những đột phá về robot ra ngoài phạm vi các công ty sở hữu các trang trại máy chủ khổng lồ. Tính toán tại biên sẽ sớm định nghĩa các robot công nghiệp và tiêu dùng hiện đại.

Các điểm chính cần lưu ý

  • Trí tuệ cục bộ: Orin Nano 2 chạy AI tạo sinh ngay trên thiết bị, giúp giảm độ trễ và sự phụ thuộc vào đám mây.
  • Ứng dụng mục tiêu: Được tối ưu hóa cho máy bay không người lái, robot tự hành và các hệ thống thị giác tiên tiến cần xử lý thời gian thực.
  • Phổ cập hóa AI vật lý: Một mô-đun biên với giá cả phải chăng giúp đẩy nhanh quá trình tích hợp AI cho các nhà phát triển và startup.

NVIDIA đã trình làng Jetson Orin Nano 2, một mô-đun biên phân khúc phổ thông có khả năng chạy các mô hình AI tạo sinh trực tiếp trên robot, máy bay không người lái hoặc hệ thống thị giác. Bước đi này đưa trí tuệ thời gian thực ngay trên thiết bị đến gần hơn với các nhà phát triển, những người trước đây vốn phải dựa vào máy chủ đám mây cho bất kỳ tác vụ nào vượt quá khả năng nhận thức cơ bản.

Tại sao AI tại biên lại quan trọng

Việc chạy các mô hình ngôn ngữ lớn hoặc các bộ tạo khuếch tán (diffusion generators) theo truyền thống đồng nghĩa với việc gửi dữ liệu cảm biến đến một trung tâm dữ liệu, chờ phản hồi và sau đó mới hành động. Chu trình khứ hồi đó làm tăng thêm độ trễ tính bằng mili giây, tiêu tốn băng thông và làm dấy lên các lo ngại về quyền riêng tư. Trong một kho hàng nơi robot tự hành phải né tránh một pallet vừa bị rơi bất ngờ, hoặc trong một máy bay không người lái tìm kiếm cứu nạn đang điều hướng trong một tòa nhà bị sập, việc chờ đợi phản hồi từ đám mây có thể là ranh giới giữa thành công và thất bại.

AI tại biên loại bỏ các khâu trung gian. Bằng cách xử lý video, lidar hoặc các luồng cảm biến khác tại chỗ, thiết bị có thể đưa ra các quyết định trong tích tắc mà không cần kết nối internet ổn định. Lợi ích này đến từ ba khía cạnh: thời gian phản ứng nhanh hơn, giảm lưu lượng dữ liệu và khả năng giữ dữ liệu cảm biến thô ngay trên thiết bị, giúp dễ dàng tuân thủ các quy định về quyền riêng tư.

Những gì Orin Nano 2 mang lại

Mô-đun mới được xây dựng dựa trên dòng Jetson của NVIDIA, nhưng đây là sản phẩm đầu tiên tuyên bố mang lại "AI tạo sinh tại biên" ở phân khúc giá hướng tới các startup và các đơn vị tích hợp nhỏ. Kiến trúc của nó kết hợp lõi kiểu GPU với các bộ tăng tốc mạng thần kinh chuyên dụng, xử lý các phép tính ma trận nặng nề vốn là nền tảng cho các mô hình thị giác-ngôn ngữ, các mạng khuếch tán nhỏ và các khối lượng công việc tạo sinh khác.

Khả năng chính

  • Hợp nhất đa cảm biến – tiếp nhận đồng thời các nguồn cấp camera, điểm lidar và các đầu vào khác mà không làm quá tải bộ xử lý.
  • Suy luận trên thiết bị – chạy các mô hình đã được huấn luyện trước mà không cần gửi dữ liệu ra ngoài, giúp bảo toàn băng thông và tính bảo mật.
  • Vận hành tiết kiệm năng lượng – được thiết kế cho các nền tảng mà thời lượng pin hoặc giới hạn nhiệt là những ràng buộc khắt khe, chẳng hạn như UAV hoặc các công cụ kiểm tra cầm tay.

Tác động đối với ngành Robot học

Các robot với Orin Nano 2 có thể vượt ra khỏi các lộ trình được lập trình sẵn. Các mô hình thị giác-ngôn ngữ cho phép robot diễn giải một câu lệnh như “nhặt hộp dụng cụ màu đỏ trên kệ bên trái” và xác định vị trí vật thể ngay cả khi môi trường đã thay đổi kể từ bản đồ cuối cùng của nó.

Drone có thể đánh giá địa hình trong thời gian thực, điều chỉnh kế hoạch bay ngay lập tức khi có chướng ngại vật mới xuất hiện. Khả năng tiếp cận của mô-đun này có thể mở rộng cộng đồng các nhà đổi mới. Các công ty nhỏ vốn từng phải thuê thời gian GPU đám mây cho mỗi lần suy luận giờ đây có thể tạo mẫu trên một bo mạch duy nhất, giúp giảm chi phí ban đầu và đẩy nhanh chu kỳ lặp lại. Điều này có thể thúc đẩy các giải pháp tự hành trong lĩnh vực logistics, nông nghiệp, kiểm tra và robot tiêu dùng.

Những rào cản tiềm ẩn

Việc chạy các mô hình tạo sinh tại biên không phải là không có những sự đánh đổi. Ngay cả với các bộ tăng tốc chuyên dụng, một bo mạch kích thước bằng thẻ tín dụng cũng không thể sánh ngang với GPU cấp máy chủ. Các nhà phát triển sẽ cần phải cắt tỉa hoặc lượng tử hóa các mô hình, đánh đổi độ phân giải để lấy tốc độ, hoặc chấp nhận độ trung thực của đầu ra thấp hơn. Giới hạn về năng lượng cũng có thể hạn chế thời gian bay của drone khi phải chạy các khối lượng công việc suy luận nặng.

Một thách thức khác nằm ở các công cụ phần mềm. NVIDIA cung cấp một ngăn xếp cho các thiết bị Jetson, nhưng hệ sinh thái để huấn luyện và triển khai các mô hình tạo sinh trên phần cứng hạn chế vẫn đang trong quá trình hoàn thiện. Các đội ngũ có thể phải dành nhiều công sức để điều chỉnh các mô hình vốn được xây dựng cho phần cứng quy mô đám mây.

Những điều cần theo dõi tiếp theo

Thử thách thực sự đối với Orin Nano 2 sẽ là việc áp dụng vào các sản phẩm thương mại. Các thử nghiệm thực địa sớm từ các startup robot, nhà sản xuất drone hoặc các nhà sản xuất thiết bị gốc (OEM) sẽ cho thấy liệu điểm tối ưu giữa hiệu suất và giá thành có đáp ứng được kỳ vọng hay không. Những bước phát triển song song từ các nhà sản xuất chip khác có thể tạo áp lực buộc NVIDIA phải cải tiến nhanh chóng về hiệu suất năng lượng và hỗ trợ phần mềm.

Các cơ quan quản lý cũng có thể bắt đầu xem xét kỹ lưỡng AI trên thiết bị khi chúng đưa ra các quyết định quan trọng về an toàn. Khi có nhiều hệ thống tự hành hoạt động mà không có sự can thiệp của con người, các tiêu chuẩn về xác minh, xác nhận và khả năng giải thích có thể định hình cách các nhà sản xuất cấu hình các mô hình tại biên.

Kết luận

Bằng cách đưa AI tạo sinh lên một bo mạch giá rẻ và tiêu thụ điện năng thấp, NVIDIA đã biến “trí tuệ chỉ có trên đám mây” thành một tính năng phần cứng có thể nằm ngay bên trong robot cần đến nó. Sự chuyển dịch này có thể phổ cập hóa khả năng nhận thức và ra quyết định tiên tiến, nhưng thành công sẽ phụ thuộc vào việc các nhà phát triển điều chỉnh các mô hình nặng nề như thế nào để phù hợp với tài nguyên khiêm tốn của một mô-đun tại biên. Nếu đạt được sự cân bằng, làn sóng drone, robot kho bãi và camera kiểm tra tiếp theo có thể suy nghĩ nhanh như cách chúng di chuyển.