Một khung chưng cất tri thức đa phương thức đã giúp cắt giảm 34% thời gian bảo trì robot mềm cho các đội ngũ đa ngôn ngữ, thu nhỏ công cụ suy luận xuống 60% và đưa ra các hướng dẫn trong chưa đầy 45 ms. Bước đột phá này có ý nghĩa quan trọng vì robot mềm—được chế tạo từ các polymer linh hoạt và bộ truyền động chất lỏng—đang lan rộng trong các lĩnh vực sản xuất, thiết bị y tế và các địa điểm nguy hiểm, tuy nhiên rào cản ngôn ngữ và các luồng cảm biến phân mảnh đang làm trì trệ việc bảo trì chúng.

Tại sao bảo trì robot mềm là một vấn đề đa phương thức

Robot mềm khác với các cánh tay kim loại: các vật liệu đàn hồi (elastomer), lớp da silicone và các kênh tích hợp bơm chất lỏng. Một vết nứt trên màng, một chỗ rò rỉ trong đường ống khí nén, hoặc một thay đổi nhỏ trong tiếng rít của bơm đều có thể là dấu hiệu của sự cố sắp xảy ra. Việc phát hiện những dấu hiệu đó cần nhiều hơn một nguồn dữ liệu.

  • Thị giác: Các nguồn cấp dữ liệu hình ảnh cho thấy sự biến dạng bề mặt hoặc đổi màu.
  • Xúc giác: Các cảm biến xúc giác báo cáo độ đàn hồi hoặc sự trượt không mong muốn.
  • Âm thanh: Các micro thu lại các tần số bơm bất thường.
  • Ngôn ngữ: Các đầu vào ngôn ngữ truyền tải quy trình sửa chữa bằng ngôn ngữ mẹ đẻ của kỹ thuật viên.

Khi một người vận hành nói tiếng Tây Ban Nha làm theo các hướng dẫn chỉ bằng tiếng Anh từ một mô hình dịch thuật tiêu chuẩn, mô hình đó đã hiển thị văn bản chính xác nhưng lại bỏ lỡ tín hiệu thị giác về một vết nứt đang lớn dần. Việc sửa chữa bị chậm trễ và việc dừng hoạt động gây tổn thất về tiền bạc. Sự cố này đã bộc lộ ba thách thức đan xen: sự không tương thích giữa các phương thức, thuật ngữ kỹ thuật khó dịch sát nghĩa, và nhu cầu phản hồi tại hiện trường theo thời gian thực.

Cách thức hoạt động của chưng cất tri thức đa phương thức

Các nhà nghiên cứu đã thay thế một AI nguyên khối bằng một bộ các mô hình “giáo viên”, mỗi mô hình là một chuyên gia trong một phương thức, và một mô hình “học sinh” nhẹ nhàng giúp hợp nhất các hiểu biết của chúng. Quy trình này gồm ba giai đoạn:

  1. Các mô hình giáo viên chuyên biệt theo phương thức – các mạng thần kinh riêng biệt được huấn luyện trên các kho ngữ liệu thị giác, âm thanh và văn bản. Mô hình giáo viên thị giác phát hiện các vết nứt, mô hình giáo viên âm thanh đánh dấu các âm thanh bơm bất thường, và mô hình giáo viên ngôn ngữ phân tích các tài liệu kỹ thuật.
  2. Mô-đun căn chỉnh – một cầu nối thần kinh giúp chiếu các đầu ra không đồng nhất vào một không gian nhúng (embedding space) chung. Học tương phản (Contrastive learning) buộc hệ thống phải liên kết, ví dụ, một vết nứt trực quan với đặc trưng âm thanh của nó, nhờ đó các vector nhúng nắm bắt được ngữ nghĩa đa phương thức.
  3. Mô hình học sinh đa ngôn ngữ – một mô hình nhỏ gọn tiêu thụ các vector nhúng đã được căn chỉnh và tạo ra các hướng dẫn sửa chữa bằng bất kỳ ngôn ngữ nào được hỗ trợ. Một đồ thị tri thức chuyên biệt theo lĩnh vực cung cấp các bản dịch chính xác cho các thuật ngữ chuyên ngành như “pneumatic diaphragm” (màng khí nén) hoặc “hydrogel actuator” (bộ truyền động hydrogel).

Lượng tử hóa (Quantization)—việc giảm độ chính xác của trọng số—giúp cắt giảm 60% dung lượng của mô hình học sinh, cho phép nó chạy trên các thiết bị biên với ngân sách tính toán thấp. Độ trễ suy luận đạt mức 45 ms đáp ứng được yêu cầu thời gian thực của một người vận hành đang theo dõi nguồn cấp camera trực tiếp trong khi lắng nghe tiếng ồn của bơm.

Hiệu quả đạt được và tác động thực tế

Khung làm việc này đã được thử nghiệm tại một cơ sở đối tác.

  • Tiết kiệm thời gian: Các đội ngũ đa ngôn ngữ đã hoàn thành các đợt kiểm tra định kỳ nhanh hơn 34%, nhờ vào sự hướng dẫn tức thời, khớp với ngôn ngữ, giúp làm nổi bật đồng thời các bất thường về thị giác và âm thanh.

Những con số này cho thấy việc kết hợp các luồng cảm biến với xử lý ngôn ngữ có thể chuyển đổi việc bảo trì robot mềm từ trạng thái phản ứng sang trạng thái dự đoán.

Những hạn chế tiềm ẩn

Cách tiếp cận này đánh