Lý thuyết Hamilton-Jacobi liên kết các kiến trúc mạng thần kinh

Các mạng thần kinh thường tạo cảm giác như một tập hợp các thủ thuật rời rạc.

ResNets sử dụng các kết nối nhảy (skip connections). Transformers sử dụng cơ chế chú ý (attention). RNNs sử dụng tính đệ quy (recurrence). Mỗi mô hình có các quy tắc và toán học riêng. Điều này khiến việc nhìn nhận bức tranh toàn cảnh trở nên khó khăn.

Nghiên cứu mới đã thay đổi điều này. Nó cho thấy ResNets, Transformers và RNNs thực chất là cùng một đối tượng toán học. Tất cả chúng đều tuân theo các phương trình Hamilton-Jacobi.

Dưới đây là cách thức hoạt động của nó:

  • Gradient descent là một dạng tiến hóa vật lý.
  • Mỗi bước huấn luyện làm dịch chuyển các trọng số giống như một dòng chất lưu.
  • Độ sâu, cơ chế chú ý và tính đệ quy hoạt động như các bước thời gian trong một phép tính.
  • Một tham số duy nhất kiểm soát mức độ mượt mà hoặc thưa thớt của một mô hình.

Lý thuyết này kết nối bốn lĩnh vực khác nhau: mạng thần kinh, đại số nhiệt đới (tropical algebra), phương trình đạo hàm riêng (PDEs) và tối ưu hóa lồi (convex optimization).

Tại sao điều này lại quan trọng đối với bạn?

Các điểm chuẩn (benchmarks) hiện nay chủ yếu tập trung vào độ chính xác. Khung lý thuyết này gợi ý một cách mới để xây dựng các mô hình. Thay vì chỉ thêm các lớp, bạn có thể tinh chỉnh toán học để cân bằng giữa độ mượt mà và tính ổn định.

Lý thuyết này cũng dự đoán khả năng tổng quát hóa của một mô hình. Nó liên kết lượng dữ liệu bạn cần với các phép toán cụ thể được sử dụng trong kiến trúc của bạn.

Vẫn còn những khoảng trống. Hầu hết các mô hình sử dụng ReLU, nhưng toán học này hoạt động tốt nhất với các lớp log-sum-exp. Chúng ta cũng cần thêm các thử nghiệm thực tế để xem liệu các quy luật vật lý này có cải thiện hiệu suất hay không.

Chúng ta nên ngừng coi các kiến trúc là các loại lớp khác nhau. Thay vào đó, hãy coi chúng là những cách khác nhau để giải cùng một phương trình.

Nguồn: https://dev.to/olaughter/hamilton-jacobi-view-links-major-neural-architectures-5hln

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi