ทฤษฎี Hamilton-Jacobi เชื่อมโยงสถาปัตยกรรมโครงข่ายประสาท (Neural Architectures)

โครงข่ายประสาท (Neural networks) มักจะให้ความรู้สึกเหมือนเป็นเพียงการรวบรวมเทคนิคต่างๆ ที่แยกจากกัน

ResNets ใช้ skip connections, Transformers ใช้ attention และ RNNs ใช้ recurrence แต่ละโมเดลมีกฎและคณิตศาสตร์เป็นของตัวเอง ซึ่งทำให้ยากที่จะมองเห็นภาพรวมที่ใหญ่กว่านั้น

งานวิจัยใหม่กำลังเปลี่ยนสิ่งนี้ โดยแสดงให้เห็นว่า ResNets, Transformers และ RNNs แท้จริงแล้วคือวัตถุทางคณิตศาสตร์ชนิดเดียวกัน และทั้งหมดล้วนเป็นไปตามสมการ Hamilton-Jacobi

นี่คือหลักการทำงาน:

  • Gradient descent คือวิวัฒนาการทางฟิสิกส์รูปแบบหนึ่ง
  • ในแต่ละขั้นตอนการฝึกฝน ค่าน้ำหนัก (weights) จะเคลื่อนที่ราวกับของไหล
  • ความลึก (depth), attention และ recurrence ทำหน้าที่เหมือนขั้นตอนของเวลา (time steps) ในการคำนวณ
  • พารามิเตอร์เพียงตัวเดียวสามารถควบคุมความราบเรียบ (smoothness) หรือความเบาบาง (sparsity) ของโมเดลได้

ทฤษฎีนี้เชื่อมโยงสี่สาขาที่แตกต่างกันเข้าด้วยกัน: โครงข่ายประสาท (neural networks), พีชคณิตเขตร้อน (tropical algebra), สมการเชิงอนุพันธ์ย่อย (PDEs) และการหาค่าที่เหมาะสมที่สุดแบบนูน (convex optimization)

เรื่องนี้สำคัญกับคุณอย่างไร?

เกณฑ์มาตรฐาน (benchmarks) ในปัจจุบันมักมุ่งเน้นไปที่ความแม่นยำ (accuracy) เป็นหลัก แต่กรอบแนวคิดนี้เสนอวิธีการสร้างโมเดลแบบใหม่ แทนที่จะเพียงแค่เพิ่มเลเยอร์ คุณสามารถปรับจูนคณิตศาสตร์เพื่อสร้างสมดุลระหว่างความราบเรียบและความเสถียรได้

ทฤษฎีนี้ยังทำนายได้ว่าโมเดลจะสามารถนำไปประยุกต์ใช้กับข้อมูลใหม่ (generalize) ได้ดีเพียงใด โดยเชื่อมโยงปริมาณข้อมูลที่คุณต้องการเข้ากับคณิตศาสตร์เฉพาะทางที่ใช้ในสถาปัตยกรรมของคุณ

ยังคงมีช่องว่างอยู่บ้าง โมเดลส่วนใหญ่ใช้ ReLU แต่คณิตศาสตร์นี้จะทำงานได้ดีที่สุดกับเลเยอร์แบบ log-sum-exp นอกจากนี้ เรายังต้องการการทดสอบในโลกความเป็นจริงเพิ่มเติม เพื่อดูว่ากฎทางฟิสิกส์เหล่านี้จะช่วยเพิ่มประสิทธิภาพได้จริงหรือไม่

เราควรเลิกมองสถาปัตยกรรมว่าเป็นเพียงเลเยอร์ประเภทต่างๆ แต่ควรเปลี่ยนมามองว่าพวกมันคือวิธีการที่แตกต่างกันในการแก้สมการเดียวกัน

Source: https://dev.to/olaughter/hamilton-jacobi-view-links-major-neural-architectures-5hln

Optional learning community: https://t.me/GyaanSetuAi