บททดสอบความอยู่รอดที่สถาปัตยกรรม AI ทุกแห่งมักจะสอบตก

สถาปัตยกรรมส่วนใหญ่ในการพัฒนา AI นั้นมีข้อบกพร่อง

อุตสาหกรรมนี้ดำเนินตามสูตรที่เรียบง่ายคือ: Agent = Model + Harness ตรรกะนี้มองว่าโมเดลคือระบบทั้งหมด ซึ่งเป็นความผิดพลาด

ระบบที่ใช้งานได้จริงต้องมีองค์ประกอบสำคัญ 5 ประการ หากขาดไปอย่างใดอย่างหนึ่ง ระบบจะล้มเหลว หากตัดออกไปอย่างหนึ่ง ระบบจะตายลง

สถาปัตยกรรม AI ในปัจจุบันล้มเหลวเพราะขาดองค์ประกอบไป 2 ใน 5 ส่วนนี้

องค์ประกอบทั้ง 5 ประการ ได้แก่:

  • The Tool (The Model): ทำหน้าที่สร้างผลลัพธ์ เช่น โค้ดหรือการทดสอบ นี่คือกิจกรรมหลัก แต่ไม่ใช่ตัวระบบทั้งหมด
  • The Engine (The Specification): คือเจตจำนงของมนุษย์ เป็นคำนิยามของความสำเร็จที่คงทน มีการระบุเวอร์ชัน และสามารถตรวจสอบได้ หากไม่มีสิ่งนี้ การสร้างผลลัพธ์จะขาดทิศทาง
  • The Transmission (The Delivery): ทำหน้าที่เคลื่อนย้ายการเปลี่ยนแปลงจากโค้ดไปสู่การติดตั้งใช้งาน (deployment) ผ่าน CI/CD และสัญญา (contracts) ที่เครื่องจักรสามารถอ่านได้
  • The Control Unit (Independent Verification): นี่คือส่วนที่ขาดหายไป มันคือด่านตรวจที่เป็นอิสระซึ่งทำหน้าที่วัดผลลัพธ์เทียบกับข้อกำหนด (specification) ไม่ใช่การให้โมเดลตรวจสอบตัวเอง แต่มันต้องเป็นระบบที่ให้ผลลัพธ์แน่นอน (deterministic system) เช่น type checker หรือชุดการทดสอบ (test suite)
  • The Casing (Boundaries and Continuity): ทำหน้าที่ปกป้องระบบ โดยใช้การแยกโมดูล (module isolation) เพื่อป้องกันไม่ให้ agent ก้าวข้ามขอบเขต และยังใช้การลบออก (subtraction) เพื่อป้องกันไม่ให้โค้ดบวมเกินความจำเป็น (code bloat)

ปัญหาของ "Model + Harness" คือการมุ่งเน้นไปที่เครื่องมือเพียงอย่างเดียว

เครื่องมือที่ทรงพลังแต่ไม่มีหน่วยควบคุม ก็เหมือนเครื่องจักรที่ผลิตข้อผิดพลาดที่ไม่ได้ผ่านการตรวจสอบ ระบบส่งกำลังที่รวดเร็วแต่ไม่มีหน่วยควบคุม ก็เหมือนบริการไปรษณีย์ที่ส่งระเบิดด้วยความแม่นยำและน่าเชื่อถืออย่างสมบูรณ์แบบ

นี่คือเหตุผลว่าทำไมโมเดลที่ทรงพลังมากขึ้นมักจะทำให้ปัญหาแย่ลง เพราะพวกมันเพียงแค่สร้างผลลัพธ์ที่ไม่ได้ผ่านการตรวจสอบได้เร็วขึ้นเท่านั้น

การจะขยายขนาดไปสู่ agent นับร้อยตัว คุณไม่ต้องการการประสานงาน (orchestration) ที่ดีขึ้น แต่คุณต้องการการแยกส่วนประกอบ (decomposition) ที่ดีขึ้น

Agent ไม่ควรทำงานบนไฟล์เดียวกัน พวกเขาควรทำงานบนโมดูลที่เป็นอิสระต่อกัน ซึ่งกำหนดโดย interface และสัญญา (contracts) ที่เข้มงวด นี่คือวิธีที่ทีมวิศวกรรมที่เป็นมนุษย์ทำงาน พวกเขาไม่ได้ประสานงานกันในระดับการกดแป้นพิมพ์ แต่ประสานงานกันผ่าน API และข้อกำหนด (specifications)

เลิกถามว่าโมเดลต้องการอะไร แต่เริ่มถามว่าระบบต้องการอะไรเพื่อให้สามารถผลิตซอฟต์แวร์ที่ถูกต้องได้

Source: https://dev.to/bala_paranj_059d338e44e7e/the-viability-test-every-ai-dev-architecture-fails-d3

Optional learning community: https://t.me/GyaanSetuAi