Local หรือ Cloud: ภาระงานต้องพิสูจน์ตัวเองให้คู่ควร

Machine learning มักจะมีความยุ่งเหยิงเสมอ

คุณรันงานบนเครื่องของคุณแล้วมันก็ล้มเหลว คุณตรวจสอบโค้ด คุณตรวจสอบข้อมูล คุณใช้เวลาหลายชั่วโมงในการดีบั๊กข้อผิดพลาดง่ายๆ ในขั้นตอนการเตรียมข้อมูล (preprocessing)

นี่คือส่วนที่ไม่น่าตื่นเต้นของงาน มันคือขั้นตอนที่คุณยังไม่รู้ด้วยซ้ำว่าไอเดียของคุณมันใช้งานได้จริงหรือไม่

หลายคนถกเถียงกันเรื่องฮาร์ดแวร์ในเครื่อง (local hardware) เทียบกับพลังการประมวลผลบนคลาวด์ (cloud compute) พวกเขาดูตารางคำนวณและเปรียบเทียบต้นทุน พวกเขาเปรียบเทียบราคาของเวิร์กสเตชัน (workstation) กับอัตราค่าบริการรายชั่วโมงของ GPU บนคลาวด์

นี่คือวิธีมองที่ผิด

การถกเถียงที่แท้จริงคือเรื่องของความไม่แน่นอน

งาน ML ในช่วงเริ่มต้นนั้นเต็มไปด้วยความไม่แน่นอน คุณต้องรับมือกับ:

  • dependencies ที่พัง
  • tensor shapes ที่ผิดพลาด
  • ความจำเป็นในการทำ data reshaping
  • environment errors

หากคุณใช้คลาวด์ในช่วงเฟสนี้ คุณกำลังจ่ายเงินให้กับความสับสนของคุณ ทุกความผิดพลาดมีต้นทุน ทุกชั่วโมงที่คุณใช้ในการดีบั๊กข้อความแสดงข้อผิดพลาดคือชั่วโมงที่คุณต้องจ่ายเงิน คลาวด์เปรียบเสมือนเครื่องยนต์ที่เร่งความเร็วให้กับความสับสนของคุณ

ฮาร์ดแวร์ในเครื่องมีวัตถุประสงค์ที่ต่างออกไป มันคือสถานที่ที่ความไม่แน่นอนมีราคาถูก เวิร์กสเตชันช่วยให้คุณทดสอบโมเดลขนาดเล็กและตรวจสอบสมมติฐานได้โดยไม่ต้องกังวลเรื่องตัวเลขค่าใช้จ่ายที่เดินอยู่ตลอดเวลา มันช่วยให้คุณล้มเหลวได้เป็นการส่วนตัวและฟรี

คลาวด์จะเริ่มมีประโยชน์เมื่อภาระงานมีความชัดเจนและเสถียรแล้ว

ใช้คลาวด์เมื่อ:

  • container ของคุณเสถียรแล้ว
  • ชุดข้อมูลของคุณพร้อมแล้ว
  • การใช้หน่วยความจำ (memory profile) ของคุณคาดการณ์ได้
  • คุณต้องการการขยายขนาด (scale) มหาศาล

Cloud compute มีไว้เพื่อการประมวลผล (execution) ส่วน Local compute มีไว้เพื่อการค้นพบ (discovery)

ความเป็นมืออาชีพไม่ใช่เรื่องของการใช้เครื่องที่ใหญ่ที่สุด แต่คือการรู้ว่าเมื่อไหร่ที่งานของคุณพร้อมจะออกจากโต๊ะทำงานของคุณแล้ว

หากคุณยังอยู่ในขั้นตอนค้นหาว่างานคืออะไร ให้ใช้เครื่องในเครื่อง (local) ต่อไป เมื่อคุณรู้แน่ชัดแล้วว่างานคืออะไรและต้องการให้มันเสร็จเร็วขึ้น จึงค่อยย้ายไปใช้คลาวด์

อย่าใช้คลาวด์เพื่อห่อหุ้มการทดลองที่ยังไม่ชัดเจนด้วยโครงสร้างพื้นฐานราคาแพง จงรอจนกว่างานนั้นจะพิสูจน์ตัวเองว่าคู่ควร

Source: https://dev.to/lareleem/local-or-not-the-workload-has-to-earn-the-cloud-2boe

Optional learning community: https://t.me/GyaanSetuAi