Bagaimana OpenAI dan Anthropic Merancang Sistem AI
Banyak orang mencoba melakukan rekayasa balik (reverse-engineer) terhadap perusahaan AI dengan melihat dokumentasi API atau postingan blog. Mereka berfokus pada model dan endpoint. Hal ini menyebabkan kesimpulan yang salah.
Model hanyalah satu bagian dari teka-teki tersebut.
Perusahaan seperti OpenAI dan Anthropic tidak hanya membangun model. Mereka membangun ekosistem yang masif. Mereka membangun sistem terdistribusi skala besar.
Jika Anda mengira mereka hanya memiliki model yang lebih baik, Anda melewatkan rahasia sebenarnya. Kesuksesan mereka berasal dari cara mereka melatih, menerapkan (deploy), dan meningkatkan model-model tersebut melalui loop yang terintegrasi.
Sistem AI produksi pada skala ini memerlukan beberapa lapisan:
• Data Pipelines: Untuk mengumpulkan dan membersihkan data pelatihan. • Training Infrastructure: Untuk mengelola biaya komputasi yang masif dan paralelisme. • Model Layer: Arsitektur inti untuk akurasi. • Inference Layer: Untuk menyajikan respons dengan latensi rendah. • Safety Layer: Untuk menegakkan guardrails dan penyelarasan (alignment). • Observability: Untuk memantau performa dan melakukan debug pada kesalahan. • Feedback Loops: Untuk meningkatkan model seiring berjalannya waktu.
Setiap lapisan bergantung pada lapisan lainnya. Jika Anda mengubah satu lapisan, Anda akan berdampak pada seluruh sistem.
Pelatihan juga merupakan proses yang berkelanjutan. Perusahaan-perusahaan ini tidak melatih model sekali lalu berhenti. Mereka menggunakan paradigma pelatihan berkelanjutan (continuous training). Mereka menggunakan ribuan GPU untuk menangani aliran data baru yang terus-menerus.
Penyelarasan (alignment) dan keamanan juga merupakan inti dari desain mereka. Mereka menggunakan strategi yang berbeda untuk memandu perilaku model:
• RLHF: Menggunakan umpan balik manusia untuk penyelarasan berkualitas tinggi. • Constitutional AI: Menggunakan panduan berbasis aturan untuk skala besar. • Prompt Constraints: Menggunakan instruksi sistem untuk pengaturan cepat. • Output Filtering: Menggunakan pasca-pemrosesan (post-processing) untuk moderasi.
Mereka menggabungkan metode-metode ini agar tetap tangguh.
Setelah model siap, mereka harus menyajikannya. Mereka menggunakan teknik seperti batching, caching, dan kuantisasi (quantization). Hal ini membantu mengelola keseimbangan (trade-off) antara kecepatan dan biaya.
Akhirnya, mereka menggunakan observability untuk melihat segalanya. Karena output AI tidak selalu sama, proses debugging menjadi sulit. Anda tidak bisa hanya melihat satu kesalahan. Anda harus melihat pola di seluruh sistem.
Kesuksesan dalam AI berasal dari pengelolaan interaksi yang kompleks ini. Mereka memperlakukan AI sebagai sistem yang terus berkembang, bukan produk statis.
Sumber: https://dev.to/stack_overflowed/how-companies-like-openai-and-anthropic-design-their-ai-systems-2537
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi