Bagaimana OpenAI dan Anthropic Merancang Sistem AI

Banyak orang mencoba melakukan reverse-engineering pada perusahaan AI dengan melihat dokumentasi API atau postingan blog. Mereka berfokus pada model atau endpoint. Hal ini menyebabkan kesimpulan yang salah.

OpenAI dan Anthropic tidak hanya membangun model. Mereka membangun seluruh ekosistem.

Sistem AI produksi adalah sistem terdistribusi skala besar. Ini adalah arsitektur berlapis di mana setiap bagian memengaruhi bagian lainnya.

Jika Anda menganggap AI sebagai komponen tunggal, Anda akan melewatkan pekerjaan yang sebenarnya. Keajaibannya terletak pada bagaimana lapisan-lapisan ini berinteraksi.

Berikut adalah lapisan inti dari sistem AI skala besar:

• Data Pipeline: Mengumpulkan dan membersihkan data pelatihan. • Training Infrastructure: Mengelola komputasi masif dan klaster GPU. • Model Layer: Arsitektur inti LLM. • Inference Layer: Menyajikan respons kepada pengguna dengan latensi rendah. • Safety Layer: Menerapkan guardrails dan penyelarasan (alignment). • Observability: Memantau performa dan melacak kesalahan. • Feedback Loop: Menggunakan data baru untuk meningkatkan model dari waktu ke waktu.

Model hanyalah satu bagian dari jaring ini.

Sebagai contoh, penyelarasan (alignment) bukanlah tugas satu kali jalan. Perusahaan menggunakan berbagai strategi untuk menjaga keamanan model:

  • RLHF: Menggunakan umpan balik manusia untuk memandu perilaku.
  • Constitutional AI: Menggunakan panduan berbasis aturan untuk skala besar.
  • Output Filtering: Menggunakan pasca-pemrosesan (post-processing) untuk memblokir konten buruk.

Setelah model siap, tantangannya beralih ke inference. Anda harus menyeimbangkan kecepatan dan biaya. Insinyur menggunakan teknik seperti batching, caching, dan quantization agar sistem tetap cepat dan andal.

Menskalakan sistem ini sangat sulit. Ini bukan sekadar menambah lebih banyak perangkat keras. Ini tentang mengelola kompleksitas. Saat Anda melakukan penskalaan, Anda akan menghadapi masalah baru terkait koordinasi dan keandalan.

Keberhasilan datang dari memperlakukan AI sebagai sistem yang terus berkembang. Perusahaan-perusahaan ini tidak membangun produk statis. Mereka membangun siklus (loops) yang belajar dari penggunaan di dunia nyata.

Berhentilah melihat model secara terisolasi. Lihatlah seluruh sistemnya.

Sumber: https://dev.to/stack_overflowed/how-companies-like-openai-and-anthropic-design-their-ai-systems-2537