Tidak Ada yang Memilih Perusahaan yang Kini Melisensikan Web

Cloudflare meluncurkan struktur harga baru pada 1 Juli, mengganti model "pay-per-crawl" yang sudah lama digunakan dengan skema "pay-per-use" yang membayar penerbit setiap kali sistem AI mengonsumsi konten mereka. Perubahan ini juga memperkenalkan pemblokiran otomatis terhadap crawler penggunaan campuran (mixed-use) pada halaman yang berisi iklan, yang berlaku mulai 15 September. Pergeseran ini mengubah penyedia CDN dan keamanan tersebut menjadi penjaga gerbang (gatekeeper) de facto tentang siapa yang boleh membaca web dan dengan persyaratan apa, sebuah langkah yang dapat membentuk kembali ekonomi pelatihan AI dan ekosistem internet yang lebih luas.

Mengapa penyesuaian harga ini penting

Di bawah sistem lama, bot yang ingin mengambil halaman membayar biaya per permintaan kepada Cloudflare. Biaya tersebut masuk ke Cloudflare, bukan ke pemilik situs. Model baru ini membalikkan alur tersebut: ketika model AI mengakses sebuah halaman, penerbit menerima pembayaran dari Cloudflare. Bagian pembayarannya bagus. Ini memberikan uang kepada pemilik situs.

Efek praktisnya langsung berdampak pada siapa pun yang membangun crawler AI. Jika crawler diklasifikasikan sebagai "mixed use" – artinya ia mengindeks halaman untuk pencarian sekaligus mengekstrak konten untuk pelatihan – Cloudflare akan memblokirnya secara default pada halaman apa pun yang menyajikan iklan. Untuk mendapatkan akses, operator harus membayar tarif Cloudflare atau menerima bahwa halaman-halaman tersebut tidak dapat diakses.

Kerangka kebijakan di balik perubahan ini

Spesifikasi produk Cloudflare mengelompokkan crawler AI ke dalam tiga kategori:

  • Search – bot yang mengindeks halaman untuk menjalankan mesin pencari.
  • Agent – bot yang mengambil informasi untuk AI percakapan atau agen serupa.
  • Training – bot yang memanen teks, gambar, atau data lain untuk melatih model machine-learning.

Kategorisasi ini tidak ditentukan oleh hukum atau standar industri; tim internal Cloudflare yang memutuskannya. Tim tersebut juga menetapkan setiap bot ke dalam kategori, misalnya apakah crawler yang berorientasi pada penelitian dianggap sebagai "agent" atau "trainer", atau apakah bot pengarsipan dianggap sebagai bot "search".

Klasifikasi ini secara langsung memengaruhi apakah sebuah bot diblokir, berapa banyak biaya yang dikenakan, dan apakah penerbit menerima pembayaran.

Siapa yang menang, siapa yang kalah

Penerbit

Pemilik situs kini mendapatkan aliran pendapatan baru. Setiap kali model AI membaca artikel mereka, Cloudflare mengirimkan pembayaran kepada mereka.

Pengembang AI

Startup dan laboratorium penelitian yang mengandalkan kumpulan data yang besar dan beragam kini menghadapi lapisan biaya tambahan. Jika crawler tidak ada dalam daftar yang disetujui Cloudflare, pengembang harus membayar biaya per penggunaan atau kehilangan akses ke sebagian besar web.

Logika bisnis di balik kelangkaan

Model Cloudflare menciptakan kelangkaan untuk menjalankan sebuah pasar (marketplace). Secara default, bot penggunaan campuran diblokir pada halaman yang penuh iklan, mengubah setiap permintaan menjadi peristiwa yang dapat ditagih. Jika perusahaan memblokir semua bot, hal itu akan menghapus aliran pendapatannya sendiri. Oleh karena itu, pemblokiran selektif ini melindungi laba bersih dan memaksa operator bot ke dalam hubungan berbayar.

Pergeseran ini juga memanfaatkan basis pengguna paket gratis Cloudflare yang masif. Jutaan situs mendaftar karena paket gratis menawarkan layanan CDN dan keamanan yang mudah. Akses "gratis" tersebut adalah strategi akuisisi pelanggan, bukan pemberian amal. Sekarang situs-situs tersebut menjadi bagian dari jaringan yang menghasilkan pendapatan bagi Cloudflare saat AI mengonsumsi konten mereka, tetapi situs-situs tersebut tidak memiliki suara dalam penetapan harga atau kategori kebijakan yang menentukan siapa yang dibayar.

Kesimpulan

Perombakan pay-per-use Cloudflare melakukan lebih dari sekadar menambah lini pendapatan baru; hal ini memberi perusahaan kekuatan untuk melabeli, menagih, dan pada akhirnya memutuskan crawler AI mana yang dapat membaca web.