Udhibiti Mpya wa AI Crawler wa Cloudflare

Trafiki ya tovuti inabadilika.

Hapo awali, injini za utafutaji zilikuwa zikipitia tovuti yako ili kuwasaidia watu kukupata. Ilikuwa jambo rahisi. AI imefanya jambo hili kuwa tata zaidi.

Bot inaweza kupitia ukurasa wako ili kuonyesha matokeo ya utafutaji. Hiyo ni tofauti na bot inayopitia ukurasa wako ili kufundisha modeli ya AI.

Cloudflare inabadilisha jinsi unavyodhibiti hili. Mnamo Julai 1, 2026, wateja wote watapata udhibiti mpya wa trafiki ya AI. Hii inakuwezesha kutenganisha trafiki katika makundi matatu:

  • Utafutaji (Search): Bot zinazoweka maudhui kwenye orodha (index) kwa ajili ya injini za utafutaji au majibu ya AI.
  • Wakala (Agent): Bot zinazofanya kazi kwa niaba ya mtumiaji ili kukamilisha kazi fulani.
  • Mafunzo (Training): Bot zinazokusanya data ili kufundisha au kuboresha modeli za AI.

Mabadiliko haya yanageuza suala la kuonekana kuwa uamuzi wa sera ya ufikiaji. Sio tena uamuzi wa SEO pekee.

Ikiwa unaendesha kampuni ya SaaS, kurasa zako za umma kama vile nyaraka (documentation), bei, na vituo vya msaada vinatengeneza thamani. Vinakusaidia kupata na kusaidia wateja.

Lazima uamue ni kiwango gani cha ufikiaji unataka kutoa.

Swali la zamani lilikuwa: Je, injini za utafutaji zinaweza kutupata? Swali jipya ni: Ni mifumo gani ya kiotomatiki inayopaswa kutumia tovuti yetu, na kwa madhumuni gani?

Usichukulie bot zote za AI kama zilivyo sawa.

  1. Bot za utafutaji zinawasaidia watumiaji kupata bidhaa yako. Kuzizuia kunaweza kukufanya usiweonekana katika matokeo ya utafutaji yanayotumia AI.

  2. Wakala wa AI (AI agents) wanaweza kuwa na manufaa. Wakala anaweza kutembelea ukurasa wako wa bei ili kumsaidia mtumiaji kulinganisha mipango. Hata hivyo, lazima uamue ikiwa wakala hawa wanahitaji uthibitisho (authentication) au mipaka ya kasi (rate limits).

  3. Bot za mafunzo zinatoa thamani ndogo ya moja kwa moja. Zinatumia maudhui yako kujenga modeli lakini zinaweza zisirudishe watumiaji kwenye tovuti yako. Makampuni mengi huchagua kuzizuia hizi.

Sera ya akili inaonekana hivi:

  • Ruhusu bot za utafutaji kuweka bidhaa yako na kurasa za msaada kwenye orodha (index).
  • Ruhusu wakala wanaoelekezwa na mtumiaji kufikia nyaraka za umma.
  • Zuia au toa leseni ya ufikiaji kwa bot za mafunzo.
  • Endelea kulinda maeneo yote ya bidhaa yanayohitaji uthibitisho.

Pitia trafiki yako mara kwa mara. Angalia makundi ya crawler, mzigo wa seva, na uwezo wa kuonekana kwenye utafutaji.

Lengo si kuzizuia bot zote. Lengo ni kudhibiti kile wanachofanya.

Chanzo: https://dev.to/ascentinnovate/cloudflares-new-ai-crawler-controls-turn-visibility-into-an-access-policy-decision-2118