Timu ya uhandisi ya Wikimedia inasema kuwa crawlers zinazotumia AI zinazalisha 65% ya trafiki ghali zaidi ya jukwaa hilo, na kugeuza ongezeko la bot linaloonekana kuwa halina madhara kuwa kipengele kwenye bili za seva. Mtindo huo huo sasa unaonekana kwenye blogu ndogo na tovuti za hobby.

Kwa nini ongezeko hili ni muhimu

Watembeleaji binadamu hutumia muda mrefu kwenye kurasa maarufu—kurasa za nyumbani, makala zilizoteuliwa, na maudhui mengine yanayojulikana. CDNs huhifadhi kurasa hizo kwenye maeneo ya edge, hivyo seva asili (origin server) mara chache hufanya kazi nzito. Kwa upande mwingine, crawlers za AI huchambua maelfu ya URL zisizojulikana kwa mkupuo mmoja. Kurasa hizo mara chache huhifadhiwa kwenye cache, hivyo kila ombi husafiri hadi kwenye miundombinu asili ya Wikimedia. Matokeo yake: kiasi kikubwa kisicholingana cha uchakataji, uhifadhi, na matumizi ya mtandao kwa sehemu ndogo ya jumla ya trafiki.

Blogu ya uhandisi iliyotoa data hiyo inabainisha kuwa ingawa bot zinaunda sehemu ndogo tu ya maombi yote, zinatawala kundi la "ghali".

Nani anayehisi maumivu haya

Waendeshaji wadogo hawana kinga hiyo. Gharama iliyojificha si pesa tu; pia inahatarisha kupungua kwa utendaji kwa watembeleaji halali.

Wamiliki wa tovuti wanaweza kufanya nini

  • Anza na kuzuia kiwango cha maombi (rate-limiting) – punguza idadi ya maombi ambayo IP moja inaweza kufanya katika muda mfupi. Hii hupunguza kasi ya crawlers wenye ukali bila kuwanyima kabisa ufikiaji.
  • Linganisha uonekanaji dhidi ya gharama – kuzuia bot ya injini ya utafutaji kunaweza kupunguza trafiki, lakini pia kunaweza kuondoa kurasa zako kwenye orodha (indexes), jambo linaloharibu uwezo wa kupatikana kiasili.
  • Ainisha bot – si crawlers wote ni sawa. Baadhi ni wa zana halali za utafutaji zinazoleta trafiki; wengine ni wachambuzi (scrapers) tupu ambao hawatoi thamani yoyote.
  • Weka changamoto za uthibitisho wa kazi (proof-of-work) – hitaji fumbo dogo la uchakataji kabla ya kuonyesha ukurasa. Wavinjari binadamu hutatua papo hapo; bot lazima itumie nguvu ya ziada ya uchakataji, jambo linaloongeza gharama zao.
  • Tumia uchambuzi wa CDN – CDNs nyingi huonyesha vipimo vya maombi kwa kila bot. Tambua ni wakala gani hufikia seva asili mara nyingi zaidi na urekebishe sheria kulingana na hali hiyo.

Hitimisho ni rahisi: crawlers za AI si kitu cha ajabu kinachotumia huduma bila malipo tena; ni kituo cha gharama kinachopimika. Iwe unaendesha kamusi ya kimataifa au portfolio ya ukurasa mmoja, kuchukulia trafiki ya bot kama kipengele katika bajeti yako ya miundombinu kunaweza kuzuia bili za kushtukiza na kuifanya tovuti yako iendelee kufanya kazi vizuri kwa watumiaji halisi.