વિકિમીડિયાની એન્જિનિયરિંગ ટીમનું કહેવું છે કે AI-સંચાલિત ક્રોલર્સ પ્લેટફોર્મના સૌથી ખર્ચાળ ટ્રાફિકના 65% હિસ્સો બનાવે છે, જે દેખાવમાં નિર્દોષ લાગતા બોટના વધારાને સર્વર બિલમાં એક ખર્ચની વિગત (line-item) માં ફેરવી દે છે. આ જ પેટર્ન હવે નાના બ્લોગ્સ અને શોખ માટેની સાઇટ્સ પર પણ જોવા મળી રહી છે.
આ ઉછાળો શા માટે મહત્વનો છે
માનવ મુલાકાતીઓ લોકપ્રિય પેજ પર વધુ સમય વિતાવે છે—જેમ કે હોમપેજ, ફીચર્ડ આર્ટિકલ્સ અને અન્ય જાણીતી સામગ્રી. CDNs આ પેજને એજ લોકેશન પર કેશ (cache) કરે છે, જેથી ઓરિજિન સર્વર પર બહુ ઓછું કામ આવે છે. તેનાથી વિપરીત, AI ક્રોલર્સ એક જ વારમાં હજારો અજાણ્યા URLs સ્કેપ કરે છે. આ પેજ ભાગ્યે જ કેશ કરવામાં આવે છે, તેથી દરેક રિક્વેસ્ટ વિકિમીડિયાના ઓરિજિન ઇન્ફ્રાસ્ટ્રક્ચર સુધી પહોંચે છે. પરિણામ: કુલ ટ્રાફિકના પ્રમાણમાં નાનો હિસ્સો હોવા છતાં, કમ્પ્યુટ, સ્ટોરેજ અને નેટવર્કનો અપ્રમાણસર ઉપયોગ થાય છે.
ડેટા જાહેર કરનાર એન્જિનિયરિંગ બ્લોગ નોંધે છે કે જોકે બોટ્સ કુલ રિક્વેસ્ટના માત્ર એક નાનો ભાગ છે, તેમ છતાં તેઓ "ખર્ચાળ" (costly) વિભાગમાં મોખરે છે.
આની અસર કોને થાય છે
નાના ઓપરેટરો પાસે આ પ્રકારનું સુરક્ષા કવચ (cushion) હોતું નથી. આ છુપો ખર્ચ માત્ર નાણાકીય નથી; તે સાચા મુલાકાતીઓ માટે વેબસાઇટના પ્રદર્શનમાં ઘટાડો થવાનું જોખમ પણ ઊભું કરે છે.
સાઇટ માલિકો શું કરી શકે છે
- રેટ-લિમિટિંગથી શરૂઆત કરો – એક ટૂંકા સમયગાળામાં સિંગલ IP દ્વારા કરી શકાય તેવી રિક્વેસ્ટની સંખ્યા મર્યાદિત કરો. આનાથી એગ્રેસિવ ક્રોલર્સને સંપૂર્ણપણે બ્લોક કર્યા વગર તેમની ગતિ ધીમી કરી શકાય છે.
- દૃશ્યતા (visibility) અને ખર્ચ વચ્ચે તુલના કરો – સર્ચ-એન્જિન બોટને બ્લોક કરવાથી ટ્રાફિક ઘટી શકે છે, પરંતુ તેનાથી તમારા પેજ ઇન્ડેક્સમાંથી પણ નીકળી શકે છે, જે ઓર્ગેનિક ડિસ્કવરેબિલિટીને નુકસાન પહોંચાડી શકે છે.
- બોટ્સનું વર્ગીકરણ કરો – બધા ક્રોલર્સ એક સમાન હોતા નથી. કેટલાક કાયદેસરના સર્ચ ટૂલ્સના હોય છે જે ટ્રાફિક લાવે છે; જ્યારે અન્ય માત્ર સ્કેપર્સ (scrapers) હોય છે જે કોઈ મૂલ્ય ઉમેરતા નથી.
- પ્રૂફ-ઓફ-વર્ક ચેલેન્જ લાગુ કરો – પેજ બતાવતા પહેલા એક નાની કમ્પ્યુટેશનલ પઝલ (કોયડો) પૂરી કરવાની જરૂરિયાત રાખો. માનવ બ્રાઉઝર્સ તેને તરત જ ઉકેલી લે છે; જ્યારે બોટ્સ માટે વધારાની પ્રોસેસિંગ પાવર વાપરવી પડે છે, જેનાથી તેમનો ખર્ચ વધે છે.
- CDN એનાલિટિક્સનો ઉપયોગ કરો – મોટાભાગના CDNs દરેક બોટ માટે રિક્વેસ્ટ મેટ્રિક્સ દર્શાવે છે. કયા એજન્ટ્સ સૌથી વધુ વાર ઓરિજિન પર પહોંચે છે તે ઓળખો અને તે મુજબ નિયમો બનાવો.
સારાંશ સરળ છે: AI ક્રોલર્સ હવે માત્ર કુતૂહલનો વિષય નથી; તેઓ એક માપી શકાય તેવો ખર્ચ છે. તમે વૈશ્વિક વિશ્વકોશ ચલાવતા હોવ કે સિંગલ-પેજ પોર્ટફોલિયો, બોટ ટ્રાફિકને તમારા ઇન્ફ્રાસ્ટ્રક્ચર બજેટના એક ભાગ તરીકે ગણવાથી અણધાર્યા બિલથી બચી શકાય છે અને તમારી સાઇટ વાસ્તવિક વપરાશકર્તાઓ માટે ઝડપી (responsive) રાખી શકાય છે.