તમારા કન્ટેન્ટની ચોરી કરતા પહેલા ડેટા માઇનિંગ બોટ્સને રોકો
ડેટા માઇનિંગ બોટ્સ તમારું કન્ટેન્ટ, સ્ટ્રક્ચર અને ટ્રાફિક ચોરી કરે છે. તેઓ રાતોરાત તમારા પ્રોડક્ટ કેટલોગ, વર્ણન અને કિંમતોની નકલ કરે છે. એક દિવસ તમે પ્રથમ ક્રમે હોવ છો. બીજા જ દિવસે, મિરર સાઇટ્સ તમારી સાથે સ્પર્ધા કરવા માટે તમારા જ ડેટાનો ઉપયોગ કરે છે.
તમે દરેક બોટને રોકી શકતા નથી. તમારો ધ્યેય સ્ક્રૅપિંગ (scraping) તેમના માટે ખૂબ મોંઘું અને ધીમું બનાવવાનો હોવો જોઈએ.
સ્ક્રૅપરને કેવી રીતે ઓળખવો:
- પેજ રિક્વેસ્ટ્સ માણસ માટે ખૂબ જ ઝડપથી થાય છે.
- ક્રોલર્સ લિંક્સ પર ક્લિક કર્યા વગર પેજ એક્સેસ કરે છે.
- અજીબ સમયે ટ્રાફિકમાં અચાનક વધારો થાય છે.
- એક જ IP ૨૦ સેકન્ડમાં ૨૦૦ પેજ પર એક્સેસ કરે છે.
તમારી સાઇટને કેવી રીતે સુરક્ષિત કરવી:
રેટ લિમિટિંગનો ઉપયોગ કરો એક IP કેટલી રિક્વેસ્ટ કરી શકે તેની મર્યાદા નક્કી કરો. જો કોઈ IP વધુ પડતી રિક્વેસ્ટ મોકલે, તો તેને મર્યાદિત કરો અથવા બ્લોક કરો.
બિહેવિયરલ ડિટેક્શન (વર્તણૂક ઓળખવા) લાગુ કરો બોટ્સ તરત જ JavaScript લોડ કરે છે. માણસો નથી કરતા. તેમને અલગ પાડવા માટે કર્સરની હિલચાલ અને ઇન્ટરેક્શન સ્પીડ પર નજર રાખતા સાધનોનો ઉપયોગ કરો.
તમારી APIs સુરક્ષિત કરો મર્યાદા વગરની પબ્લિક APIs મોટા લીકેજ સમાન છે. તમારા એન્ડપોઇન્ટ્સને કી (keys) અથવા ટોકન્સ પાછળ રાખો. એક સિંગલ કી કેટલી કોલ્સ કરી શકે તેની મર્યાદા નક્કી કરો.
ડાયનેમિક કન્ટેન્ટનો ઉપયોગ કરો યુઝરના ઇન્ટરેક્શન પછી જ તમારું મુખ્ય કન્ટેન્ટ લોડ કરો. આનાથી બોટ્સ સરળ ક્રોલિંગ દરમિયાન મોટા પાયે ટેક્સ્ટ એક્સટ્રેક્ટ કરી શકશે નહીં.
તમારા CDN નો ઉપયોગ કરો જાણીતા બોટ નેટવર્કને બ્લોક કરવા માટે તમારા CDN નો ઉપયોગ કરો. તમે ઇન્ટરસ્ટીશિયલ ચેક (interstitial check) દ્વારા શંકાસ્પદ ટ્રાફિકને પડકાર આપી શકો છો.
અવરોધ (Friction) ઊભો કરો ઉચ્ચ મૂલ્ય ધરાવતા કન્ટેન્ટ માટે ઈમેલની જરૂરિયાત જેવા સરળ ગેટ્સનો ઉપયોગ કરો. મોટાભાગના સ્ક્રૅપર્સ આ તબક્કાને પાર કરી શકશે નહીં.
સામાન્ય ઉપાયો લાગુ કરવાનું બંધ કરો. તમારો સૌથી વધુ મૂલ્ય ધરાવતો ડેટા શોધો અને તે ચોક્કસ પોઈન્ટ્સનું રક્ષણ કરો. જો તમે ડેટા એક્સટ્રેક્શનને મુશ્કેલ બનાવશો, તો મોટાભાગના બોટ્સ સરળ લક્ષ્ય તરફ વળી જશે.
સ્ત્રોત: https://dev.to/julianneagu/stop-data-mining-bots-before-they-steal-your-content-22o4