𝗔𝗜 એજન્ટ્સ સ્ક્રેપિંગને સરળ બનાવે છે. માર્કેટપ્લેસ સ્ટેટ એ જ જગ્યા છે જ્યાં તેઓ ભૂલ કરે છે.

AI એજન્ટ્સ સ્ક્રેપિંગને સરળ બનાવે છે. એજન્ટને એક પેજ આપો. JSON માંગો. તમને એક ચોખ્ખું ઓબ્જેક્ટ મળે છે. આ ઉપયોગી લાગે છે. પરંતુ તે પૂરતું નથી.

માર્કેટપ્લેસ સ્ક્રેપિંગનો અઘરો ભાગ ડેટા કાઢવો (extracting) નથી. અઘરો ભાગ એ જાણવાનો છે કે ડેટાનો અર્થ એ જ છે જે તમે માનો છો કે નહીં. એક સ્ક્રેપર માન્ય પ્રતિસાદ (valid response) આપે છે. તે પેજને પાર્સ (parse) કરે છે. તે કિંમત કાઢે છે. છતાં ડેટા ખોટો હોય છે.

પેજ લોડ થયું. સિલેક્ટર (selector) એ કામ કર્યું. JSON માન્ય છે. પરંતુ માર્કેટપ્લેસ સ્ટેટ (સ્થિતિ) ખોટી છે.

આ ઉદાહરણો જુઓ:

  • વસ્તુ સર્ચમાં દેખાય છે પણ વેચાઈ ગઈ છે.
  • વસ્તુ ગાયબ છે. તમને ખબર નથી કે તે વેચાઈ ગઈ છે કે ડિલીટ કરવામાં આવી છે.
  • વેચનાર ઇટાલીમાં છે. પેજ ફ્રાન્સમાં છે.
  • સર્ચ ટર્મ સમાન મોડેલ સાથે મેચ થાય છે, તમારા મોડેલ સાથે નહીં.
  • ઓછી કિંમતનો અર્થ એ છે કે વસ્તુ તૂટેલી છે.

AI એક્સ્ટ્રેક્શન ખોટો આત્મવિશ્વાસ પેદા કરે છે. તે ડેટાને માર્કેટપ્લેસ કરતા વધુ ચોખ્ખો બતાવે છે. એક કેટલોગમાં પ્રોડક્ટ્સ હોય છે. એક માર્કેટપ્લેસમાં સ્ટેટ (સ્થિતિ) હોય છે.

કેટલોગ માટે, ચોખ્ખું JSON કામ કરે છે. રિસેલ માર્કેટપ્લેસ માટે, તમારે અલગ પ્રકારના ડેટાની જરૂર છે. તમારે પ્રમાણિક ડેટાની જરૂર છે.

માર્કેટપ્લેસ ડેટા પર વિશ્વાસ કરતા પહેલા આ સાત બાબતો તપાસો:

  • રેકોર્ડ પ્રકાર: એક્ટિવ લિસ્ટિંગ્સને વેચાયેલા લિસ્ટિંગ્સથી અલગ કરો.
  • ટ્રેકિંગ: જો કોઈ વસ્તુ ગાયબ થઈ જાય, તો રેકોર્ડ બનાવો. ફેરફાર એ એક સંકેત છે.
  • લોકેલ (Locale): સર્ચ દેશ અને વેચનારના દેશને અલગથી સ્ટોર કરો.
  • સર્ચ લોજિક: સર્ચ એન્જિન પર વિશ્વાસ ન કરો. ચોક્કસ શબ્દોની જરૂરિયાત રાખો.
  • કન્ડિશન: કન્ડિશન વગરની ઓછી કિંમત એ અધૂરો ડેટા છે.
  • કિંમતમાં ફેરફાર: કિંમત વધી કે ઘટી તેનો ટ્રેક રાખો.
  • જોખમના સંકેતો: માનવીય સમીક્ષા માટે સમાન લિસ્ટિંગ્સને ફ્લેગ કરો.

AI તમને મદદ કરે છે. તે ટાઇટલ્સને નોર્મલાઇઝ (normalize) કરે છે. તે કેટેગરીનું વર્ગીકરણ કરે છે. તે વર્ણનોનો સારાંશ આપે છે. AI ને અનિશ્ચિતતા છુપાવવા ન દો.

શ્રેષ્ઠ આઉટપુટ એ સૌથી ચોખ્ખું JSON નથી. શ્રેષ્ઠ આઉટપુટ નિર્ણય લેવા માટે સંદર્ભ (context) જાળવી રાખે છે. જો સ્ક્રેપર સ્ટેટને અવગણે છે, તો આઉટપુટ પર વિશ્વાસ ન કરો.

સિલેક્ટર્સ એ પ્રથમ સ્તર છે. સાચું ઉત્પાદન સ્ટેટ મોડેલ છે.

તમારા સ્ક્રેપરે આપેલું સૌથી જોખમી 'ફોલ્સ-પોઝિટિવ' (false-positive) કયું હતું?

Source: https://dev.to/datakaz/ai-agents-make-scraping-look-easy-marketplace-state-is-where-they-lie-56hk