סוכני AI גורמים לגריסה להיראות קלה. מצב השוק הוא המקום שבו הם מטעים.
סוכני AI גורמים לגריסה להיראות קלה. תנו לסוכן דף. בקשו JSON. אתם מקבלים אובייקט נקי. זה מרגיש שימושי. זה לא מספיק.
החלק הקשה בגריסת שוק (marketplace scraping) הוא לא חילוץ הנתונים. החלק הקשה הוא לדעת אם הנתונים אומרים את מה שאתם חושבים שהם אומרים. סקריפר מחזיר תגובה תקינה. הוא מנתח את הדף. הוא מחלץ את המחיר. הנתונים עדיין שגויים.
הדף נטען. הסלקטור עבד. ה-JSON תקין. אבל מצב השוק (marketplace state) שגוי.
הביטו בדוגמאות הללו:
- הפריט מופיע בחיפוש אך נמכר.
- הפריט נעלם. אתם לא יודעים אם הוא נמכר או נמחק.
- המוכר באיטליה. הדף בצרפת.
- מונח החיפוש תואם לדגם דומה, לא לדגם שלכם.
- מחיר נמוך אומר שהפריט שבור.
חילוץ באמצעות AI יוצר ביטחון שווא. זה גורם לנתונים להיראות נקיים יותר ממה שהשוק באמת. לקטלוג יש מוצרים. לשוק יש מצב (state).
עבור קטלוג, JSON נקי עובד. עבור שוק יד שנייה (resale marketplace), אתם צריכים מבנה שונה. אתם צריכים נתונים אמינים.
בדקו את שבעת הדברים הללו לפני שאתם סומכים על נתוני שוק:
- סוג רשומה: הפרידו בין מודעות פעילות לבין מודעות שנמכרו.
- מעקב: אם פריט נעלם, צרו רשומה. שינוי הוא סימן.
- מיקום (Locale): שמרו את מדינת החיפוש ואת מדינת המוכר בנפרד.
- לוגיקת חיפוש: אל תסמכו על מנוע החיפוש. דרשו מילים ספציפיות.
- מצב (Condition): מחיר נמוך ללא ציון מצב הפריט הוא נתון חסר.
- תנועת מחירים: עקבו אם המחיר עלה או ירד.
- אותות סיכון: סמנו מודעות דומות לבדיקה אנושית.
AI עוזר לכם. הוא מנרמל כותרות. הוא מסווג קטגוריות. הוא מסכם תיאורים. אל תתנו ל-AI להסתיר אי-ודאות.
הפלט הטוב ביותר הוא לא ה-JSON הנקי ביותר. הפלט הטוב ביותר שומר על ההקשר לצורך קבלת החלטות. אם סקריפר מתעלם ממצב השוק, אל תסמכו על הפלט.
סלקטורים הם השכבה הראשונה. המוצר האמיתי הוא מודל המצב (state model).
מהו ה-false-positive המסוכן ביותר שהסקריפר שלכם החזיר?
Source: https://dev.to/datakaz/ai-agents-make-scraping-look-easy-marketplace-state-is-where-they-lie-56hk