𝗛𝗼𝘄 𝗠𝘂𝗰𝗵 𝗼𝗳 𝗬𝗼𝘂𝗿 𝗕𝗹𝗼𝗴 𝗗𝗼𝗲𝘀 𝗔𝗜 𝗦𝗲𝗮𝗿𝗰𝗵 𝗔𝗰𝘁𝘂𝗮𝗹𝗹𝘆 𝗚𝗿𝗮𝗯?

जब कोई AI वेब सर्च करता है, तो वह आपकी सामग्री का कितना हिस्सा देख पाता है? क्या वह आपका पूरा लेख पढ़ता है या केवल शीर्षक?

मैंने यह जानने के लिए Anthropic के टूल्स का परीक्षण किया। यह इस प्रकार काम करता है।

AI सर्च दो अलग-अलग चरणों में होता है:

चरण 1: WebSearch AI परिणामों की एक सूची खोजने के लिए एक सर्च इंजन का उपयोग करता है। इस चरण में, AI आपके पेज से लगभग कुछ भी नहीं देख पाता है। वह केवल यह देखता है:

  • URL
  • पेज का शीर्षक
  • अंतिम अपडेट की तारीख

यदि आपका शीर्षक अस्पष्ट है, तो AI आपकी साइट को पूरी तरह से छोड़ सकता है।

चरण 2: WebFetch यदि AI को कोई प्रासंगिक शीर्षक मिलता है, तो वह पेज की बॉडी (body) प्राप्त करने के लिए एक अनुरोध भेजता है। यहीं से सामग्री (content) का काम शुरू होता है।

हालाँकि, इसमें एक छिपा हुआ स्तर (layer) है। Claude Code जैसे टूल्स पहले पेज का सारांश बनाने के लिए एक मिडिल मॉडल (Haiku) का उपयोग करते हैं। मुख्य AI मॉडल अक्सर आपके मूल टेक्स्ट को कभी देख ही नहीं पाता है। वह केवल मिडिल मॉडल द्वारा बनाए गए सारांश को देखता है।

इसका मतलब है कि उपयोगकर्ता के देखने से पहले ही आपके लेखन को फ़िल्टर कर दिया जाता है।

AI सर्च के लिए कैसे लिखें:

  • अपने शीर्षकों को ऑप्टिमाइज़ करें: "Implementation Notes" का उपयोग न करें। इसके बजाय "Complete Implementation Notes: Content Negotiation for HTML-to-Markdown" का उपयोग करें। AI को क्लिक करने के लिए पर्याप्त डेटा दें।
  • अपनी वैल्यू को शुरुआत में ही रखें (Front-load your value): सारांश मॉडल ऊपर से नीचे की ओर पढ़ता है। हर सेक्शन के पहले कुछ वाक्यों में अपने मुख्य निष्कर्ष लिखें।
  • साइटेशन (citations) के लिए डिज़ाइन करें: AI कोट्स बहुत छोटे होते हैं (लगभग 125 से 150 कैरेक्टर)। ऐसे स्वतंत्र वाक्य लिखें जिनका बिना किसी संदर्भ (context) के भी अर्थ निकलता हो।
  • Markdown का उपयोग करें: H2 टैग, बुलेट पॉइंट्स और टेबल का उपयोग करें। ये AI के लिए आपके स्ट्रक्चर को समझने हेतु संकेतकों (signposts) के रूप में कार्य करते हैं।

एक अंतिम टिप: अपने robots.txt की जाँच करें। आप सर्च बॉट्स को अपनी साइट का साइटेशन करने की अनुमति दे सकते हैं, जबकि ट्रेनिंग बॉट्स को अपने मॉडल को प्रशिक्षित करने के लिए आपके डेटा का उपयोग करने से रोक सकते हैं।

केवल मनुष्यों के लिए लिखना बंद करें। उन एजेंट्स (agents) के लिए लिखना शुरू करें जो आपको खोजते हैं।

स्रोत: https://dev.to/isray_notarray/how-much-of-your-blog-does-ai-search-actually-grab-breaking-down-claudes-websearch-and-webfetch-538f

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi