لقد قمت ببناء موقع إلكتروني يرغب في أن يتم الاستشهاد به من قبل المساعدين الذكيين، وبدلاً من التخمين، قمت بتطبيق ثلاث إشارات يُوصى بها على نطاق واسع: إدخال في robots.txt يسمح لزواحف من نوع GPT بالدخول، وملف llms.txt يسرد كل صفحة، ومخطط JSON-LD يصف المحتوى. وبعد اختبار كل منها، وجدت أن إشارة واحدة فقط يمكن أن تفشل دون سابق إنذار، بينما الآخران لا يقومان بما يدعي معظم الناس أنهما يفعلانه.

لماذا تهم هذه الإشارات الثلاث

قيل لأصحاب المواقع إن زواحف الذكاء الاصطناعي تحتاج إلى إذن صريح، وأن فهرسًا نصيًا بسيطًا بصيغة "llms.txt" يساعد النماذج اللغوية الكبيرة (LLMs) في تحديد المقاطع ذات الصلة، وأن البيانات المنظمة بتنسيق JSON-LD تزيد من فرص الاستشهاد بالموقع. الوعد بسيط: أضف هذه الملفات، وسيبدأ موقعك في الظهور في الإجابات التي يولدها الذكاء الاصطناعي، مما يجذب الزيارات ويعزز ظهور علامتك التجارية.

1. السماح لزواحف الذكاء الاصطناعي عبر robots.txt

إن سطر robots.txt الذي يذكر GPTBot (أو أي بوت ذكاء اصطناعي آخر) هو مجرد طلب. إذا قامت شبكة توصيل المحتوى (CDN) أو جدار حماية بحظر البوت، فإن الطلب لن يصل إلى الموقع أبدًا، ولن يتمكن الزاحف من قراءة الملف على الإطلاق. الطريقة الوحيدة الموثوقة لمعرفة ما إذا كان البوت يمكنه الوصول إليك هي التحقق من رمز حالة HTTP لكل بوت رئيسي. استجابة 403 (ممنوع) أو 503 (الخدمة غير متوفرة) تعني أن بقية التجهيزات الأساسية لا قيمة لها — لا يوجد بوت، لا توجد فهرسة، ولا يوجد استشهاد.

2. ملف llms.txt

ملف llms.txt هو مجرد قائمة روابط (URLs) بتنسيق markdown، تهدف إلى تزويد النماذج اللغوية الكبيرة (LLMs) بخريطة نظيفة للموقع حتى لا يضطروا إلى استنتاج التنقل من HTML وحده. من الناحية العملية، تقول وثائق Google إنها تتجاهل هذا الملف، ولم يتعهد أي محرك بحث رئيسي باستخدامه لأغراض الاستشهاد. الاحتفاظ به لا يكلف شيئًا تقريبًا، ويمكن أن يكون مفيدًا لوكلاء الذكاء الاصطناعي المخصصين، ولكن لا ينبغي الترويج له كوسيلة مختصرة للحصول على المزيد من استشهادات الذكاء الاصطناعي.

3. مخطط JSON-LD

يقوم JSON-LD بتضمين بيانات منظمة — مثل أسماء المؤلفين، وتواريخ النشر، ومعرفات المنتجات — مباشرة في الصفحة. يفترض العديد من المسوقين أن إضافة المخططات (schema) ستجعل صفحاتهم تظهر بشكل متكرر في إجابات الذكاء الاصطناعي، ولكن دراسة شملت 1,885 صفحة لم تجد أي تحسن ملموس في الاستشهادات ناتج عن استخدام علامات المخططات وحدها. تكمن القيمة الحقيقية لـ JSON-LD في تحديد الكيانات (entity resolution): فهو يخبر الآلة أن "Jane Doe" في صفحة ما هي نفس "Jane Doe" في صفحة أخرى، مما يمنع الخلط بين الأشخاص أو المنتجات ذات الأسماء المتشابهة.

العائق الحقيقي: الفهرسة

الإشارات الثلاث هي مجرد تجهيزات أساسية؛ فهي لا تعمل إلا إذا كانت الصفحة مفهرسة في المقام الأول. الصفحة التي لا تظهر أبدًا في الفهرس لا يمكن استرجاعها، بغض النظر عن عدد أذونات الزواحف أو علامات المخططات التي تضيفها. المؤشر الأكثر موثوقية لصحة الفهرسة هو تقرير التغطية في Google Search Console (أو الأداة المكافئة لمحركات البحث الأخرى). إذا ظهرت الصفحة على أنها "غير مفهرسة"، فأنت بحاجة إلى إصلاح ذلك قبل القلق بشأن أي إشارات خاصة بالذكاء الاصطناعي.

قائمة مراجعة عملية

  1. التحقق من وصول الزواحف – اختبر استجابة HTTP لـ GPTBot أو ClaudeBot أو أي زاحف ذكاء اصطناعي آخر يهمك. يمكن أن تفشل هذه الخطوة بصمت؛ فالحظر لن يؤدي إلى إنشاء تحذير في تحليلاتك.
  2. التأكد من تغطية الفهرس – استخدم Search Console لمعرفة الصفحات المفهرسة، والصفحات المستبعدة، وسبب الاستبعاد. قم بحل أي "أخطاء زحف" أو توجيهات "noindex" أولاً.
  3. إضافة التجهيزات الأساسية – بمجرد استقرار الوصول والفهرسة، أضف ملف llms.txt و JSON-LD. تعامل معهما كمساعدين منخفضي الصيانة بدلاً من ضمانات للاستشهاد.

وجهة نظر معارضة

لا يزال بعض البائعين يسوقون لمولدات llms.txt وإضافات المخططات (schema plugins) كأدوات لتعزيز تحسين محركات البحث (SEO) للذكاء الاصطناعي. تشير البيانات التي جمعتها، بالإضافة إلى الموقف الرسمي لمحركات البحث الكبرى، إلى أن هذه الادعاءات مبالغ فيها. هذه الأدوات ليست ضارة، ولكن لا ينبغي أن تكون الركيزة الأساسية لاستراتيجية الاستشهاد بالذكاء الاصطناعي.

ما يجب مراقبته لاحقًا

راقب سجلات الزواحف، وانتبه لتنبيهات Search Console، واختبر JSON-LD الخاص بك بشكل دوري باستخدام أدوات التحقق للحفاظ على تدفق البيانات.

الخلاصة: إذا كنت تريد أن يتم الاستشهاد بموقعك من قبل الذكاء الاصطناعي، فتوقف عن التعامل مع llms.txt والمخططات كأنها تذاكر سحرية. تأكد من أن البوتات يمكنها الوصول إليك بالفعل وأن صفحاتك مفهرسة؛ عندها فقط ستؤدي الملفات الإضافية دورها المتواضع والداعم.

المصدر: المنشور الأصلي على dev.to