يمكن لصفحتك أن تحتل المرتبة الأولى في Google وتظل غير مرئية لـ ChatGPT

يقوم زاحف Google بتشغيل JavaScript الخاص بك، ويسحب HTML المُصيّر (rendered) إلى فهرسه، ويمكنه وضع موقع يعتمد على العرض من جانب العميل (client-side rendered) في الصفحة الأولى من نتائج البحث. أما نفس الصفحة، عند الاستعلام عنها عبر ChatGPT أو بحث Bing المدعوم بالذكاء الاصطناعي، فتختفي لأن البوتات التي تشغل هذه الخدمات لا تقوم أبدًا بتنفيذ JavaScript. والنتيجة هي موقع يتصدر النتائج ولكن لا يمكن لأي مساعد ذكاء اصطناعي إظهاره.

لماذا تغفل زواحف الذكاء الاصطناعي عن محتواك

لا يقوم اثنان من أكثر زواحف الذكاء الاصطناعي استخدامًا — GPTBot من OpenAI و ClaudeBot من Anthropic — بتصيير JavaScript على الإطلاق. أظهرت دراسة أجرتها Vercel و MERJ في ديسمبر 2024 أن كلا البوتين يكتفيان ببساطة بتنزيل HTML الخام وأي ملفات JavaScript مرتبطة به، ثم يتوقفان. لا يتم تشغيل البرامج النصية (scripts) أبدًا، لذا لا ترى البوتات سوى هيكل فارغ.

في المقابل، يقوم Googlebot بوضع الصفحة في قائمة الانتظار، وينفذ البرامج النصية، ويفهرس DOM الناتج. هذا الاختلاف الجوهري يعني أن الموقع المبني بإطار عمل يعتمد كليًا على جانب العميل (مثل React أو Vue وما إلى ذلك) يمكن أن يكون مرئيًا بالكامل لـ Google بينما يظل صفحة بيضاء في عمليات البحث المدفوعة بالذكاء الاصطناعي.

Google مقابل الذكاء الاصطناعي: فجوة التصيير

استثمرت Google منذ فترة طويلة في التصيير بدون واجهة (headless rendering). يمكن للبوت الخاص بها معالجة تطبيقات الصفحة الواحدة المعقدة، وتنشيطها (hydrate)، واستخراج البيانات المنظمة التي تظهر بعد التحميل الأولي. ومع ذلك، لا تزال زواحف الذكاء الاصطناعي في وضع "التنزيل فقط". قد تقوم بتحليل JSON-LD الذي يتم حقنه عبر أدوات مثل react-helmet ، ولكن فقط إذا كان هذا الوسم (markup) موجودًا في HTML الخام.

يمكن لأدوات المطورين أن تكون مضللة. تعرض لوحة العناصر (Elements panel) في Chrome الصفحة بعد تشغيل JavaScript، مما يعطي انطباعًا خاطئًا بأن الوسم جزء من المصدر. استخدام "view-source" (أو curl بدون متصفح) يكشف عما يتلقاه البوت فعليًا. إذا كان المحتوى أو البيانات المنظمة مفقودة هناك، فلن تراها زواحف الذكاء الاصطناعي أبدًا.

كيف تظهر المشكلة

موقع React نموذجي يعتمد على التصيير من جانب العميل سيحتل مرتبة عالية في Google لكلمات رئيسية مثل "أفضل صانعة قهوة" أو "كيفية إصلاح صنبور يسرب". ومع ذلك، فإن المستخدم الذي يسأل ChatGPT "ما هي أفضل صانعات القهوة؟" سيحصل على إجابات تتجاهل ذلك الموقع تمامًا. وتوجد الفجوة نفسها في ذكاء Bing الاصطناعي، الذي يخدم حوالي 92% من استعلامات وكلاء ChatGPT. قدرات تصيير JavaScript في Bing محدودة، لذا يمكن للموقع الذي يعتمد فقط على جانب العميل أن يكون غير مرئي لكلا مزودي البحث الرئيسيين بالذكاء الاصطناعي.

المشكلة صامتة. ستُظهر لوحات تحكم SEO التي تتبع ترتيب Google وضعًا جيدًا، بينما يظل زوار الموقع من مساعدي الذكاء الاصطناعي صفرًا. هذا التفاوت يمكن أن يكلف الشركات حصة متزايدة من حركة مرور الاكتشاف، خاصة مع اعتماد المزيد من المستخدمين على الواجهات الحوارية للحصول على إجابات سريعة.

ما يفعله المطورون بشكل خاطئ

تفترض العديد من الفرق أنه إذا كان بإمكان Google قراءة الصفحة، فإن أي زاحف آخر يمكنه ذلك. وغالبًا ما يقومون بـ:

  • الاعتماد على react-helmet أو مكتبات مماثلة لحقن JSON-LD بعد تحميل الصفحة، معتقدين أن الوسم "موجود".
  • الاختبار فقط في عرض العناصر (Elements view) في المتصفح، وليس في المصدر الخام.
  • تجاهل إجراء فحص بسيط باستخدام curl ، متجاهلين حقيقة أن العنوان أو العبارات الرئيسية لا تظهر أبدًا في استجابة HTML الأولية.

تمنح هذه الممارسات وهمًا بصحة الـ SEO بينما تترك الموقع أعمى عن بحث الذكاء الاصطناعي.

كيف تعالج الأمر

الحل هو تقديم المحتوى الحقيقي في أول استجابة HTTP. هناك ثلاث طرق مثبتة:

  • التصيير من جانب الخادم (SSR) – يقوم الخادم بتشغيل JavaScript، وتصيير HTML الكامل، وإرساله إلى العميل. تصل الصفحة وهي ممتلئة بالفعل بالمحتوى.
  • التوليد الاستاتيكي (Static Generation) – في وقت البناء (build time)، يقوم إطار العمل بإنشاء ملفات HTML ثابتة تتضمن جميع المحتويات. لا حاجة للتصيير أثناء وقت التشغيل.
  • التصيير المسبق (Prerendering) – تقوم خدمة وسيطة (middleware) بتصيير الصفحة مرة واحدة، وتخزين النتيجة مؤقتًا، وتقديم لقطة ثابتة للزواحف.

توفر أطر العمل مثل Next.js (React) و Nuxt (Vue) دعمًا مدمجًا لهذه التقنيات. التحول من حزمة تعتمد كليًا على جانب العميل إلى إحدى الطرق المذكورة أعلاه يضمن أن يرى كل من Googlebot وزواحف الذكاء الاصطناعي نفس المحتوى.

اختبار سريع للتأكد:

curl -s https://yourpage.com | grep "your headline text"

إذا لم تُرجع الأوامر أي شيء، فإن العنوان غير موجود في HTML الخام وستغفل عنه بوتات الذكاء الاصطناعي.

ما يجب مراقبته

الوضع الحالي هو عدم توافق واضح: محرك التصيير في Google متطور؛ أما زواحف الذكاء الاصطناعي فليست كذلك. الدراسة التي كشفت هذه الفجوة حديثة العهد، وقد أبدت كل من OpenAI و Anthropic اهتمامًا بتحسين مسارات الفهرسة الخاصة بها. ومع ذلك، لا يوجد خارطة طريق عامة تضمن إضافة تنفيذ JavaScript الكامل قريبًا.

في هذه الأثناء، تغيرت تكلفة تجاهل هذه المشكلة. فقبل عشر سنوات، كانت العقوبة تتمثل في بطء أرشفة Google؛ أما اليوم، فهي الاستبعاد من أسرع قنوات الاكتشاف نموًا — وهي البحث المدعوم بالذكاء الاصطناعي. يجب على الشركات التي تعتمد على الزيارات المجانية (organic traffic) فحص صفحاتها باستخدام أدوات المصدر الخام (raw-source tools)، واعتماد تقنيات SSR أو التوليد الثابت (static generation) حيثما كان ذلك ممكنًا، ومراقبة تقارير الأرشفة الخاصة بالذكاء الاصطناعي فور توفرها.

الخلاصة: قد يكون الموقع الذي يبدو مثاليًا في تصنيفات Google غير مرئي لـ ChatGPT و Bing AI إذا كان يعتمد فقط على العرض من جانب العميل (client-side rendering). إن تقديم المحتوى في ملف HTML الأولي — عبر SSR، أو التوليد الثابت، أو التحضير المسبق (prerendering) — يقلص هذه الفجوة ويضمن الاكتشاف عبر كل من البحث التقليدي والبحث المدعوم بالذكاء الاصطناعي.