كيف تقرأ زواحف الذكاء الاصطناعي موقعك الإلكتروني فعليًا

الجلب مقابل العرض: الفرق الذي يقرر ما يراه الزاحف

تبدأ كل زيارة لموقع بالطريقة نفسها: يذهب طلب إلى خادمك، ويعيد الخادم استجابة. تلك الاستجابة هي HTML — الهيكل الخام للصفحة. غالبًا ما يرسل موقع حديث هذا الهيكل شبه فارغ عن قصد، ثم يستخدم جافاسكريبت — برامج صغيرة تعمل داخل متصفح الزائر — لملئه لاحقًا بالنصوص والأسعار والصور الحقيقية.

يُشغّل متصفح الزائر البشري ذلك الجافاسكريبت تلقائيًا، فلا يلاحظ الفجوة أبدًا. "العرض" هو المصطلح التقني لتلك الخطوة الإضافية: تشغيل جافاسكريبت وبناء الصفحة الكاملة. أما "الجلب" فهو ببساطة أخذ HTML الخام والتوقف عند ذلك. تجلب معظم زواحف الذكاء الاصطناعي فقط. إنها لا تعرض.

تخيّل موقع سبّاك تُحمَّل صفحته الرئيسية فورًا بشعار وصورة، لكن قائمة الخدمات الفعلية — تسليك المصارف، إصلاح سخانات المياه، الطوارئ — لا تظهر إلا بعد ثانية، يملأها جافاسكريبت بعد تحميل الصفحة. يقوم متصفح الزائر بهذا الملء بسلاسة حتى إنه لا يلاحظ حدوث خطوتين أبدًا. أما زاحف ذكاء اصطناعي يكتفي بالجلب، فيرى الهيكل شبه الفارغ ويتوقف عند ذلك. بالنسبة لذلك الزاحف، قائمة الخدمات ببساطة غير موجودة.

الروبوتات، واحدًا تلو الآخر، ولماذا وُجد كل واحد منها فعليًا

"زاحف الذكاء الاصطناعي" ليس روبوتًا واحدًا — إنه مجموعة من الشركات، تُشغّل كل واحدة منها عدة روبوتات لمهام مختلفة. معرفة من هو من أمر مهم، لأن حظر واحد لا يحظر الآخرين.

توثّق OpenAI أربعة روبوتات منفصلة: يجمع GPTBot محتوى قد يُستخدم لتدريب نماذجها. يزحف OAI-SearchBot ليقرر ما يُعرَض عند بحث شخص داخل ChatGPT. يتحقق OAI-AdsBot من سلامة صفحة هبوط إعلانية معينة. أما ChatGPT-User فمختلف عن الثلاثة الأخرى — فهو لا يزور صفحة في الوقت الفعلي إلا لأن شخصًا طرح سؤالًا مباشرًا على ChatGPT، وتشير وثائق OpenAI نفسها إلى أن "قواعد robots.txt قد لا تنطبق" عليه، لأن شخصًا طلب ذلك الجلب صراحة.

تطبّق Anthropic تقسيمًا مشابهًا: يجمع ClaudeBot محتوى "لتعزيز فائدة وسلامة نماذج الذكاء الاصطناعي التوليدي لدينا"، ويزحف Claude-SearchBot لتحسين نتائج شبيهة بالبحث داخل Claude، ولا يجلب Claude-User صفحة إلا عندما يقوده سؤال شخص إليها. تطبّق Perplexity النمط نفسه: يزحف PerplexityBot ليُظهر المواقع ويربطها، بينما لا يجلب Perplexity-User صفحة إلا ردًا على سؤال شخص.

لا يعرض أي من هذه الروبوتات جافاسكريبت. وجميعها، وفقًا لوثائق هذه الشركات المذكورة أعلاه، يُفترض أن تحترم ملف robots.txt — باستثناء الروبوتات التي يُطلقها المستخدم، والتي وُجدت تحديدًا لأن شخصًا حقيقيًا ينتظر ردًا على الطرف الآخر.

Googlebot هو الاستثناء، ويستحق الأمر معرفة السبب

إذا كانت زواحف الذكاء الاصطناعي لا تعرض جافاسكريبت، فلماذا يبدو هذا غير مألوف؟ لأن Googlebot يفعل ذلك. توثّق Google أن Googlebot موجود "للعثور على المعلومات اللازمة لبناء فهارس بحث Google"، ولفعل ذلك جيدًا، بنت Google على مدى سنوات عديدة خط أنابيب عرض كاملًا — وهو في جوهره تشغيل متصفح حقيقي على نطاق هائل لكل صفحة تريد فهمها بالكامل.

هذه بنية تحتية باهظة التكلفة فعلًا، وحاليًا لم تبنِ شركات الذكاء الاصطناعي نسختها الخاصة منها لزواحفها. يذكر تحليل Vercel نفسه ذلك بوضوح: "لا يعرض أي من زواحف الذكاء الاصطناعي الرئيسية حاليًا جافاسكريبت. يشمل هذا OpenAI (OAI-SearchBot وChatGPT-User وGPTBot)، وAnthropic (ClaudeBot)، وMeta (Meta-ExternalAgent)، وByteDance (Bytespider)، وPerplexity (PerplexityBot)." ووجد التحليل نفسه أن هذه الزواحف تجلب أحيانًا ملفات جافاسكريبت لموقع ما — فعلت روبوتات ChatGPT ذلك في نحو 11.5% من الطلبات، وروبوتات Claude في نحو 23.8% — لكن جلب الملف ليس مثل تشغيله. فهي لا تزال لا تُشغّله. وفي الفترة نفسها، قاست Vercel 4.5 مليار طلب شهري لـ Googlebot مقابل 569 مليون لـ GPTBot و370 مليون لزواحف Claude — وهو جزء يسير من ذلك الحجم.

قد لا تدوم هذه الفجوة إلى الأبد بالضرورة. لكن بالنسبة لصاحب عمل يقرر اليوم ماذا يفعل بموقعه، هذا هو الواقع الحالي، وليس قانونًا دائمًا — يستحق المراجعة من وقت لآخر، وليس القلق بسببه.

ما يكلّفه هذا فعليًا لموقع حقيقي

لنعد إلى موقع السبّاك. إذا كانت قائمة الخدمات وخريطة منطقة الخدمة وتقييمات العملاء كلها تُحمَّل بعد الصفحة الأولية عبر جافاسكريبت، فإليك ما يحدث عندما يسأل شخص مساعد ذكاء اصطناعي "من يقدم خدمة سباكة طارئة بالقرب مني": جلب زاحف المساعد تلك الصفحة في وقت ما، فرأى هيكلًا شبه فارغ، ثم انتقل إلى غيرها. لم يعرف أبدًا ما هي الخدمات التي يقدمها هذا السبّاك فعليًا.

هذه ليست ملاحظة تقنية هامشية — إنها، ببساطة، الفرق بين وجود نشاط تجاري في صورة العالم التي يحملها مساعد ذكاء اصطناعي وعدم وجوده على الإطلاق. سبّاك منافس يُحمّل موقعه خدماته مباشرة في تلك الاستجابة الأولى من الخادم يكون ببساطة أكثر وضوحًا ليُوصى به، دون أن يكون أي شيء آخر في نشاطه أفضل.

كيف تتحقق مما يعرضه موقعك فعليًا لزاحف

لست بحاجة إلى أن تكون تقنيًا للتحقق من ذلك بنفسك، ويستغرق الأمر نحو دقيقتين.

• انقر بزر الماوس الأيمن على صفحتك الرئيسية واختر "عرض مصدر الصفحة" (أو اضغط Ctrl+U / Cmd+Option+U). ما تراه قريب من HTML الخام الذي يجلبه الزاحف. إذا لم تكن خدماتك أو أسعارك أو حقائقك الأساسية في ذلك النص، فقد لا تكون موجودة فيما يستطيع زاحف ذكاء اصطناعي قراءته أيضًا.
• عطّل جافاسكريبت في متصفحك للحظة (توفّر معظم المتصفحات ذلك في أدوات المطوّرين أو الإعدادات) وأعد تحميل صفحتك الرئيسية. كل ما يختفي هو بالضبط ما لا يراه زاحف لا يعرض المحتوى أبدًا من الأساس.
• اطرح سؤالًا مباشرًا على من بنى موقعك أو يديره: "هل يُرسَل محتوانا الرئيسي — الخدمات والأسعار والموقع وساعات العمل — في استجابة الخادم الأولى، أم يُملأ لاحقًا بجافاسكريبت؟" إذا كانت الإجابة الصادقة "يُملأ لاحقًا"، فهذا هو الإصلاح الذي يجب إعطاؤه الأولوية.

الخطوة التالية

لا يتطلب أي من هذا إعادة بناء موقعك. إنه يعني التأكد من أن الكلمات الأهم — ما تفعله، وأين تقع، وتكلفته، ولماذا يجب اختيارك — تصل في تلك الاستجابة الأولى بالضبط من خادمك، قبل تشغيل أي جافاسكريبت على الإطلاق. تُبنى البيانات المهيكلة وإعداد صفحة نظيف وصديق للزواحف على هذا الأساس تحديدًا، وتتحقق Growli مما إذا كانت مساعدات الذكاء الاصطناعي تستطيع فعليًا رؤية نشاطك التجاري والتوصية به اليوم، لا مجرد ما إذا كان موقعك يبدو جيدًا في متصفح.

FAQ