هل يضرّ حظر زواحف الذكاء الاصطناعي بترتيبك في Google؟

الخلاصة، بكلمات Google نفسها

تنشر Google صفحة تصف زواحفها وأدوات الجلب الخاصة بها تحديدًا، وترسم الخط الفاصل بأوضح ما يمكن لوثيقة كهذه أن تفعله. بخصوص Google-Extended، تذكر الصفحة: "لا يؤثر Google-Extended في إدراج موقع في بحث Google ولا يُستخدم كإشارة ترتيب في بحث Google."

بخصوص Googlebot، تصف الصفحة نفسها غرضه بأنه الزحف "للعثور على معلومات لبناء فهارس بحث Google، وإجراء عمليات زحف أخرى خاصة بمنتجات معينة، ولأغراض التحليل." مهمتان مختلفتان، مذكورتان بوضوح، من الشركة نفسها التي تدير كلتيهما.

ما هو Google-Extended فعليًا

إليك الجزء الذي يفاجئ معظم الناس: Google-Extended ليس روبوتًا منفصلًا يظهر في موقعك ببطاقة اسم خاصة به. توثّق Google ذلك بدقة — "لا يعمل Google-Extended عبر سلسلة وكيل مستخدم HTTP منفصلة. بل يتم الزحف بواسطة سلاسل وكيل مستخدم Google الحالية؛ يُستخدم رمز وكيل المستخدم في robots.txt بصفة تحكمية."

بعبارة بسيطة: يمكن للزحف نفسه الذي يقوم به Googlebot بالفعل أن يخدم غرضين. Google-Extended هو التعليمة التي تضعها في ملف robots.txt الخاص بك بشأن ما إذا كان يمكن استخدام ذلك المحتوى المُزحوف أصلًا أيضًا لتدريب نماذج Gemini المستقبلية ودعم إجابات Gemini. إنه إعداد إذن يُضاف فوق زيارة قائمة بالفعل، وليس زائرًا ثانيًا.

كيفية ضبطهما بشكل مستقل، بعبارات بسيطة

بما أن Googlebot وGoogle-Extended يخضعان لقواعد robots.txt منفصلة، يمكنك اختيار كل منهما بمفرده. النشاط التجاري الذي يريد البقاء مرئيًا تمامًا في نتائج بحث Google، لكنه لا يريد أن يغذي محتواه تدريب Gemini أو إجاباته، يمكنه فعل ذلك بالضبط: السماح بوكيل مستخدم Googlebot كالمعتاد، وإضافة قاعدة Disallow منفصلة لوكيل مستخدم Google-Extended.

والعكس صحيح أيضًا — يمكنك نظريًا حظر Googlebot (والاختفاء تمامًا من بحث Google، وهو ما لا يريده أي نشاط تجاري تقريبًا) مع السماح بـ Google-Extended، رغم أنه في الواقع العملي لا يكاد أحد يملك سببًا لفعل ذلك. الفكرة ببساطة أن هذين ذراعا تحكم منفصلان، لا ذراع واحد، وتحريك أحدهما لا يحرّك الآخر.

مثال ملموس: مخبز عائلي

تخيّلي صاحبة مخبز قرأت على الإنترنت أن "حظر روبوتات الذكاء الاصطناعي يضر بتحسين محركات البحث الخاص بك"، فتركت، خوفًا، كل شيء مفتوحًا على مصراعيه بدلًا من المخاطرة بترتيبها في Google — بما في ذلك زواحف كانت تفضّل إبقاءها خارجًا.

بفضل الحقائق أعلاه، أصبح لديها خيار أوضح: يمكن لملف robots.txt الخاص بها أن يسمح صراحةً بـ Googlebot (مع إبقاء مخبزها قابلًا للبحث بالكامل على Google، تمامًا كما كان) بينما يحظر صراحةً Google-Extended (مستبعدًا أوصاف قائمة طعامها وصورها من تدريب نماذج Gemini المستقبلية) — دون أن يمسّ ذلك ظهورها في البحث على الإطلاق. يتحول القرار بشأن تدريب Gemini إلى خيار متعمد ومنفصل بدلًا من أثر جانبي كانت تخمّنه فقط.

لماذا هذا الالتباس شائع جدًا، وكيف تتجنبينه من الآن فصاعدًا

الالتباس مفهوم: كان robots.txt تاريخيًا أداة خاصة بترتيب البحث تقريبًا حصرًا، لذا يبدو أي سطر جديد يُضاف إليه وكأنه يتعلق بالترتيب أيضًا. يكسر Google-Extended ذلك النمط القديم — فهو أول رمز robots.txt شائع الاستخدام، وبتصريح Google نفسها، لا علاقة له صراحةً بالترتيب.

العادة الأكثر أمانًا من الآن فصاعدًا بسيطة: لا تخمّني. عندما يظهر زاحف أو رمز جديد، تحققي من وثائق تلك الشركة نفسها لمعرفة ما يتحكم فيه فعليًا قبل تغيير أي شيء — نفس الانضباط الذي بُني عليه هذا المقال.

FAQ