إطار قرار robots.txt لزواحف الذكاء الاصطناعي

ملف robots.txt باختصار: معيار حقيقي، لا مجرد اقتراح

ملف robots.txt هو ملف نصي عادي في جذر الموقع الإلكتروني يخبر البرمجيات الزائرة بالأجزاء التي يمكنها زحفها والأجزاء التي لا يمكنها ذلك. إنه ليس اختراعًا حصريًا من Google — بل مُقنَّن رسميًا باعتباره بروتوكول استبعاد الروبوتات، RFC 9309، الصادر عن فرقة عمل هندسة الإنترنت، الجهة التي تضع معايير عمل البنية الأساسية للإنترنت.

يعلن كل مشغّل كبير لزواحف الذكاء الاصطناعي أنه يحترم هذا الملف لروبوتات الزحف الآلية التابعة له — OpenAI بالنسبة لـ GPTBot وOAI-SearchBot، وAnthropic بالنسبة لـ ClaudeBot وClaude-SearchBot، وPerplexity بالنسبة لـ PerplexityBot — جميعها تذكر ذلك في وثائقها الخاصة. أما الروبوتات التي يُطلقها المستخدم — ChatGPT-User وClaude-User وPerplexity-User — فهي الاستثناء، لأنها تعمل استجابةً لطلب مباشر من شخص بعينه.

السؤال الأول: هل تريد أن توصي بك مساعدات الذكاء الاصطناعي؟

يبدو هذا بديهيًا، لكنه يستحق أن يُقال بوضوح لأن الإجابة الصادقة تختلف من نشاط تجاري لآخر. طبيب أسنان، سبّاك، مطعم محلي — أي نشاط تجاري تقريبًا يسأل عملاؤه أصدقاءهم، وبشكل متزايد مساعدات الذكاء الاصطناعي، عن "من يجب أن أتصل به" — يريد عادةً أن تكون الإجابة نعم. أما النشاط التجاري المبني على الحصرية أو عملية بيع محكومة بإحكام، فقد تكون لديه أسباب حقيقية ليقول لا.

إذا كانت الإجابة نعم، فهذا يشير إلى السماح للزواحف التي تغذّي إجابات المساعد: زواحف التدريب التي تعلّم النموذج بوجودك، وزواحف البحث التي تتيح له الاستشهاد بك مباشرة.

السؤال الثاني: هل يُدرّ عليك هذا المحتوى دخلاً مباشرًا؟

بعض المحتوى موجود فقط ليُكتشف ويُقرأ — صفحة خدمات، تدوينة، أسئلة شائعة. ومحتوى آخر هو المنتج نفسه: المقالات المقتصرة على المشتركين لدى ناشر إخباري، والوثائق المتقدمة لشركة SaaS، والقوائم التفصيلية في سوق إلكتروني. المحتوى من الفئة الثانية يستحق إجابة أكثر حذرًا، لأن السماح له بتدريب نموذج شخص آخر يعادل التنازل مجانًا عما تحاول بيعه، بدلاً من الترويج له.

كثيرًا ما يقسّم هذا السؤال الموقع نفسه إلى إجابتين مختلفتين: صفحات التسويق تقول نعم للزحف، والمحتوى المدفوع أو المملوك حصريًا يقول لا — وهذا أمر مشروع تمامًا، لأن قواعد robots.txt يمكن كتابتها لمسارات محددة، وليس للموقع بأكمله فقط.

السؤال الثالث: هل يمكنك فعلاً صيانة هذا؟

ملف robots.txt الذي يسمّي عشرة روبوتات محددة اليوم سيصبح قديمًا في اليوم الذي يُطلق فيه الروبوت الحادي عشر. إذا لم يكن أحد في فريقك سيعيد النظر في هذا الملف كل بضعة أشهر، فإن سياسة أبسط وأكثر ديمومة — السماح للزواحف الكبرى الموثّقة جيدًا كفئة كاملة، مع المراجعة مرتين سنويًا — أفضل من مجموعة قواعد معقّدة لا يصونها أحد.

أن تكون واقعيًا بشأن قدرتك الفعلية على الصيانة ليس تنازلاً عن المعايير؛ فالسياسة التي يمكنك فعلاً إبقاؤها محدّثة تحميك أفضل من سياسة طموحة تصبح قديمة خلال عام واحد.

تطبيق الإطار على ثلاثة أنشطة تجارية حقيقية

يجيب سبّاك محلي بنعم على السؤال الأول (يريد توصيات الذكاء الاصطناعي)، والسؤال الثاني بالكاد ينطبق (صفحة الخدمات لا تربح شيئًا من البقاء سرية)، والسؤال الثالث سهل (ليس هناك الكثير ليُصان). يصل الإطار بوضوح إلى: السماح على نطاق واسع للزواحف الكبرى.

تجيب شركة SaaS بنعم على السؤال الأول بالنسبة لموقعها التسويقي ومدونتها العامة، لكن بلا حذرة على السؤال الثاني بالنسبة لوثائقها المتقدمة ومحتوى المساعدة داخل المنتج الذي تبيع الوصول إليه. ينتهي ملف robots.txt الخاص بها بقاعدتين مختلفتين لجزأين مختلفين من النطاق نفسه — صفحات تسويقية مفتوحة، ووثائق مدفوعة مغلقة.

غالبًا ما يقدّم الناشر الإخباري الإجابة الأكثر دقة: نعم على السؤال الأول بالنسبة لمقالاته المجانية، لأن الاستشهادات تولّد وعيًا حقيقيًا لدى القراء، لكن لا حازمة على السؤال الثاني بالنسبة لعمله الاستقصائي المدفوع الذي يعتمد عليه نشاطه التجاري. ولأن خدمة Google-Extended ونظيراتها لدى شركات أخرى تفصل التدريب عن الظهور في نتائج البحث، يمكن للناشر منطقيًا أن يسمح بزحف البحث لمحتواه المجاني مع الاستمرار في رفض استخدام هذا المحتوى نفسه لتدريب النماذج.

FAQ