روبوتات الزحف الخاصة بالذكاء الاصطناعي: GPTBot وClaudeBot وPerplexityBot وغيرها

بقلم Zakaria Reziki

الرئيس التنفيذي — Growli · 25 سبتمبر 2026 · 9 دقيقة قراءة

كُتبت مسوّدته بمساعدة الذكاء الاصطناعي وفق معايير تحريرية وضعها زكريا رزيقي، ثم نُشر بعد فحوصات آلية للمصادر والجودة.

الخلاصات الأساسية

تشغّل كل شركة ذكاء اصطناعي أكثر من روبوت واحد، ولكل منها مهمة مختلفة. تفصل OpenAI وAnthropic وPerplexity جميعها بين الروبوت الذي يدرّب نموذجها والروبوت الذي يجلب صفحة لأن مستخدماً طرح سؤالاً للتو — حظر أحدهما لا يحظر الآخر.
يتصرّف روبوت "التدريب" وروبوت "الزيارة الفورية" بشكل مختلف تماماً. روبوتات التدريب (GPTBot وClaudeBot) تزور حسب جدولها الخاص وتحتفظ بما تقرؤه. روبوتات الزيارة الفورية (ChatGPT-User وClaude-User وPerplexity-User) تزور في اللحظة التي يطرح فيها أحدهم سؤالاً، وعدد منها لا يراجع robots.txt إطلاقاً — لأن من طلب تلك الصفحة شخص، لا جدول زمني.
حظر روبوت في robots.txt هو طلب، لا قفل. تقول الشركات الثلاث جميعها إن روبوتاتها الآلية تحترم robots.txt، لكن الملف لا يعمل إلا إذا كُتب بشكل صحيح وكان متاحاً — خطأ إملائي أو عطل في الخادم قد يحظر بصمت أكثر بكثير مما تنوي.
يمكنك أن ترى بدقة من زارك بقراءة سجلات خادمك نفسها والبحث عن سلسلة تعريف كل روبوت — لا حاجة لأي أداة خاصة، فقط سجل الوصول نفسه الذي يحتفظ به مضيفك أصلاً.
الإعداد الافتراضي الأكثر أماناً لمعظم الأعمال هو السماح بكل شيء وعدم حظر أي شيء، لأن حظر روبوت يقصيك تماماً من إجابة ما — لا يجعل تلك الإجابة أكثر لطفاً معك.

روبوت الزحف الخاص بالذكاء الاصطناعي برنامج صغير تشغّله إحدى شركات الذكاء الاصطناعي لزيارة صفحات الويب، تماماً كساعي بريد يسير على خط عناوين — إلا أن ساعي البريد هذا يقرأ ما في الصفحة ويأخذ نسخة معه. إن كنت قد نظرت يوماً في سجلات زوّار موقعك ورأيت اسماً مثل "GPTBot" أو "ClaudeBot" بجانب زائر حقيقي، فذلك أحد هذه البرامج، ويستحق الأمر معرفة ما كان يفعله هناك.

سمع معظم أصحاب المواقع باسم أو اسمين من هذه الأسماء ويفترضون أنها تعمل كلها بالطريقة نفسها. الأمر ليس كذلك. بعض الروبوتات تبني المعرفة طويلة المدى التي دُرّب عليها نموذج ما؛ وأخرى تجلب صفحة واحدة في الثانية التي تلي كتابة عميل سؤالاً في ChatGPT أو Perplexity. الخلط بين الاثنين يقود إلى أكثر خطأ نراه شيوعاً: يحظر نشاط "روبوت الذكاء الاصطناعي" في robots.txt — الملف النصي الصغير الذي يخبر الزوّار الآليين بأي أجزاء من الموقع يمكنهم قراءتها — أملاً في حماية محتواه، فيجعل نفسه بدلاً من ذلك مستحيل التوصية به.

يسمّي هذا الدليل كل روبوت توثّقه اليوم الشركات الثلاث الكبرى لصنّاع المساعدين، بلغة واضحة، مع مصدر يمكنك التحقق منه بنفسك، لتتخذ هذا القرار عن قصد لا عن غير قصد.

الروبوتات، شركة تلو الأخرى

فكّر في robots.txt كلافتة على باب متجر: "التوصيل من الخلف، والعملاء مرحّب بهم من الأمام". لا يعمل هذا إلا إذا قرأ كل زائر اللافتات — ولا يفرز الزوّار إلى مجموعات إلا إذا عرفت أي لافتة تنطبق على من. إليك من يطرق الباب فعلاً.

توثّق OpenAI أربعة روبوتات منفصلة. GPTBot يجمع نصوصاً للمساعدة في تدريب نماذجها وتحسينها — أشبه بباحث يقرأ كتباً في مكتبة ليزداد معرفة، لا ليجيب عن سؤال محدد. أما OAI-SearchBot فمختلف: يزحف الصفحات كي تتمكن ميزة البحث في ChatGPT من إيجادها والاستشهاد بها حين يسأل مستخدم شيئاً، دور أقرب إلى محرك بحث يفهرس الويب. ChatGPT-User يزور صفحة في اللحظة التي يتحدث فيها شخص مع ChatGPT ويحتاج المساعد للتحقق من شيء مباشرةً — تخيّل موظف متجر يذهب إلى المخزن ليتأكد من توفر سلعة أمام عيني الزبون. OAI-AdsBot يتحقق من أن الصفحات المقدَّمة كإعلانات في ChatGPT آمنة لتُنصح بها. توثّق OpenAI الروبوتات الأربعة وسلوكها تجاه robots.txt على موقعها للمطورين.

تشغّل Anthropic (الشركة وراء Claude) ثلاثة. ClaudeBot يجمع صفحات لتدريب النموذج، الدور نفسه لقراءة المكتبة كـGPTBot. Claude-SearchBot يزحف الصفحات لتحسين ما يستطيع Claude إيجاده والاستشهاد به في نتائج بحثه. Claude-User يجلب صفحة محددة في اللحظة التي يسأل فيها مستخدم Claude عنها — سلوك "التحقق أمام الزبون" نفسه لـChatGPT-User. توضح Anthropic الروبوتات الثلاثة، وكيفية التحكم في كل منها، في مركز المساعدة الخاص بها.

تكتفي Perplexity باثنين. PerplexityBot يزحف الصفحات ويفهرسها كي تتمكن إجابات Perplexity من الربط إليها — دور الفهرسة مجدداً. Perplexity-User يجلب صفحة فورياً، نيابة عن مستخدم، في اللحظة التي يحتاجها سؤال ما. توثّق Perplexity نفسها الاثنين وتشرح الفرق بينهما.

خمسة روبوتات، ثلاث شركات

من هو من بين OpenAI وAnthropic وPerplexity

GPTBot (من OpenAI)
يزحف للمساعدة في تدريب نماذج OpenAI. يزور حسب جدوله الخاص.
ChatGPT-User (من OpenAI)
يجلب صفحة فورياً لأن شخصاً يتحدث مع ChatGPT في تلك اللحظة.
ClaudeBot (من Anthropic)
يزحف للمساعدة في تدريب Claude. يزور حسب جدوله الخاص.
Claude-User (من Anthropic)
يجلب صفحة فورياً لأن شخصاً يتحدث مع Claude في تلك اللحظة.
PerplexityBot (من Perplexity)
يزحف الصفحات ويفهرسها كي تتمكن إجابات Perplexity من الربط إليها.

مهمتان لا مهمة واحدة: التدريب مقابل "الآن"

بمجرد رؤية هذا النمط، يختزل كل هذا التنوّع من الروبوتات إلى فئتين بسيطتين — وهذا التمييز هو ما يغيّر فعلياً ما ينبغي أن تفعله.

روبوتات التدريب والفهرسة — GPTBot وOAI-SearchBot وClaudeBot وClaude-SearchBot وPerplexityBot — تزور حسب جدولها الخاص، بمعزل عن أي عميل بعينه. بهذه الطريقة تبني هذه الشركات معرفة عامة وفهرساً قابلاً للبحث عن الويب مع الوقت. حظر أحدها يخبر تلك الشركة "لا تستخدمي صفحاتي المستقبلية لهذا الغرض" — خيار حقيقي وذو معنى، لكنه يؤثر ببطء ولا يمسّ أي شيء تعلّمته الشركة قبل الحظر.

الروبوتات التي يفعّلها المستخدم — ChatGPT-User وClaude-User وPerplexity-User — تزور لأن شخصاً حقيقياً، في خضم محادثة، طلب من المساعد النظر إلى صفحتك الآن: للتحقق من سعر حالي، أو قراءة قائمة اليوم، أو تأكيد ساعات عملك. تقول OpenAI وPerplexity بوضوح إنه بما أن الطلب جاء من شخص، فقد لا تحترم هذه الزيارة robots.txt بالطريقة نفسها التي يحترمها زحف آلي — والمنطق أن من يطرح سؤالاً مباشراً يستحق الوصول نفسه الذي كان سيحصل عليه لو نقر الرابط بنفسه.

لهذا يأتي حظر "روبوت الذكاء الاصطناعي" ككتلة واحدة غير مميَّزة بنتيجة عكسية غالباً: قد تُطفئ الروبوت الذي كان سيجعل نشاطك أسهل اكتشافاً الشهر المقبل، من دون أن تمنع شيئاً على الإطلاق من جلب صفحة فورياً غداً — لأن ذلك الجلب لم يكن أصلاً لك لتحظره.

قراءة سجلات خادمك بنفسك لترى من زارك فعلاً

لا تحتاج برنامجاً خاصاً للتحقق من حدوث أي من هذا على موقعك. يحتفظ كل خادم ويب بسجل وصول — قائمة مستمرة بكل زائر وما اطّلع عليه — ويعرّف كل روبوت نفسه في سطر يسمى user-agent، تماماً كما قد يُظهر عامل توصيل بطاقة هويته.

إن كان موقعك مستضافاً مع وصول لسطر الأوامر، يمكنك البحث بنفسك في ذلك السجل. أمر بسيط كالبحث عن النص "GPTBot" أو "ClaudeBot" أو "PerplexityBot" في سجل الوصول سيُظهر كل زيارة، مع التاريخ، والصفحة المطلوبة بالضبط، وما إذا سمح الخادم بالزيارة أو حظرها. توفّر معظم لوحات تحكم الاستضافة (cPanel وPlesk وما شابه) السجل نفسه عبر شاشة "سجل خام" أو "سجل الزوّار" بنقرات قليلة، إن فضّلت تجنّب سطر الأوامر.

يستحق التحقق من أمرين بمجرد إيجادهما: متى زار روبوت معيّن آخر مرة (روبوت تدريب لم يزر أبداً يعني أن صفحاتك ليست بعد جزءاً من بيانات تدريب تلك الشركة)، وما إذا نجحت الطلبات أم حُظرت — فصفحة تعيد خطأً لـGPTBot قد تعيد الخطأ نفسه لمتصفح زبون حقيقي، ومن الجيد معرفة ذلك على أي حال.

كتابة robots.txt تساعدك بدل أن تخفيك

robots.txt ملف نصي بسيط تضعه في جذر موقعك (موقعك.com/robots.txt) يسرد قواعد تحدد أي زوّار آليين يمكنهم قراءة أي أجزاء من موقعك. توثيق Google للزحف — مكتوب لروبوت البحث الخاص بها، لكن تنسيق الملف مشترك بين جميع مشغّلي الروبوتات — يظل أوضح شرح بلغة بسيطة لصياغته إن لم تفتح واحداً من قبل.

لكل نشاط محلي أو صغير تقريباً، نقطة البداية الأكثر أماناً هي الأبسط: السماح لكل روبوت بقراءة كل صفحة عامة، من دون كتابة أي قواعد Disallow خاصة بروبوتات الذكاء الاصطناعي. ميزة أن تُزحف هي فرصة أن تُذكر وتُقارن وتُنصح بك؛ وعيب الحظر هو الغياب الكامل عن إجابة ما، من دون أي طريقة لمعرفة ذلك. لا توجد نسخة من "محظور جزئياً" تجعل مساعداً يصفك بشكل أفضل — لا يمكنها إلا أن تجعلك غير مرئي لذلك الروبوت بعينه.

الاستثناءان الحقيقيان هما الصفحات التي لن ترغب في أن يعرضها محرك بحث أيضاً — بوابة عملاء خاصة، صفحة إدارة داخلية، مسودة لم تُنشر — التي ينبغي أصلاً أن تحمل قاعدة Disallow لأي روبوت، ذكاء اصطناعي أو غيره. وصفحة مضلِّلة حقاً إن قُرئت خارج سياقها، من دون التصميم والتنبيهات المحيطة بها على موقعك، وهو أمر نادر لكنه يستحق نظرة ثانية إن انطبق عليك.

إن قررت فعلاً حظر روبوت بعينه، استخدم اسمه الدقيق — "GPTBot"، لا "OpenAI"، ولا "روبوتات الذكاء الاصطناعي" — لأن كل روبوت يطيع فقط القواعد المكتوبة باسمه. قاعدة تحظر GPTBot لا تؤثر إطلاقاً في OAI-SearchBot، والعكس صحيح؛ هذا الفصل هو السبب الكامل وراء تقسيم هذه الشركات روبوتاتها منذ البداية.

اسرد كل روبوت تريد معالجته باسمه الدقيق، سطر User-agent واحد لكل روبوت.
اترك الملف خالياً من قواعد Disallow الخاصة بالذكاء الاصطناعي ما لم تكن صفحة ما خاصة حقاً.
أعد فحص الملف بعد أي ترحيل للموقع — أحياناً يأتي مضيف جديد بملف robots.txt افتراضي يحظر كل شيء.
اختبر الملف المنشور على موقعك.com/robots.txt في متصفح بعد النشر؛ الخطأ الإملائي هنا صامت ويسهل تفويته.

قرار robots.txt

ثلاثة أسئلة لسياسة منطقية

هل هذه الصفحة عامة أصلاً في نتائج البحث؟
إن كانت Google تستطيع عرض هذه الصفحة أصلاً، فقراءة روبوت ذكاء اصطناعي لها لا تكلفك شيئاً إضافياً.
هل يزعجك أن يجدها شخص عبر النقر على رابط؟
إن كان زائر بشري يصل مباشرة إلى الصفحة أمراً مقبولاً، فروبوت يقرأ الصفحة نفسها مقبول أيضاً.
فكّر في Disallow حينها فقط
خصّص الحظر للصفحات التي كنت ستبقيها أصلاً خارج نتائج البحث — بوابات خاصة، مسودات، شاشات إدارة.

اطّلع على ما يقوله الذكاء الاصطناعي عن نشاطك

يقيس Growli حصّتك من إجابات الذكاء الاصطناعي عبر ChatGPT وGemini وClaude وPerplexity — ويحوّل كل فجوة إلى إجراءات مرتّبة حسب الأولوية.

ابدأ الآن

FAQ

لا. يتعلق GPTBot فقط باستطاعة OpenAI استخدام صفحاتك لتدريب نماذج مستقبلية. تستخدم ميزة بحث ChatGPT روبوتاً منفصلاً هو OAI-SearchBot، وتستخدم عمليات جلبها الفورية أثناء محادثة ChatGPT-User — يظل كلاهما بلا تأثر بقاعدة تسمّي GPTBot فقط. لاستبعاد صفحاتك تحديداً من نتائج بحث ChatGPT، ستحتاج إلى تسمية OAI-SearchBot أيضاً.

الروبوتات الآلية التي تسير حسب جدولها — GPTBot وClaudeBot وPerplexityBot وروبوتا الفهرسة — تعلن جميعها أنها تحترم قواعد robots.txt الموجَّهة إلى اسمها الدقيق. الروبوتات الفورية التي يفعّلها المستخدم مختلفة: تذكر OpenAI وPerplexity بوضوح أنه بما أن شخصاً طلب ذلك الجلب بعينه، فقد لا تنطبق قواعد robots.txt بالطريقة نفسها، لأن الطلب جاء من سؤال حقيقي طرحه شخص لا من زحف مجدوَل.

يمكن لأي شخص تزييف سلسلة user-agent، لذا عاملها كدليل لا كبرهان إن كان الأمر مهماً لك. تنشر كل شركة، إلى جانب توثيق روبوتاتها، نطاقات عناوين IP التي تزحف منها روبوتاتها الحقيقية — مقارنة عنوان IP الزائر بذلك النطاق المنشور هي الطريقة الموثوقة لتأكيد صحة الزيارة قبل التصرف بناءً عليها.

لأغلب المواقع، لا — تطلب هذه الروبوتات الصفحات بوتيرة معتدلة ومهذَّبة، من الحجم نفسه تقريباً لروبوت محرك بحث، ومعظم خطط الاستضافة مصمَّمة أصلاً لاستيعاب هذا النوع من الحركة. قد يلاحظه موقع كبير جداً بآلاف الصفحات في سجلات الخادم، لكن نادراً ما يكفي ذلك للتأثير في الأداء بالنسبة للزوّار الحقيقيين.

لا — llms.txt اتفاقية منفصلة واختيارية تنشرها بعض المواقع لتنظيم قائمة قراءة لوكلاء الذكاء الاصطناعي، لكن لا يوثّق أي من الروبوتات أعلاه أنه يغيّر ما يزحفه أو كيف يقرأ robots.txt. يظل robots.txt هو الملف الذي يمنح الوصول أو يمنعه فعلياً.

بقدر ما يكفي لتجنّب الخطأ الأكثر شيوعاً: حظر روبوت عن غير قصد، عادةً عبر قالب robots.txt منسوخ ولصق يحظر كل شيء. وباستثناء التحقق من أن ملفك لا يحظر هذه الروبوتات عن طريق الخطأ، تجني معظم الأعمال الصغيرة قيمة أكبر من التأكد من دقة ساعاتها وخدماتها وتقييماتها وسهولة قراءتها أكثر مما تجنيه من ضبط قواعد الروبوتات بدقة. لصورة أشمل عن كيفية عمل الظهور في الذكاء الاصطناعي من البداية للنهاية، طالع [دليل Growli للظهور في الذكاء الاصطناعي](https://growli.xyz/blog/ai-visibility).