كيف تتحقق من زيارات زواحف الذكاء الاصطناعي الحقيقية في سجلات خادمك

لماذا الاسم في سجلاتك وحده غير كافٍ

تخيّل موقع عيادة أسنان تُظهر سجلاته خمسين زيارة الشهر الماضي من شيء يسمّي نفسه "GPTBot". يبدو الأمر وكأنه دليل على أن OpenAI تقرأ الموقع. لكن سلسلة وكيل المستخدم مُعلَن عنها ذاتيًا بالكامل — مثل زائر في مكتب الاستقبال يذكر اسمه بصوت عالٍ ببساطة، دون أن يتحقق أحد من هويته. يمكن لبرنامج مختلف تمامًا، بناه أي شخص، أن يذكر الاسم نفسه بالضبط.

يهم هذا لسببين عمليين: إذا كنت تقرر ما إذا كنت ستحظر زاحفًا أم تسمح به، فأنت تريد أن تعرف أنك تتحكم فعليًا في الزاحف الحقيقي، لا في تقليد له. وإذا كنت تحاول فهم مقدار حركة زواحف الذكاء الاصطناعي الحقيقية التي تحصل عليها، فإن عددًا مضخمًا أو مزيفًا يعطيك صورة خاطئة تمامًا.

طريقة التحقق الحقيقية: قوائم عناوين IP المنشورة

يحل كل مشغّل رئيسي هذه المشكلة بالطريقة نفسها: ينشر ملفًا قابلًا للقراءة آليًا يسرد نطاقات عناوين IP الفعلية التي ترسل زواحفه الطلبات منها. لا يكون الطلب فعليًا زاحف تلك الشركة إلا إذا تطابق كل من اسم وكيل المستخدم وعنوان IP المصدر مع ما تنشره الشركة نفسها.

تنشر OpenAI ملفات تحقق منفصلة لكل من روبوتاتها — لكل من GPTBot وOAI-SearchBot وOAI-AdsBot وChatGPT-User قائمته الخاصة. تنشر Anthropic قائمة واحدة تغطي زواحفها على claude.com/crawling/bots.json. تنشر Perplexity ملفات لكلا روبوتيها — PerplexityBot وPerplexity-User — وتوصي وثائقها الخاصة بالتحقق من اسم وكيل المستخدم وعنوان IP معًا للحصول على نتيجة موثوقة.

الفحص المكوّن من أربع خطوات، بعبارات بسيطة

لست بحاجة إلى أن تكون مطورًا لإجراء هذا الفحص، رغم أن الاستعانة بواحد للخطوات التقنية تجعله أسرع.

• ابحثي عن الزيارات المزعومة في سجلاتك. ابحثي في سجلات الوصول لخادمك عن اسم الروبوت الذي تتحققين منه — "GPTBot" أو "ClaudeBot" أو "PerplexityBot" — ودوّني عنوان IP الذي جاء منه كل طلب.
• افتحي قائمة IP التي نشرتها الشركة. كل واحدة منها ملف نصي صغير بسيط على العناوين أعلاه، مُعدّ ليقرأه برنامج لكن يمكن لأي شخص قراءته بسهولة تامة أيضًا.
• قارني عنوان IP، لا الاسم فقط. إذا ظهر عنوان IP من سجلاتك ضمن النطاق الذي نشرته الشركة، فالزيارة حقيقية. إذا لم يظهر، فهذا يعني أن شيئًا ادّعى اسمًا لا يملكه.
• أعيدي الفحص دوريًا. تُحدّث الشركات هذه النطاقات مع تغيّر بنيتها التحتية، لذا يصبح الفحص لمرة واحدة قديمًا. يحتاج معظم أصحاب المواقع فقط إلى إعادة الفحص كل بضعة أشهر، أو كلما بدا شيء في حركة زواحفهم غير معتاد.

ما الذي يحميك منه هذا فعليًا

لا يتعلق الأمر بجنون الارتياب — بل بأن تتخذي قرارًا مستنيرًا بدلًا من قرار مفترَض. صاحبة عمل قررت السماح بـ GPTBot لأنها تريد أن تتعرف مساعدات الذكاء الاصطناعي على منتجاتها، ينبغي أن تعرف أن حركة المرور التي تسمح بها هي بالفعل GPTBot، لا أداة جمع بيانات آلية غير ذات صلة تستعير اسمًا موثوقًا لتجاوز حظر بسيط.

الفحص نفسه مهم في الاتجاه المعاكس أيضًا: نشاط تجاري يحظر GPTBot في robots.txt يثق بأن الزواحف الشرعية وحسنة السلوك تحترم تلك التعليمة — وهو ما تذكر وثائق OpenAI نفسها أن GPTBot يفعله. زيارة مزيفة ترتدي اسم GPTBot لن تكون ملزَمة بتلك الأمانة نفسها، وهو سبب إضافي يجعل فحص IP مهمًا إذا رأيت يومًا حركة مرور تبدو غير طبيعية. بمجرد أن تؤكدي من يزورك فعليًا، يغطي دليلنا حول كيفية قراءة هذه الزواحف لموقعك والحقائق حول ما إذا كان حظرها يؤثر في ترتيبك في Google القرارات التالية.

FAQ