حركة زواحف الذكاء الاصطناعي مقابل Googlebot: كيف تبدو الأرقام حقًا

كم مرة تزور زواحف الذكاء الاصطناعي فعليًا، مقارنة بـGooglebot

نشرت Vercel، التي تستضيف خوادمها حصة كبيرة من الويب الحديث، تحليلها الخاص لحركة المرور الذي يغطي شهرًا كاملًا عبر شبكتها. ولّد Googlebot 4.5 مليار طلب في تلك الفترة. ولّد GPTBot 569 مليونًا — نحو ثُمن الحجم. ولّدت زواحف Claude 370 مليونًا، أقل من ذلك.

بعبارة بسيطة: مقابل كل زيارة يقوم بها Googlebot للويب الذي تستضيفه Vercel، يقوم GPTBot بنحو ثُمن زيارة، وتقوم زواحف Claude بأقل من ذلك. هذا ليس خطأ تقريب — بل يعكس المدة الأطول التي قضتها Google في بناء وتشغيل بنية تحتية للبحث على نطاق واسع.

الزحف وإرسال الزوار مرة أخرى أمران مختلفان جدًا

يجيب حجم الزحف الخام عن سؤال "كم مرة يزور هذا الروبوت"، لكن صاحبة العمل عادة ما تهتم بسؤال مختلف: "هل يرسل لي هذا عملاء؟" قاست Cloudflare، التي تقف أمام نحو خُمس كل حركة مرور الويب وفق بياناتها الخاصة، جانبي هذا السؤال لمدة أسبوع ونشرت ما تسميه نسبة الزحف إلى الإحالة — كم مرة زحفت روبوتات شركة ما صفحة مقابل كل مرة أرسلت فيها زائرًا حقيقيًا إليها عبر رابط.

الأرقام صادمة. وجدت Cloudflare أن نسبة OpenAI الإجمالية كانت قريبة من 887 عملية زحف مقابل كل زائر واحد مُحال. كانت نسبة Anthropic أعلى بكثير — "قرابة 50,000:1" في قياس Cloudflare. أما Perplexity، التي بُني منتجها حول الإجابة بروابط، فكانت لديها نسبة أكثر تماسكًا بكثير تبلغ نحو 118 إلى 1 — لا تزال غير متوازنة، لكنها الأقرب بين الثلاث إلى إرسال زوار مقابل ما تزحفه.

لماذا النسبة غير متوازنة إلى هذا الحد: معظم الزحف للتدريب، لا للإجابات

سبب اتساع الفجوة بين الزحف والإحالة يعود إلى ما يُستخدم فيه معظم هذا الزحف فعليًا. وجد البحث نفسه من Cloudflare أن "حركة التدريب، المسؤولة عن ما يقرب من 80% من زحف روبوتات الذكاء الاصطناعي"، تفوق بكثير الحركة المستخدمة للإجابة عن سؤال محدد في الوقت الفعلي — وهي نوع الحركة الأكثر احتمالًا لتضمين رابط يعود إلى موقعك.

تجمع عمليات زحف التدريب محتوى لبناء نموذج أو تحسينه بشكل عام — ليس لديها سبب مباشر لإرسال زائر إلى أي مكان، لأنه لم يطرح شخص محدد سؤالًا محددًا. الجلب الذي يُطلقه المستخدم، مثل ChatGPT-User أو Perplexity-User الذي يزور صفحة لأن شخصًا طرح سؤالًا حقيقيًا، هو الحركة الأكثر احتمالًا للتحول إلى زائر فعلي، وهو حصة صغيرة من إجمالي الزحف الذي يحدث.

ماذا يعني هذا لنشاط تجاري حقيقي

تخيّلي محاسبة محلية خلال موسم الضرائب. قد يشهد موقعها آلاف زيارات Googlebot شهريًا وحفنة فقط من زيارات زواحف الذكاء الاصطناعي بالمقارنة — وهذا متوقع، وليس علامة على فشل موقعها مع مساعدات الذكاء الاصطناعي. ما يهمها فعليًا أقل ارتباطًا بالحجم وأكثر ارتباطًا بسؤالين أضيق: هل تُزحف أصلًا من قِبل المساعدات التي يستخدمها عملاؤها المحتملون، وعندما يطرح شخص سؤالًا مباشرًا على أحد تلك المساعدات، هل يعرف ما يكفي عنها ليجيب ذاكرًا اسمها؟

ملاحقة عدد زيارات زواحف الذكاء الاصطناعي بالطريقة التي لاحقت بها الأنشطة التجارية نشاط Googlebot لعقود ليست الغريزة الصحيحة هنا — فالحجم ببساطة لم يُبنَ بعد بالطريقة نفسها. دليلنا لتشخيص ما إذا كنتِ تُزحفين لكن لا يُستشهد بكِ يتناول ما يتنبأ فعليًا بالذكر، وهو أمر أهم من أعداد الزيارات الخام.

FAQ