أعلنت شركة Cloudflare أنها رصدت سلوك زحف خفي من منصة Perplexity، وهي محرك إجابات مدعوم بالذكاء الاصطناعي. وأوضحت الشركة أن “بيربلكسيتي” يبدأ عملية الزحف باستخدام وكيل المستخدم (User Agent) المعلن الخاص به، لكن عند حظر الوصول من قبل الشبكة، يعمد إلى إخفاء هويته لتجاوز قيود المواقع.

وذكرت “كلاودفلير” أن “بيربلكسيتي” يغيّر بشكل متكرر وكيل المستخدم وعناوين الشبكات (ASNs) الخاصة به، وهي أساليب تهدف إلى إخفاء نشاطه، كما أنه يتجاهل أو يفشل أحياناً في جلب ملفات robots.txt التي تحدد سياسات الزحف. وأشارت الشركة إلى أن هذا السلوك يتعارض مع مبادئ الشفافية التي تأسس عليها الإنترنت منذ أكثر من 30 عاماً، حيث يُتوقع من الزواحف أن تكون واضحة الهوية وأن تلتزم بتوجيهات المواقع.

وبناءً على ذلك، أزالت Cloudflare بيربلكسيتي من قائمة البوتات الموثوقة، وأطلقت قواعد مُدارة جديدة لمنع هذا النوع من الزحف الخفي. كما أوضحت أن البوتات المشروعة يجب أن تعرّف نفسها بوضوح من خلال وكيل مستخدم فريد، أو نطاقات IP محددة، أو التكامل مع Web Bot Auth، وألا تقوم بإغراق المواقع بالزيارات أو جمع البيانات الحساسة بشكل خفي، وأن تلتزم بقواعد robots.txt وحدود معدل الطلبات.

وأكدت الشركة أن نظام إدارة البوتات الخاص بها يمنح المستخدمين الحماية من أي زحف غير مُعلن من قبل “بيربلكسيتي”، حيث يتم تصنيفه تلقائياً كبوت وحظره. وأشارت إلى أن العملاء الذين لديهم قواعد حظر أو تحديات مفعّلة يتمتعون بالفعل بهذه الحماية، مع إضافة بصمات خاصة لاكتشاف هذا البوت في القواعد المُدارة، وهي ميزة متاحة لجميع المستخدمين بمن فيهم المجانيون.

وأضافت Cloudflare أنه منذ إعلانها عن “يوم استقلال المحتوى”، قام أكثر من 2.5 مليون موقع بحظر تدريب الذكاء الاصطناعي عبر robots.txt المُدار أو قواعد حظر زواحف الذكاء الاصطناعي، ما يمنح أصحاب المحتوى السيطرة على الجهات المسموح لها بالوصول إلى بياناتهم.

وتعمل الشركة حالياً مع خبراء تقنيين وصنّاع سياسات حول العالم، بما في ذلك IETF، لوضع معايير موسّعة لملفات robots.txt، بهدف تحديد مبادئ واضحة لتشغيل البوتات بشكل أخلاقي في هذا المجال المتطور.

النقاط الرئيسية:

• الحيرة يستخدم الذكاء الاصطناعي تكتيكات التخفي لإخفاء نشاط الزحف.
• يقوم Cloudflare بحظر هذا السلوك عبر القواعد المُدارة المُحدثة.
• يتحكم الآن أكثر من 2.5 مليون موقع ويب في الوصول إلى برامج الزحف بالذكاء الاصطناعي.

مقالات ذات صلة

عرض الكل