حوّل العناوين إلى slug نظيف مع تحويل الحروف العربية ومعالجة التشكيل وإزالة الكلمات الشائعة وحد الطول
مولّد ومختبر robots.txt
ولّد ملف robots.txt من قوالب جاهزة (ووردبريس، حجب بوتات الذكاء الاصطناعي) واختبر أي رابط ضد قواعده بخوارزمية أطول تطابق وفق RFC 9309، مع تنبيهات لحجب الموقع كله أو ملفات CSS/JS.
مساحة العمل
1) أنشئ الملف
2) المحرر
3) اختبر رابطًا
كيف تُحسب النتيجة؟
تُحلَّل الملف سطرًا سطرًا (تُحذف التعليقات بعد #) وتُجمَّع أسطر User-agent المتتالية في مجموعة واحدة. يُختار للـbot المجموعة التي يطابق اسمُها اسمه دون حساسية للحالة، وإلا مجموعة *. بعدها تُطابَق قواعد Allow/Disallow وفق RFC 9309: المطابقة بادئة على المسار مع الاستعلام، و* تطابق أي تسلسل، و$ في النهاية تثبّت المطابقة، وتُوحَّد الترميزات (%xx بأحرف كبيرة، وUTF-8 للأحرف غير ASCII). تفوز أطول قاعدة مطابقة، وعند التعادل تفوز Allow. Disallow: الفارغة لا أثر لها، و/robots.txt مسموح دائمًا، وغياب أي قاعدة مطابقة يعني السماح.
حدود الأداة:
الأداة تطبّق RFC 9309 لا سلوك كل زاحف: Google يقبل أيضًا الرجوع من bot متخصص (مثل Googlebot-Image) إلى Googlebot، وهذا غير مطبّق هنا فاختبر باسم الـbot المطلوب بدقة. أسماء بوتات الذكاء الاصطناعي في القالب تتغير، فتحقق منها من وثائق كل شركة. robots.txt لا يمنع الفهرسة (قد يُفهرس رابط محجوب إن وُجد له رابط خارجي)؛ للمنع استعمل وسم noindex. لا يُجلب الملف من موقعك: الصقه في المحرر.
أسئلة شائعة
هل robots.txt يمنع ظهور الصفحة في Google؟
لا، يمنع الزحف لا الفهرسة. قد يظهر رابط محجوب بلا وصف إن وُجدت روابط إليه. للمنع الفعلي استعمل noindex ولا تحجب الصفحة في robots.txt كي يتمكن Google من رؤية الوسم.
أي قاعدة تفوز عند التعارض؟
الأطول مطابقةً؛ فإن تساوتا فـAllow. مثلًا Disallow: /p وAllow: /page تسمحان لـ/page.
هل يتجاهل Google Crawl-delay؟
نعم، يتجاهله Google، وتستعمله بعض الزواحف الأخرى. للتحكم بمعدل زحف Google استعمل أدوات Search Console.
