مولد ملف robots.txt

ملف صغير يخبر روبوتات البحث أين تمشي

قبل أن يتجول روبوت Google أو Bing في موقعك، يقرأ أولًا ملفًا نصيًا اسمه robots.txt في جذر النطاق. فيه تقول: هذه المجلدات لا تزرها، وهذه خريطة موقعي. أداة مولد ملف robots.txt في جود تكتب لك هذا الملف بالصيغة الصحيحة، حتى لا تمنع موقعك كله بسطر خاطئ.

طريقة الاستعمال

1. اختر «الوصول الافتراضي لروبوتات البحث»: السماح لجميع الروبوتات، وهو الموصى به، أو منعها كلها.
2. اكتب في «المجلدات الممنوعة» مجلدًا في كل سطر، مثل /admin/. وإن نسيت الشرطة المائلة في أوله تضيفها الأداة.
3. أضف إن شئت «مهلة الزحف» و«رابط خريطة الموقع XML»، ثم اضغط «ابدأ الآن» وانسخ النتيجة.
4. احفظ النص في ملف اسمه robots.txt وارفعه إلى جذر موقعك، بحيث يفتح على example.com/robots.txt.

ماذا يعني كل سطر

• User-agent: لمن الكلام. النجمة تعني كل الروبوتات.
• Disallow: مسار لا تزره. وإن تُرك فارغًا فلا شيء ممنوع. أما الشرطة المائلة وحدها فتمنع الموقع كله، فلا تخترها إلا لموقع تجريبي.
• Crawl-delay: عدد الثواني بين طلبين. Bing يحترمه، أما Google فيتجاهله، وتنبهك الأداة إلى ذلك.
• Sitemap: رابط خريطة موقعك، حتى تجدها كل محركات البحث دون أن ترسلها إليها واحدًا واحدًا.

أخطاء شائعة يجب أن تعرفها

• robots.txt ليس حماية: الملف طلب مهذب تحترمه المحركات المعروفة فقط. لا تكتب فيه مسارات سرية، فالملف نفسه يقرؤه أي شخص.
• المنع لا يعني الإخفاء من النتائج: صفحة ممنوعة قد تظهر في Google إن ربطت إليها مواقع أخرى. لإخراج صفحة من النتائج استعمل noindex واترك الروبوت يزورها ليراه.
• لكل نطاق فرعي ملفه: ملف example.com لا يسري على shop.example.com.
• روبوتات الذكاء الاصطناعي: الأداة تكتب قواعد لكل الروبوتات معًا. إن أردت منع روبوت بعينه، مثل GPTBot، فأضف بيدك سطرين: User-agent: GPTBot ثم Disallow: /.

ولإنشاء خريطة الموقع نفسها استعمل مولد خريطة الموقع XML، ولفحص موقعك كاملًا فحص السيو الشامل للموقع.

الأسئلة الشائعة