كيف تكتب ملف robots.txt صحيح لموقعك

رأيت أكثر من مرة مالك موقع يشتكي أن صفحاته لا تظهر في جوجل إطلاقًا، والسبب في النهاية سطر واحد خاطئ في ملف اسمه robots.txt — ملف نصي بسيط لكنه يملك صلاحية منع محركات البحث من زيارة موقعك بالكامل.

ما وظيفة هذا الملف؟

robots.txt هو أول شيء يبحث عنه Googlebot عند زيارة موقعك. يخبره أي الأجزاء يمكنه "الدخول" إليها وأيها ممنوع عليه — مفيد لمنع فهرسة صفحات الإدارة أو ملفات التثبيت الداخلية، لكنه خطير إذا استُخدم بالخطأ على صفحات مهمة.

القواعد الأساسية

• User-agent: * يعني أن القاعدة التالية تخص كل محركات البحث.
• Disallow: /admin/ يمنع الزحف لهذا المسار فقط.
• Allow: / يسمح بالباقي صراحة.
• Sitemap: يشير لمكان خريطة موقعك، ويُفضَّل دائمًا إضافته.

خطأ شائع يجب تجنبه

وضع Disallow: / بمفرده دون استثناءات يمنع جوجل من فهرسة الموقع بالكامل — خطأ بسيط لكن تكلفته باهظة. تحقق دائمًا من ملفك بعد كل تعديل.

يمكنك توليد ملف صحيح تلقائيًا عبر أداة مولّد robots.txt بدل كتابته يدويًا وتعريض نفسك لخطأ قد يكلفك ظهور موقعك بالكامل في نتائج البحث.