robots.txt
robots.txt ملف صغير يوضع في جذر الموقع، ويخبر عناكب البحث بالأجزاء التي يمكنها طلبها من الموقع.
ابدأ برسالة بريد. أرسل رابط robots.txt والصفحة التي تقلقك، وسنوضح لك الخطوة العملية التالية.
استخدمه كدليل للعناكب، لا كمفتاح للفهرسة.
يمكن أن يمنع robots.txt الزحف، لكنه لا يزيل الرابط من Google بشكل مضمون إذا كان Google يعرف الرابط بالفعل.
robots.txt ملف نصي عادي، يوجد غالبا في /robots.txt. يخبر العناكب بالمسارات المسموح أو غير المسموح بطلبها.
محركات البحث تحترمه عادة، لكنه ليس أداة خصوصية، وليس طريقة مضمونة لإزالة الصفحات من نتائج البحث.
إذا كانت هناك صفحات لا تريد فهرستها، فاستخدم أيضا الطريقة الصحيحة حسب الحالة، مثل noindex أو canonical أو الحذف أو التحويلات أو الحماية بكلمة مرور أو الإزالة عبر Search Console.
ما الذي يمكن أن يتحكم فيه robots.txt؟ 🧭
- الزحف إلى مسارات محددة
- اكتشاف خريطة الموقع عبر سطر XML sitemap
- قواعد مختلفة لعناكب مختلفة باستخدام User-agent و Allow و Disallow
ينتمي robots.txt إلى SEO التقني. يعمل بشكل أفضل مع XML sitemap واضحة، ووسوم canonical، وصفحات مسموح بزحفها عندما ينبغي أن تظهر في البحث.
خطأ شائع هو حظر صفحة في robots.txt ووضع noindex على الصفحة في الوقت نفسه. إذا لم يستطع Google زحف الصفحة، فقد لا يرى تعليمة noindex أبدا.
أسئلة شائعة عن robots.txt 🙋
ما هو robots.txt؟
robots.txt ملف نصي عادي يقدم تعليمات الزحف لموقع ويب.
أين يوجد robots.txt؟
يوجد عادة في جذر النطاق، مثل https://example.com/robots.txt.
هل يستطيع robots.txt إزالة صفحة من Google؟
ليس بشكل موثوق. يمكنه منع الزحف، لكن الإزالة من البحث تحتاج عادة إلى noindex أو الحذف أو التحويلات أو الحماية بكلمة مرور أو الإزالة عبر Search Console، حسب الحالة.
هل أضيف sitemap إلى robots.txt؟
نعم، من الشائع الإشارة إلى XML sitemap في robots.txt حتى تعثر عليها العناكب بسرعة.
هل يمنع robots.txt الروبوتات السيئة؟
فقط الروبوتات التي تختار احترامه. تحتاج الحماية والتحكم في إساءة الاستخدام إلى قواعد الخادم أو الجدار الناري أو الوصول.
العودة إلى القاموس.
هل robots.txt يساعد فعلا أم يحجب الشيء الخطأ؟
أرسل رابط robots.txt والصفحة التي تقلقك. يمكننا التحقق مما إذا كانت المشكلة في الزحف أو الفهرسة أو canonical أو بنية الموقع.