تعلم / القاموس
robots.txt
robots.txt ملف صغير يوضع في جذر الموقع، ويخبر عناكب البحث بالأجزاء التي يمكنها طلبها من الموقع.
ابدأ برسالة بريد. أرسل رابط robots.txt والصفحة التي تقلقك، وسنوضح لك الخطوة العملية التالية.
استخدمه كدليل للعناكب، لا كمفتاح للفهرسة.
robots.txt is a plain-text file, usually available at /robots.txt. It tells crawlers which paths they may request and which paths they should avoid.
إذا كانت هناك صفحات لا تريد فهرستها، فاستخدم أيضا الطريقة الصحيحة حسب الحالة، مثل noindex أو canonical أو الحذف أو التحويلات أو الحماية بكلمة مرور أو الإزالة عبر Search Console.noindex, deletion, a redirect, access protection, or an appropriate removal request.
What robots.txt can control
XML sitemap
Selected paths
XML sitemap discovery
Crawler-specific rules
أسئلة شائعة عن robots.txt 🙋
العودة إلى القاموس.
ما هو robots.txt؟
robots.txtrobots.txt ملف نصي عادي يقدم تعليمات الزحف لموقع ويب.
أين يوجد robots.txt؟
يوجد عادة في جذر النطاق، مثل https://example.com/robots.txt.
هل يستطيع robots.txt إزالة صفحة من Google؟
ليس بشكل موثوق. يمكنه منع الزحف، لكن الإزالة من البحث تحتاج عادة إلى noindex أو الحذف أو التحويلات أو الحماية بكلمة مرور أو الإزالة عبر Search Console، حسب الحالة.noindex, deletion, redirects, access protection, or an appropriate Search Console process.
هل أضيف sitemap إلى robots.txt؟
نعم، من الشائع الإشارة إلى XML sitemap في robots.txt حتى تعثر عليها العناكب بسرعة.
هل يمنع robots.txt الروبوتات السيئة؟
فقط الروبوتات التي تختار احترامه. تحتاج الحماية والتحكم في إساءة الاستخدام إلى قواعد الخادم أو الجدار الناري أو الوصول.
هل robots.txt يساعد فعلا أم يحجب الشيء الخطأ؟
أرسل رابط robots.txt والصفحة التي تقلقك. يمكننا التحقق مما إذا كانت المشكلة في الزحف أو الفهرسة أو canonical أو بنية الموقع.