🌐 ما هو ملف Robots.txt ولماذا يجب استخدامه؟
ملف Robots.txt هو مجموعة من التعليمات التي تُعطى لز crawlers، تُستخدم غالبًا من قبل محركات البحث مثل جوجل. يعمل كدليل لهؤلاء الز crawlers، مُخبرًا إياهم بأي أجزاء من موقعك يمكنهم الوصول إليها وأي الأجزاء يجب عليهم تجنبها.
كل موقع يمكن أن يحتوي على ملف Robots.txt واحد فقط. يُمكنك التحقق من وجود هذا الملف عن طريق إدخال عنوان موقعك متبوعًا بـ /robots.txt. إذا كنت تستخدم نظام إدارة محتوى مثل ووردبريس أو ووكومرس، فسيتم إنشاء هذا الملف تلقائيًا.
- منع التحميل الزائد على الز crawlers
- حجب الصفحات غير المهمة
- الحفاظ على الخصوصية
- تحسين سرعة الفهرسة
🛠️ كيفية إنشاء ملف Robots.txt مثالي
لإنشاء ملف Robots.txt فعال، يجب أن تبدأ بتحديد "User-Agent"، والذي يشير إلى الز crawlers. يمكنك استخدام الرمز "*" للإشارة إلى جميع الز crawlers أو تحديد ز crawler معين مثل "Googlebot".
إليك مثال على كيفية كتابة التعليمات:
User-agent: * Disallow: /private/ Allow: /public/ Sitemap: https://yourwebsite.com/sitemap.xml
في هذا المثال، نحن نخبر الز crawlers بعدم الوصول إلى أي محتوى في مجلد "private"، بينما نسمح لهم بالوصول إلى محتوى "public".
📊 أفضل ملف Robots.txt للمنصات المختلفة
تختلف التعليمات قليلاً حسب النظام الأساسي الذي تستخدمه. إليك بعض الأمثلة:
WordPress
User-agent: * Disallow: /wp-admin/ Disallow: /cart/ Disallow: /checkout/ Allow: /wp-content/uploads/ Sitemap: https://www.nonot7.com/sitemap.xml
Shopify
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Sitemap: https://www.nonot7.com/sitemap.xml
Blogger
User-agent: * Disallow: /search Disallow: /updated/ Sitemap: https://www.nonot7.com/sitemap.xml
🚀 كيفية رفع ملف Robots.txt إلى موقعك
لرفع ملف Robots.txt إلى موقعك، يجب عليك الوصول إلى مجلد "public_html" في خادمك. إذا كان لديك ملف Robots.txt بالفعل، يمكنك تعديله. إذا لم يكن لديك، يمكنك إنشاء ملف جديد باسم "robots.txt".
على ووردبريس، يمكنك استخدام إضافة مثل Rank Math لتعديل ملف Robots.txt مباشرة من لوحة التحكم.
📥 كيفية تقديم ملف Robots.txt الجديد لجوجل
لتقديم ملف Robots.txt الجديد لجوجل، قم بتسجيل الدخول إلى حساب Google Search Console. انتقل إلى الإعدادات وابحث عن خيار Robots.txt. بعد ذلك، يمكنك طلب إعادة الزحف إلى ملفك الجديد.
⚠️ الأخطاء الشائعة في ملف Robots.txt
هناك نوعان من الأخطاء الشائعة التي قد تواجهها مع ملف Robots.txt:
- ملف Robots.txt غير موجود: تأكد من إنشاء الملف في المجلد الصحيح.
- محركات البحث محجوبة بواسطة Robots.txt: تحقق من عدم استخدام "Disallow: /" مما يمنع محركات البحث من الوصول إلى كل صفحات موقعك.
إذا اتبعت هذه الإرشادات، ستكون في طريقك لإنشاء ملف Robots.txt فعال يساعد في تحسين فهرسة موقعك على محركات البحث.
