كيف تستخدم ملف robots.txt بطريقة صحيحة لأرشفة موقعك

كيف تستخدم ملف robots.txt بطريقة صحيحة لأرشفة موقعك

السلام عليكم ورحمة الله وبركاتة أسعد الله أوقاتكم أحبائى فى الله موضوع آخر مميز من موقعكم عرب فور تك [ع4 تك] وعنوان الموضوع كيف تستخدم ملف robots.txt بطريقة صحيحة لأرشفة المواقع
أخى فى الله أولا يجب عليك أن تعرف ما فائدة ملف robots.txt وهل هناك موقعين يستخدمون نفس الملف وما هى فائدتة وأضرارة وهل يجب عليك أستخدامة للأرشفة أم لحماية موقعك فمثلا كل منصة تختلف عن الآخرى منصة بلوجر ليست مثل سكريبت ووردبريس ولا منتديات الفى بى وهكذا فكل موقع يختلف عن الآخر فى ملف robots.txt الخاص بة
ملف robots.txt عبارة عن
يُعد ملف robots.txt ملف نصى بة بعض الأوامر يمنع برنامج زحف الويب، مثل Googlebot، من الزحف إلى صفحات معينة على موقعك. ويتكون هذا الملف في الأساس من قائمة بالأوامر مثل Allow وDisallow، والتي توجّه برامج زحف الويب إلى عناوين URL التي يمكنها أو لا يمكنها استردادها. لذلك إذا تم استخدام أمر disallow مع عنوان URL في ملف robots.txt، فلن يظهر عنوان URL هذا ومحتوياته في نتائج بحث Google.
متى يستخدم ملف robots.txt
يلزمك استخدام ملف robots.txt فقط إذا كان موقعك يتضمن محتوى لا تريد أن يفهرسه محرك بحث Google أو محركات البحث الأخرى. وللسماح لمحرك بحث Google بفهرسة موقعك بأكمله، لا يجب أن تستخدم ملف robots.txt (حتى ولو كان فارغًا).
لذالك عند كتابة ملفrobots.txt لمدونتك ووردبريس فأحرص على الأتى أن يكون الملف لحماية المدونة فقط بمعنى أصح الأوامر تكون لمنع فهرسة الملفات المهمة لمنع المخترقين من إختراق مدونتك
دائما تجد على الإنترنت أشخاص يضعون ملفات روبوت بعضهم يحظرون من الصفحات ويقولون مثلا انها للصفحات الفرعية ومن يحظر منهم التعلقات فهذا يضرك واعلم شى هنا أما الشخص الذى يستخدم ملف الروبت ذكى جدا ومطلع على أخبار الأرشفة وتحسين السيو ومحترف فى هذا المجال أما هو ينقل فقط وهذا خطى شائع إن كنت ستستخدم ملف روبوت لمدونتك ووردبريس ولست محترف فأنصحك بالتالى أستخدم ملف الروت لمنع زحف الروبتات من فهرسة ملفات تضر مدونتك وورديرس بمعنى أصح لحماية مدونتك فقط والمواقع التى توجد على الإستضافات فكما قلت بلوجر تختلف عن باقى الاستضافات
مثال على ملف روبت ووردبريس
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-content/uploads/
Sitemap: http://34tec.16mb.com/sitemap.xml
فهكذا يكون إستخدم الملف لحماية مدونتك ومنع فهرسة الملفات التى تساعد المخترق وتسهل لة الأمر
ويمكنك أن تضيف بعض الأوامر بة على حسب رغبتك لكن أنصح بمن ليس لدية خبرة بملفات الروبت الإستعانة بالإضافات لماذا الإضافات الإضافات صاحب الإضافة يحرص على تجديدها لتوافق محركات البحث شئ رائع اليس كذالك أن تستخدم ملف الروبت لحماية مدونتك فقط وتستخدم الإضافات التى تساعدك على الأرشفة مثلا أحرص على استعمال إضافاة تضيف لروابط مدونتك الخارجية وسم نوفلو وينصح أستخدمها كود فى القالب
الأمر الثانى أستخدم إضافة لأرشفة صور مدونتك
الأمر الثالث إستخدم إضافة واحدة لمساعدتك بعد الله عز وجل لأرشفة موقعك مثل إضافة WordPress SEO by Yoast فبهذه الإضافة يمكنك التحكم الكامل فى أرشفة موقعك كما تعطيك عند كتابة موضوع أو إنشاء صفحة إالى ما ذالك بعض الخواص والنصائح الرائعة لن أقول المزيد سأطرق الأمر لك لتطلع على هذه الإضافة الرائعة وهناك إضافات إخرى كثيرة طبعا

أمور يجب العمل بها قبل إضافة ملف الروبت لمدونتك
أخى الكريم لماذا قلت لك أستخدم ملف الروبت إلا لحماية مدونتك ووردبريس فقط سأقول لك أولا لا تستخدم الطريقة التى تمنع وتأرشف ما تريد لمدونتك إلا إن كنت محترف
إعلم إن حظرت التعليقات من مدونك يؤثر سالبا على مدونتك لماذا سأقول لك قبل أن تكون التعليقات تدل على شهرة مدونتك إعلم فائدة التعليقات بالنسبة لملف الروبت أولا أنا مثلا كتبت موضوع ثم نشرتة ودخلت روبتات محركات البحث لتقوم بعملها وهو الأرشفة وانتهى الأمر عند إضافة تعليق على الموضوع يحصل الأتى إرسال الروبتات إلى موضوعك هذا فاالتعليق بمثابة أمر للروبت أن يخبرة أن الموضوع نشيط ومتجدد تخيل وبعضنا يحظر الروت من الوصول للتعليقات حظر التعليقات فى ملف الروبت يساوى خسارة كبيرة لمدونتك وتاثير سلبى ولا تنسى التعليقات تساوى مصداقية محركات البحث غير إنها تدل على الشهرة

استخدام البنية المناسبة لكل زاحف
على الرغم من أن معظم برامج زحف الويب ذات السمعة الطيبة ستتبع الأوامر المدرجة في ملف robots.txt، ستفسر بعض البرامج الأخرى هذه الأوامر بشكل مختلف. عليك معرفة البنية الصحيحة للتعامل مع برامج روبوت مختلفة، نظرًا لأن بعض هذه البرامج قد لا يتمكن من استيعاب إرشادات معينة. فكما قلت تختلف كل منصة تدوين عن الإخرى وكذالك المواقع والمنتديات

التأكد من أمان المعلومات الخاصة
لا تمثل الأوامر فى ملفات robots.txt قواعد يجب على أي برنامج زحف اتباعها؛ بل من الأفضل اعتبار هذه الأوامر كإرشادات. وسيلتزم Googlebot وبرامج زحف الويب الأخرى ذات السمعة الطيبة بالإرشادات المدرجة في ملف robots.txt . لذلك، من الواجب عليك التعرف على عواقب مشاركة المعلومات التى تمنع الوصول إليها بهذه الطريقة .للحفاظ على آمان المعلومات الخاصة ، نوصي باستخدام طرق أخرى لمنع الدخول، مثل حماية الملفات الخاصة على الخادم بكلمات مرور

منع دخول برامج الزحف من الإحالات إلى عناوين URL لموقعك على المواقع الأخرى
على الرغم من أن محرك البحث Google لن يزحف إلى المحتوى الذي قد تم منع الدخول إليه بموجب ملف robots.txt أو يفهرسه، قد تظل ترى المعلومات عن عناوين URL التي تم منع دخول محرك البحث إليها – عبر أماكن أخرى على الويب – وتقوم بفهرستها. ونتيجة لذلك، يمكن أن يستمر ظهور عنوان URL وربما المعلومات الأخرى المتاحة بشكل عام مثل نص الرابط في الروابط المؤدية إلى الموقع، وذلك في نتائج بحث Google. ويمكنك إيقاف ظهور عنوان URL في نتائج البحث تمامًا عن طريق استخدام ملف robots.txt مع طرق أخرى لمنع الدخول إلى عناوين URL، مثل حماية الملفات على الخادم بكلمات مرور، أو إدراج علامات وصفية في شفرة HTML.

وبهذا قد أكون أنهيت الموضوع واتمنى لكم الإستفادة وإن كان لديكم أى إضافات أو تريدون مشاركتى أرائكم فلا تترددون فى وضع أرائكم فى تعليق فى الصندوق أسفل المقال وسأكون سعيدا جدا بالرد عليكم
فى آمان االله
الموضوع كتب بواسطة أحمد عبده وجميع حقوق الموضوع محفوظة لنا فقط
المصدر الأصلى للموضوع الموقع رابط مباشر للموضوع الأصلى