اعداد ملف robots وشرح كافة خصائصة ومميزاته الى اصحاب المنتديات

---

بسم الله الرحمن الرحيم

السلام عليكم



ملف robots.txt هو ملف مهم جدا بالنسبه للمواقع وهو عباره عن ملف يتحكم بمحركات البحث وكيف تدخل الموقع والتحكم بصلاحية بعض الملفات التي لا تريد ان يتم ارشفتها وايضا التحكم بالملفات التي تريد ارشفتها حيث بعض اصحاب المواقع لديهم بعض الاقسام في الموقع او المنتدى لا يريدون ارشفتها بسبب المحتوى المتكرر او اي سبب اخر او تكون اقسام خاصه وايضا لملف robots.txt فائده ثانية وهي تقليل استهلاك الباندويث للموقع ، بما انه سوف نقوم بحجب بعض الاقسام من الارشفه اي لا تستطيع دخولها عناكب البحث وسوف اقوم بشرح هذا الملف بشكل كامل وكيفيه انشاء الملف ورفعه في الموقع



اولا انشاء ملف robots.txt

يمكن انشاء هذا الملف بواسطه المفكره او اي برنامج تحرير نصوص ، سوف نحفظ الملف بهذا الاسم robots.txt ، ثم نكتب في داخل الملف العبارات التالية وسيتم شرحها بصوره مفصله



اولا

كود:

User-agent: *

كود توجية محركات البحث الى موقعك وقد وضعت علامه النجمه والتي تدل على توجية كافه محركات البحث الى موقعك مثل ياهو و bing و كوكل وغيرها بدل ان نكتب عناكب كل موقع فوضعنا النجمه للتسهيل
ثانيا

كود:

Disallow:

وهذا الكود يقوم بمنع محركات البحث بأرشفه بعض الملفات التي يتم تحديدها لاسباب معينة مثلا اقسام خاصه في المنتدى او اي شيء

ولمنع الارشفه على بعض الملفات نكتبها بهذا الشكل

كود:

Disallow: /vb/قسم معين
Disallow: /vb/sds
Disallow: /fdfdsda
Disallow: /343
Disallow: /vb/admin

وغيرها من الملفات التي لا نرغب بأرشفتها

ثالثا

كود:

Allow:

هذا الكود يسمح لعناكب البحث بدخول مجلدات معينة يعني نحدد له المجلدات المسموح دخول عناكب البحث لها لائرشفتها
مثلا نحدد له الدخول لمجلدات الموقع التالية ويتم تغيرها حسب كل موقع

كود:

Allow: /vb
Allow: /up
Allow: /iraq

ويمكن كتابه ما نشاء من الملفات المسووح دخولها

رابعا

كود:

Sitemap:

وهو خاص بالخرائط لتوجية عناكب البحث للموقع بصوره اسرع وهناك العديد من المواقع تقوم بعمل خرائط لموقعك وصيغه ملف الخريطه هو XML او txt او gz، وعند عمل الخريطه ترفع الى الموقع ونضع مسارها في ملف robots ويمكن عمل اكثر من ملف sitemap ورفعه ووضع رابطه داخل ملف robots.txt

بعد الانتهاء نقوم برفع المف الى دليل الدليل الرئيسي للموقع يعني في ملف Public_html او www حسب الاستضافه فيكون رابطه www.000000.com/robots.txt الـ 000000 هو رابط موقعك



بعض الملاحظات المهمه
اولا
بالنسبه للمنتديات نقوم بأضافه هذه الاسطر للملف

كود:

Disallow: /vb/announcement.php
Disallow: /vb/calendar.php
Disallow: /vb/cron.php
Disallow: /vb/editpost.php
Disallow: /vb/faq.php
Disallow: /vb/joinrequests.php
Disallow: /vb/login.php
Disallow: /vb/misc.php
Disallow: /vb/moderator.php
Disallow: /vb/newreply.php
Disallow: /vb/newthread.php
Disallow: /vb/online.php
Disallow: /vb/attachment.php
Disallow: /vb/private.php
Disallow: /vb/profile.php
Disallow: /vb/register.php
Disallow: /vb/search.php
Disallow: /vb/sendmessage.php
Disallow: /vb/showgroups.php
Disallow: /vb/showpost.php
Disallow: /vb/subscription.php
Disallow: /vb/subscriptions.php
Disallow: /vb/threadrate.php
Disallow: /vb/usercp.php
Disallow: /vb/payments.php
Disallow: /vb/memberlist.php
Disallow: /vb/image.php
Disallow: /vb/images/

ونغير ملف الصوره حسب ملف الاستايل

ثانيا
يمكن الاستغناء عن Allow: والاكتفاء بكتابه Disallow: لكن الافضل كتابه Allow: لجعل الارشفه افضل واسرع

ثالثا
يحتوي ملف robots.txt على ضرر معين ويمكن معالجته بسهوله ، حيث ملف robots.txt يقوم بعرض مجلدات الموقع عند كتابتها من قبلنا المسموح بها والمحضوره ولو اردنا ان نقوم باخفاء بعض المجلدات الخاصه والتي لا نري اي شخص يدخلها لا نقوم بكتابتها داخل ملف robots.txt بل نضع عليها جدار ناري لحمايتها

رابعا
التأكد من ملف robots.txt بأنه خالي من الاخطاء
لجعل الارشفه بصوره صحية وجلب العناكب الى مواقعنا ، بعد اعداد ملف robots.txt نقوم بفحصه من الاخطاء عن طريق الموقع التالي ( اضغط هنا ) بعد الدخول الى الموقع نضع رابط الموقعwww.000000.com/robots.txt الـ 000000 هو رابط موقعك داخل المستطيل ونضغط على Check robots.txt وسيتم فحص الملف من الاخطاء 

منقول

I'm reading: اعداد ملف robots وشرح كافة خصائصة ومميزاته الى اصحاب المنتديات

بقلم أسامة بويردن

أنا من المغرب، احب أن أضع كل ما أعرف من معلومات حول الحاسوب ولاأبخل به عليكم، وخطرت لي فكرة عمل مدونة تضم كل المجالات التعليمية للكومبيوتر التي أستطيع إفادتكم بها، فأرجوا ان لاتبخلوا علي أيضا بمتابعتكم لمواضيعي كما ان تعليقاتكم تهمني وتزيد من عطائي لكم إخوتي الكرام وأي استفسار ان موجود وشكرا

قسم : تطوير المنتديات