موتورهای جستجو گر مانند گوگل ، بینگ برای اینکه بتوانند سایت ها را رتبه بندی کنند و ایندکس کنند از روبات ها spider , robot استفاده می کنند. وب سایت هایی که از این فایل استفاده می کنند در رتبه بهتری در پیج رنک قرار می گیرند علاوه بر seo این فایل باعث ایجاد امنیت بالاتری در برابر حملات می شود.توسط این فایل می توانید محدودیتها  زیادی رو بر روی سایت خود ایجاد نمایید.

محتویات فایل

فایل robots.txt یک فایل متنی است که از یک یا تعداد بیشتری از دستورات ساخته شده است. نمونه کد زیر مثالی از محتویات فایل Robots.txt می باشد :

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/

در نمونه کد فوق، دایرکتوری های cgi-bin، tmp و همچنین ~joe از لیست فولدرهای قابل ایندکس شدن حذف گردیده و روبات موتور جستجو از پوشه های مذکور صرف نظر می کند.

دقت نمایید که برای خارج نمودن چند فولدر از لیست ایندکسینگ باید هریک را همانند مثال فوق در سطری جداگانه تعریف نمایید و امکان درج آن ها به صورت یکجا یعنی “Disallow: /cgi-bin/ /tmp/”  وجود ندارد.

علامت ستاره “*” به معنای تمامی روبات های جستجو گر می باشد.

خارج کردن فولدرهای خاص از لیست ایندکسینگ وب سایت بسته به نوع سرور و وب سایت شما متفاوت می باشد و باید با درنظر گرفتن نکات مختلفی انجام پذیرد. در هر حال در دسترس خارج کردن تمامی پوشه ها از تمامی روبات ها چندان توصیه نمی شود، زیرا با این کار سایت شما دیگر توسط روبات ها ایندکس نشده و در نتایج موتورهای جستجو نیز نمایش داده نمی شود. در ادامه برخی از نمونه کدهای مورد استفاده در فایل Robots.txt شرح داده می شود.

برای ممنوع نمودن تمامی روبات ها از کل وب سایت (یا سرور) مورد استفاده قرار می گیرد.

User-agent: * Disallow: /

برای فراهم شدن دسترسی تمامی روبات ها به تمامی پوشه های وب سایت

User-agent: * Disallow:

(برای اینکار می توانید همچنین یک فایل Robots.txt خالی تهیه کرده و یا اصلا آن را ایجاد نکنید تا در این صورت به طور پیشفرض روبات ها به تمامی وب سایت شما دسترسی داشته باشند.)

جهت خارج نمودن سه فولدر از لیست ایندکسینگ روبات ها

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

برای ممنوع کردن یک روبات خاص از دسترسی به سایت

User-agent: BadBot Disallow: /

برای اعطای دسترسی به یک روبات خاص

User-agent: Google Disallow:

توجه داشته باشید که محل قرار گیری این فایل در سایت شما به شکل زیر است:

www.YourSite.com/robot.txt