فایل Robots.txt چیست ؟

فایل robots.txt یک فایل متنی ساده است،که در روت اصلی وب سروروب سایت شما قرار می گیرد،که با توجه به دستورهایی که در این فایل وارد می کنیم.دسترسی GoogleBot و روبات های دیگر موتورهای جستجو را به وب سایت مسدود می کنیم.

چرا باید از فایل robots.txt استفاده کنیم ؟

استفاده نامناسب از این فایل رتبه سایت شما را در نتایج موتورهای جستجو خراب می کند و فایل robots.txt ارتباط بین عنکبوت های موتورهای جستجو و لینک های وب سایت شما را بیان می کند.هرگاه یک روبات موتورجسجتوبرای اولین باردرهرزمان هرزمان وارد وب سایت شما می شود،ابتدا فایل robots.txt و دستورهای درون آن را بررسی می کند.
این روبات با بررسی فایل robots.txt متوجه می شوند که شما چه قسمت هایی را برای موتورهای جستجو جهت نمایش در نتایج آنها مسدود کرده اید.که اگر شما هیچ محدودیتی در این فایل ایجاد نکرده باشید،شروع به بررسی  خزیدن در وب سایت شما می کنند.

کدهای فایل robots.txt

اولین دستورهایی که از فایل robots باید با آن ها آشنا شوید به شرح زیر می باشند :

کدهای فایل robots.txt

User-Agent : این کد برای معرفی روبات های موتورهای جستجو است که به دو صورت می توان مقداردهی کرد.یکی اینکه نام روبات مربوطه را بنویسید و یا اینکه ازعلامت * استفاده کنید.که این علامت کل روبات های موتورهای جستجو را در برمی گیرد.

User-agent : googlebot

درمثال فوق ما فقط دسترسی را برای روبات موتورجستجوگر گوگل محدودکردیم و در مثال زیر این دسترسی را برای تمام روبات های موتورهای جستجو محدود کرده ایم.

User-agent : *

Disallow : این کد برای تعیین دسترسی یک مسیر یا یک فایل است که در این کد هم دو نوع مقداردهی را می توان وارد نمود.

اول اینکه آدرس دهی را برای یک مسیر مشخص درهاست که ابتدا باید علامت / را وارد کنیم و سپس بعد از آن آدرس دقیق مسیر موردنظرتان را وارد می کنید.

User-agent : *

Diaallow : /Public_htnl/uploads/

درمثال فوق ما دسترسی را برای پوشه uploads درمسیرمشخص شده محدود کردیم که طبق این دستور تمام روبات های موتورهای جستجو فایل های درون پوشه uploads را بررسی نمی کنند(فایل یا لینک) و در نتایج جستجوهای خود از این مسیر استفاده نمی کنند.

دوم اینکه ما دسترسی را برای یک فایل خاص مسدود کنیم که در این صورت طبق مثال زیر مقداردهی می کنیم و دقت کنید که پسوند فایل ها هم باید حتما ذکر گردنند.

User-agent : *

Disallow:/Public_html/uploads/head.php

برای مسدودسازی دسترسی به کل وب سایت برای روبات های موتورهای جستجو باید از دستور زیر استفاده کنید :

User-agent : *

Disallow:/

این فایل در تمام وب سایت ها برای تمام کاربران قابل مشاهده است و شما می توانید کدهای فایل robots.txt را در تمام وب سایت ها مشاهده کنید.

زمانی که فایل robots.txt را درون هاست خود ایجاد کردید،از طریق مسیر زیر می توانید کدهای آن را در مرورگر خود مشاهده کنید :

www.domainname.com/robots.txt

آزمایش فایل robots.txt

در سرویس گوگل وبمستر تولز ابزاری برای بررسی و تست فایل robots.txt قرار دارد،که شما با استفاده از این ابزار از بخش Crawl > robots.txt Tester می توانید هم فایل robots سایت خودتان را مشاهده کنید و هم اینکه اگر خطایی در بررسی و ایندکس صفحات سایت شما از طرف گوگل در این فایل باشد از طریق این بخش سرچ کنسول گوگل قابل مشاهده است.

آموزش Google Webmaster Tools (فایل Robots.txt)

آزمایش فایل robots.txt

نکته : دقت کنید این تنها یک ابزار است و تمام تغییرات را باید به صورت مستقیم روی فایل robots.txt درون هاست اعمال کنید.

یکی دیگر از کاربردهای فایل robots.txt ثبت نقشه سایت است،هر سایت یک آدرس نقشه سایت مخصوص به خودش را دارد و موتورهای جستجو نمی تواننداین آدرس ها را به صورت خودکار تشخیص دهند،که یکی از راه های معرفی آدرس نقشه سایت به روبات های موتورهای جستجو همین فایل robots است که شما می توانید در آخرین خط کدهای این فایل آدرس نقشه سایت خودتان را به صورت کامل وارد کنید.