فایل robots.txt مجوز لازم برای اینکه گوگل به سایت شما دسترسی داشته باشد و سایت سئو بشود لازم است .
اگر این فایل تنظیم نشده باشد به سئو شما زیان می رساند .

برای دسترسی به این فایل می تونید ، توی URL بعد از آدرس سایت خودتان عبارت زیر را اضافه کنید.
/robots.txt
مثلا
فایل robots.txt چیست ؟
فایل Robots.txt یک فایل متنی است که وب مسترها ایجاد می کنند تا به ربات های وب (به طور معمول ربات های موتور جستجو و به ویژه گوگل ) نحوه خزیدن یا پیماش صفحات در وب سایت خود را آموزش دهند.
پرونده robots.txt بخشی از پروتکل خروج ربات ها (REP) است ، گروهی از استانداردهای وب که نحوه خزیدن ربات ها ، دسترسی و فهرست بندی محتوای ربات ها را تنظیم می کنند و این مطالب را به کاربران ارائه می دهند. REP همچنین شامل دستورالعمل هایی مانند ربات های متا ، و همچنین دستورالعمل های صفحه ، زیر شاخه یا سایت در مورد چگونگی رفتار موتورهای جستجو با لینک ها است (مانند "follow" یا "nofollow").
در عمل ، پرونده های robots.txt نشان می دهد که آیا برخی ازموتورهای جستجو می توانند به بخشهایی از وب سایت شما اجازه دسترسی دارند یا خیر . این دستورالعمل های می تواند "اجازه ندادن" یا "اجازه دادن" باشد.
ادامه بدهید و سایت خودتان را سئو کنید
مطالب دیگر را می توانید از طریق لینک زیر پی گیری کنید .
https://virgool.io/tag/%D8%AE%D9%88%D8%AF%D8%AA-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%B1%D8%A7-%D8%B3%D8%A6%D9%88-%DA%A9%D9%86