طراحی سایت و سئو دارای گزینه های مختلفی است که باید رعایت شود. بدون رعایت این نکات، سایت شما در موتور های جستجو دیده نمی شوند. یکی از همین گزینه ها robots است که ویژگی هایی از سایت شما را به گوگل اعلام می کنند.
روبوت اطلاعاتی در مورد ایندکس شدن صفحات را به موتور های جستجو اعلام می کند. یعنی تعیین می کند که کدام صفحه باید ایندکس شود و کدام صفحه نباید ایندکس شود. ایندکس کردن به معنی ثبت صفحه مورد نظر در دیتابیس گوگل است. وقتی کرولر موتور جستجوی گوگل ( خزنده) در سایت ها به دنبال صفحات و مطالب جدید می گردد، از این گزینه برای ایندکس کردن یا نکردن صفحه استفاده می کند. خزنده گوگل، صفحات جدید را از روی پیوندهایی که در صفحات شما وجود دارد پیدا می کند. در روبوت گزینه دیگری غیر از ایندکس وجود دارد که مشخص می کند که موتور جستجو پیوندهای این صفحه را دنبال کند یا خیر. اگر در روبوت مقدار فالو قرار گیرد، بغضی موتور های جستجو پیوندهای صفحه را دنبال می کنند و اگر نو فالو قرار داده شود به معنی این است که پیوندهای صفحه توسط کرولر دنبال نشوند.
ادامه در لینک زیر:
https://webever.ir/bloginfo/%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D9%88-%D9%86%D9%82%D8%B4-%D8%B1%D9%88%D8%A8%D9%88%D8%AA-%D8%AF%D8%B1-%D8%B3%D8%A6%D9%88