ویرگول
ورودثبت نام
متین جلیلی
متین جلیلی
متین جلیلی
متین جلیلی
خواندن ۳ دقیقه·۵ سال پیش

فایل robot.txt چیست و چگونه عمل می کند؟


در این مقاله قصد داریم درباره ی robot.txt و نحوه ی عملکرد آن صحبت کنیم که در زمینه ی سئو تکنیکال کاربرد دارد.این ابزار برای معرفی چگونگی چینش صفحات سایت به ربات های موتور جستجوی گوگل به کار می رود.در ادامه با نحوه ی ساخت فایل robot.txt آشنا می شویم.

همانطور که می دانید، ربات های موتور های جستجو نقش پررنگی در معرفی کامل یک سایت به موتور های جستجو ایفا می کنند . در واقع گوگل گسترده ترین شبکه و مرجع بزرگی در این حوزه می باشد که دارای ربات های اختصاصی و عمومی زیادی است .بنابراین طراحان سایت برای جذب بازدید کننده بیشتر ترافیک دریافتی و کسب درآمد از وب سایت همواره تغییرات و عملکرد این ربات ها را دنبال می کنند و طبق استانداردهای آنان جلو خواهند رفت .و این فرایند نیازمند کنترل ورود موتور های جستجو به سایت می باشد که از طریق فایل robot.txt  این مهم امکان پذیر می باشد.


Robot.txt چیست؟


Robot.txt یک فایل متنی می باشد که طبق دستوراتی که در آن وارد می کنید، به ربات ها مجوز می دهد صفحات ، فایل ها وفولدرهایی که  مورد نظر شماست در سایت بررسی وایندکس شود و ازایندکس شدن صفحات نا مربوط ،ایجاد تاثیر منفی در سئوی سایت و افزایش امنیت در برابر حملات احتمالی جلو گیری کنید.این فایل را می توانید در هر ویرایشگری ایجاد کرده و با فرمت txt ذخیره کنید و محل قرار گیری فایل robot.txt در مسیر اصلی سایت که همان هاست وسرور شماست در فولدر public.Html  است .زمانی که شما بعد ازآدرس سایت خود نام این فایل را وارد می کنید فایل در دسترس شما قرار می گیرد.

مثال:www.yoursite.ir/robots.txt

این فایل قابل دسترسی و ویرایش می باشد، شما با تنظیم صحیح و بهینه سازی این فایل می توانید رتبه ی سایت را به طور چشمگیری افزایش دهید.

روش عملکرد Robot.txt

موتور های جستجو قبل از بررسی صفحات سایت ابتدا فایل robot.txt را خوانده و طبق دستوراتی که در این فایل برای دسترسی به صفحات و فایل های مورد نظرتان برای این موتورهای جستجو تعریف کرده اید، شروع به ایندکس می کند.

نحوه ی ساخت فایل robot.txt

ابتدا از عدم تکرار چنین فایلی در سرور سایت خود اطمینان حاصل کنید که قبلا فایل ساخته نشده باشد.برای اطلاع ازتکراری نبودن فایل، آدرس سایت خود را وارد کنید و در آخرنام فایل /robot.txt را تایپ کنید.اگر صفحه باز شده با خطا همراه بود به این معنی است که سایت شما این فایل را ندارد.

برای ایجاد این فایل به کنترل پنل هاست وارد شده در بخش root سایت یک فایل ساده ایجاد کنید ونام آن را robot.txt بگذارید. اگربعد از وارد شدن، با صفحه ای  با کدهای User-agent و … رو به رو شدید، یعنی در سایت این فایل وجود دارد. در این صورت باید توسط ابزاری به نام  FTP و یا کنترل پنل هاست سایت، به قسمت مدیریت فایل بروید و در root اصلی هاست فایل robots.txt را  بیابید وآن را با یک ویرایشگر آنلاین اجرا و ویرایش کنید.می توانید به صورت جداگانه این فایل را دانلودکرده ودر محیط رایانه ی خود ویرایش کنید سپس آن را با فایل قبلی در root جایگزین کنید.

مبحث فایل robot.txt موضوع پیچیده و زمان بری نیست اما  وجود چنین فایلی برای بهینه سازی و افزایش رتبه ی سایت بسیار مهم است نکته ای که به عنوان هشدار درمورد این فایل مطرح می شود به روز رسانی فایل به طور مستمر است که باعث کند شدن دسترسی ربات های موتورجستجو به صفحات سایت است.

۵
۰
متین جلیلی
متین جلیلی
شاید از این پست‌ها خوشتان بیاید