ویرگول
ورودثبت نام
SajjEO
SajjEOعاشق تکنولوژی، علاقمند به سئو و دیجیتال مارکتینگ، مهندس و کارشناس نفت! اینجا پستهایی میذارم که برا خودمم سوال بوده و کم کم پیداش کردم.
SajjEO
SajjEO
خواندن ۱ دقیقه·۸ سال پیش

جلوگیری از Crawl یا خزش روبات گوگل (جلوگیری ایندکس شدن)

جلوگیری از ایندکس
جلوگیری از ایندکس



به منظور جلوگیری از محتوای نامطلوب در ایندکس‌های جستجو، مدیران شبکه می‌توانند به عنکبوت‌ها (به انگلیسی: Spider) دستور بدهند که فایل‌ها یا دایرکتوری‌های خاصی را درون فایل استاندارد robots.txt در دایرکتوری اصلی دامنه، مورد بررسی و خزش (به انگلیسی: Crawl) قرار ندهند. بعلاوه، یک صفحه می‌تواند صراحتاً از پایگاه‌داده‌ها مورد جستجو خارج شود که این عمل از طریق استفاده از متاتگ‌های مخصوص به ربات‌ها صورت می‌گیرد.


فایل robots.txt نمونه به صورت زیر می‌باشد:

همانگونه که در فایل زیر مشخص می‌باشد، در این فایل ادمین سایت به کرالرها و یا ربات‌های خزنده موتورهای جستجوگر اعلام میکند که همه ربات ها زیر مجموعه های faghatseo.com/folder و غیره را بررسی نکنند.

فایل robots.txt سایت فقط سئو دات کام
فایل robots.txt سایت فقط سئو دات کام

در وردپرس قسمت ادمین سایت معمولا با اسلاگ wp-admin شروع میشود، معمولا در فایل robots.txt اعلام میشود که زیر مجوعه‌های این قسمت از سایت را کرال و یا خزش ننمایند.

نمونه‌های دیگر:

  • administrator
  • wp-admin
  • wp-login
  • components
  • plugins


جهت مشاهده فایل robots.txt همین سایت، سایت فقط سئو میتونین کلیک کنین و ببینین.


نمونه‌ای از متا تگ‌های سایت nytimes.com

متا تگ سایت nytimes
متا تگ سایت nytimes

ممنون از اینکه این پست رو خوندین !

حتما و لطفا اگر براتون مفید بود ❤️ کنید و اگر مشکلی داشت کامنت بذارید و یا توی توئیتر یا لینکدین و جاهای دیگه با بنده در ارتباط باشین. ? ?





https://faghatseo.com/%D8%AC%D9%84%D9%88%DA%AF%DB%8C%D8%B1%DB%8C-%D8%A7%D8%B2-%D8%AE%D8%B2%D8%B4-%DA%AF%D9%88%DA%AF%D9%84/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D8%B3%D8%A6%D9%88/



سئوseoایندکس گوگل
۸
۱
SajjEO
SajjEO
عاشق تکنولوژی، علاقمند به سئو و دیجیتال مارکتینگ، مهندس و کارشناس نفت! اینجا پستهایی میذارم که برا خودمم سوال بوده و کم کم پیداش کردم.
آکادمی سئو جذب مارکتینگ (رایگان)
آکادمی سئو جذب مارکتینگ (رایگان)
در آکادمی آموزش سئو سعی میکنیم بهترین مطالب کاربردی توسط متخصصان سئو در ویرگول رو جمع آوری کنیم تا از تخصص تمامی عزیزان استفاده کنیم.
شاید از این پست‌ها خوشتان بیاید