
در ادامه مطلب قبل که در مورد بهبود سرعت صفحات سایت که شامل ایجاد صفحات وب سازگار با موبایل،به روز رسانی مطالب ،ارسال نقشه سایت برای هر موتور جستجو ،بهینه سازی طرح ارسالتان ،پیوند عمیق به صفحات وب جدا شده ،کوچک کردن منابع در صفحه css و js بود صحبت کردیم در ادامه قصد داریم در مورد اصلاح برچسب noindex ،سفارشی کردن نرخ خزش ،حذف محتوای تکراری،مسدود کردن خزش برای صفحاتی که نمی خواهید بحث کنیم.
در طول توسعه وبسایت شما، ممکن است منطقی باشد که برچسب noindex را در صفحاتی استفاده کنید که ممکن است تکراری بوده یا فقط برای کاربرانی باشد که اقدام خاصی را انجام میدهند.
صرفنظر از این، میتوانید صفحات وب را با برچسبهای noindex شناسایی کنید که با استفاده از یک ابزار آنلاین رایگان مانند Screaming Frog از خزیدن آنها جلوگیری میکند.
افزونه Yoast برای وردپرس به شما امکان میدهد بهراحتی یک صفحه را از فهرست به noindex تغییر دهید. همچنین میتوانید این کار را بهصورت دستی در قسمت پشتی صفحات سایت خود انجام دهید.
همچنین برچسبهای کلمه کلیدی متا در واقع بخشی از الگوریتم و اصول مسلم و قطعی سئو نیستند اما دلایل خوبی برای استفاده از آنها وجود دارد.
اگر در استفاده از آنها مراقب نباشید، ممکن است سایت خود را به طور کلی از فهرست نتایج جستجو خارج کنید. این موضوع بدان معناست که سایت شما برای کلمات کلیدی اصلا رتبهبندی نمی شود. این روزها، گوگل بیشتر نگران تجربه کاربری کلی سایت شما و قصد کاربر در جستجوی آن است. یعنی آیا کاربر میخواهد چیزی (قصد تجاری) بخرد یا چیزی (قصد اطلاعاتی) بیاموزد؟
درصورتیکه رباتهای گوگل بر سایت شما تأثیر منفی میگذارند، در نسخه قدیمی Google Search Console، میتوانید سرعت خزیدن را کم یا تنظیم کنید. این عمل همچنین به وبسایت شما فرصت میدهد تا در صورت تغییر مجدد یا تغییر مجدد قابل توجه، تغییرات لازم را ایجاد کند.
اگر رباتها نتوانند به موتورهای جستجو بگویند صفحات شما در وهله اول وجود دارد، وب سایت شما هیچ بازدید و اهمیتی نخواهد داشت، به این معنی که در نتایج جستجو ظاهر نمیشوند.
وقتی رباتها تغییری در وب سایت شما مشاهده میکند، هم محتوا (متن) صفحه و هم مکانهای صفحه را که عبارتهای جستجو در آن قرار میگیرند، پردازش می کند. همچنین تگ عنوان، متا تگ و ویژگی alt برای تصاویر را تجزیه و تحلیل میکند. سپس آن محتوا را به گوگل اضافه میکند یا فهرست بندی میکند. در نتیجه یک ابزار ضروری برای مدیر وب سایت است.
با ورود به سرچ کنسول، میتوانید بررسی کنید که Google هر چند وقت یکبار صفحات شما را بررسی کرده است. در Search Console، روی وب سایت خود کلیک کنید. سپس بر روی Settings> Crawl Stats> Open Report کلیک کنید. برخی نمودارها مربوط به بازدید و دیگر نمونهها را خواهید دید.
به عنوان یک قاعده کلی، هرچه بیشتر خزیده باشند، بهتر است. با این حال، مواردی وجود دارد که خزیدن بیش از حد میتواند منابع سرور شما را بیش از حد بار کند. معمولا نتیجه پیکربندی اشتباه سرور، مشکلی در رباتهای گوگل است.
البته این مورد بسیار نادر است، بنابراین احتمالا نیازی به نگرانی در این مورد نخواهید داشت. اگر این اتفاق برای شما میافتد، Google به شما اجازه میدهد نرخ خزیدن را تغییر دهید و آن را کاهش دهید.
داشتن مقادیر زیادی محتوای تکراری میتواند سرعت خزیدن را به میزان قابلتوجهی کاهش دهد و بودجه خزیدن را کاهش دهد. با مسدودکردن ایندکس شدن این صفحات یا قراردادن برچسب متعارف در صفحهای که میخواهید ایندکس شود، میتوانید این مشکلات را برطرف کنید و موجب افزایش سرعت ایندکس صفحات سایت شوید.
در همین راستا، بهینهسازی متا تگ های هر صفحه برای جلوگیری از اشتباه موتورهای جستجو در صفحات مشابه بهعنوان محتوای تکراری در خزیدن، هزینه دارد. رباتها اسناد و تغییرات جدیدی را بررسی میکنند و سپس به فهرست قابل جستجوی گوگل اضافه می شود. آن صفحات فقط در صورتی اضافه میشوند که دارای محتوای باکیفیت باشند و با انجام کارهای مبهم مانند پر کردن کلمات کلیدی یا ایجاد پیوندهای متعدد از منابع نامعتبر هشدار ایجاد نکنند.
ممکن است مواردی وجود داشته باشد که شما میخواهید از خزیدن یک صفحه خاص توسط موتورهای جستجو جلوگیری کنید. با روشهای زیر میتوانید این کار را انجام دهید:
قراردادن برچسب noindex.
قراردادن URL در یک فایل robots.txt.
صفحه را به طورکلی حذف کنید.
این امر همچنین بهجای آنکه موتورهای جستجو را مجبور به ریختن محتوای تکراری کند، به خزشهای شما کمک میکند تا کارآمدتر عمل کنند.
این احتمال وجود دارد که اگر در حال حاضر بهترین روشهای جستجوگرها را دنبال میکنید، نباید با وضعیت خزیدن خود نگران باشید. مسلما، بررسی وضعیت خزیدن در کنسول جستجوی Google و انجام یک ممیزی پیوند داخلی به طور منظم، هیچگاه ضرری نخواهد داشت.
به عبارتی افزایش سرعت ایندکس صفحات سایت این است که چگونه گوگل را مجبور کنیم وب سایت جدید و یا مطالب جدید وب سایت را فورا فهرستبندی کند. در نتیجه ترافیک جستجوی ارگانیک بیشتری در سایت خود خواهید داشت. در عین حال که ترافیک جستجوی ارگانیک برای رشد وب سایت و تجارت شما بسیار مهم است.
اما اگر سایت شما در نتایج جستجو ظاهر نشود، آمار بازدید چندانی نیز ندارد. همین حالا این کار را انجام دهید، وقت و انرژی بیشتری برای افزایش نرخ تبدیل، بهبود حضور اجتماعی خود و ایجاد محتوای جدید و به روز رسانی شده و تبلیغ، نتیجه عالی و مفیدی را به شما میدهد.
در نتیجه بهتر است در اسرع وقت فهرستبندی شوند، زیرا به شما زمان بیشتری میدهد تا مخاطبین خود را ایجاد کنید. توجه داشته باشید که برای موفقیت محتوای امروز، نمیتوانید به استراتژیهای قدیمی بهینهسازی موتورهای جستجوی اعتماد کنید.