
خب اصلا خود crawl budget چیه؟
مقدار تایم و زمانی که گوگل اختصاص میده که محتوا سایت ما رو crawl کنه.
اما این Crawl budget ها برای چه سایتهایی مهم است؟
1. سایتهای خیلی بزرگ با 1 میلیون صفحه داشته باشه و میزان تغییرات صفحات اون تقریبا یک بار در هفته باشه.
2. سایتهایی که متوسط هستند و صفحات آن هر روز تغییرات رو داره و بیش از 10 هزار صفحه در اون سایت است.
3.سایتهایی که در سرچ کنسول اون در بخش Discovered_Currently not indexed صفحاتی دارند که هنوز index نشدهاند.
1. Crawl capacity limit
crawl health
google Crawling limits
Limit set by site owner in search console
2.Crawl demand
URL inventory
Dopularity
Staleness
نکته: خب crawl health یعنی سرور سایت شما سریع پاسخ بدهد و سرور خطایی نداشته باشه
نکته 2: و Limit set by site owner in search console محدودیتی که برای crawl در سرچ کنسول ایجاد میکنید و اینکه شما برای ربات گوگل محدودیت بذارید که 1000 بار برای شما crawl نکنه که اصلا توصیه نمیشود.
نکته 3: هرچقدر error 500 بیشتر باشه باعث میشه crawl budget شما کاهش پیدا میکنه.
نکته 4: خب Crawl demand یعنی زمانی که سایت شما با 10 یا 20 صفحه باشد و شما ماهی یک بار هم محتوا رو آپدیت نکنید به خاطر همین گوگل ماهی یکبار سایت شما رو crawl میکند.
نکته 5: خب URL inventory یعنی زمانی که محتوای بی کیفیت و کپی در سایت استفاده کردید و باید دسترسی گوگل به این نوع محتواها رو از بین ببریم مثلا: no index یا در robots.txt
نکته 6: خب Dopularity همون میزان محبوبیت شما است که باث میشه گوگل منابع بیشتری دراختیار شما قرار بده.
نکته 7: خب Staleness هم یعنی تازه بودن و آپدیتهای سریع باعث افزایش crawl budget میشه
نکته 8: کارهایی مثل crawl health و URL inventory دو تا از کارهایی است گه شما به عنوان یک کارشناس سئو میتوانید برای افزایش Crawl Budget انجام دهیم.