
آیا تا به حال با این وضعیت مواجه شدهاید که مقالات یا محصولات جدیدی در سایت منتشر کنید، اما روزها و حتی هفتهها خبری از ایندکس شدن آنها در گوگل نباشد؟ یا در سرچ کنسول با وضعیت آزاردهنده «Discovered – currently not indexed» روبهرو شوید؟
یکی از متهمان اصلی این اتفاق در سایتهای متوسط و بزرگ، مسئلهای به نام بودجه خزش یا کرال باجت (Crawl Budget) است. در این مقاله به زبان ساده و به دور از پیچیدگیهای غیرضروری بررسی میکنیم که بودجه خزش چیست، چه عواملی آن را تعیین میکنند و با چه ترفندهای تکنیکالی میتوانیم سرعت و حجم خزش رباتهای گوگل در سایتمان را به حداکثر برسانیم.
طبق مستندات رسمی موتور جستجوی گوگل و راهنماهای معتبر جهانی مانند Ahrefs، بودجه خزش فرمول یا عدد ثابتی نیست؛ بلکه حاصل تقاطع دو فاکتور اصلی است:
Crawl Capacity Limit
Crawl Demand
1. ظرفیت و نرخ خزش (Crawl Capacity / Rate Limit): سرور شما تا چه اندازه کشش دارد؟ اگر سرور سریع، پایدار و بدون قطعی باشد، گوگلبات همزمان صفحات بیشتری را درخواست میدهد. اما اگر زمان پاسخدهی سرور کند شود یا خطاهای سری ۵۰۰ ایجاد گردد، گوگل بلافاصله برای جلوگیری از خوابیدن سایت، خزش را کاهش میدهد.
2. تقاضای خزش (Crawl Demand): گوگل تا چه حد مشتاق است سایت شما را بررسی کند؟ این اشتیاق مستقیماً به محبوبیت برند، قدرت دامنه، تعداد بکلینکها و میزان تغییرات و بهروزرسانی محتوا وابسته است.
آیا هر سایتی باید نگران بودجه خزش باشد؟
خیر! به گفته کارشناسان Ahrefs و خود گوگل، اگر وبلاگی کوچک با کمتر از چند هزار صفحه دارید، نگران بودجه خزش نباشید. اما اگر صاحب یک فروشگاه اینترنتی بزرگ، یک سایت خبری با انتشار لحظهای یا پروژههای سئو مبتنی بر اتوماسیون (Programmatic SEO) هستید، بودجه خزش حکم شریان حیاتی سئوی شما را دارد.
برای اینکه به گوگل بفهمانید هم سرور آماده پذیرش است و هم محتوای ارزشمندی برای دیده شدن دارید، تکنیکهای زیر را به کار ببندید:
گوگلبات زمان و منابع محدودی برای هر سایت صرف میکند. اگر بارگذاری کدهای اولیه هر صفحه ۲ ثانیه طول بکشد، ربات تنها فرصت دیدن چند ده صفحه را خواهد داشت؛ اما اگر پاسخدهی سرور زیر ۲۰۰ میلیثانیه باشد، هزاران صفحه در همان بازه زمانی پردازش خواهند شد.
از هاستهای قدرتمند و پرسرعت استفاده کنید.
کش سمت سرور (مانند Redis یا Varnish) را فعال نمایید.
از شبکه توزیع محتوا (CDN) بهره ببرید و پروتکل ارتباطی وبسرور را به HTTP/2 یا HTTP/3 ارتقا دهید.
یکی از رایجترین اشتباهات، رها کردن فیلترهای فروشگاهی (Faceted Navigation) و صفحات جستجوی داخلی است. فیلترهایی مثل مرتبسازی بر اساس قیمت، رنگ یا سایز، میلیونها آدرس بیارزش تولید میکنند.
صفحات پارامتردارِ غیرضروری، صفحات سبد خرید و نتایج جستجوی داخلی سایت را در فایل robots.txt مسدود (Disallow) کنید تا بودجه خزش صرف محتوای اصلی شود.
وقتی گوگلبات از یک لینک به صفحه A، سپس به B و در نهایت به C هدایت میشود (زنجیره ریدایرکت)، بخشی از سهمیه خزش برای پیگیری این آدرسهای واسطه تلف میشود.
لینکهای داخلی شکسته (۴۰۴) را سریعاً اصلاح کنید.
تمام ریدایرکتها را مستقیماً به صفحه مقصد نهایی با کد وضعیت ۲۰۰ متصل کنید.
رباتهای جستجوگر از طریق پیوندها از صفحهای به صفحه دیگر حرکت میکنند. اگر صفحهای لینک داخلی نداشته باشد، به سختی یا با تاخیر کشف خواهد شد.
مطمئن شوید مهمترین صفحات حداکثر با ۳ الی ۴ کلیک از صفحه اصلی در دسترس هستند.
ساختار پیوندهای یکپارچه، منوهای شفاف و بردکرامب (Breadcrumbs) طراحی کنید.
فایل نقشه سایت فقط باید شامل آدرسهای نهایی و دارای وضعیت ۲۰۰ باشد.
آدرسهای دارای تگ noindex، ریدایرکتها، یا صفحات نامعتبر را از sitemap حذف کنید.
تگ <lastmod> را فقط زمانی که تغییر واقعی و باارزشی در متن ایجاد کردهاید تغییر دهید؛ در غیر این صورت گوگل اعتماد خود را به زمانبندی سایتمپ از دست میدهد.
همانطور که گفتیم، یکی از پایههای بودجه خزش، تقاضای خزش (Demand) است. صفحات و وبسایتهایی که از منابع معتبر لینک دریافت میکنند، از دید الگوریتمهای رتبهبندی دارای اولویت و ارزش بالاتری هستند و باتها بسیار مکرر به آنها سر میزنند.
بهترین مرجع، ابزار رسمی سرچ کنسول است:
وارد Google Search Console شوید.
از منوی تنظیمات (Settings) به بخش Crawl Stats بروید.
در این بخش میتوانید نمودار درخواستهای روزانه گوگلبات، میانگین زمان پاسخ سرور، حجم دادههای دانلود شده و سهم کدهای مختلف (۲۰۰، ۳۰۱، ۴۰۴ و ۵۰۰) را به طور دقیق رصد کنید.
بهینهسازی بودجه خزش صرفاً یک کار فنی محض نیست؛ بلکه تلاشی هدفمند برای احترام به زمانِ رباتهای جستجوگر و ایجاد ساختاری شفاف و سریع است. با بالابردن سرعت زیرساخت، مسدودسازی مسیرهای بنبست و بهبود معماری لینکهای داخلی، سایت شما در سریعترین زمان ممکن ایندکس شده و مسیر رشد ترافیک ارگانیک هموار خواهد شد.
اگر قصد دارید تسلط خود را در زمینه مباحث تکنیکال، معماری وب و بهینهسازی موتورهای جستجو ارتقا دهید و به صورت حرفهای پروژههای بزرگ را مدیریت کنید، پیشنهاد میکنیم سرفصلهای جامع دوره آموزش سئو را در سون لرن بررسی کنید تا به عنوان یک متخصص سئوی فنی آماده ورود به بازار کار شوید.
---
منابع و مطالعه بیشتر:
1. Ahrefs SEO Glossary & Technical Guide: [Ahrefs: What Is Crawl Budget & How to Increase It](https://ahrefs.com/seo/glossary/crawl-budget)
2. Google Search Central Documentation: [Large Site Crawl Budget Optimization](https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget)