بودجه خزش یکی از مفاهیمی است که در سئوی تکنیکال زیاد درباره آن صحبت میشود، اما در بسیاری از پروژهها هنوز برداشت دقیقی از آن وجود ندارد. گاهی هر مشکل ایندکسنشدن به کمبود بودجه خزش نسبت داده میشود. گاهی تصور میکنیم سایتهای بزرگ بهصورت خودکار سهم بزرگی از منابع گوگل دریافت میکنند و گاهی نیز هدف پروژه به «افزایش تعداد درخواستهای گوگلبات» تبدیل میشود.

بهروزرسانی تازه راهنمای گوگل کمک میکند این تصویر دقیقتر شود.
گوگل سند راهنمای بهینهسازی بودجه خزش را بازنویسی کرده است. طبق توضیح ارائهشده، این تغییر به معنی معرفی الگوریتم تازهای برای خزش نیست؛ هدف اصلی، شفافسازی مفاهیم فنی، یکدستکردن اصطلاحات و توضیح بهتر رابطه میان ظرفیت خزش و تقاضای خزش است.
مهمترین نکته تازه، توضیح روشنتر درباره «حد اولیه محافظهکارانه ظرفیت خزش» است.
گوگل میگوید تمام وبسایتها، بدون توجه به اندازه یا اعتبارشان، ابتدا با سقف نسبتاً محتاطانهای برای خزش روبهرو میشوند. سپس سیستم رفتار سرور را بررسی میکند. اگر زیرساخت در طول زمان سریع و پایدار باقی بماند و همزمان نیاز به خزش بیشتر وجود داشته باشد، ظرفیت بهصورت خودکار افزایش پیدا میکند.
همین توضیح نشان میدهد بودجه خزش را نباید یک عدد ثابت تصور کرد. این مفهوم بیشتر شبیه یک سیستم تخصیص منابع پویاست که هم وضعیت زیرساخت و هم ارزش صفحات در آن نقش دارند.
برای فهم این موضوع باید دو سؤال را از هم جدا کنیم.
پرسش نخست این است که گوگل بدون ایجاد فشار نامناسب روی سرور، چه تعداد درخواست میتواند ارسال کند؟
این همان ظرفیت خزش است.
پرسش دوم این است که گوگل چه دلیلی برای بازگشت مکرر به صفحات سایت دارد؟
این بخش به تقاضای خزش مربوط میشود.
ممکن است یک سایت زیرساخت بسیار قدرتمندی داشته باشد و بتواند تعداد زیادی درخواست را در ثانیه مدیریت کند، اما بخش بزرگی از URLهای آن ثابت، تکراری یا کمارزش باشند. در این شرایط ظرفیت بالا وجود دارد، ولی الزاماً تقاضای بالایی وجود ندارد.
حالت برعکس نیز امکانپذیر است. یک سایت خبری یا فروشگاهی ممکن است هزاران صفحه مهم و دائماً در حال تغییر داشته باشد، اما زیرساخت ضعیف اجازه ندهد گوگل با سرعت موردنیاز آنها را بازخزش کند.
به همین دلیل، مدیریت بودجه خزش فقط وظیفه تیم محتوا یا فقط وظیفه تیم سرور نیست.
خزنده گوگل نمیتواند بدون شناخت وضعیت سرور با بیشترین تعداد اتصال ممکن وارد یک سایت شود. اگر سرور نتواند این حجم درخواست را تحمل کند، هم عملکرد سایت و هم تجربه کاربران واقعی ممکن است آسیب ببیند.
به همین دلیل، گوگل ابتدا سطح محدودتری از خزش را انتخاب میکند.
اگر پاسخ سرور سریع باشد و با افزایش درخواستها نشانهای از ناپایداری دیده نشود، سیستم میتواند بهمرور ظرفیت را افزایش دهد.
چند نشانه میتوانند وضعیت مثبت سرور را نشان دهند:
زمان پاسخ پایدار؛
تأخیر پایین؛
نرخ کم خطاهای سرور؛
توان پاسخگویی به اتصالهای همزمان؛
نبود محدودیتهای مکرر درخواست.
در مقابل، افزایش خطاهای سری ۵۰۰ یا پاسخهای محدودکننده میتواند باعث شود گوگل سرعت خزش را کاهش دهد.

هر درخواست خزنده برای مدتی یک اتصال را درگیر نگه میدارد.
هرچه سرور پاسخ سریعتری ارسال کند، اتصال زودتر آزاد میشود و سیستم میتواند درخواست بعدی را با فشار کمتری آغاز کند.
در سایت کوچک، این تفاوت شاید اهمیت عملی زیادی ایجاد نکند. اما در وبسایتی با صدها هزار یا میلیونها URL، چندصدم ثانیه اختلاف در زمان پاسخ میتواند در مقیاس بزرگ به تفاوت قابل توجهی تبدیل شود.
مشکلات رایجی که میتوانند ظرفیت را محدود کنند عبارتاند از:
پایگاه داده کند؛
تولید سنگین صفحات پویا؛
منابع ناکافی سرور؛
افزونهها یا سرویسهای پرمصرف؛
وابستگی به درخواستهای خارجی؛
کشینگ ضعیف؛
و معماری پیچیده صفحات.
بنابراین بهینهسازی زمان پاسخ سرور برای سایت بزرگ فقط موضوع تجربه کاربر نیست و میتواند بر کارایی خزش نیز اثر بگذارد.
یکی از توضیحات مهم نسخه تازه مربوط به خزندههای مختلف گوگل است.
هر خزنده میتواند تقاضای مخصوص خودش را داشته باشد، اما سقف ظرفیت خزش میان آنها مشترک است.
این مسئله برای سایتهایی که تصاویر، محصولات یا انواع مختلف محتوا دارند اهمیت بیشتری پیدا میکند.
فرض کنید بخشی از درخواستها توسط یک خزنده خاص حجم زیادی از منابع زیرساخت را مصرف کند. در این شرایط ظرفیت کمتری برای سایر درخواستها باقی میماند.
از اینجا اهمیت تحلیل لاگ سرور مشخص میشود.
گزارشهای سطح بالای سرچ کنسول فقط بخشی از تصویر را نشان میدهند. لاگ سرور میتواند مشخص کند:
کدام خزنده به سایت مراجعه کرده است؛
چه URLهایی درخواست شدهاند؛
فراوانی درخواست چقدر است؛
چه کد وضعیتی برگردانده شده؛
و کدام مسیرها بیشترین منابع را مصرف کردهاند.
افزایش توان سرور بهتنهایی کافی نیست. گوگل باید دلیلی برای استفاده از ظرفیت داشته باشد.
چند عامل در این تصمیم اهمیت دارند.
سایت بزرگ تعداد URL بیشتری برای بررسی دارد؛ اما تعداد زیاد URL بهتنهایی اهمیت آنها را ثابت نمیکند.
یک فروشگاه ممکن است میلیونها URL ناشی از فیلتر، پارامتر، مرتبسازی و ترکیب ویژگیها ایجاد کند. گوگل قرار نیست همه این URLها را با یک اولویت بخزد.
صفحاتی که مرتب تغییر میکنند نیاز بیشتری به بازخزش دارند.
موجودی کالا، قیمت، خبر، داده زنده یا صفحات فعال نمونههای واضحی هستند.
اما تغییر تاریخ انتشار بدون تغییر واقعی محتوا الزاماً تقاضای پایدار ایجاد نمیکند.
اگر سایت تعداد زیادی صفحه مشابه، کممحتوا یا بدون ارزش مستقل تولید کند، احتمال بازخزش مکرر همه آنها کاهش پیدا میکند.
این موضوع نشان میدهد کیفیت محتوا فقط برای رتبه مهم نیست؛ میتواند روی تصمیم گوگل برای تخصیص منابع نیز اثر بگذارد.
صفحاتی که اهمیت بیشتری در سایت و وب دارند معمولاً تقاضای بیشتری برای بازخزش ایجاد میکنند.
لینکهای داخلی، جایگاه صفحه در معماری سایت و لینکهای خارجی میتوانند در تشخیص اهمیت نقش داشته باشند.
لینک داخلی فقط ابزاری برای انتقال اعتبار نیست.
خزندهها برای کشف URLها از لینکها استفاده میکنند و ساختار لینکها به گوگل کمک میکند اهمیت نسبی صفحات را بهتر درک کند.
اگر یک صفحه مهم در عمق زیاد سایت قرار گرفته باشد و فقط از یک صفحه کماهمیت به آن لینک داده شود، سیگنال ضعیفتری نسبت به صفحهای دریافت میکند که از دستهبندیهای اصلی و چند محتوای مرتبط لینک دارد.
برای سایتهای بزرگ، معماری لینک داخلی باید مشخص کند کدام صفحات اولویت بیشتری دارند.
این نکته مخصوصاً برای فروشگاههایی با هزاران محصول یا سایتهای محتوایی بسیار گسترده اهمیت دارد.
نسخه تازه سند به کشینگ HTTP و پاسخ وضعیت ۳۰۴ توجه ویژهای دارد.
وقتی گوگل صفحهای را دوباره درخواست میکند، سرور میتواند بررسی کند آیا محتوا از آخرین بازدید تغییر کرده است یا نه.
اگر هیچ تغییری رخ نداده باشد، بهجای ارسال دوباره کل محتوا، پاسخ ۳۰۴ میتواند اعلام کند نسخه ذخیرهشده همچنان معتبر است.
این کار چند مزیت دارد:
مصرف پهنای باند کاهش پیدا میکند؛
پردازش کمتری روی سرور انجام میشود؛
پاسخ سریعتر تمام میشود؛
منابع برای درخواستهای مهمتر آزاد میشوند.
در سایتی با چندصد صفحه شاید این صرفهجویی کوچک باشد، اما در مقیاس میلیونها درخواست میتواند اهمیت عملی زیادی پیدا کند.
آیا وضعیت «کشفشده اما ایندکسنشده» یعنی بودجه کم است؟
خیر.
گوگل این راهنما را برای سایتهایی که درصد بالایی از صفحاتشان در وضعیت «کشفشده، اما فعلاً ایندکسنشده» قرار دارد مهم میداند، اما نباید از این موضوع نتیجه گرفت هر URL در این وضعیت قربانی کمبود ظرفیت خزش است.
دلایل دیگری نیز میتوانند دخیل باشند:
صفحه ارزش کافی ندارد؛
تعداد زیادی URL مشابه وجود دارد؛
لینک داخلی ضعیف است؛
صفحه در عمق زیادی قرار گرفته؛
سایت تعداد زیادی URL غیرضروری ساخته است؛
سرور کند یا ناپایدار است.
در نتیجه باید اول تشخیص داده شود مشکل واقعاً «ظرفیت» است یا «اولویت».
افزایش منابع سرور برای صفحهای که گوگل ارزش کمی برای آن میبیند، الزاماً باعث ایندکسشدن نمیشود.
راهنمای بودجه خزش بیشتر برای سه دسته اهمیت عملی دارد.
در چنین مقیاسی، حتی درصد کوچکی از URLهای کمارزش میتواند تعداد زیادی درخواست ایجاد کند.
فروشگاهها، سایتهای قیمت، سفر، آگهی و برخی پلتفرمها میتوانند در این دسته قرار بگیرند.
وقتی بخش بزرگی از URLهای مهم کشف شدهاند اما مدت زیادی خزش نمیشوند، بررسی ظرفیت و کارایی خزش منطقیتر میشود.
در بیشتر مواقع خیر.
اگر وبسایت چندصد یا چند هزار صفحه دارد و صفحات تازه در زمان منطقی توسط گوگل دیده میشوند، احتمالاً بودجه خزش گلوگاه اصلی نیست.
در چنین سایتی بهتر است انرژی روی این مسائل قرار بگیرد:
کیفیت محتوا؛
معماری اطلاعات؛
صفحات یتیم؛
لینکسازی داخلی؛
کنونیکال؛
نقشه سایت؛
صفحات تکراری؛
و ایندکسپذیری.
یکی از خطاهای سئوی تکنیکال این است که یک مفهوم مخصوص مقیاس بزرگ را به تمام سایتها تعمیم دهیم.
مشکل همیشه کمبود خزش نیست. گاهی خزش کافی وجود دارد اما روی URLهای اشتباه مصرف میشود.
نمونههای رایج عبارتاند از:
صفحات فیلتر بیهدف؛
پارامترهای نامحدود؛
نتایج جستوجوی داخلی؛
URLهای تکراری؛
صفحات خطادار؛
ریدایرکتهای طولانی؛
تقویمهای بینهایت؛
نسخههای متعدد یک محتوا.
در چنین شرایطی افزایش ظرفیت بدون اصلاح ساختار فقط باعث میشود منابع بیشتری هدر بروند.
هدف باید کاهش خزش غیرضروری و هدایت منابع به صفحات دارای ارزش باشد.
آیا فایل robots.txt راهحل همهچیز است؟
خیر.
مسدودکردن خزش میتواند در بعضی موقعیتها مفید باشد، اما همیشه روش صحیح حذف یک URL از چرخه ایندکس نیست.
اگر صفحه با فایل robots.txt مسدود شود، گوگل نمیتواند محتوای آن را ببیند و ممکن است دستور noindex داخل صفحه را نیز مشاهده نکند.
گاهی راه بهتر میتواند این موارد باشد:
حذف لینک داخلی؛
استفاده از کنونیکال؛
پاسخ ۴۰۴ یا ۴۱۰؛
استفاده درست از noindex؛
یا جلوگیری از ایجاد URL غیرضروری.
اول باید مشخص شود URL باید وجود داشته باشد، باید خزش شود یا باید ایندکس شود.
اینها سه سؤال متفاوتاند.
زمان پاسخ و خطاهای سرور باید بهصورت دورهای پایش شوند.
باید بدانید گوگل واقعاً کجا وقت مصرف میکند.
URLهای مهم، کنونیکال و قابل ایندکس در نقشه قرار بگیرند.
صفحات تجاری و محتوایی مهم مسیرهای کوتاهتر و لینکهای بیشتری داشته باشند.
پارامترها و فیلترها نباید فضای خزش را بیدلیل بزرگ کنند.
لینک داخلی بهتر است مستقیماً به مقصد نهایی برسد.
پاسخ ۳۰۴ باید زمانی استفاده شود که محتوا واقعاً تغییر نکرده است.
هدف نباید افزایش تعداد خام درخواستها باشد.
اگر خزش روزانه دو برابر شود، ولی تمام افزایش روی URLهای تکراری اتفاق افتاده باشد، پیشرفتی حاصل نشده است.
شاخصهای بهتر عبارتاند از:
سهم خزش صفحات مهم؛
فاصله انتشار تا خزش؛
میزان خزش URLهای تکراری؛
نرخ خطاهای سرور؛
سهم پاسخهای ۲۰۰ و ۳۰۴؛
تعداد URLهای مهم کشفشده اما خزشنشده.
یعنی باید «کیفیت خزش» را اندازه بگیریم، نه فقط تعداد آن را.
نسخه تازه راهنمای گوگل کمک میکند بودجه خزش را از یک مفهوم مبهم به یک مدل قابل فهمتر تبدیل کنیم.
سلامت سرور ظرفیت ایجاد میکند.
کیفیت، تازگی و اهمیت صفحات تقاضا میسازند.
معماری سایت مشخص میکند خزنده چگونه به صفحات برسد.
کشینگ و پاسخ مناسب باعث میشوند منابع کمتر هدر بروند.
در نتیجه، مدیریت بودجه خزش پروژهای مشترک میان تیم فنی، محتوا و سئو است.
هدف این نیست که گوگل را مجبور کنیم تعداد بیشتری URL بخزد.
هدف بهتر این است که هر درخواست گوگل با احتمال بیشتری روی یک URL مهم، سالم، تازه و قابل ایندکس مصرف شود.
تهیه شده توسط تیم تخصصی سئو سید احسان خسروی (مدیر، متخصص و مشاور استراتژیک سئو)