نوشته های محمدمهدی علی‌حسینی

بودجه خزش (Crawl Budget) چیست و چگونه آن را افزایش دهیم؟ (راهنمای جامع سئو تکنیکال)

محمدمهدی علی‌حسینی — Fri, 16 Oct 2026 18:02:12 +0330

آیا تا به حال با این وضعیت مواجه شده‌اید که مقالات یا محصولات جدیدی در سایت منتشر کنید، اما روزها و حتی هفته‌ها خبری از ایندکس شدن آن‌ها در گوگل نباشد؟ یا در سرچ کنسول با وضعیت آزاردهنده «Discovered – currently not indexed» روبه‌رو شوید؟یکی از متهمان اصلی این اتفاق در سایت‌های متوسط و بزرگ، مسئله‌ای به نام بودجه خزش یا کرال باجت (Crawl Budget) است. در این مقاله به زبان ساده و به دور از پیچیدگی‌های غیرضروری بررسی می‌کنیم که بودجه خزش چیست، چه عواملی آن را تعیین می‌کنند و با چه ترفندهای تکنیکالی می‌توانیم سرعت و حجم خزش ربات‌های گوگل در سایتمان را به حداکثر برسانیم.بودجه خزش دقیقاً چیست؟طبق مستندات رسمی موتور جستجوی گوگل و راهنماهای معتبر جهانی مانند Ahrefs، بودجه خزش فرمول یا عدد ثابتی نیست؛ بلکه حاصل تقاطع دو فاکتور اصلی است:Crawl Capacity LimitCrawl Demand1. ظرفیت و نرخ خزش (Crawl Capacity / Rate Limit): سرور شما تا چه اندازه کشش دارد؟ اگر سرور سریع، پایدار و بدون قطعی باشد، گوگل‌بات هم‌زمان صفحات بیشتری را درخواست می‌دهد. اما اگر زمان پاسخ‌دهی سرور کند شود یا خطاهای سری ۵۰۰ ایجاد گردد، گوگل بلافاصله برای جلوگیری از خوابیدن سایت، خزش را کاهش می‌دهد.2. تقاضای خزش (Crawl Demand): گوگل تا چه حد مشتاق است سایت شما را بررسی کند؟ این اشتیاق مستقیماً به محبوبیت برند، قدرت دامنه، تعداد بک‌لینک‌ها و میزان تغییرات و به‌روزرسانی محتوا وابسته است.آیا هر سایتی باید نگران بودجه خزش باشد؟خیر! به گفته کارشناسان Ahrefs و خود گوگل، اگر وبلاگی کوچک با کمتر از چند هزار صفحه دارید، نگران بودجه خزش نباشید. اما اگر صاحب یک فروشگاه اینترنتی بزرگ، یک سایت خبری با انتشار لحظه‌ای یا پروژه‌های سئو مبتنی بر اتوماسیون (Programmatic SEO) هستید، بودجه خزش حکم شریان حیاتی سئوی شما را دارد.راهکارهای عملی برای افزایش و بهینه‌سازی بودجه خزشبرای اینکه به گوگل بفهمانید هم سرور آماده پذیرش است و هم محتوای ارزشمندی برای دیده شدن دارید، تکنیک‌های زیر را به کار ببندید:۱. ارتقای سرعت سرور و زمان پاسخ‌دهی (TTFB)گوگل‌بات زمان و منابع محدودی برای هر سایت صرف می‌کند. اگر بارگذاری کدهای اولیه هر صفحه ۲ ثانیه طول بکشد، ربات تنها فرصت دیدن چند ده صفحه را خواهد داشت؛ اما اگر پاسخ‌دهی سرور زیر ۲۰۰ میلی‌ثانیه باشد، هزاران صفحه در همان بازه زمانی پردازش خواهند شد.از هاست‌های قدرتمند و پرسرعت استفاده کنید.کش سمت سرور (مانند Redis یا Varnish) را فعال نمایید.از شبکه توزیع محتوا (CDN) بهره ببرید و پروتکل ارتباطی وب‌سرور را به HTTP/2 یا HTTP/3 ارتقا دهید.۲. حذف هدررفت‌ها (Crawl Waste) با robots.txtیکی از رایج‌ترین اشتباهات، رها کردن فیلترهای فروشگاهی (Faceted Navigation) و صفحات جستجوی داخلی است. فیلترهایی مثل مرتب‌سازی بر اساس قیمت، رنگ یا سایز، میلیون‌ها آدرس بی‌ارزش تولید می‌کنند.صفحات پارامتردارِ غیرضروری، صفحات سبد خرید و نتایج جستجوی داخلی سایت را در فایل robots.txt مسدود (Disallow) کنید تا بودجه خزش صرف محتوای اصلی شود.۳. اصلاح زنجیره‌های ریدایرکت (Redirect Chains) و لینک‌های شکسته (404)وقتی گوگل‌بات از یک لینک به صفحه A، سپس به B و در نهایت به C هدایت می‌شود (زنجیره ریدایرکت)، بخشی از سهمیه خزش برای پیگیری این آدرس‌های واسطه تلف می‌شود.لینک‌های داخلی شکسته (۴۰۴) را سریعاً اصلاح کنید.تمام ریدایرکت‌ها را مستقیماً به صفحه مقصد نهایی با کد وضعیت ۲۰۰ متصل کنید.۴. معماری لینک‌سازی داخلی و از بین بردن صفحات یتیم (Orphan Pages)ربات‌های جستجوگر از طریق پیوندها از صفحه‌ای به صفحه دیگر حرکت می‌کنند. اگر صفحه‌ای لینک داخلی نداشته باشد، به سختی یا با تاخیر کشف خواهد شد.مطمئن شوید مهم‌ترین صفحات حداکثر با ۳ الی ۴ کلیک از صفحه اصلی در دسترس هستند.ساختار پیوندهای یکپارچه، منوهای شفاف و بردکرامب (Breadcrumbs) طراحی کنید.۵. تمیز نگه داشتن سایت‌مپ (XML Sitemap)فایل نقشه سایت فقط باید شامل آدرس‌های نهایی و دارای وضعیت ۲۰۰ باشد.آدرس‌های دارای تگ noindex، ریدایرکت‌ها، یا صفحات نامعتبر را از sitemap حذف کنید.تگ را فقط زمانی که تغییر واقعی و باارزشی در متن ایجاد کرده‌اید تغییر دهید؛ در غیر این صورت گوگل اعتماد خود را به زمان‌بندی سایت‌مپ از دست می‌دهد.۶. افزایش اعتبار دامنه از طریق لینک‌سازی خارجی (Backlinks)همان‌طور که گفتیم، یکی از پایه‌های بودجه خزش، تقاضای خزش (Demand) است. صفحات و وب‌سایت‌هایی که از منابع معتبر لینک دریافت می‌کنند، از دید الگوریتم‌های رتبه‌بندی دارای اولویت و ارزش بالاتری هستند و بات‌ها بسیار مکرر به آن‌ها سر می‌زنند.چگونه وضعیت بودجه خزش را رصد کنیم؟بهترین مرجع، ابزار رسمی سرچ کنسول است:وارد Google Search Console شوید.از منوی تنظیمات (Settings) به بخش Crawl Stats بروید.در این بخش می‌توانید نمودار درخواست‌های روزانه گوگل‌بات، میانگین زمان پاسخ سرور، حجم داده‌های دانلود شده و سهم کدهای مختلف (۲۰۰، ۳۰۱، ۴۰۴ و ۵۰۰) را به طور دقیق رصد کنید.جمع‌بندیبهینه‌سازی بودجه خزش صرفاً یک کار فنی محض نیست؛ بلکه تلاشی هدفمند برای احترام به زمانِ ربات‌های جستجوگر و ایجاد ساختاری شفاف و سریع است. با بالابردن سرعت زیرساخت، مسدودسازی مسیرهای بن‌بست و بهبود معماری لینک‌های داخلی، سایت شما در سریع‌ترین زمان ممکن ایندکس شده و مسیر رشد ترافیک ارگانیک هموار خواهد شد.اگر قصد دارید تسلط خود را در زمینه مباحث تکنیکال، معماری وب و بهینه‌سازی موتورهای جستجو ارتقا دهید و به صورت حرفه‌ای پروژه‌های بزرگ را مدیریت کنید، پیشنهاد می‌کنیم سرفصل‌های جامع دوره آموزش سئو را در سون لرن بررسی کنید تا به عنوان یک متخصص سئوی فنی آماده ورود به بازار کار شوید.---منابع و مطالعه بیشتر:1. Ahrefs SEO Glossary & Technical Guide: [Ahrefs: What Is Crawl Budget & How to Increase It](https://ahrefs.com/seo/glossary/crawl-budget)2. Google Search Central Documentation: [Large Site Crawl Budget Optimization](https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget)

بررسی جامع دامنه‌های TLD و ccTLD | راهنمای انتخاب پسوند دامنه

محمدمهدی علی‌حسینی — Tue, 08 Sep 2026 04:35:08 +0330

هر آدرس اینترنتی که تایپ می‌کنید، به بخشی ختم می‌شود که در ظاهر ساده اما در عمل، بالاترین لایهٔ سلسله‌مراتب نام‌گذاری اینترنت است: com.، ir.، shop. یا دات‌ایران.. این بخش را TLD یا «دامنهٔ سطح بالا» می‌نامیم. انتخاب میان یک TLD عمومی و یک TLD کشوری، فقط یک تصمیم برندینگ نیست؛ روی هدف‌گیری جغرافیایی در گوگل، اعتماد کاربر، هزینهٔ سالانه، الزامات حقوقی و حتی معماری فنی سایت اثر مستقیم دارد. در این مقاله، از ساختار DNS شروع می‌کنیم و تا یک چارچوب تصمیم‌گیری عملی برای کسب‌وکار ایرانی پیش می‌رویم.TLD چیست؟ جایگاه آن در سلسله‌مراتب DNSساختار نام‌های دامنه در DNS شبیه یک درخت وارونه است. در بالاترین نقطه، ریشه قرار دارد که در نمایش کامل نام دامنه با یک نقطه در انتهای آن مشخص می‌شود؛ مثل example.com.. این نقطه معمولاً نوشته نمی‌شود.مستقیماً زیر ریشه، دامنه‌های سطح بالا قرار دارند. سطح‌های بعدی با حرکت از راست به چپ مشخص می‌شوند. نامی که ثبت می‌کنید، بسته به پسوند، ممکن است در سطح دوم یا سطح‌های پایین‌تر قرار بگیرد.www.shop.example.co.irir → دامنهٔ سطح بالا (TLD)co → دامنهٔ سطح دوم (در اینجا دسته‌بندی تجاری)example → دامنهٔ سطح سوم؛ همان چیزی که شما ثبت می‌کنیدshop → سطح چهارم؛ زیردامنهٔ example.co.irwww → سطح پنجم؛ زیردامنهٔ shop.example.co.irمدیریت Root Zone و سیاست‌گذاری کلان TLDها بر عهدهٔ ICANN و بازوی فنی آن IANA است. هر TLD یک Registry (متولی) دارد، فروش از طریق Registrarهای معتبر انجام می‌شود و شما در نقش Registrant فقط «حق استفادهٔ دوره‌ای» می‌خرید، نه مالکیت دائمی.نمودار سلسله‌مراتب DNS از Root Zone تا زیردامنهانواع دامنه‌های سطح بالا۱. gTLD — دامنه‌های عمومیپرکاربردترین دسته؛ محدود به کشور خاصی نیستند. زیرمجموعه‌های آن:gTLDهای اصلی و قدیمی: com.، net.، org.، info.، biz.gTLDهای جدید (New gTLDs): حاصل برنامهٔ ۲۰۱۲ آیکان؛ مثل shop.، app.، blog.، store.، academy.. امروز بیش از ۱۲۰۰ gTLD در Root Zone فعال است.brand TLD: پسوند اختصاصی یک برند، مانند google. یا bmw.۲. ccTLD — دامنه‌های کد کشوریدو حرفی و مبتنی بر استاندارد ISO 3166-1 alpha-2؛ مانند ir. برای ایران، de. آلمان، uk. بریتانیا، jp. ژاپن. طبق گزارش فصلی Verisign، حدود ۳۱۶ ccTLD در ریشهٔ اینترنت delegate شده‌اند و بیش از ۱۴۶ میلیون دامنه زیر آن‌ها ثبت شده است. مدیریت هر ccTLD بر عهدهٔ نهاد ملی همان کشور است؛ در ایران ایرنیک (IRNIC) وابسته به پژوهشگاه دانش‌های بنیادی.۳. sTLD — دامنه‌های حمایت‌شدهبا شرایط عضویت سخت‌گیرانه و برای جامعه‌ای مشخص: edu.، gov.، mil.، int.، museum.، aero.۴. IDN ccTLD — دامنه‌های بین‌المللی غیرلاتینپسوندهای غیرانگلیسی مانند ایران.، рф. یا 中国. که پشت صحنه با الگوریتم Punycode به فرم xn-- ترجمه می‌شوند.۵. infrastructure TLDarpa. که کاربر عادی هرگز با آن سروکار ندارد؛ ستون فقرات Reverse DNS است.وضعیت دامنهٔ ملی ایران با ir.بر اساس آمار رسمی ایرنیک، مجموع دامنه‌های ثبت‌شدهٔ ملی حدود ۱٫۸ میلیون است که سهم اصلی آن ir. مستقیم با نزدیک به ۱٬۷۹۳٬۰۰۰ دامنه است. سایر شاخه‌ها بسیار کم‌جمعیت‌ترند: co.ir. حدود ۴٬۱۶۱، ایران. حدود ۱٬۲۷۰، ac.ir. حدود ۹۸۹، org.ir.، sch.ir.، gov.ir. و net.ir. هر کدام زیر ۲۵۰ مورد.نکات کاربردی برای ثبت ir.:ثبت مستقیم زیر ir. برای همه آزاد است، اما شاخه‌های تخصصی مدرک می‌خواهند: ac.ir. مخصوص مراکز آموزش عالی، gov.ir. برای نهادهای دولتی، sch.ir. مدارس و id.ir. هویت شخصی حقیقی.امکان ثبت چندساله و ضرورت به‌روز نگه‌داشتن اطلاعات تماس؛ منقضی‌شدن ir. عملاً یعنی از دست رفتن کل هویت آنلاین.برای کسب‌وکارهای داخلی، ir. سیگنال قوی «ما در ایران هستیم» و عامل افزایش اعتماد و نرخ کلیک است.نمودار سهم شاخه‌های مختلف دامنه ir بر اساس آمار ایرنیکccTLD یا gTLD؟ تحلیل از منظر سئواین مهم‌ترین بخش تصمیم‌گیری است. مستندات رسمی گوگل در Search Central (آخرین به‌روزرسانی: دسامبر ۲۰۲۵) صریح است:۱. ccTLD قوی‌ترین سیگنال هدف‌گیری کشوری است. اگر دامنهٔ شما de. باشد، گوگل بدون هیچ تنظیم اضافه‌ای فرض می‌کند مخاطب شما آلمان است. اما این شمشیر دولبه است: رتبه‌گرفتن همان دامنه در بازارهای دیگر سخت‌تر می‌شود.۲. gTLD انعطاف‌پذیر است. با com. و ساختار زیرپوشه example.com/de/) یا زیردامنه de.example.com) به‌علاوهٔ hreflang می‌توانید چند بازار را هم‌زمان پوشش دهید و اعتبار لینک‌ها را در یک دامنه متمرکز نگه دارید.۳. برخی ccTLDها را گوگل «عمومی» می‌شمارد. پسوندهایی مانند io.، co.، me.، ai.، tv.، cc.، fm. و چند مورد دیگر به‌عنوان gTLD رفتار می‌شوند، چون کاربرد جهانی پیدا کرده‌اند. یعنی io. شما را به اقیانوس هند وصل نمی‌کند. eu. و asia. هم دامنه‌های منطقه‌ای عمومی تلقی می‌شوند.۴. متاتگ‌های جغرافیایی مرده‌اند. گوگل geo.position و مشابه آن را کاملاً نادیده می‌گیرد. ابزار International Targeting هم از سال ۲۰۲۲ از سرچ کنسول حذف شده و امروز hreflang تنها اعلان مستقیم زبان/کشور است.۵. حذف تدریجی دامنه‌های کشوری خود گوگل (ریدایرکت google.fr و google.sg به google.com) هیچ اثری بر hreflang یا ارزش ccTLD برای سایت شما ندارد؛ گوگل این را رسماً تأیید کرده است.۶. TLD جدید ذاتاً ضعیف‌تر نیست. گوگل بارها گفته پسوندهایی مثل shop. یا app. امتیاز منفی رتبه ندارند. آنچه ممکن است ضربه بزند، ادراک کاربر و سابقهٔ اسپم برخی پسوندهای ارزان است، نه الگوریتم.چارچوب انتخاب| سناریو | انتخاب پیشنهادی ||---|---|| فقط بازار ایران، فروش داخلی | ir. (+ رزرو com. برای دفاع از برند) || صادرات و چند کشور | com. + زیرپوشه + hreflang کامل || استارتاپ فنی/بین‌المللی | com. و در نبود آن io.app. || فروشگاه با هویت صنفی | shop. یا store. در کنار برند قوی || نهاد آموزشی/دولتی ایران | ac.ir. / gov.ir. |معیارهای عملی انتخاب پسوند۱. حافظه‌پذیری و تلفظ: دامنه باید در مکالمهٔ تلفنی بدون اسپل‌کردن منتقل شود.۲. دفاع از برند: پسوندهای کلیدی و املاهای مشابه را رزرو کنید تا جلوی سوءاستفاده و فیشینگ گرفته شود.۳. هزینهٔ تمدید، نه ثبت: بسیاری از New gTLDها سال اول ارزان و از سال دوم چند برابر می‌شوند.۴. الزام حضور محلی: برخی ccTLDها (مثلاً ca. یا eu.) اقامت یا ثبت شرکت محلی می‌خواهند.۵. ریسک ژئوپلیتیک: ccTLD زیر حاکمیت یک کشور است و می‌تواند تابع تصمیم‌های سیاسی یا تغییر کد ISO شود.۶. پیشینهٔ دامنه: قبل از خرید دامنهٔ دست‌دوم، سابقهٔ آن را در Wayback Machine و ابزارهای بک‌لینک بررسی کنید.چشم‌انداز: راند جدید gTLD های آیکانپس از یک دههٔ توقف، ICANN راند دوم برنامهٔ New gTLD را اجرا کرد. پنجرهٔ درخواست در ۳۰ آوریل ۲۰۲۶ باز و در ۱۲ اوت ۲۰۲۶ بسته شد و بیش از ۱٬۶۰۰ درخواست اولیه به‌همراه بیش از ۱٬۱۰۰ درخواست ثانویه دریافت شد. نتیجهٔ این موج، ورود صدها پسوند تازه — عمدتاً brand TLD و پسوندهای صنفی — به بازار طی سال‌های آینده است. پیام آن برای مدیران وب‌سایت روشن است: تنوع پسوندها بیشتر می‌شود، com. کمیاب‌تر و گران‌تر، و «انتخاب پسوند» به یک تصمیم استراتژیک برند تبدیل می‌شود، نه یک فرم ثبت‌نام ساده.جمع‌بندیTLD بالاترین لایهٔ هویت شما در اینترنت است. gTLDها انعطاف و مقیاس‌پذیری جهانی می‌دهند، ccTLDها اعتماد و هدف‌گیری محلی. برای اکثر کسب‌وکارهای ایرانی، ترکیب ir. برای بازار داخلی به‌علاوهٔ رزرو com. برای آینده و دفاع از برند، منطقی‌ترین نقطهٔ تعادل است. و فراموش نکنیم: پسوند دامنه شما را رتبهٔ یک نمی‌کند؛ فقط تعیین می‌کند مسیر رقابت از کدام سمت شروع شود.