
همهٔ ما میدانیم که گوگل هر روز حجم عظیمی از صفحات را میخزد؛ اما این کار بیحساب و کتاب نیست. بودجهٔ خزش (Crawl Budget) یعنی تعداد صفحاتی که گوگلبات در یک بازهٔ زمانی مشخص از سایت شما بازدید میکند. مشکل وقتی شروع میشود که این بودجه، به جای صرف محتوای تازه و ارزشمندتان، خرج نسخههای تکراری بیفایده شود:
آدرسهای دارای پارامترهای ردیابی (?utm_source=telegram)
ورژنهای اسلشدار و بدون اسلش (/blog/ در برابر /blog)
صفحات چاپی، فیدها یا session idهای تصادفی
نتیجهٔ این هرجومر جیست؟ ربات گوگل سردرگم میشود، سرعت کشف محتوای جدید افت میکند و شانس ورود به گوگل دیسکاور و جایگاههای برتر به شدت کاهش مییابد. در این مقاله، ابتدا پاسخ نهایی را یکبار برای همیشه در دست میگیرید، سپس با راهکارهایی بینهایت عملی، مشکل خزش را ریشهکن خواهید کرد.
اگر همین الان یک راهحل قطعی میخواهید، این قانون طلایی را به خاطر بسپارید:
اگر محتوای دو صفحه کاملاً یکسان است و تفاوتشان فقط به خاطر پارامترهای بیارزش (مثل لینکهای کمپین یا session id) ایجاد شده است ← ریدایرکت ۳۰۱ انتخاب نهایی شماست. به گوگل فرمان میدهد: «صفحهٔ قدیمی دیگر وجود ندارد، فقط نسخهٔ جدید را بخز.»
اگر مجبورید چند نسخهٔ کمی متفاوت از یک محتوا را حفظ کنید (مثلاً به دلیل فیلترهای مفید، مرتبسازی بر اساس قیمت یا رنگ) ← تگ کنونیکال (Canonical) بهترین گزینه است. به گوگل میگوید: «از بین این صفحات مشابه، فلان صفحه نسخهٔ اصلی و مرجع است؛ اعتبار لینکها را به آن بده.»
حالا که جواب اصلی را گرفتید، بیایید ببینیم پشت صحنه چه اتفاقی میافتد و چطور از این دو ابزار مثل یک متخصص سئو استفاده کنید.

پیش از جراحی، باید درد را بشناسیم. اکثر وبسایتها بدون اینکه بدانند، چندین آدرس مختلف برای یک صفحه میسازند:
پارامترهای ردیابی بازاریابی: ?utm_source=newsletter، ?fbclid=...، ?ref=homepage
پارامترهای جستجوی داخلی: /search?q=keyword (گاهی برای هر کلمه یک صفحه میسازد)
نسخههای مختلف پروتکل: http://example.com/page و https://example.com/page
آدرسهای دارای www یا بدون آن: www.example.com و example.com
اسلش انتهایی: /category/web/ در مقابل /category/web
پارامترهای جلسه (session id): برخی CMSها شناسهٔ کاربر را به URL میچسبانند.
هر کدام از این نسخهها برای گوگل یک صفحهٔ مجزا محسوب میشود. گوگلبات بیچاره مجبور است تکتک آنها را بخزد، در حالی که محتوایشان هیچ فرقی ندارد. این یعنی اتلاف عظیم بودجهٔ خزش، دیر ایندکس شدن صفحات مهم و در نهایت، یک سئوی ضعیف.
بیشتر بخوانید! - آشنایی با کراولر گوگل؛ ربات مهمان
ریدایرکت ۳۰۱ به معنای «انتقال دائمی» یک آدرس به آدرس دیگر است. وقتی از آن برای صفحات تکراری استفاده میکنید، هم کاربر و هم ربات گوگل فقط نسخهٔ اصلی را میبینند.
حذف نسخههای دارای پارامترهای ردیابی.
یکسانسازی نسخههای www و non-www.
یکسانسازی آدرسهای با اسلش انتهایی یا بدون آن.
ادغام کامل دو صفحه با محتوای یکسان (یکی به دیگری منتقل شود).
اگر به فایل .htaccess روی هاست لینوکس دسترسی دارید، کد زیر را اضافه کنید تا تمام پارامترهای utm_، fbclid و sessionid حذف شوند:
apache
RewriteEngine On RewriteCond %{QUERY_STRING} ^(.*&)?(utm_source|utm_medium|utm_campaign|fbclid|sessionid)= [NC] RewriteRule ^(.*)$ /$1? [R=301,L]
برای حذف اسلش انتهایی و ریدایرکت به نسخهٔ بدون اسلش (یا برعکس):
apache
# ریدایرکت از نسخه با اسلش به بدون اسلش RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^(.+)/$ /$1 [R=301,L]
در وردپرس نیز افزونههای رایگانی مانند Redirection یا قابلیتهای داخلی Yoast SEO و Rank Math این ریدایرکتها را بسیار ساده میسازند.
بودجهٔ خزش را کاملاً آزاد میکند: گوگل دیگر آدرس قدیمی را نمیخزد.
انتقال ۱۰۰٪ اعتبار لینکها: هر لینکی که به نسخهٔ تکراری داده شده، قدرت خود را به نسخهٔ اصلی منتقل میکند.
تجربه کاربری بینقص: کاربر هرگز با آدرسهای عجیب روبرو نمیشود.

اگر به هر دلیلی نمیتوانید نسخههای مشابه را حذف کنید (مثلاً یک صفحهٔ فروشگاهی که با فیلتر رنگ محصولات نمایش داده میشود و این فیلتر برای کاربر مفید است)، آنوقت تگ کنونیکال قهرمان میدان میشود.
صفحاتی که با مرتبسازی (بر اساس قیمت، جدیدترین) تغییر میکنند، اما محتوای اصلی همان است.
صفحاتی که نسخهٔ موبایل یا AMP دارند و نمیخواهید ایندکس جداگانه بگیرند.
وقتی به هر دلیلی نمیتوانید ریدایرکت ۳۰۱ پیادهسازی کنید.
داخل بخش <head> تمام نسخههای غیراصلی (و حتی خود نسخهٔ اصلی برای خودارجاعی)، تگ زیر را قرار دهید:
html
<link rel="canonical" href="https://www.example.com/اصل/آدرس" />
اگر از وردپرس استفاده میکنید، فیلد «آدرس کنونیکال» در افزونههای سئو مانند Rank Math یا Yoast، این تگ را به صورت خودکار برای نسخهٔ اصلی تولید میکنند. فقط کافی است نسخههای فرعی را معرفی کنید یا از قابلیتهای پیشرفتهٔ آنها کمک بگیرید.
تگ کنونیکال یک پیشنهاد به گوگل است، نه یک دستور قطعی. اگر محتوای دو صفحه کاملاً متفاوت باشد، گوگل آن را نادیده میگیرد. همچنین، همچنان ممکن است ربات گوگل گاهی نسخهٔ غیرکنونیکال را بخزد (هرچند کمتر). با این حال، سیگنالهای رتبهبخشی به نسخهٔ اصلی تجمیع میشود و مشکل بودجهٔ خزش تا حد زیادی کاهش مییابد.
بیشتر بخوانید! - رفع خطاهای خزش با سرچ کنسول
برای انتخاب در لحظه، این جدول را همیشه کنار دست داشته باشید:
ویژگی ریدایرکت ۳۰۱ تگ کنونیکال
1.تأثیر بر بودجه خزش 🔥عالی خوب
خزیدن نسخهٔ تکراری متوقف میشود. خزش اضافی کاهش مییابد، اما متوقف نمیشود.
2.انتقال اعتبار لینکها ۱۰۰٪ منتقل میشود. تقریباً کامل (اولویت بالا)
3.حفظ نسخهٔ تکراری خیر کاربر همیشه به نسخهٔ اصلی بله، آدرس تکراری در مرورگر باقی میماند.
برای کاربر هدایت میشود.
3.انعطافپذیری صفر (انتقال دائمی و غیرقابل بازگشت) بالا (میتوانید نسخههای متنوع را نگه دارید)
4.سرعت ایندکسزدایی
نسخهٔ قدیمی بالا متوسط
5.مناسب محتوای کاملاً
یکسان با پارامترهای مزاحم بهترین انتخاب گزینهٔ دوم (ریدایرکت بهتر است)
6.مناسب محتوای مشابه
با فیلترهای مفید خوب نیست (فیلترها از بین میروند) تنها راهحل صحیح
برای اینکه همین امروز مشکل خزش را حل کنید و شانس دیده شدن در گوگل دیسکاور را افزایش دهید، قدمهای زیر را به ترتیب انجام دهید:
۱. نقشهٔ تکراریها را بکشید: با ابزارهایی مثل Screaming Frog یا گزارش Coverage در Google Search Console، تمام URLهای تکراری، دارای پارامتر و نسخههای مختلف را شناسایی کنید.
۲. قانون یکدستسازی را اجرا کنید: تصمیم نهایی بگیرید که از www استفاده کنید یا نه؟ اسلش انتهایی داشته باشید یا نه؟ سپس یک قانون ۳۰۱ سراسری برای رسیدن به نسخهٔ واحد بنویسید.
۳. برای پارامترهای بیارزش، ریدایرکت ۳۰۱ تنظیم کنید: از طریق .htaccess، افزونه یا تنظیمات CDN.
۴. برای صفحات دارای فیلتر مفید، تگ کنونیکال به نسخهٔ اصلی بدهید. مطمئن شوید نسخهٔ اصلی نیز یک تگ کنونیکال خودارجاع دارد.
۵. نقشهٔ XML سایت را پاکسازی کنید: فقط آدرسهای کنونیکال و تمیز را در نقشه قرار دهید و دوباره به سرچ کنسول ارائه کنید.
۶. لینکسازی داخلی را اصلاح کنید: هر لینکی که در سایتتان به نسخههای تکراری (همراه با پارامتر) داده شده را پیدا و به آدرس اصلی تغییر دهید. (با Screaming Frog قابل انجام است.)
۷. بررسی نهایی در سرچ کنسول: یک ماه بعد، به گزارش «Crawl stats» بروید. کاهش تعداد صفحات خزیدهشده با وضعیت «تکراری، کنونیکالشده بدون انتخاب کاربر» یا افزایش بودجهٔ خزش مؤثر، یعنی مأموریت با موفقیت انجام شده.

گوگل دیسکاور محتوایی را برجسته میکند که تازه، سریع و باکیفیت باشد. وقتی بودجهٔ خزش را با حذف صفحات تکراری آزاد میکنید، گوگلبات به جای ولگردی در میان URLهای بیفایده، مستقیماً به سراغ محتوای جدیدتان میآید. سرعت ایندکس شدن بالا میرود و محتوای شما دقیقاً در همان لحظهای که کاربر به آن نیاز دارد، آمادهٔ نمایش در دیسکاور خواهد بود.
به زبان ساده: ربات گوگل یک مهمان باوقت محدود است. با ریدایرکت و کنونیکال، فرش قرمز برای محتوای اصلیتان پهن میکنید و آشغالهای تکراری را از جلوی پایش برمیدارید. نتیجه؟ جایگاهی که شایستهٔ آن هستید.
حالا نوبت شماست. همین امروز اولین قدم چکلیست را بردارید و زنجیر از پای خزندهها باز کنید. اگر سؤالی داشتید، پایین همین مقاله منتظرتان هستم.