یکی از جذابیتهای سئوی تکنیکال این است که ابزارها میتوانند چیزهایی را از دل سایت بیرون بکشند که مدیر سایت حتی از وجودشان خبر ندارد.

یک خزش کامل را اجرا میکنیم و ناگهان با URLهایی روبهرو میشویم که هیچکس در تیم محتوا ایجاد نکرده است. مسیرهایی با شناسههای طولانی، پارامترهای ناشناخته، صفحات مسدودشده، لینکهای مخفی در HTML و آدرسهایی که ظاهراً هیچ کاربردی برای کاربر ندارند.
واکنش طبیعی بسیاری از متخصصان این است که مورد را به فهرست مشکلات سئوی تکنیکال اضافه کنند.
URL عجیب است، پس باید حذف شود.
داخل robots.txt مسدود شده، پس احتمالاً مشکلی وجود دارد.
ابزار خزش Inlink پیدا کرده، پس Link Equity هدر میرود.
سیستم مدیریت محتوا اجازه ویرایش نمیدهد، پس پلتفرم محدودیت فنی خطرناکی ایجاد کرده است.
اما یک پاسخ تازه از جان مولر، عضو تیم Search Relations گوگل، یادآوری میکند که چنین نتیجهگیریهایی همیشه درست نیستند.
در پرسشی که در انجمن TechSEO مطرح شد، متخصصی در حال برطرفکردن مشکلات یک سایت مبتنی بر Squarespace بود. او به URL داخلی عجیبی برخورد که مشتری آن را نساخته بود. مسیر توسط robots.txt مسدود شده بود، اما Screaming Frog همچنان لینکهای داخلی اشارهکننده به آن را در HTML پیدا میکرد. چون Squarespace یک پلتفرم میزبانیشده است، دسترسی مستقیمی برای حذف آن بخش از زیرساخت نیز وجود نداشت.
پرسش ساده بود: این چیست و برای سئو چه کاری باید انجام داد؟
پاسخ مولر به همان اندازه ساده بود: در این مورد اهمیت خاصی ندارد، روی Search و SEO اثری ندارد و اگر پشت آن لینک چیزی نیست که بخواهید ایندکس شود، لازم نیست کاری انجام دهید.
اما ارزش واقعی این پاسخ فقط درباره یک URL خاص نیست.
ماجرا نمونه خوبی از یکی از مهمترین مهارتهای سئوی تکنیکال است: تشخیص تفاوت میان Artifact فنی و Problem واقعی.
ابزار خزش مشکل را تشخیص نمیدهد؛ رفتار سایت را گزارش میکند
وقتی ابزارهایی مانند Screaming Frog، Sitebulb یا crawlerهای سازمانی سایت را بررسی میکنند، وظیفه اصلی آنها مشاهده و طبقهبندی است.
ابزار میتواند به ما بگوید:
یک URL در robots.txt مسدود شده است.
یک لینک داخلی به آن URL وجود دارد.
یک پارامتر در HTML دیده میشود.
یک صفحه canonical متفاوت دارد.
یک URL چندبار از مسیرهای مختلف کشف شده است.
اما ابزار بهتنهایی نمیداند آن رفتار برای مدل کسبوکار، معماری CMS و هدف سایت مشکل محسوب میشود یا نه.
همین نقطه جایی است که Audit ماشینی از تحلیل انسانی جدا میشود.
اگر صرفاً تعداد هشدارهای گزارش را KPI بدانیم، ممکن است ساعتها برای اصلاح چیزی وقت بگذاریم که هیچ اثر قابل اندازهگیری روی Crawl، Indexing، Ranking یا تجربه کاربر ندارد.
تحلیل مقاله منبع نشان میدهد URL مورد بحث به احتمال زیاد بخشی از سیستم شناسه داخلی Squarespace بوده است.
سیستمهای مدیریت محتوا برای اینکه بتوانند صفحات، دستهها، محصولات و داراییها را در پایگاه داده مدیریت کنند، به یک شناسه پایدار نیاز دارند.
نامی که کاربر میبیند الزاماً شناسه اصلی نیست.
برای مثال، ممکن است دستهای امروز «کفش ورزشی» نام داشته باشد و مدیر سایت هفته آینده آن را به «کفش دویدن» تغییر دهد.
اگر سیستم فقط نام عمومی دسته را بهعنوان شناسه اصلی استفاده کند، تغییر نام میتواند روابط داخلی پایگاه داده را پیچیده کند.
راهحل رایج این است که یک شناسه داخلی ثابت برای موجودیت ساخته شود.
نام و URL عمومی میتوانند تغییر کنند، اما شناسه اصلی در سیستم ثابت باقی میماند.
در مورد Squarespace نیز مقاله توضیح میدهد رشته طولانی دیدهشده در URL به احتمال زیاد چنین نقشی دارد.
یکی از مشکلات رایج در Audit این است که سایت را فقط از زاویه خروجی crawler نگاه کنیم.
کاربر یک صفحه تمیز میبیند.
اما در سورس HTML ممکن است دهها شناسه، Attribute، مسیر داخلی و بخشهای ماشینی وجود داشته باشند.
بعضی برای JavaScript لازماند.
بعضی به پایگاه داده اشاره میکنند.
بعضی برای سیستم مسیریابی CMS استفاده میشوند.
بعضی از آنها هیچ نقشی در صفحهای که قرار است در Search ایندکس شود ندارند.
مشاهده یک ساختار داخلی بهتنهایی ثابت نمیکند آن ساختار مشکل SEO ایجاد کرده است.
برای تشخیص، باید اثر بیرونی آن بررسی شود.
برای ارزیابی یک URL سیستمی بهتر است چهار مرحله را جدا کنیم.
اگر لینکی در HTML وجود داشته باشد، crawler میتواند URL را پیدا کند.
وجود آن در گزارش Screaming Frog دقیقاً همین موضوع را نشان میدهد.
اگر robots.txt دسترسی را مسدود کرده باشد، Googlebot محتوای آن را دریافت نمیکند.
اما این به معنی ناپدیدشدن URL از دید گوگل نیست.
گوگل صریحاً توضیح میدهد robots.txt ابزار کنترل خزش است. اگر URL از طریق لینکها کشف شود، ممکن است خود آدرس همچنان برای سیستم شناختهشده باشد.
اینجا یکی از سوءبرداشتهای رایج قرار دارد.
مسدودکردن در robots.txt تضمین نمیکند URL هرگز در نتایج ظاهر نشود. گوگل در مستندات خود میگوید URLهای مسدودشده در بعضی شرایط ممکن است بدون خزش محتوا شناخته یا حتی بهصورت URL-only در نتایج نمایش داده شوند.
این مهمترین سؤال است.
اگر یک URL سیستمی وجود دارد، اما محتوای قابل ایندکس ارزشمندی ندارد، منابع قابل توجهی مصرف نمیکند، در Search ظاهر نمیشود و مزاحم صفحات اصلی نیست، اولویت اصلاح آن میتواند نزدیک به صفر باشد.
ماجرای منبع بهانه خوبی برای مرور تفاوت دو مفهوم مهم است.
فایل robots.txt به crawler میگوید کدام مسیرها را درخواست نکند.
دستور noindex به موتور جستوجو میگوید صفحه را در نتایج نگه ندارد.
این دو کارکرد یکسان نیستند.
اگر صفحهای در robots.txt مسدود شده باشد، crawler نمیتواند وارد آن شود تا دستور noindex داخل صفحه را ببیند.
به همین دلیل، اگر هدف قطعی جلوگیری از ایندکس یک صفحه عمومی است، ترکیب «Disallow + noindex داخل صفحه» میتواند نتیجه مطلوب را ندهد. مستندات گوگل توصیه میکنند برای اجرای noindex، صفحه باید برای crawler قابل دسترسی باشد.
اما در سناریوی Squarespace مسئله متفاوت بود.
مولر اساساً گفت نیازی نیست برای URL مورد بحث راهحل پیچیدهای طراحی شود، چون آن Artifact در همان وضعیت نگرانی SEO ایجاد نمیکند.
مقاله Search Engine Journal به روش جالبی برای دیدن ساختار داخلی صفحات Squarespace اشاره میکند.
با اضافهکردن پارامتر ?format=json-pretty به انتهای یک URL، بهجای صفحه بصری، خروجی JSON مربوط به همان صفحه نمایش داده میشود.
در این خروجی میتوان شناسههای داخلی پایگاه داده را دید.
هدف از این قابلیت، اثبات وجود یک مشکل سئو نیست؛ برعکس، به فهمیدن این موضوع کمک میکند که رشتههای ظاهراً تصادفی داخل HTML ممکن است بخشی از معماری معمول سیستم باشند.

رفتار مورد بحث منحصر به Squarespace نیست.
مقاله توضیح میدهد WordPress نیز برای موجودیتهای مختلف شناسههای داخلی ایجاد میکند.
دستهها و برچسبها term_id دارند و نوشتهها، صفحات، محصولات و فایلها میتوانند post_id داشته باشند.
در بعضی شرایط این شناسهها در HTML خام یا رابط مدیریتی قابل مشاهدهاند.
پس تفاوت اصلی این نیست که یک CMS «URL عجیب تولید میکند» و دیگری نمیکند.
تفاوت بیشتر در این است که هر پلتفرم چه مقدار از معماری داخلی خود را در خروجی نهایی آشکار میکند.
فرض کنیم crawler پنج هزار URL پیدا کرده است.
ابزار ممکن است صدها Warning و Error تولید کند.
اگر متخصص بدون Context همان خروجی را به Backlog توسعه تبدیل کند، چند مشکل ایجاد میشود.
نخست، تیم توسعه وقت خود را روی موارد کماهمیت مصرف میکند.
دوم، مدیر تصور میکند سایت دهها مشکل بحرانی دارد.
سوم، تغییرات غیرضروری میتوانند رفتار سالم CMS را خراب کنند.
چهارم، مشکلات واقعی در میان تعداد زیادی Ticket بیاهمیت گم میشوند.
به همین دلیل، Audit حرفهای باید بعد از مرحله Detection یک مرحله جداگانه به نام Qualification داشته باشد.
در این مرحله باید تعیین شود:
آیا مورد واقعی است؟
آیا قابل بازتولید است؟
آیا گوگل هم همان رفتار را میبیند؟
آیا صفحات مهم درگیرند؟
اثر بالقوه چقدر است؟
راهحل چه ریسکی دارد؟
برای اینکه خروجی ابزار به Backlog قابل استفاده تبدیل شود، میتوان موارد را در چهار سطح قرار داد.
مشکلی که مستقیماً مانع Crawl یا Index صفحات مهم میشود.
نمونهها شامل مسدودشدن ناخواسته بخش تجاری سایت، noindex اشتباه یا خطای گسترده سرور هستند.
مشکلی که تعداد قابل توجهی URL مهم را تحتتأثیر قرار میدهد و احتمال افت عملکرد دارد.
رفتاری که بهینه نیست اما اثر آن محدود، غیرمستقیم یا وابسته به مقیاس است.
Artifactها، رفتارهای طبیعی CMS یا مواردی که باید مستند شوند اما نیازی به اصلاح ندارند.
URL مورد بحث در پاسخ مولر عملاً در همین گروه آخر قرار میگیرد.
از پاسخ گوگل نباید نتیجه گرفت هر URL خودکار بیضرر است.
چند سناریو میتوانند واقعاً نگرانکننده باشند.
پارامترها، فیلترها یا تقویمهایی که ترکیبهای نامحدود ایجاد میکنند میتوانند خزش را پیچیده کنند.
اگر هزاران URL به محتوای تقریباً یکسان برسند، معماری canonical و Crawl باید بررسی شود.
اگر بخش بزرگی از Link Graph سایت به مسیرهای غیرکنونیکال اشاره کند، مسئله از یک Artifact کوچک فراتر میرود.
ارسال یک URL برای Indexing در Sitemap و همزمان اعلام URL دیگری بهعنوان نسخه اصلی، سیگنالهای متناقض ایجاد میکند.
در سایت بسیار بزرگ، حتی URLهایی که ایندکس نمیشوند میتوانند در سطح Crawl نیازمند مدیریت باشند.
بنابراین Context، Scale و Impact سه عامل تعیینکنندهاند.
یکی از نگرانیهای فرد پرسشکننده این بود که Squarespace اجازه دسترسی به Backend برای حذف لینک را نمیدهد.
در پلتفرمهای Hosted چنین شرایطی طبیعی است.
کاربر در عوض مدیریت سرور، امنیت، بهروزرسانی و بخش بزرگی از زیرساخت را به پلتفرم واگذار میکند.
بهای این سادگی، کنترل کمتر روی بعضی جزئیات فنی است.
اما کنترل کمتر به معنی آسیب سئویی نیست.
پرسش درست این است:
آیا محدودیتی که نمیتوانیم تغییر دهیم، واقعاً به Search Performance آسیب میزند؟
اگر پاسخ منفی باشد، توسعه Workaround فقط پیچیدگی ایجاد میکند.
برای هر هشدار عجیب CMS این چکلیست میتواند مفید باشد:
URL را در مرورگر بررسی کنید.
پاسخ HTTP را ثبت کنید.
robots.txt را بررسی کنید.
وضعیت canonical را ببینید.
نقشه سایت را کنترل کنید.
تعداد Inlinkها را بسنجید.
رفتار Googlebot را در Log بررسی کنید.
URL Inspection را در صورت نیاز اجرا کنید.
تعداد URLهای مشابه را اندازه بگیرید.
مستندات CMS را بررسی کنید.
بعد درباره Priority تصمیم بگیرید.
این فرایند چند دقیقه بیشتر زمان میبرد، اما میتواند دهها ساعت کار توسعه غیرضروری را حذف کند.
پیام مهم این ماجرا درباره Squarespace نیست.
مسئله درباره نحوه فکرکردن متخصص سئو است.
ابزارها به ما مشاهده میدهند.
مستندات به ما Context میدهند.
داده Search Console و Server Logs به ما اثر واقعی را نشان میدهند.
و در نهایت، متخصص باید تصمیم بگیرد کدام مورد ارزش اصلاح دارد.
گاهی URL عجیب واقعاً نشانه یک معماری خطرناک است.
گاهی همان URL فقط شناسه داخلی یک CMS است که هیچ اثر قابل اندازهگیری روی Search ندارد.
مهارت حرفهای در تشخیص تفاوت میان این دو است.
در سئوی تکنیکال، هدف نباید رسیدن به گزارش Crawl با صفر Warning باشد.
هدف باید این باشد که موانع واقعی خزش، ایندکس، درک محتوا و عملکرد صفحات مهم را پیدا کنیم و منابع تیم را فقط روی همانها مصرف کنیم.
تهیه شده توسط تیم تخصصی سئو سید احسان خسروی (مدیر، متخصص و مشاور استراتژیک سئو)