فرض کنید صبح وارد سرچ کنسول میشوید و در بخش Crawl Stats میبینید یک روز از نمودار کاملا خالی است. روزهای قبل و بعد داده دارند، اما وسط نمودار یک فاصله افتاده است. اولین برداشت ممکن است این باشد که Googlebot در آن روز سایت را کراول نکرده و صفحات تازه منتشرشده هم فرصت دیده شدن نداشتهاند.

این برداشت قابل فهم است، اما لزوما درست نیست. در سپتامبر ۲۰۲۶، داده روز پانزدهم ماه در گزارش آمار کراول سرچ کنسول نمایش داده نمیشد. شکاف مشابه در گزارش سایتهای مختلف دیده شد و در ۲۲ سپتامبر داده گمشده به نمودار برگشت. بنابراین خود فضای خالی نمودار شواهد کافی برای اعلام توقف کراول نبود.
این رخداد بیش از آنکه درباره یک روز مشخص باشد، درباره شیوه خواندن دادههای سئو حرف میزند. وقتی ابزار گزارشدهی و رویداد واقعی را یکی فرض کنیم، ممکن است از یک نقص نمایشی به تشخیص اشتباه برسیم.
در خبر مربوط به این رخداد، موضوع اصلی نبود داده ۱۵ سپتامبر در گزارش Crawl Stats بود. گزارش سایتهای مختلف همان شکاف را نشان میداد. چند روز بعد، داده آن تاریخ در گزارش ظاهر شد. پس چیزی که کاربران ابتدا با آن روبهرو بودند، یک روز خالی در خروجی قابل مشاهده سرچ کنسول بود.

این توصیف از یک جمله هیجانی مثل «گوگل یک روز سایتها را کراول نکرد» دقیقتر است. آن جمله درباره رفتار Googlebot در سطح سرور ادعا میکند، در حالی که مشاهده اولیه درباره نمایش داده در یک محصول گزارشدهی بود. تفاوت میان این دو، قلب ماجراست.
حتی جمله «هیچ مشکلی برای هیچ سایتی وجود نداشت» هم از داده این خبر فراتر میرود. ما میدانیم یک شکاف عمومی در گزارش دیده شد و سپس رفع شد. اگر بخواهیم درباره وضعیت فنی یک سایت مشخص صحبت کنیم، باید داده همان سایت را هم بررسی کنیم.
سرچ کنسول در بخش Crawl Stats نمایی از تاریخچه کراول سایت ارائه میکند. تعداد درخواستهای کراول، حجم دانلود، میانگین زمان پاسخ و وضعیت هاست از جمله اطلاعات این گزارش هستند. در بخشهای دیگر نیز میتوان درخواستها را بر اساس نوع پاسخ سرور، نوع فایل یا نوع Googlebot بررسی کرد.
برای سایتهای بزرگ، این دادهها میتوانند در پیدا کردن مشکلات دسترسی و بررسی تغییرات رفتار کراول کمک کنند. برای نمونه، اگر پاسخهای خطادار سرور زیاد شده باشند، بررسی گزارش میتواند مسیر عیبیابی را روشنتر کند. با این حال، نباید انتظار داشته باشیم یک نمودار بهتنهایی علت هر تغییر را اعلام کند.
همچنین سرچ کنسول و لاگ سرور قرار نیست همیشه اعداد کاملا برابری نشان دهند. راهنمای خود گوگل توضیح میدهد که پوشش گزارش Crawl Stats ممکن است همه درخواستها را شامل نشود. بنابراین حتی در روزهایی که شکاف آشکاری وجود ندارد، تفاوت میان این دو منبع داده غیرعادی نیست.
بخش زیادی از تصمیمهای سئو با نمودار گرفته میشوند. یک خط نزولی یا یک ستون خالی، تصویری روشن و فوری میسازد. مغز ما هم دوست دارد برای آن تصویر یک توضیح فوری پیدا کند. وقتی نام گزارش «آمار کراول» است، آسانترین توضیح برای روز خالی این است که «کراولی انجام نشده است».
اما شکل نمودار فقط میگوید محصول در آن نقطه چه چیزی نمایش داده است. از روی آن، بهتنهایی، نمیتوان فهمید آیا درخواستهای Googlebot به سرور رسیدهاند، آیا داده دیرتر پردازش شده یا آیا نمایش گزارش مشکل داشته است.
این تفاوت شبیه فرق میان «تراکنشی در داشبورد حسابداری دیده نمیشود» و «تراکنشی اصلا رخ نداده است» است. این قیاس برای توضیح مفهوم مفید است، اما در عمل باید به دادههای مربوط به همان سامانه رجوع کرد. در سئو نیز شواهد سرور و وضعیت دسترسی سایت در کنار داشبورد قرار میگیرند.
وقتی یک روز کامل خالی دیده میشود، بررسی گزارش سایتهای دیگر کمک میکند دامنه مسئله را بشناسیم. اگر چند سایت نامرتبط در همان تاریخ شکاف مشابهی دارند، احتمال اینکه مشکل به گزارشدهی مربوط باشد بیشتر میشود. در رخداد سپتامبر ۲۰۲۶ نیز مشاهده شکاف در گزارش سایتهای مختلف، نشانه مهمی بود.

البته همه مدیران سایت به چند پراپرتی سرچ کنسول دسترسی ندارند. در این صورت میتوان گزارشهای عمومی و گفتوگوهای متخصصان را بررسی کرد، اما باز هم باید خبر را از حد خودش فراتر نبرد. مشاهده مشکل در چند سایت، بررسی اختصاصی سایت شما را بینیاز نمیکند.
از طرف دیگر، اگر شکاف تنها در سایت شما دیده میشود، نباید بلافاصله فرض کنیم یک مشکل فنی قطعی رخ داده است. این وضعیت فقط اولویت بررسی داخلی را بالاتر میبرد. تشخیص نهایی هنوز به اطلاعات بیشتری نیاز دارد.
در گزارش Crawl Stats بخشی برای Host Status وجود دارد. این بخش درباره امکان دسترسی گوگل به سایت اطلاعات میدهد و میتواند مشکلات مرتبط با robots.txt، DNS یا اتصال سرور را نشان دهد. اگر همزمان با تغییر آمار کراول، وضعیت هاست نیز مشکلدار شده باشد، بررسی فنی اهمیت بیشتری پیدا میکند.
برای مثال، اگر سرور برای مدتی پاسخ نداده یا خطاهای آن افزایش پیدا کرده است، علت کاهش درخواستهای موفق ممکن است در زیرساخت سایت باشد. در چنین شرایطی تیم فنی باید بازه زمانی، نوع خطا و تغییرات اخیر را بررسی کند. خود روز خالی در نمودار هنوز علت را تعیین نمیکند، اما میتواند آغاز بررسی باشد.
اگر وضعیت هاست مشکلی نشان نمیدهد و همان روز در گزارش سایتهای دیگر هم خالی است، فرض نقص گزارشدهی قوت میگیرد. با این حال، سلامت کامل سایت را نباید فقط از یک چراغ سبز نتیجه گرفت. ترکیب نشانهها اهمیت دارد.
لاگ سرور، در صورت دسترسی و تنظیم درست، درخواستهایی را نشان میدهد که به سرور رسیدهاند. اگر سؤال این است که «آیا Googlebot در روز مشخصی از سایت درخواست داشته؟»، بررسی لاگ میتواند کمک بزرگی باشد. میتوان بازه زمانی موردنظر را جدا کرد و درخواستهای منتسب به Googlebot را بررسی کرد.
اما اینجا هم باید مراقب میانبرهای اشتباه بود. هر درخواستی که در عامل کاربر خود عبارت Googlebot دارد، لزوما از سوی گوگل نیست. برای تحلیل معتبر، هویت درخواست باید با روشهایی که گوگل معرفی کرده راستیآزمایی شود. بررسی DNS یا تطبیق نشانی IP با فهرستهای رسمی از راههای انجام این کار است.
همچنین باید بدانیم لاگ مورد استفاده چه بخشی از ترافیک را پوشش میدهد. اگر سایت چند سرور، CDN یا زیردامنه دارد، فایل ناقص ممکن است تصویر نادرستی بسازد. پس از آنکه مطمئن شدیم منبع داده مناسب است، میتوان درباره وجود یا نبود درخواستهای واقعی با اطمینان بیشتری حرف زد.
یکی از خطاهای رایج این است که وقتی یک نقص عمومی در ابزار پیدا میکنیم، همه نشانههای دیگر را هم به همان نسبت میدهیم. در حالی که ممکن است در همان روز، یک سایت مشخص واقعا با خطای سرور هم روبهرو شده باشد. عمومی بودن شکاف گزارش، مشکلات مستقل سایتها را حذف نمیکند.
برعکس، اگر سایت شما مشکل سرور داشته، نباید تصور کنید هر فضای خالی در گزارش دقیقا نتیجه همان مشکل است. برای ارتباط دادن دو رویداد، به همزمانی دقیق، نوع خطا و شواهد درخواستها نیاز داریم. گاهی دو اتفاق در یک روز رخ میدهند، بیآنکه یکی علت دیگری باشد.
این تفکیک هنگام گزارش به کارفرما مهم است. جمله «سرچ کنسول داده آن روز را نمایش نداده و ما وضعیت سرور سایت را جداگانه بررسی میکنیم» بسیار دقیقتر از «گوگل سایت را کراول نکرده» است. این زبان هم مسئله را کوچک نمیکند و هم چیزی را که هنوز ثابت نشده قطعی نشان نمیدهد.
نباید گفت تمام سایتها در روز ۱۵ سپتامبر بدون مشکل فنی بودهاند. خبر درباره شکاف داده در گزارش Crawl Stats است. بررسی فنی هر سایت نیاز به شواهد همان سایت دارد.
نباید گفت ایندکس صفحات در آن روز متوقف شده است. کراول و ایندکس دو مرحله متفاوتاند و این خبر داده مستقیمی درباره توقف ایندکس همه سایتها ارائه نمیکند. همچنین نباید از شکاف نمودار به افت رتبه یا کاهش ترافیک برسیم؛ اینها هر کدام گزارش و تحلیل جداگانه میخواهند.
نباید هم تصور کنیم هر بار یک روز خالی در Crawl Stats دیدیم، دقیقا همین اتفاق تکرار شده است. رخدادهای قبلی الگوی مفیدی برای پرسیدن سؤال هستند، نه مجوزی برای حذف بررسی. هر مورد تازه را باید با تاریخ، دامنه اثر و شواهد خودش سنجید.
بهتر است برای مواجهه با داده غیرعادی، یک روش ثابت داشته باشیم. این روش میتواند ساده باشد و همچنان از تصمیمهای شتابزده جلوگیری کند:
- ابتدا از نمودار، تاریخ و نوع شکاف یادداشت برداریم.
- بررسی کنیم مشکل در چند سایت دیده میشود یا فقط یک پراپرتی.
- وضعیت هاست و دستهبندی خطاهای سرور را در همان بازه ببینیم.
- اگر لاگ در اختیار داریم، درخواستهای تاییدشده Googlebot را بررسی کنیم.
- تغییرات اخیر سایت را فقط وقتی وارد تحلیل کنیم که با زمان و نشانههای مشکل ارتباط دارند.
- پس از بهروزرسانی گزارش، برداشت اولیه را دوباره ارزیابی کنیم.
این فهرست یک دستور تغییر تنظیمات نیست. گاهی بهترین اقدام پس از بررسی اولیه، ثبت وضعیت و صبر برای کامل شدن گزارش است. گاهی هم شواهد نشان میدهد تیم فنی باید همان روز وارد عمل شود. تصمیم به نتیجه بررسی وابسته است.
اگر Host Status مشکل تازهای در دسترسی نشان دهد، خطاهای سرور افزایش پیدا کنند و لاگ نیز کاهش درخواستهای تاییدشده Googlebot را نشان دهد، احتمال مسئله واقعی بیشتر میشود. در چنین شرایطی باید مسیر درخواستها، تغییرات زیرساخت و پاسخهای سرور بررسی شوند.
اگر robots.txt در دسترس نباشد، مشکل میتواند بر رفتار کراول اثر بگذارد. اگر سرور کند یا ناپایدار شده باشد، ممکن است الگوی درخواستها تغییر کند. این موارد با یک شکاف صرف در نمایش گزارش فرق دارند، زیرا نشانههای فنی مستقلی همراه آنها دیده میشود.
شدت واکنش نیز باید با نوع سایت متناسب باشد. برای سایتی که هر ساعت صدها صفحه تازه دارد، کاهش ادامهدار کراول میتواند اولویت بالاتری داشته باشد. برای سایتی کوچک و کمتغییر، نوسانهای محدود همان معنا را ندارند. شناخت الگوی معمول سایت بخش مهمی از تشخیص است.
به جای اینکه فقط بنویسیم «مشکل سرچ کنسول رفع شد»، میتوانیم روند بررسی را مستند کنیم. چه کسی نخستین بار شکاف را دید؟ چند سایت بررسی شدند؟ آیا وضعیت هاست مشکلی داشت؟ آیا به لاگ دسترسی بود؟ داده چه زمانی به گزارش برگشت؟ این پاسخها برای رخداد بعدی مفیدتر از یک اسکرینشات تنها هستند.
حتی یک یادداشت کوتاه کنار گزارش ماهانه سئو کمک میکند. اگر ماهها بعد کسی به نمودار قدیمی نگاه کند، میفهمد که روز خالی اولیه به گزارشدهی مربوط بوده و داده بعدا بازگشته است. بدون این زمینه، یک تصویر قدیمی میتواند به روایتی نادرست درباره وضعیت سایت تبدیل شود.
در تیمهای بزرگتر، مشخص بودن مسئول بررسی هم مهم است. سئوکار میتواند الگو را در سرچ کنسول شناسایی کند؛ مسئول فنی سرور را بررسی کند؛ و شخصی که گزارش نهایی را مینویسد، میان مشاهده و نتیجه فاصله بگذارد. این هماهنگی از تغییرات بیدلیل جلوگیری میکند.
ماجرای ۱۵ سپتامبر ۲۰۲۶ نشان داد یک روز خالی در گزارش Crawl Stats میتواند برای بسیاری از سایتها دیده شود و چند روز بعد داده همان روز به نمودار برگردد. بنابراین دیدن فضای خالی، بهتنهایی، مجوز اعلام توقف کراول Googlebot نیست.
راه درست این است که نخست دامنه شکاف را بشناسیم، سپس وضعیت هاست و خطاهای سایت را بررسی کنیم و در صورت نیاز سراغ لاگ سرور برویم. اگر این شواهد با هم سازگار باشند، میتوانیم با دقت بیشتری درباره وضعیت کراول حرف بزنیم.
در سئو فنی، سرعت دیدن یک نمودار مزیت بزرگی است؛ اما دقت تصمیم از جایی شروع میشود که میپرسیم آن نمودار دقیقا چه چیزی را نشان میدهد و برای پاسخ به سؤال اصلی، چه داده دیگری لازم داریم.
تهیه شده توسط تیم تخصصی سئو سید احسان خسروی (مدیر، متخصص و مشاور استراتژیک سئو)