برای محدود کردن استفاده گوگل از محتوا، ابتدا باید بدانیم کدام مرحله قرار است تغییر کند. درخواست دریافت صفحه، قرار گرفتن آن در نمایه، نمایش متن در نتیجه و استفاده در قابلیتهای مولد جستوجو، یک فرایند واحد با یک کلید مشترک نیستند. انتخاب دستور پیش از روشن شدن هدف، میتواند نتیجهای متفاوت از انتظار بسازد.

بهروزرسانی ۲۱ اکتبر راهنمای گوگل، گزینههای موجود را در یک صفحه کنار هم آورده است. این خبر فرصتی برای شناخت تفاوتهاست. در این نوشته، یک روش پیشنهادی برای بررسی منابع و انتخاب کنترل مناسب ارایه میکنیم. مراحل درباره اجرای درست و مشاهده خروجیاند؛ به معنی انجام تغییر روی سایت مشخصی یا تضمین زمان پردازش گوگل نیستند.
در بخشهای افزودهشده، نام متاتگ robots، ویژگی data-nosnippet، سرآیند X-Robots-Tag و کنترل Search generative AI دیده میشود. گوگل در ثبت تغییرات خود، اینها را گزینههای موجود توصیف کرده است. بنابراین تاریخ ویرایش راهنما نباید به تاریخ معرفی همه ابزارها تبدیل شود.

برای استفاده از این فهرست، فقط نام گزینه را انتخاب نکنیم. نوع منبع، هدف و دامنه باید مشخص باشند. یک صفحه HTML و فایل مستقلی که از آن لینک شده، ممکن است به روش اجرای متفاوت نیاز داشته باشند. محدود کردن یک بخش متن هم با حذف کل منبع از نتایج یکسان نیست.
یک نشانی مشخص انتخاب کنیم و بنویسیم پس از تغییر چه چیزی باید اتفاق بیفتد. آیا صفحه برای همه قابل باز کردن میماند؟ آیا نتیجه آن باید از جستوجو کنار برود؟ آیا فقط یک قسمت از متن نباید در پیشنمایش استفاده شود؟ این توضیح، معیار انتخاب و بررسی بعدی است.
سپس نسخههای مرتبط را شناسایی کنیم. فایل دانلودی، تصویر، نسخه چاپی یا نشانی دیگری که همان محتوا را ارایه میکند، باید در دامنه بررسی دیده شود. لازم نیست همه آنها دستور یکسان بگیرند، اما نباید بدون تصمیم باقی بمانند. هدف این است که بدانیم درخواست دقیقا شامل کدام منابع است.
برای ثبت وضعیت اولیه، پاسخ عمومی منبع، اطلاعات دستورهای موجود و مسیر دسترسی را نگه داریم. اگر از ابتدا معلوم نباشد چه چیزی فعال بوده، بعدا تشخیص اثر تغییر دشوار میشود. این ثبت باید مختصر و مرتبط باشد و اطلاعات خصوصی یا دسترسی ویژه را به گزارش عمومی منتقل نکند.
فایل robots.txt برای اعلام قواعد خزش به رباتهاست. منع خزش یک صفحه، همان دستور حذف آن از نتایج نیست. گوگل توضیح میدهد که ممکن است یک نشانی را از لینکهای دیگر بشناسد، حتی اگر نتواند محتوای آن را دریافت کند. بنابراین این ابزار را برای هر نوع پنهان کردن نتیجه انتخاب نکنیم.
همچنین robots.txt ابزار کنترل دسترسی کاربران نیست. فردی که نشانی عمومی را دارد، با قواعد مخصوص رباتها از دریافت فایل منع نمیشود. اگر هدف، دسترسی محدود برای افراد مجاز است، باید همان نیاز در مبدا حل شود. نام فایل robots نباید باعث شود آن را دیوار دسترسی همه مراجعهکنندگان تصور کنیم.
پیش از تغییر قاعده، دامنه مسیر را بررسی کنیم. یک الگوی گسترده ممکن است بیش از نشانی مورد نظر را دربر بگیرد. در کار اجرایی، نمونههای داخل دامنه و نمونهای بیرون از آن را مشخص کنیم و پس از اجرا، همانها را بررسی کنیم. هدف، دیدن اثر واقعی قاعده است؛ نه فقط درست بودن ظاهر چند خط تنظیم.
اگر هدف، کنار گذاشتن منبع از نمایه گوگل است، دستور noindex یکی از ابزارهای مرتبط است. گوگل باید بتواند صفحه یا فایل را دریافت کند تا دستور متا یا سرآیند آن را ببیند. قرار دادن دستور در جایی که به دلیل منع خزش قابل دریافت نیست، اجرای کامل هدف را ثابت نمیکند.
این نکته را با نیاز محتوای خصوصی اشتباه نگیریم. قرار نیست برای خوانده شدن noindex، دادهای که نباید عمومی باشد در دسترس همه گذاشته شود. اگر هدف محرمانگی است، حفاظت در مبدا اولویت دارد. نوع مساله تعیین میکند چه بررسیای لازم است و کدام نتیجه باید بهعنوان موفقیت ثبت شود.
در بررسی فنی، پاسخ همان نشانی را ببینیم. وجود یک گزینه در افزونه یا دستور در یک قالب دیگر کافی نیست. اگر صفحه هنوز در نتایج دیده میشود، ابتدا صحت خروجی و امکان دریافت دستور را کنترل کنیم. تازه بودن تغییر و نیاز به پردازش دوباره نیز باید در تفسیر وضعیت لحاظ شوند.
برای صفحه HTML، دستور میتواند در متاتگ robots قرار بگیرد. برای منابعی مانند PDF، میتوان از سرآیند پاسخ X-Robots-Tag استفاده کرد. نکته مهم این است که دستور باید در پاسخ مربوط به همان منبع ارایه شود؛ فایل مستقل، صرفا به دلیل لینک شدن از یک صفحه، همه تنظیمات آن صفحه را به ارث نمیبرد.
نشانی فایل را مستقیم بررسی کنیم و سرآیند پاسخ نهایی را ببینیم. اگر فایل از شبکه تحویل محتوا یا دامنه دیگری میآید، آن مرحله نیز باید در بررسی حضور داشته باشد. پاسخ درست صفحه معرفی، درباره همه خروجیهای دانلودی سند حکم نمیدهد و نباید معیار تایید فایل قرار بگیرد.
ممکن است نسخه پیشنمایش یا کاربر واردشده، مسیر متفاوتی را طی کند. بررسی باید با شرایطی انجام شود که برای مخاطب یا خزنده مورد نظر قابل استفاده است. اگر ابزار بررسی اطلاعات محدودی میدهد، همان محدودیت را ثبت کنیم. نام مشابه فایلها یا نشانیها، جای مشاهده پاسخ واقعی را نمیگیرد.
گاهی صفحه میتواند در جستوجو بماند اما نمایش یک قسمت از متن در خلاصه مطلوب نیست. در این وضعیت، ابتدا همان بخش را مشخص کنیم. شاید عبارت از نظر محتوایی نیاز به اصلاح دارد؛ شاید هم محدودیت نمایش متناسب لازم باشد. انتخاب noindex برای کل صفحه، بدون بررسی هدف، ممکن است بیش از نیاز عمل کند.
کنترل nosnippet برای جلوگیری از نمایش متن پیشنمایش و max-snippet برای تعیین سقف آن مطرح است. ویژگی data-nosnippet نیز برای کنار گذاشتن بخشهای مشخص متن از پیشنمایش استفاده میشود. این ابزارها را نباید بهعنوان روش خصوصی کردن صفحه یا مسدود کردن همه استفادهها از محتوای آن معرفی کرد.
برای اجرای بخشی، محدوده واقعی عنصر در HTML را بررسی کنیم. اگر ویژگی روی یک ظرف بزرگ قرار بگیرد، متن بیشتری از انتظار زیر پوشش میرود. بررسی باید از عبارت مورد نظر به ساختار واقعی برسد. دیدن یک علامت در ویرایشگر، نشان نمیدهد مرز آن در خروجی نهایی نیز درست است.
این ویژگی در عناصر پشتیبانیشدهای مانند span، div و section به کار میرود. در مشخصات گوگل، ویژگی از نوع بولی است؛ بودن آن اهمیت دارد و نوشتن مقدار false آن را غیرفعال نمیکند. برای برداشتن اثر، باید وضعیت واقعی حضور ویژگی و خروجی تولیدشده بررسی شود.
این جزییات در قالبها و ویرایشگرهای بصری اهمیت پیدا میکند. ممکن است تیم محتوا فقط گزینهای را تغییر دهد، اما قالب، عنصر متفاوتی بسازد یا ویژگی را همچنان نگه دارد. متخصص فنی باید خروجی را ببیند و تشخیص دهد چه بخشی زیر کنترل قرار گرفته است. ظاهر تنظیم، به تنهایی نتیجه را نشان نمیدهد.
همچنین محتوای ارایهشده در مسیرهای دیگر را جدا در نظر بگیریم. اگر اطلاعات مشابه در داده ساختاریافته یا فایل دیگری منتشر شده است، نباید فرض کنیم یک ویژگی روی متن صفحه، درباره همه آن نسخهها تصمیم گرفته است. دامنه هر کنترل باید با شیوه واقعی انتشار تطبیق داده شود.
تنظیم Search generative AI در سرچ کنسول، برای مدیریت حضور محتوا و لینک در قابلیتهای مولد جستوجو است. این موضوع با حذف کامل صفحه از نتایج یا کنترل آموزش مدلها یکسان نیست. اگر خواسته به محصول یا استفاده دیگری مربوط است، راهنمای مرتبط با همان هدف لازم خواهد بود.
قبل از تغییر، محدوده ثبتشده سایت و وضعیت ارثبری از محدوده بالاتر را بررسی کنیم. انتخاب یک گزینه بدون شناخت این رابطه میتواند دامنهای متفاوت از تصور اولیه داشته باشد. درخواست باید روشن کند چه بخشهایی قرار است تحت تاثیر باشند و کدام مسیرهای انتشار باید حفظ شوند.
پس از اجرا نیز نتیجه را در همان دامنه دنبال کنیم. تغییر تنظیم و بازتاب آن در محصول، دو مشاهده جدا هستند. صرف ندیدن یک لینک در یک پاسخ، اندازهگیری کامل اجرای کنترل نیست. تاریخ، وضعیت تنظیم و شواهد قابل مشاهده را ثبت کنیم و از نتیجهگیری کلی براساس یک جستوجو بپرهیزیم.
تصویر دوم نشان میدهد نسخه راهنما در کدام قسمتها تغییر کرده و عبارت Google Search در کجاها روشنتر شده است. این تصویر برای فهم خبر مفید است، اما تنظیمات جاری سایت ما را نشان نمیدهد. برای رسیدن از سند به اجرا، باید وضعیت واقعی همان سامانه انتشار بررسی شود.

بهتر است از راهنما برای بازبینی دستورالعمل داخلی استفاده کنیم. آیا هنوز حذف از جستوجو و منع خزش را یکسان توضیح میدهیم؟ آیا فایل مستقل در فرایند بررسی فراموش میشود؟ آیا کنترل جستوجوی مولد به همه هوش مصنوعی تعمیم داده شده است؟ اصلاح همین ابهامها، پیش از هر تغییر فنی ارزش دارد.
اگر محتوایی از قبل در نتیجه دیده میشود و نیاز به رسیدگی فوری دارد، ابزار حذف نتیجه میتواند در دامنه خودش کاربرد داشته باشد. با این حال، درخواست حذف موقت جای تصمیم پایدار در مبدا را نمیگیرد. باید معلوم باشد بعد از پایان اثر موقت، چه چیزی وضعیت مطلوب را حفظ میکند.
همچنین حذف از نتیجه، حذف همه نسخههای محتوا از اینترنت نیست. منبع اصلی، پیوستها و نسخههای تحت اختیار مجموعه باید جدا بررسی شوند. اگر موضوع مربوط به اطلاعاتی است که از فایل باید پاک شود، اصلاح ظاهری نمایش کافی نیست؛ خود خروجی قابل دریافت باید با تصمیم انتشار هماهنگ باشد.
برای گزارش، اقدامها را جدا بنویسیم: اصلاح مبدا، محدودیت دسترسی در صورت نیاز، دستور مربوط، درخواست جستوجو و نتیجه مشاهدهشده. این تفکیک به کسی که بعدا پرونده را میخواند کمک میکند بفهمد کدام قسمت انجام شده و کدام مرحله هنوز به بررسی نیاز دارد.
یک صفحه میتواند از قالب، افزونه و سرور دستور بگیرد. اگر یکی از آنها تغییر کرده، باقی مسیر ممکن است هنوز خروجی دیگری بسازد. هنگام بررسی، متاتگ و سرآیند را کنار هم ببینیم و دامنه هر قاعده را ثبت کنیم. خاموش شدن یک گزینه، لزوما به معنی حذف همه محدودیتهای مرتبط نیست.
در تغییرهای گسترده، نمونه خارج از دامنه نیز اهمیت دارد. اگر هدف فقط فایلهای یک بخش بوده، یک منبع عمومی نامرتبط را هم کنترل کنیم. این کار به تشخیص اثر ناخواسته کمک میکند. دامنه آزمون باید متناسب با محل اجرای قاعده باشد؛ تنظیم سرور و تغییر یک عنصر متن، بررسی یکسانی نمیخواهند.
پس از اصلاح، همان مسیر اولیه را دوباره طی کنیم تا نتیجه قابل مقایسه باشد. اگر محیط یا نشانی عوض شده، آن را بنویسیم. گزارش «مشکل حل شد» زمانی روشن است که معلوم باشد کدام خروجی، در کدام شرایط و با چه معیاری بررسی شده است.
اگر هدف فقط تغییر پیشنمایش است، بررسی کنیم صفحه برای کاربر همچنان همان اطلاعات لازم را ارایه میدهد. محدودیت نمایش در نتیجه، به خودی خود درخواست حذف توضیح از تجربه داخل سایت نیست. سفارش اولیه باید روشن کند خواننده دارای لینک مستقیم چه چیزی را باید ببیند و کدام بخش از مسیر باید حفظ شود.
در بازبینی، پیوستها، دکمهها و متن مرتبط با همان بخش را هم ببینیم. ممکن است اصلاح قالب، علاوه بر دستور مورد نظر، ساختار یا نمایش محتوا را تغییر داده باشد. چنین تغییری باید با هدف تطبیق داده شود؛ قرار نیست برای کنترل یک کاربرد محدود، مسیر لازم برای مخاطب بهطور ناخواسته از بین برود.
بهتر است فرد بازبین، هدف را با زبان کاربر دوباره بخواند. اگر خواسته این بوده که صفحه عمومی بماند، دسترسی مستقیم آن را کنترل کند. اگر خواسته مربوط به یک قسمت متن بوده، مرز همان قسمت را ببیند. اگر موضوع یک فایل است، به بررسی صفحه معرفی اکتفا نکند. این تطبیق ساده، تحویل فنی را به نتیجه مورد انتظار سفارشدهنده وصل میکند.
سه وضعیت را از هم جدا نگه داریم: تنظیم ثبت شده، دستور در خروجی عمومی دیده شده و بازتاب در جستوجو بررسی شده است. این مرحلهها همزمان نیستند و شاهد یکسان ندارند. برای هرکدام، تاریخ و نتیجه ثبت شود تا انتظار تیم با واقعیت فرایند هماهنگ بماند.
اگر نتیجه هنوز مشخص نیست، ابتدا صحت دستور و دسترسی به آن بررسی شود. تکرار تغییر یا افزودن چند محدودیت متفاوت، بدون تشخیص علت، میتواند پیگیری را دشوارتر کند. باید بدانیم چه اتفاقی انتظار میرود و کدام شاهد هنوز در دسترس نیست.
کنترل درست محتوا از شناخت هدف و منبع شروع میشود. وقتی معلوم باشد درباره کدام صفحه، فایل، بخش متن یا قابلیت جستوجو تصمیم میگیریم، انتخاب ابزار و بررسی نتیجه نیز روشنتر میشود. ارزش راهنمای بهروز در همین انتخاب دقیق است؛ نه در فعال کردن همه محدودیتها برای همه محتواها.
تهیه شده توسط تیم تخصصی SEO سید احسان خسروی (مدیر، متخصص و مشاور استراتژیک SEO)