سالها رابطه میان ناشران اینترنتی و موتورهای جستوجو براساس یک معامله نسبتاً روشن شکل گرفته بود. ناشر هزینه میکرد، خبرنگار یا نویسنده استخدام میکرد، تحقیق انجام میداد و محتوایی تولید میکرد که روی وب آزاد قابل دسترسی بود. موتور جستوجو این محتوا را خزش و ایندکس میکرد و در مقابل، کاربرانی را به سایت ناشر میفرستاد.

هیچ قرارداد رسمی میان دو طرف وجود نداشت، اما منطق اقتصادی روشن بود.
محتوا به موتور جستوجو کمک میکرد محصول بهتری ارائه کند و موتور جستوجو نیز به ناشر توزیع و ترافیک میداد.
اکنون بخشی از صنعت نشر در حال پرسیدن یک سؤال نگرانکننده است:
اگر میزان استفاده موتورهای جستوجو و سیستمهای هوش مصنوعی از محتوا افزایش پیدا کند، اما تعداد کاربرانی که به سایت اصلی میرسند کاهش یابد، آیا این معامله هنوز به نفع ناشر است؟
گزارش تازهای که در رسانههای حوزه جستوجو بازتاب یافته نشان میدهد این بحث دیگر فقط نظری نیست. چند ناشر بزرگ از جمله مجموعههای رسانهای مطرح آمریکایی و اروپایی در حال بررسی گزینههایی برای محدودکردن دسترسی گوگل یا سایر رباتها به بخشی از محتوای خود هستند. برخی حتی گفتهاند مسدودکردن گستردهتر نیز از گزینههای قابل بررسی است.
این اتفاق برای صنعت سئو اهمیت ویژهای دارد.
چون برای اولین بار، مسئله اصلی برخی ناشران دیگر «چگونه Googlebot را بهتر به سایت دعوت کنیم؟» نیست.
سؤال تبدیل شده است به:
مسدودکردن گوگل برای یک ناشر بزرگ تصمیم کوچکی نیست.
جستوجوی ارگانیک برای سالها یکی از بزرگترین کانالهای توزیع محتوا بوده است. رسانهها میلیونها دلار برای تولید صفحات قابل جستوجو، معماری سایت، صفحات موضوعی، داده ساختاریافته و بهینهسازی محتوا هزینه کردهاند.
بنابراین اینکه مدیران برخی از همین رسانهها حالا درباره محدودکردن Googlebot صحبت کنند، نشان میدهد مسئله فقط یک افت موقت ترافیک نیست.
در گزارش مورد بحث، چند مدیر رسانهای به کاهش ترافیک و تغییر اقتصاد توزیع محتوا اشاره کردهاند. برخی رسانهها در حال بررسی محدودکردن رباتها روی مقالات رایگان هستند و برخی دیگر میخواهند هزینه و فایده حضور در جستوجو و پاسخهای هوش مصنوعی را دوباره محاسبه کنند.
از نگاه ناشر، محتوا یک دارایی رایگان نیست.
گزارش تحقیقی ممکن است روزها یا هفتهها زمان ببرد. خبرنگار، سردبیر، عکاس، پژوهشگر و زیرساخت فنی هزینه دارند. اگر سیستم دیگری بتواند بخش مهمی از همین ارزش را استخراج و در محیط خودش به کاربر ارائه کند، ناشر انتظار دارد چیزی در مقابل دریافت کند.
این «چیز» در مدل قدیمی عمدتاً ترافیک بود.
اگر ترافیک کاهش پیدا کند، معامله نیازمند بازنگری میشود.
پیش از گسترش پاسخهای مولد، موتور جستوجو معمولاً نقش واسطه را داشت.
کاربر سؤال را مطرح میکرد، گوگل مجموعهای از نتایج را نمایش میداد و برای دریافت پاسخ کامل باید وارد یک یا چند سایت میشد.
این مدل به ناشر امکان میداد از همان بازدید درآمد کسب کند.
در رسانه تبلیغاتی، نمایش صفحه به معنی فرصت نمایش تبلیغ بود.
در رسانه اشتراکی، بازدید میتوانست به ثبتنام یا خرید اشتراک منجر شود.
در کسبوکار خدماتی، کاربر میتوانست وارد قیف فروش شود.
اما پاسخهای مولد بخشی از این مسیر را کوتاه کردهاند.
اگر پاسخ نهایی، خلاصه، مقایسه یا بخش مهمی از اطلاعات داخل خود موتور جستوجو ارائه شود، بخشی از کاربران دیگر نیاز فوری برای مراجعه به منبع اصلی ندارند.
این تغییر الزاماً به معنی حذف کامل کلیک نیست. گوگل خود اعلام کرده قابلیتهای هوش مصنوعی جستوجو همچنان میلیاردها کلیک هفتگی برای وب ایجاد میکنند.
اما از نگاه ناشر، عدد کلی بازار بهاندازه ترافیکی که به سایت خودش میرسد اهمیت ندارد.
ممکن است گوگل در مجموع میلیاردها کلیک ارسال کند، اما یک رسانه مشخص نسبت به دو سال قبل سهم کمتری دریافت کرده باشد.
همین اختلاف، مرکز تنش فعلی است.
از دید فنی، مسدودکردن Googlebot کار پیچیدهای نیست.
اما پیامد آن بسیار گسترده است.
طبق مستندات رسمی گوگل، Googlebot خزنده اصلی Google Search است. مسدودکردن آن میتواند روی جستوجوی معمولی و قابلیتهای دیگری مانند تصاویر، ویدئو، News و Discover اثر بگذارد.
این یعنی یک ناشر نمیتواند بدون هزینه، تصمیم بگیرد گوگل به محتوا دسترسی نداشته باشد.
اگر دسترسی خزنده اصلی متوقف شود، کانالی که هنوز میتواند میلیونها کاربر ارسال کند نیز به خطر میافتد.
از این زاویه، تصمیم شبیه خاموشکردن یک شیر آب است که حجم آن کاهش پیدا کرده اما هنوز بخش مهمی از مصرف را تأمین میکند.
این دقیقاً یکی از حساسترین نقاط بحث است.
گوگل در مستندات رسمی خود میگوید قابلیتهایی مانند AI Overviews و AI Mode بخشی از جستوجو هستند و برای نمایش لینکها در این محیطها، همان اصول فنی جستوجوی معمولی استفاده میشوند.
برای کنترل اطلاعات نمایشدادهشده در Search میتوان از دستورهایی مانند nosnippet، data-nosnippet، max-snippet یا noindex استفاده کرد.
اما Google-Extended موضوع دیگری است. این کنترل برای محدودکردن برخی استفادههای هوش مصنوعی در سیستمهای دیگر گوگل طراحی شده و معادل خروج از AI Overviews و AI Mode در حالی که Search کلاسیک بدون تغییر باقی بماند نیست.
از نگاه ناشران، همین اتصال یکی از مسائل اصلی است.
اگر قابلیت AI بخشی از Search محسوب شود، ناشر در برخی موارد نمیتواند دو محصول را کاملاً مستقل مدیریت کند.
برای سالها جهت حرکت سئو تقریباً یکطرفه بود.
میخواستیم:
خزنده راحتتر وارد شود؛
صفحات بیشتری کشف شوند؛
ایندکس بهتر شود؛
محتوای بیشتری در نتایج ظاهر شود.
مسدودکردن ربات معمولاً یک مشکل بود، نه یک استراتژی.
اما در اقتصاد جدید محتوا، شاید این فرض همیشه معتبر نباشد.
برای محتوای عمومی و کمهزینه، بیشترین توزیع ممکن احتمالاً هنوز منطقی است.
اما وضعیت برای محتوای انحصاری فرق میکند.
یک تحقیق اختصاصی، داده جمعآوریشده، گزارش بازار یا تحلیل پرهزینه میتواند ارزش مجوزدهی مستقلی داشته باشد.
اگر ناشر تمام این دارایی را بدون محدودیت در دسترس سیستمهای خودکار قرار دهد، شاید قدرت مذاکره خود را کاهش دهد.
در نتیجه، سئوی ناشران میتواند از «حداکثر دسترسی» به سمت «دسترسی انتخابی» حرکت کند.
یکی از نکات جالب گزارش، اشاره مدیر عملیاتی Time به وجود دو مخاطب است: کاربران انسانی و رباتها.
این نگاه میتواند پایه یک مدل محتوایی تازه باشد.
مخاطب انسانی به تجربه، اعتماد، داستان، تحلیل و محصول نیاز دارد.
ربات به ساختار، متن، داده و قابلیت بازیابی دسترسی پیدا میکند.
در مدل قدیمی، تصور میکردیم هرچه محتوا برای هر دو قابل دسترستر باشد بهتر است.
اما اگر ربات بتواند ارزش محتوا را استخراج کند و نیاز کاربر برای بازدید را کاهش دهد، ممکن است اهداف دو مخاطب دیگر کاملاً همراستا نباشند.
یک راهبرد منطقیتر میتواند طبقهبندی محتوا براساس ارزش اقتصادی باشد.
این محتوا برای دیدهشدن ساخته میشود.
تعریفها، راهنماهای مقدماتی، توضیحات عمومی و صفحات ورودی میتوانند همچنان کاملاً در دسترس موتورهای جستوجو باشند.
مطالعات موردی، تحلیلهای عمیق و تجربه دستاول علاوه بر ترافیک، برای ساخت اعتبار برند استفاده میشوند.
در این گروه، حضور در نتایج و AI میتواند حتی بدون کلیک نیز بخشی از ارزش برند را ایجاد کند.
تحقیقهای مالکیتی، دادههای منحصربهفرد و محصولات اطلاعاتی میتوانند سیاست متفاوتی داشته باشند.
هدف در اینجا الزاماً بیشترین Visibility نیست.
ممکن است ارزش مستقیم اشتراک، فروش یا مجوزدهی بالاتر از ارزش ترافیک ارگانیک باشد.

پاسخ واحدی وجود ندارد.
برای بیشتر سایتها احتمالاً خیر.
یک فروشگاه اینترنتی، کسبوکار خدماتی یا رسانه کوچک ممکن است بخش بزرگی از مشتریان خود را از جستوجو دریافت کند. حذف این کانال بدون جایگزین میتواند به کاهش شدید درآمد منجر شود.
اما ناشر بزرگ شرایط متفاوتی دارد.
اگر درآمد اصلی از اشتراک، قراردادهای سازمانی یا مجوز محتوا تأمین شود و Search سهم رو به کاهشی داشته باشد، هزینه فرصت مسدودکردن کمتر میشود.
همچنین یک برند بسیار شناختهشده ممکن است بتواند بخش بیشتری از کاربران را مستقیم جذب کند.
پس این تصمیم باید براساس اقتصاد هر کسبوکار گرفته شود، نه یک اصل عمومی سئو.
پیش از تغییر دسترسی خزندهها، حداقل شش شاخص باید بررسی شوند.
چه درصدی از کاربران واردشده از Google Search میآیند؟
آیا کاربران Search فقط Pageview میسازند یا به اشتراک، فروش یا لید تبدیل میشوند؟
آیا گوگل برای کشف اولیه برند استفاده میشود یا بیشتر کاربران از قبل برند را میشناسند؟
کدام صفحات بیشتر بهعنوان منبع یا Mention استفاده میشوند؟
آیا داده یا تحقیق قابلیت فروش یا مجوزدهی دارد؟
اگر Search کاهش یابد، آیا خبرنامه، اپلیکیشن، شبکه اجتماعی، مراجعه مستقیم یا اشتراک میتواند جای آن را بگیرد؟
بدون پاسخ به این پرسشها، مسدودکردن گوگل بیشتر شبیه آزمایش پرریسک است تا استراتژی.
بیشتر کسبوکارها قرار نیست Googlebot را مسدود کنند.
اما مسئله ناشران یک هشدار مهم برای همه است:
اگر ۷۰ درصد جذب مشتری از یک موتور جستوجو بیاید، هر تغییر در رابط، الگوریتم یا مدل پاسخ میتواند کسبوکار را تحتتأثیر قرار دهد.
سئو همچنان کانالی بسیار مهم است، اما باید در کنار آن داراییهای مستقلی ساخته شوند:
برند قوی؛
خبرنامه؛
کاربران بازگشتی؛
جامعه مخاطب؛
اپلیکیشن؛
داده مشتری؛
کانال مستقیم.
هدف این نیست که وابستگی به گوگل صفر شود؛ هدف این است که بقای کسبوکار فقط به یک واسطه وابسته نباشد.
احتمالاً نه، اما در حال تغییر است.
محتوای آزاد هنوز ابزار قدرتمندی برای کشف برند، آموزش مخاطب و جذب مشتری است.
آنچه تغییر میکند، فرض قدیمی است که هرچه محتوای بیشتری در اختیار موتور قرار دهیم، همیشه ارزش بیشتری به دست میآوریم.
از این پس شاید ناشران و حتی برندهای غیررسانهای مجبور شوند برای هر دسته محتوا پاسخ متفاوتی داشته باشند.
کدام محتوا برای حداکثر توزیع ساخته شده؟
کدام محتوا برای تبدیل؟
کدام محتوا دارایی مالکیتی است؟
و کدام محتوا فقط زمانی ارزش دارد که کاربر وارد محیط خود برند شود؟
این شاید مهمترین نتیجه ماجرا باشد.
سئو سنتی بیشتر درباره Crawl، Index، Rank و Click صحبت میکرد.
نسخه جدید باید یک لایه دیگر داشته باشد: Content Governance.
یعنی چه کسی اجازه دارد محتوا را بخزد؟
برای چه استفادهای؟
چه مقدار از محتوا نمایش داده شود؟
کدام صفحات باید باز باشند؟
و بازبودن آنها چه ارزشی ایجاد میکند؟
برای تیمهای بزرگ محتوا، این تصمیمها دیگر صرفاً در اختیار متخصص سئو نیستند.
حقوقی، محصول، درآمد، محتوا، روابط عمومی و مدیریت باید در آن نقش داشته باشند.
هنوز مشخص نیست چند ناشر حاضر میشوند مرحله نهایی را طی کنند.
خود گزارش نیز این موضوع را بهعنوان گزینهای در حال بررسی مطرح میکند، نه تصمیم قطعی و گسترده. برخی شرکتها گزینه محدودکردن را جدی میدانند و برخی دیگر صراحتاً گفتهاند خروج کامل از گوگل فعلاً در دستور کار نیست.
اما اهمیت خبر در همین است.
وقتی ناشران بزرگ حاضرند چنین گزینهای را روی میز بگذارند، یعنی اقتصاد رابطه میان محتوا و موتور جستوجو در حال تغییر است.
برای صنعت سئو، سؤال آینده فقط این نیست:
«چطور بیشتر دیده شویم؟»
سؤال بزرگتر این است:
«دیدهشدن در هر پلتفرم چه مقدار ارزش ایجاد میکند و در مقابل چه میزان از دارایی محتوایی خود را در اختیار آن قرار میدهیم؟»
تهیه شده توسط تیم تخصصی سئو سید احسان خسروی (مدیر، متخصص و مشاور استراتژیک سئو)