نوشتن یک جمله در robots.txt فقط وقتی نتیجه دارد که سامانه دریافتکننده، آن جمله را به عنوان دستور معتبر بشناسد. نام یک دستور میتواند برای انسان کاملا روشن باشد و برای کراولر هیچ معنایی نداشته باشد. به همین دلیل، اضافه کردن عبارتی شبیه «از محتوا برای آموزش استفاده نکن» لزوما چیزی را کنترل نمیکند. محل نوشتن پیام، جای تعریف فنی آن را نمیگیرد. این اشتباه زمانی مهم میشود که مدیر سایت تصور کند با افزودن همان خط، تکلیف تمام استفادههای هوش مصنوعی روشن شده است.

گری ایلیش در توضیح تازه گوگل به مرز استاندارد فعلی robots.txt پرداخته است: قواعد پایه این فایل، ترجیح سایت درباره کراول را بیان میکنند. دریافت صفحه و استفاده بعدی از اطلاعات آن، دو موضوع جدا هستند. در کنار این قواعد، بعضی شرکتها کنترلهایی با معنای مشخص برای محصولات خود معرفی کردهاند. فهم تفاوت این دو لایه کمک میکند هم دستورات را درست بنویسیم و هم از نتیجهای که واقعا به دست نیامده گزارش ندهیم.
برای نمونه، فرض کنیم دسترسی یک کراولر مشخص به مسیر گزارشهای یک سایت محدود شده است. معنای این محدودیت آن است که برای کراولر مورد نظر، کراول مسیرهای تعیینشده مجاز دانسته نشده است. این تنظیم به خودی خود مقاله را از سرور پاک نمیکند و دسترسی مرورگر عادی را هم نمیبندد. اگر کاربر نشانی عمومی مقاله را باز کند، پاسخ را براساس تنظیمات واقعی سرور میگیرد. فایل robots.txt در این میان، فهرستی از ترجیحات کراول برای سامانههایی است که آن را میخوانند و قواعد مربوط را رعایت میکنند.
همچنین از این مثال نمیتوان نتیجه گرفت محتوای گزارش هیچوقت دریافت نشده است. ممکن است تنظیم تازه اضافه شده باشد، نسخه دیگری از محتوا وجود داشته باشد یا دریافتکنندهای اساسا به این قواعد متعهد نباشد. بنابراین جمله «این مسیر برای کراولر مشخصی بسته شده» با جمله «اطلاعات این مسیر در اختیار هیچ سامانهای نیست» فاصله زیادی دارد. اولی درباره یک تنظیم مشخص حرف میزند؛ دومی ادعایی درباره تمام مسیرهای دسترسی و تمام نسخههای محتواست.
این مرز برای کار روزمره هم مفید است. اگر هدف، متوقف کردن دریافت تازه یک کراولر مشخص باشد، مثال به همان هدف نزدیک است. اگر هدف، محافظت از گزارش محرمانه باشد، مسئله به کنترل دسترسی واقعی مربوط میشود. اگر هدف، حذف مقاله از جستوجو باشد، ابزار مناسب دیگری لازم است. استفاده درست از robots.txt از همین شناخت شروع میشود؛ پیچیدگی نام فایل نباید جای توضیح ساده کارکرد آن را بگیرد.
بخش User-agent مشخص میکند قواعد گروه برای چه توکنی نوشته شدهاند. واژه «هوش مصنوعی» در توضیح یک افزونه یا در عنوان یادداشت داخلی، این تطبیق را انجام نمیدهد. برای محدود کردن یک کراولر واقعی، نامی لازم است که مستندات همان سرویس معرفی کردهاند. توکن ساختگی ممکن است ظاهر فایل را منظم نشان دهد، ولی اگر هیچ کراولر مرتبطی آن را به خود نسبت ندهد، محدودیت مورد انتظار شکل نمیگیرد.
نمونه فرضی دیگری را در نظر بگیریم: مدیر سایت نام محصول را میشناسد و همان را در User-agent مینویسد، درحالیکه سرویس برای کراولرش توکن دیگری دارد. مشکل اینجا غلط املایی ساده نیست؛ دو شناسه متفاوت به جای هم قرار گرفتهاند. حتی اگر متن تنظیم از نظر نگارشی درست باشد، مخاطب فنی آن مشخص نشده است. به همین دلیل نام تجاری، نام ابزار و توکن کراولر را نمیتوان بدون مراجعه به مستندات یکی دانست.
از سوی دیگر، وجود گروه عمومی با علامت ستاره به معنی آن نیست که هر گروه اختصاصی حتما همان قواعد را به ارث میبرد. استاندارد برای انتخاب گروه مرتبط قاعده دارد. افزودن چند خط در انتهای فایلی که قبلا گروههای مختلف دارد، ممکن است نتیجهای متفاوت از انتظار ایجاد کند. مثال آموزشی کوتاه برای فهم یک قابلیت مفید است، اما نسخه آماده جایگزینی کل فایل یک سایت محسوب نمیشود؛ ساختار موجود در نتیجه نهایی نقش دارد.
در قواعد مسیر، شباهت ظاهری همیشه به معنای دامنه یکسان نیست. مثلا پیشوندی که بدون اسلش پایانی نوشته شده، میتواند نشانیهایی را هم دربر بگیرد که پس از نام بخش، ادامه دیگری دارند. در مقابل، پیشوند دارای اسلش پایانی به همان بخش محدود میشود. اگر هدف فقط پوشه گزارشها باشد، این تفاوت کوچک اهمیت پیدا میکند. یک محدودیت کلی ممکن است ناخواسته صفحهای را شامل شود که نامش با همان حروف شروع شده ولی به دسته دیگری تعلق دارد.
فرض کنیم در یک سایت آموزشی، مقالههای یک بخش زیر مسیر گزارشها قرار گرفتهاند و صفحه معرفی یک ابزار نیز نامی دارد که با همان حروف شروع میشود. انتخاب پیشوند بدون اسلش پایانی ممکن است موضوعی فراتر از پوشه مورد نظر را هدف بگیرد. این نمونه ساختگی فقط برای توضیح تطبیق پیشوند است؛ درباره ساختار واقعی یک سایت ادعایی ندارد. در هر سایت، نمونههای داخل و خارج از محدوده، معنای قاعده انتخابشده را بهتر از خواندن نام پوشه روشن میکنند.
استفاده از علامتهای ویژه هم به شناخت کارکردشان نیاز دارد. علامت ستاره و علامت پایان مسیر، تزیین قاعده نیستند و نباید صرفا برای شبیه شدن تنظیم به یک نمونه اینترنتی اضافه شوند. هرچه قاعده پیچیدهتر شود، توضیح مواردی که شامل آن میشوند مهمتر است. گاهی یک پیشوند ساده و درست، نیاز را دقیقتر از الگویی پاسخ میدهد که چند نشانه ویژه دارد و نویسنده آن درباره دامنه تطبیقش مطمئن نیست.
قرار گرفتن Google-Extended در robots.txt به تفاوت استاندارد عمومی و تعریف اختصاصی یک سرویس مربوط است. قالب فایل میتواند جایی برای اعلام یک کنترل شناختهشده باشد، بدون آنکه تمام معنای آن کنترل در قواعد پایه RFC 9309 تعریف شده باشد. خود استاندارد هم امکان تفسیر رکوردهای خارج از دامنه اصلی را برای کراولرها در نظر گرفته است. در نتیجه، توضیح هر کنترل باید هم قالب فایل و هم تعریفی را که دریافتکننده پشتیبانی میکند در نظر بگیرد.
در مورد Google-Extended، معنای کنترل را مستندات گوگل تعیین میکند. این توکن برای کاربردهای معینی از محتوای دریافتشده در محصولات نامبرده Gemini و Vertex AI معرفی شده است. بنابراین عبارت «robots.txt استفاده بعدی را کنترل نمیکند» اگر بدون توضیح این لایه اختصاصی بیان شود، میتواند ناقص به نظر برسد. صورت دقیقتر آن است که قواعد پایه استاندارد، اجازه عمومی همه استفادههای بعدی را تعریف نمیکنند؛ کنترل محصول باید جداگانه شناخته شود.
این کنترل را میتوان برای مسیرهای انتخابشده یا تمام سایت تعریف کرد؛ محدوده انتخابشده باید با تصمیم ناشر هماهنگ باشد. تنظیم این توکن در کنار قواعد موجود سایت بررسی میشود و معنای آن به Google-Extended مربوط است و نباید عنوان «مسدودسازی همه هوشهای مصنوعی» بگیرد. گوگل برای این توکن User-Agent مستقل در درخواستهای HTTP تعریف نکرده است. بنابراین انتظار مشاهده رباتی با همین نام در لاگ، مبنای مناسبی برای ارزیابی تنظیم نیست. دریافت محتوا با User-Agentهای موجود گوگل انجام میشود و این توکن نقش کنترلی دارد.
فرض کنیم سایتی فقط گروه Google-Extended را مطابق سیاستش تنظیم کرده است و بعد در لاگ، درخواست Googlebot میبیند. از این مشاهده نمیتوان نتیجه گرفت تنظیم نادیده گرفته شده است. حضور سایت در جستوجو هنوز میتواند هدف ناشر باشد و Googlebot برای همان فرایند به صفحه دسترسی داشته باشد. در این وضعیت، مدیر سایت با دو نام مرتبط با یک شرکت روبهروست، اما این دو نام کارکرد یکسانی ندارند.
البته ادامه درخواستها هم بهتنهایی اثبات نمیکند همه چیز درست است. مسئله این است که شاهد انتخابشده، پاسخ مستقیمی به پرسش استفاده آموزشی نمیدهد. برای بررسی یک خطای احتمالی، ابتدا همان ادعای مشخص لازم است. مثلا اگر گروه اشتباهی منتشر شده، میتوان متن فایل را دید. اگر هدف مسدود کردن کراول Googlebot بوده، موضوع دیگری مطرح است. نسبت دادن هر مشاهده به هر کنترل، تشخیص را از مسیر اصلی خارج میکند.
در گزارش فنی، جمله دقیق میتواند بسیار ساده باشد: «دسترسی Googlebot برای جستوجو تغییر نکرده و گروه Google-Extended برای کاربردهای تحت پوشش آن تنظیم شده است.» این بیان، نتیجهای درباره پاک شدن اطلاعات قدیمی یا رفتار شرکتهای دیگر نمیسازد. مزیت آن برای مخاطب غیرفنی هم روشن است؛ میفهمد چرا دیدن درخواست گوگل با سیاست اعلامشده سایت تناقض ضروری ندارد. اصطلاحات تخصصی وقتی به این ترتیب توضیح داده شوند، ابهام را کم میکنند.
یکی از خطاهای قدیمی robots.txt در بحث هوش مصنوعی دوباره ظاهر میشود: صفحه را Disallow میکنند و انتظار دارند نشانی آن از گوگل حذف شود. اما جلوگیری از خواندن صفحه، دستور مستقیم حذف آن از نتایج نیست. گوگل ممکن است نشانی را از مسیر دیگری بشناسد، حتی اگر اجازه دریافت محتوای آن را نداشته باشد. پس «کراول نمیشود» و «در نتایج وجود ندارد» توصیف یک وضعیت واحد نیستند.
اگر هدف استفاده از noindex باشد، یک نکته مهم دیگر هم وجود دارد. گوگل برای دیدن این دستور در متای صفحه یا هدر پاسخ، به دسترسی لازم احتیاج دارد. بستن همان نشانی در robots.txt میتواند مانع دیدن دستور شود. در نتیجه، ترکیب دو تنظیم ظاهرا سختگیرانه ممکن است هدف مورد انتظار را برآورده نکند. این نمونه نشان میدهد بیشتر کردن تعداد محدودیتها، همیشه به معنای دقیقتر شدن کنترل نیست؛ رابطه آنها با هم اهمیت دارد.
برای یک مقاله عمومی، پیش از انتخاب هرکدام از این راهها باید هدف تغییر روشن باشد. حذف از نتایج جستوجو ممکن است برای صفحه خاصی تصمیم درست باشد، اما پاسخ پیشفرض به نگرانی درباره آموزش مدل نیست. اگر مسئله فقط کاربرد محتوای دریافتشده در یک سرویس معین باشد، خارج کردن مقاله از جستوجو موضوع بزرگتری را تغییر میدهد. توضیح فنی خوب، همین تفاوت را در لحظه انتخاب ابزار روشن میکند.
بخش دیگری از توضیح گوگل به مسیرهای غیرانگلیسی مربوط است. برای مسیر دارای حروف فارسی یا ایموجی، استفاده از شکل percent-encoded در قواعد میتواند سازگاری با کراولرها و ابزارهای دیگر را بهتر کند. گوگل توضیح داده که پردازشگر خودش شکل خام UTF-8 و شکل درصدی متناظر را مدیریت میکند. توصیه به کدگذاری از همین تفاوت پشتیبانی میان سامانهها میآید؛ به معنی نامعتبر بودن همه مسیرهای فارسی نیست.
در این تبدیل، نمایش کاراکترهای مسیر تغییر میکند و هدف همچنان همان بخش است. تبدیل نباید بیدلیل کل نشانی، اسلشهای ساختاری یا بخش دیگری را دربر بگیرد. همینطور تحویل رشته از قبل کدگذاریشده به ابزاری که دوباره آن را کدگذاری میکند، میتواند مقدار متفاوتی بسازد. نتیجه نهایی قاعده باید با مسیر مورد نظر مقایسه شود. ظاهر درصددار خروجی، بهتنهایی ثابت نمیکند که تبدیل درست انجام شده است.
این توصیه مجوز تغییر گسترده URLهای فارسی سایت نیست. موضوع مثال فعلی، نحوه نوشتن قاعده در robots.txt است. انتقال بحث از یک خط فایل به تغییر تمام نشانیهای منتشرشده، دامنه کار را عوض میکند و به تصمیم جداگانه نیاز دارد. برای سایتی که نشانیهایش درست کار میکنند، اصلاح یک قاعده نباید بیدلیل به پروژه مهاجرت URL تبدیل شود. دقت در محدوده، هم خطای اجرا را کم میکند و هم توضیح خبر را روشن نگه میدارد.
نوشتن یک دستور نامعتبر معمولا پیام خطای آشکاری برای بازدیدکننده ایجاد نمیکند. سایت همچنان باز میشود و فایل هم قابل مشاهده است؛ به همین دلیل، مدیر ممکن است از روی ظاهر نتیجه بگیرد دستور پذیرفته شده است. اما قابل دانلود بودن فایل با شناخته شدن تمام خطوط آن فرق دارد. گوگل اعلام میکند خطوط نامعتبر را نادیده میگیرد. برای رکوردهای اضافی هم رفتار هر دریافتکننده به پشتیبانی و تعریف خودش وابسته است.

در یک نمونه فرضی، افزونهای گزینهای با عنوان «ممانعت از آموزش هوش مصنوعی» نمایش میدهد. این عنوان بهتنهایی برای فهم کارکرد کافی نیست. ممکن است افزونه فهرستی از کراولرها را محدود کند، توکن مشخص یک سرویس را بنویسد یا متنی فاقد پشتیبانی عمومی اضافه کند. هر سه از نظر ظاهر پنل میتوانند شبیه باشند، اما نتیجه یکسانی ندارند. توضیح فنی آن قابلیت باید معلوم کند دقیقا چه چیزی در خروجی سایت تغییر میکند.
همچنین توضیح یک خط در comment فایل، برای انسان مفید است و میتواند دلیل تصمیم را حفظ کند، ولی دستور تازهای برای کراولر نمیسازد. عبارت «گزارش اختصاصی» کنار یک قاعده، زمینه مدیریتی آن را روشن میکند؛ رفتار ماشینی همچنان از بخش معتبر قاعده میآید. جدا کردن توضیح انسانی از دستور اجرایی، مانع این تصور میشود که هر متن صریحی در فایل، الزام فنی هم ایجاد کرده است.
پیشنویس IETF با نام Content-Usage در پی فراهم کردن روشی برای همراه کردن ترجیحات استفاده با محتواست. در آن، هم کاربردی در robots.txt و هم هدر HTTP مطرح شده است. نمونهای مانند train-ai=n بیان ترجیح درباره آموزش را نشان میدهد. اما این سند در وضعیت پیشنویس قرار دارد و نباید مثال آن را استاندارد نهایی و پشتیبانیشده در سراسر وب معرفی کرد. نوشتن دستور و پذیرش آن، همچنان دو واقعیت جدا هستند.
اهمیت این مسیر برای ناشر فنی روشن است: میتواند در آینده فاصله میان بیان سیاست و دریافت ماشینی آن را کمتر کند. ولی تا زمان بررسی پشتیبانی واقعی، کپی کردن نمونه پیشنویس در فایل سایت مجوز ادعای اجرای سراسری نمیدهد. همین تفاوت درباره هر کنترل جدید نیز برقرار است. نام جذاب یک قابلیت، یا حضور آن در بحثهای استانداردسازی، جای مستندات پشتیبانی سرویس مورد نظر را نمیگیرد و نتیجه محصول را ثابت نمیکند.
در عمل، یک robots.txt درست لزوما طولانی نیست. ممکن است چند گروه روشن، با هدفهای محدود و قابل توضیح، تمام نیاز فعلی سایت را پوشش دهند. آنچه اهمیت دارد رابطه هر گروه با کراولر یا کنترل شناختهشده و مسیر درست است. وقتی این رابطه روشن باشد، مدیر سایت میتواند درباره دسترسی و کاربرد محتوا دقیق حرف بزند؛ بدون اینکه از یک قاعده کراول، وعدهای درباره حذف اطلاعات قدیمی، محرمانگی فایلها یا رفتار تمام مدلهای هوش مصنوعی بسازد.
تهیه شده توسط تیم تخصصی سئو سید احسان خسروی (مدیر، متخصص و مشاور استراتژیک سئو)