هوش مصنوعی در روز ۳۰ اکتبر ۲۰۲۶ یک گام عملی به سوی احترام به انتخاب صاحبان محتوا برداشت. چهار شرکت بزرگ اوپنایآی، گوگل، مایکروسافت و آنتروپیک اعلام کردند که از یک سیگنال مشترک در فایل robots.txt پشتیبانی میکنند؛ سیگنالی که به صاحبان وبسایتها اجازه میدهد با یک دستور واحد اعلام کنند محتوای آنها برای آموزش مدلهای مولد استفاده نشود. تا پیش از این، صاحب یک سایت برای همین کار باید برای هر شرکت و حتی برای هر خزنده آن شرکت، یک ورودی جداگانه مینوشت. این خبر برای همه کسانی که محتوا تولید میکنند، سایت دارند یا با داده در کسبوکارشان سر و کار دارند، یک مهارت تازه و کاربردی میسازد: یادگیری حکمرانی داده در عصر هوش مصنوعی.
بیشتر وبسایتها یک فایل متنی کوچک به نام robots.txt دارند که به خزندهها میگوید به کدام بخشهای سایت سر بزنند و به کدام بخشها سر نزنند. این فایل سالها ابزار مدیریت رابطه سایتها با موتورهای جستجو بود، اما حالا به ابزار تنظیم رابطه با خزندههای جمعآوری داده آموزشی هم تبدیل شده است. سیگنال تازه، که در پیشنویس ارسالی به نهاد مهندسی اینترنت با نام usage-ai-training معرفی شده است، قرار است همین کار را ساده کند: یک ورودی واحد در robots.txt که همه شرکتهای پشتیبانیکننده آن را به یک معنا بخوانند؛ یعنی این محتوا برای آموزش مدلهای مولد به کار نرود. نکته مهم این است که این سیگنال فقط آموزش مدلهای مولد را هدف میگیرد و شامل مدلهایی نمیشود که صرفا کارهای غیرمولد انجام میدهند. همچنین این سیگنال خزش عمومی سایت را به طور کامل مسدود نمیکند و به معنای پنهان شدن از موتور جستجو نیست.
سالهای گذشته، بحث استفاده از محتوای منتشرشده در وب برای آموزش مدلها به یکی از پرتنشترین موضوعهای دنیای هوش مصنوعی تبدیل شد. ناشران میگفتند محتوای آنها بدون اجازه و بدون پرداخت، خوراک آموزش مدلها شده است و چند پرونده حقوقی بزرگ هم از همین اختلاف شکل گرفت. برای صاحب یک رسانه، یک فروشگاه اینترنتی یا یک وبلاگ آموزشی، این سیگنال یعنی امکان اعلام شفاف انتخاب، بدون نیاز به نوشتن فهرستی طولانی از دستورها برای هر شرکت. برای کسبوکارها هم یعنی یک لایه تازه در مدیریت دارایی دیجیتال: همانطور که برند، قیمت و دسترسی به محتوا مدیریت میشود، سرنوشت محتوا در چرخه آموزش هوش مصنوعی هم باید مدیریت شود. کسی که این مهارت را زودتر یاد بگیرد، در مذاکره با ناشران، مشتریان و شرکای فناورانه، یک قدم جلوتر است.
اگر میخواهید این موضوع را اصولی یاد بگیرید، این ترتیب پیشنهاد میشود. گام اول، آشنایی با خود فایل robots.txt و پروتکل محرومیت رباتها است؛ اینکه این فایل کجای سایت قرار میگیرد، ساختار دستورهای آن چگونه است و خزندهها چگونه آن را میخوانند. گام دوم، تفکیک سه کاربرد متفاوت خزش است: خزش برای جستجو، خزش برای آموزش مدل و خزش برای پاسخدهی زمینهای، یعنی وقتی مدل برای پاسخ به پرسش کاربر به یک صفحه سر میزند. مایکروسافت برای همین کاربرد سوم، تنظیمی جداگانه با نام AI Grounding معرفی کرده است و این تفاوت را باید از سیگنال آموزش جدا دانست. گام سوم، کار با ابزارهای بررسی و اعتبارسنجی robots.txt است تا بتوانید بفهمید دستور شما درست نوشته شده و خزندهها آن را چگونه تفسیر میکنند. گام چهارم، یادگیری مبانی حکمرانی داده است؛ یعنی سیاستگذاری برای داده، ثبت تصمیمها، تعیین مسئول تصمیم و بازبینی دورهای سیاست. گام پنجم، تمرین روی یک سایت آزمایشی است: یک فایل robots.txt بنویسید، سیگنال تازه را به آن اضافه کنید و نتیجه را با ابزار اعتبارسنجی بسنجید.
برای بهکارگیری این ترند در کار روزمره، پنج گام عملی را دنبال کنید. نخست، تصمیم بگیرید: کدام بخش از محتوای شما برای آموزش مدلها مجاز است و کدام بخش نیست؛ این تصمیم تجاری و حقوقی است، نه فنی. دوم، فایل robots.txt فعلی سایت خود را بازبینی کنید و دستورهای قدیمی مربوط به هر خزنده را فهرست کنید. سوم، سیگنال مشترک تازه را به فایل اضافه کنید، اما دستورهای قبلی را فعلا حذف نکنید، چون زمان اجرای این سیگنال در شرکتها یکسان نیست؛ بر اساس گزارشهای منتشرشده، آنتروپیک اجرای آن را آغاز کرده است، مایکروسافت از اول فوریه ۲۰۲۷ و گوگل در سال ۲۰۲۷ آن را پیاده میکند و اوپنایآی پشتیبانی از آن را در ماههای آینده اضافه خواهد کرد. چهارم، اگر از خدمات مایکروسافت استفاده میکنید، تنظیم جداگانه پاسخدهی زمینهای را هم بررسی کنید تا انتخاب شما در هر دو کاربرد، آموزش و پاسخدهی، روشن باشد. پنجم، سیاست خود را در یک سند کوتاه بنویسید و هر چند ماه یک بار بازبینی کنید؛ چون این استاندارد هنوز در مرحله پیشنویس است و جزئیات آن ممکن است تغییر کند. یک هشدار مهم را هم فراموش نکنید: این سیگنال فقط آموزشهای آینده را شامل میشود و محتوایی را که پیشتر جمعآوری شده است، پس نمیگیرد.
متا از ایده این سیگنال استقبال کرده اما هنوز به اجرای آن متعهد نشده است و جزئیات فنی پیشنویس هم در دست بررسی است. با این حال، جهت حرکت روشن است: دنیای هوش مصنوعی از مرحلهای که در آن محتوا بیصدا جمعآوری میشد، به مرحلهای میرسد که در آن انتخاب صاحب محتوا، خوانا برای ماشین و قابل اجرا خواهد بود. کسی که امروز robots.txt، سیگنالهای آموزشی و حکمرانی داده را بلد باشد، فردا در طراحی سیاست محتوایی سازمانها نقش خواهد داشت.
بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش