
در ژوئیه ۲۰۲۶، اتفاق عجیبی در یکی از آزمایشهای امنیتی OpenAI رخ داد. مجموعهای از ایجنتهای هوش مصنوعی که قرار بود در محیطهای جداگانه توانایی خود را برای شناسایی آسیبپذیریهای نرمافزاری نشان دهند، راهی برای ارتباط با یکدیگر پیدا کردند. آنها شروع به تبادل اطلاعات کردند و بخشی از فعالیتشان به تلاش برای دستکاری سازوکار ارزیابی و نفوذ به زیرساخت واقعی Hugging Face رسید.
طبق بررسی مستقل سازمان METR، حدود ۱۲۰۰ ایجنت در این ارتباطات غیرمجاز مشارکت داشتند و حدود ۷۰۰ ایجنت در فعالیتهای مرتبط با حمله به Hugging Face نقش ایفا کردند. گزارش فنی Hugging Face نیز نشان میدهد این فعالیتها از یک آزمایش محدود فراتر رفت و به دسترسی غیرمجاز به برخی سامانههای واقعی منجر شد.
نکته مهم این است که ایجنتها مأموریتی برای حمله به Hugging Face نداشتند. قرار بود در یک آزمون امنیتی عملکرد خوبی داشته باشند؛ اما بعضی از آنها بهجای حل مسئله در چارچوب تعیینشده، راههایی برای دور زدن آزمون جستوجو کردند.
این اتفاق به معنای ظهور هوش مصنوعی خودآگاه یا شورش ماشینها نبود. ایجنتها هدفی را دنبال میکردند که انسانها برایشان تعریف کرده بودند و بخشی از آنچه رخ داد، حاصل ضعف در طراحی و جداسازی محیطهای آزمایشی بود.
بااینحال، ماجرا یک مسئله مهم را آشکار کرد: هرچه توانایی ایجنتهای هوش مصنوعی برای برنامهریزی، استفاده از ابزار و انجام اقدامات مستقل بیشتر میشود، اطمینان از اینکه آنها فقط همان کاری را انجام میدهند که از آنها خواسته شده دشوارتر خواهد شد.
چند هفته بعد، داریو آمودی، مدیرعامل آنتروپیک، از همین اتفاق برای طرح پرسشی بزرگتر استفاده کرد: «آیا صنعت هوش مصنوعی با سرعتی پیش میرود که دیگر فرصت کافی برای شناخت و کنترل محصولات خودش ندارد؟»
در سپتامبر ۲۰۲۶، آمودی یادداشتی با عنوان «We Must Pace the Frontier» منتشر کرد و خواستار هماهنگ کردن سرعت توسعه مدلهای پیشرفته با پیشرفت روشهای ایمنی شد.
او هشدار داد که توانایی هوش مصنوعی برای مشارکت در توسعه نسلهای بعدی خود، ممکن است چرخه پیشرفت این فناوری را بهشدت تسریع کند. به اعتقاد او، اگر این روند بدون تدابیر حفاظتی کافی ادامه پیدا کند، ایجنتهای پیشرفته ممکن است در آینده نزدیک توان انجام حملات سایبری گستردهای را به دست آورند.
آمودی حتی سناریویی را مطرح میکند که در آن، مجموعهای از ایجنتهای هوش مصنوعی ظرف شش تا دوازده ماه آینده به توانایی تسلط بر بخشهای بزرگی از زیرساخت اینترنت از طریق شبکهای از دستگاههای آلوده دست پیدا کنند.
این بخش از ادعای او را باید با احتیاط خواند. حادثه OpenAI و Hugging Face نشان داده است که ایجنتهای هوش مصنوعی میتوانند از مرزهای پیشبینیشده عبور کنند. اما فاصله زیادی میان نفوذ به چند سامانه در یک آزمایش ناموفق و توانایی تسلط بر اینترنت وجود دارد. گزارشهای فنی منتشرشده، چنین توانایی گستردهای را اثبات نمیکنند.
بااینحال، هشدار آمودی را نمیتوان صرفاً به دلیل نامطمئن بودن پیشبینی زمانیاش کنار گذاشت.
در مسائل امنیتی، گاهی مسئله اصلی پیشبینی دقیق زمان وقوع یک حادثه نیست؛ بلکه شناخت شرایطی است که میتوانند احتمال یا شدت آن را افزایش دهند. ما برای استفاده از کمربند ایمنی منتظر نمیمانیم تا زمان تصادف بعدی مشخص شود.
البته این قیاس یک تفاوت مهم را پنهان نمیکند:
درباره کمربند ایمنی، شواهد تجربی گستردهای داریم. درباره خطرهای ناشی از ایجنتهای بسیار پیشرفته هوش مصنوعی، هنوز با عدمقطعیتهای بزرگی مواجهیم.
همین عدمقطعیت، سیاستگذاری را دشوار کرده است.
در ظاهر، درخواست آمودی ساده است: کمی آهستهتر پیش برویم تا بتوانیم فناوری را بهتر کنترل کنیم.
اما مسئلهای که او مطرح میکند، سابقهای طولانی در اقتصاد و مدیریت دارد. فرض کنیم چند شرکت در بازاری فعالیت میکنند که برنده شدن در آن، دسترسی به منابع مالی بیشتر، جذب بهترین متخصصان و تصاحب سهم بزرگتری از آینده بازار را به همراه دارد.
هر شرکتی ممکن است بهتنهایی بداند که افزایش سرعت توسعه، بدون سرمایهگذاری کافی در ایمنی، خطرناک است. بااینحال، اگر یکی از رقبا سرعت خود را کاهش دهد و دیگران چنین نکنند، ممکن است موقعیت اقتصادی و فناورانهاش را از دست بدهد.
در چنین شرایطی، حتی مدیرانی که واقعاً نگران پیامدهای فناوری هستند، ممکن است به تصمیمهایی برسند که در مجموع خطر را افزایش میدهد.
اقتصاددانان چنین وضعیتهایی را در چارچوب مسئله کنش جمعی و تعارض میان منافع فردی و جمعی بررسی میکنند. به همین دلیل، بحث ایمنی هوش مصنوعی را نمیتوان صرفاً به مسئولیتپذیری شخصی مدیران تقلیل داد.
اگر ساختار رقابت به شرکتها برای عرضه سریعتر محصولات پاداش بدهد، توصیه به احتیاط تا زمانی اثرگذار است که هزینه بیاحتیاطی نیز واقعی باشد.
آمودی این مشکل را میشناسد و برای همین، پیشنهادش به یک تعهد اخلاقی محدود نمیشود. او خواستار همکاری شرکتها، حضور ارزیابان بیرونی و مشارکت دولتها در تعیین قواعد مشترک شده است.
بااینحال، پیشنهاد او پرسش دشوارتری ایجاد میکند: «چه کسی باید این قواعد را بنویسد؟»
یکی از مهمترین بخشهای پیشنهاد آمودی، استقرار دائمی ارزیابان مستقل در شرکتهای سازنده مدلهای پیشرفته است.
این ارزیابان باید به اطلاعات داخلی، فرایندهای آموزش مدلها، گزارشهای مربوط به خطرات و تصمیمهای مؤثر بر ایمنی دسترسی داشته باشند. آمودی حتی از فراهم کردن فضای کاری، تجهیزات و سطح دسترسی مشابه کارکنان داخلی برای آنها صحبت میکند.
در ۱۸ سپتامبر، آنتروپیک نخستین گام عملی را برداشت و همکاری خود با Accenture را در این زمینه اعلام کرد.
شرکت همچنین خبر داد که آنتروپیک و Accenture هرکدام انتظار دارند طی پنج سال آینده دستکم یک میلیارد دلار برای ایجاد ظرفیت در این حوزه سرمایهگذاری کنند.
این اقدام را باید جدی گرفت. دسترسی مستمر ناظران بیرونی به فرایندهای داخلی شرکتها میتواند شفافیت بیشتری ایجاد کند و امکان شناسایی مشکلات را پیش از انتشار محصولات افزایش دهد.
اما دسترسی به اطلاعات، تنها یکی از شرایط استقلال است. آنتروپیک در اعلامیه همکاری خود صریحاً توضیح میدهد که هنوز استاندارد مشترکی برای حدود دسترسی ارزیابان، شیوه انتشار یافتهها و تأمین مالی آنها وجود ندارد. این شرکت فعلاً هزینه فعالیت Accenture را مستقیماً پرداخت میکند.
وقتی شرکتی هزینه ارزیابی عملکرد خودش را میپردازد، استقلال ناظر چگونه تضمین میشود؟
در اینجا با یک تعارض منافع بالقوه مواجهیم. وقتی شرکتی هزینه ارزیابی عملکرد خودش را میپردازد، استقلال ناظر چگونه تضمین میشود؟ اگر گزارش نهایی حاوی یافتههایی باشد که انتشار محصولی چندمیلیارددلاری را به تأخیر بیندازد، چه کسی درباره انتشار گزارش تصمیم میگیرد؟ آیا ناظر فقط مجاز است هشدار بدهد یا میتواند باعث توقف عرضه یک مدل شود؟
این پرسشها به معنای بیاعتبار بودن همکاری آنتروپیک و Accenture نیستند. اما نشان میدهند نظارت مستقل، بیش از آنکه مسئله دسترسی فنی باشد، مسئله اختیار، شفافیت و پاسخگویی است.
بدون این مؤلفهها، ممکن است نهاد ارزیاب به بخشی از فرایند تأیید اعتبار شرکت تبدیل شود؛ نهادی که حضورش اعتماد عمومی ایجاد میکند، اما توان کافی برای جلوگیری از تصمیمهای پرخطر ندارد.
همزمان با افزایش هشدارها درباره خطرهای هوش مصنوعی، گروهی از منتقدان به انگیزه شرکتهای بزرگ تردید کردهاند.
تیمنیت گبرو، پژوهشگر شناختهشده اخلاق هوش مصنوعی، در گفتوگویی با وایرد استدلال میکند که تأکید بر سناریوهای فاجعهبار آینده میتواند توجه افکار عمومی را از آسیبهای فعلی این صنعت منحرف کند.
مسائلی مانند استفاده از دادهها بدون رضایت صاحبان آنها، حقوق تولیدکنندگان محتوا، شرایط نیروی کار، مصرف منابع و تمرکز قدرت اقتصادی، هماکنون وجود دارند. از نگاه گبرو، وقتی تمام بحث عمومی به احتمال نابودی بشر به دست هوش مصنوعی معطوف میشود، این مسائل ملموستر ممکن است به حاشیه بروند.
سرمقاله واشنگتنپست در ۱۵ سپتامبر نقد متفاوتی مطرح میکند. این روزنامه میپرسد اگر مدیران شرکتهای بزرگ واقعاً معتقدند توسعه محصولاتشان خطرناک شده است، چرا خودشان سرعت آن را کاهش نمیدهند؟
واشنگتنپست همچنین هشدار میدهد که مشارکت شرکتهای پیشرو در طراحی استانداردهای نظارتی و درخواست تسهیل هماهنگی میان رقبا، ممکن است به تقویت موقعیت همان شرکتها و دشوارتر شدن ورود بازیگران جدید منجر شود.
این نگرانی را نباید نادیده گرفت. مقرراتگذاری میتواند از منافع عمومی محافظت کند، اما اگر استانداردها عملاً به دست شرکتهای مسلط طراحی شوند، احتمال دارد به مانعی برای رقابت نیز تبدیل شوند؛ بهویژه اگر رعایت آنها به منابع مالی و زیرساختهایی نیاز داشته باشد که فقط چند شرکت بزرگ در اختیار دارند.
بااینحال، نتیجه گرفتن اینکه تمام هشدارهای صنعت صرفاً یک عملیات روابط عمومی هستند، سادهسازی مسئله است.
اریک لویتز، خبرنگار ارشد ووکس در تحلیلی که ۹ اکتبر در همین رسانه منتشر شد، استدلال میکند که بسیاری از مدیران و پژوهشگران این شرکتها احتمالاً واقعاً به خطرات فناوری اعتقاد دارند و شواهد افزایش توانایی ایجنتهای هوش مصنوعی نیز دلیلی برای جدی گرفتن نگرانی آنهاست.
به نظرم در اینجا باید دو پرسش را از یکدیگر جدا کنیم.
نخست اینکه آیا نگرانی سازندگان هوش مصنوعی واقعی است؟
دوم اینکه آیا راهحلهای پیشنهادی آنها الزاماً به نفع جامعه خواهد بود؟
پاسخ مثبت به پرسش اول، به معنای پاسخ مثبت به پرسش دوم نیست.
اریک لویتز، خبرنگار ارشد Vox: «بسیاری از مدیران و پژوهشگران این شرکتها احتمالاً واقعاً به خطرات فناوری اعتقاد دارند و شواهد افزایش توانایی ایجنتهای هوش مصنوعی نیز دلیلی برای جدی گرفتن نگرانی آنهاست.»
یک مدیر میتواند صادقانه نگران خطرات فناوری باشد و در عین حال، راهحلی پیشنهاد کند که به حفظ مزیت رقابتی شرکت خودش نیز کمک میکند. این دو وضعیت لزوماً متناقض نیستند.
وظیفه روزنامهنگاری و سیاستگذاری، تشخیص همین تفاوتهاست؛ بدون آنکه به خوشبینی سادهلوحانه یا بدبینی توطئهمحور پناه ببریم.
بحث درباره سرعت توسعه هوش مصنوعی معمولاً به دو موضع تقلیل پیدا میکند: ادامه شتاب کنونی یا کند کردن روند پیشرفت.
اما گزینههای دیگری نیز وجود دارد.
بنجامین ینسن و یاسر آتالان، دو پژوهشگر CSIS، در یادداشتی با عنوان «Don't Slow Down AI Development—Speed Up Benchmarking» استدلال میکنند که پاسخ مناسب، سرمایهگذاری گستردهتر در ارزیابی مستقل، پژوهش ایمنی و ایجاد معیارهای عمومی برای سنجش عملکرد مدلهاست.
از نگاه آنها، توقف یا کاهش عمومی سرعت توسعه میتواند برخی فرصتهای علمی و اقتصادی را به تعویق بیندازد، بدون اینکه لزوماً مسئله ایمنی را حل کند. در مقابل، تقویت نهادهای ارزیابی و توسعه ابزارهای سنجش میتواند ظرفیت جامعه برای مواجهه با مدلهای پیشرفته را افزایش دهد.
این استدلال قابلتوجه است، اما یک محدودیت دارد.
همان حادثه OpenAI و Hugging Face نشان داد که مدلهای پیشرفته ممکن است بتوانند خودِ سازوکارهای ارزیابی را شناسایی کنند و برای کسب نتیجه بهتر، آنها را دور بزنند.
بنابراین، افزایش تعداد آزمونها بهتنهایی کافی نیست. باید آزمونهایی طراحی شوند که در برابر دستکاری مقاومتر باشند، رفتار مدلها را در شرایط واقعیتر بررسی کنند و صرفاً به یک نمره نهایی وابسته نباشند.
در کنار ارزیابی توانایی مدل، امنیت محیط اجرای آن نیز اهمیت دارد. محدود کردن دسترسیهای غیرضروری، جداسازی مؤثر محیطهای آزمایشی، نظارت مستمر بر اقدامات ایجنتها و ثبت و گزارش حوادث، راهکارهایی هستند که گزارش فنی Hugging Face نیز بر اهمیت آنها تأکید میکند.
نکته قابلتوجه این است که آنتروپیک هم پس از بررسی بیش از ۱۴۱ هزار اجرای آزمایشی امنیت سایبری خود، از شناسایی سه حادثه مرتبط با دسترسی غیرمجاز به سامانههای واقعی خبر داده است. توضیح شرکت نشان میدهد این موارد تا حد زیادی به پیکربندی نادرست و دسترسی ناخواسته به اینترنت مربوط بودهاند.
در نتیجه، ایمنی هوش مصنوعی فقط به این پرسش مربوط نمیشود که مدل چه قصدی دارد یا چگونه تصمیم میگیرد. باید پرسید چه امکاناتی در اختیار دارد، چه محدودیتهایی بر عملکردش اعمال شده، چه کسی بر اقداماتش نظارت میکند و اگر از محدوده مجاز خارج شد، چه سازوکاری برای متوقف کردنش وجود دارد.
اینها پرسشهایی فنیاند، اما پاسخ نهایی به آنها صرفاً فنی نیست.
یکی از مهمترین ابعاد پیشنهاد داریو آمودی، ارتباط آن با رقابت فناورانه آمریکا و چین است؛ موضوعی که در نگاه اول ممکن است زیر سایه هشدارهای او درباره خطرات هوش مصنوعی قرار بگیرد.
آمودی در یادداشت خود صریحاً استدلال میکند که کاهش سرعت توسعه هوش مصنوعی در کشورهای دموکراتیک، نباید باعث از دست رفتن برتری آنها در برابر چین شود. او معتقد است پیشرفت چین در این حوزه میتواند پیامدهای خطرناکی برای امنیت آمریکا و متحدانش داشته باشد و از همین رو، حفظ فاصله فناورانه میان دو کشور را یکی از پیششرطهای کاهش ایمن سرعت توسعه هوش مصنوعی میداند.
آمودی، مدیر عامل آنتروپیک: «کاهش سرعت توسعه هوش مصنوعی در کشورهای دموکراتیک، نباید باعث از دست رفتن برتری آنها در برابر چین شود.»
پیشنهاد او صرفاً به توافقهای بینالمللی محدود نیست. آمودی خواستار تداوم محدودیت صادرات تراشههای پیشرفته و تجهیزات ساخت نیمهرسانا به چین، مقابله با انتقال غیرمجاز فناوری و جلوگیری از استخراج توانایی مدلهای آمریکایی توسط کمپانیهای چینی است. او حتی معتقد است چنین اقداماتی میتوانند طی سه تا پنج سال آینده فاصله آمریکا با چین را افزایش دهند.
این موضعگیری جدیدی نیست. آنتروپیک در می ۲۰۲۶ نیز گزارشی با عنوان «دو سناریو برای رهبری جهانی هوش مصنوعی در سال ۲۰۲۸» منتشر کرده بود که در آن، حفظ برتری آمریکا و متحدانش بر چین، هدفی راهبردی معرفی شده بود.
بنابراین، دستکم در مواضع اعلامشده آنتروپیک، دو هدف به یکدیگر گره خوردهاند: کاهش خطرات هوش مصنوعی و حفظ برتری فناوری آمریکا.
اما آیا این دو هدف الزاماً در یک مسیر قرار دارند؟
دولت چین چنین برداشتی ندارد!
آسوشیتدپرس در گزارشی به تاریخ ۱۴ سپتامبر ۲۰۲۶، واکنش مقامهای چینی به پیشنهاد آمودی را بررسی کرده است.
گوئو جیاکون، سخنگوی وزارت امور خارجه چین، هشدارهای آمودی را مصداق ایجاد ترس و تشدید تقابل دانست و خواستار همکاری بینالمللی در حکمرانی هوش مصنوعی شد.
از سوی دیگر، وزارت بازرگانی چین، ادعاهای آمریکا درباره استخراج غیرمجاز توانایی مدلهای آمریکایی را رد و واشنگتن را به تلاش برای انحصار صنعت هوش مصنوعی متهم کرد.
روزنامه دولتی گلوبال تایمز نیز در سرمقالهای، پیشنهادهای آمودی را تلاشی برای مهار پیشرفت چین در پوشش نگرانیهای ایمنی توصیف کرد.
مقامات و رسانههای چین: «هشدار آمودی مصداق ایجاد ترس است و پیشنهاد او در واقع تلاشی برای مهار پیشرفت چین است.»
البته این اظهارات را نیز باید در چارچوب رقابت سیاسی و اقتصادی دو کشور تحلیل کرد. همانطور که شرکتهای آمریکایی در حفظ مزیت رقابتی خود ذینفعاند، دولت چین نیز انگیزه روشنی برای مخالفت با محدودیتهایی دارد که دسترسی شرکتهای چینی به فناوریهای پیشرفته را دشوار میکنند.
بااینحال، یک پرسش مهم همچنان باقی میماند: آیا میتوان از یک کشور خواست برای حفظ ایمنی جهانی، سرعت توسعه هوش مصنوعی را کاهش دهد، درحالیکه همزمان تلاش میکنیم دسترسی همان کشور به فناوریهای پیشرفته را محدود کنیم؟
لیزی لی، پژوهشگر مؤسسه سیاستگذاری آسیا سوسایتی، در گفتوگو با آسوشیتدپرس به همین تناقض اشاره میکند. از نگاه او، وقتی آمریکا خواستار همکاری چین در ایمنی هوش مصنوعی است اما همزمان دسترسی این کشور به زیرساختهای محاسباتی پیشرفته را محدود میکند، معنای عملی چنین همکاریای مبهم میشود.
در اینجا باید میان دو موضوع تمایز گذاشت: سیاست مهار فناوری چین و تلاش برای ایجاد انحصار تجاری.
محدودیت صادرات تراشههای پیشرفته به چین، سیاستی واقعی است که دولت آمریکا با اهداف اعلامشده امنیت ملی دنبال میکند. آنتروپیک نیز آشکارا از تشدید این محدودیتها حمایت کرده است.

چنین محدودیتهایی میتوانند با کاهش دسترسی شرکتهای چینی به منابع محاسباتی پیشرفته، مزیت رقابتی شرکتهای آمریکایی را تقویت کنند. اما این پیامد بهتنهایی ثابت نمیکند که انگیزه اصلی پیشنهادهای آمودی، انحصارطلبی تجاری است.
اتفاقاً آمودی در جولای ۲۰۲۶، در واکنش به بحث ممنوعیت مدلهای چینی در آمریکا، مخالفت خود را با چنین ممنوعیتی اعلام کرد. او استدلال کرد که ممنوعیت کلی این مدلها، بیش از آنکه خطرات امنیتی را کاهش دهد، از شرکتهای آمریکایی در برابر رقابت محافظت میکند؛ نتیجهای که به گفته او هدف آنتروپیک نیست.
آمودی: «ممنوعیت کلی مدلهای چینی، بیش از آنکه خطرات امنیتی را کاهش دهد، از شرکتهای آمریکایی در برابر رقابت محافظت میکند؛ نتیجهای که هدف آنتروپیک نیست.»
این تفاوت اهمیت دارد. مواضع آنتروپیک را نمیتوان بدون بررسی جزئیات، به مخالفت با هرگونه رقابت چینی تقلیل داد.
بااینحال، نباید از یک واقعیت اقتصادی غافل شد: مقرراتی که توسعه مدلهای پیشرفته را به ارزیابیهای پرهزینه، زیرساختهای پیچیده و دریافت مجوزهای متعدد مشروط میکنند، ممکن است موقعیت شرکتهای بزرگ و برخوردار از منابع مالی گسترده را تثبیت کنند. این نگرانی فقط درباره رقبای چینی نیست؛ شرکتهای کوچکتر آمریکایی و اروپایی نیز ممکن است با چنین موانعی مواجه شوند.
در نتیجه، مسئله صرفاً این نیست که آیا نگرانیهای آمودی واقعیاند یا خیر. باید بررسی کرد که راهکارهای پیشنهادی او، علاوه بر کاهش خطرات احتمالی، چه تأثیری بر ساختار رقابت و توزیع قدرت در صنعت هوش مصنوعی خواهند گذاشت.
از منظر ژئوپلیتیکی نیز یک تناقض وجود دارد. آمودی معتقد است حفظ برتری آمریکا میتواند زمینه همکاری آینده با چین را فراهم کند. اما از نگاه پکن، همین سیاست ممکن است تلاشی برای تثبیت نابرابری فناورانه باشد.
این اختلاف، دستیابی به توافقهای بینالمللی را دشوارتر میکند؛ زیرا طرفین نهتنها درباره میزان خطرات هوش مصنوعی، بلکه درباره توزیع منافع و قدرت ناشی از آن نیز اختلاف دارند.
در اتحادیه اروپا، بخشی از پاسخ به مسئله ایمنی هوش مصنوعی از مسیر قانونگذاری دنبال شده است. مقررات هوش مصنوعی اتحادیه اروپا برای ارائهدهندگان مدلهای عمومی دارای ریسک سیستمیک، الزاماتی در زمینه ارزیابی خطر، گزارش حوادث جدی و امنیت سایبری پیشبینی کرده است. اختیارات اجرایی کمیسیون اروپا درباره تعهدات مدلهای عمومی نیز از آگوست ۲۰۲۶ اعمال میشود.
البته وجود قانون به معنای حل شدن مسئله نیست. کیفیت اجرا، توانایی نهادهای نظارتی و امکان ارزیابی مستقل همچنان تعیینکنندهاند.
برای کشورهایی مانند ایران نیز این بحث اهمیت مستقیمی دارد. حتی اگر ایران در تعیین قواعد اصلی توسعه مدلهای پیشرفته نقشی نداشته باشد، از پیامدهای اقتصادی، امنیتی و اجتماعی آنها جدا نخواهد بود. گسترش توانایی عاملهای هوش مصنوعی در انجام حملات سایبری، تغییر شیوه تولید اطلاعات و وابستگی روزافزون خدمات دیجیتال به چند شرکت بزرگ خارجی، مسائلی هستند که محدود به آمریکا و چین نمیمانند.
حتی اگر ایران در تعیین قواعد اصلی توسعه مدلهای پیشرفته نقشی نداشته باشد، از پیامدهای اقتصادی، امنیتی و اجتماعی آنها جدا نخواهد بود.
از منظر اقتصادی نیز تمرکز فناوریهای پیشرفته در اختیار تعداد محدودی شرکت و کشور، میتواند وابستگی کشورهای دیگر را افزایش دهد. در چنین وضعیتی، تصمیمهای تجاری یا سیاسی قدرتهای بزرگ ممکن است بر دسترسی سایر کشورها به ابزارهایی تأثیر بگذارد که بهتدریج به بخشی از زیرساخت اقتصاد دیجیتال تبدیل میشوند.
از این منظر، توسعه ظرفیت داخلی برای ارزیابی امنیت سامانههای هوش مصنوعی و شناخت مخاطرات استفاده از آنها، موضوعی مستقل از رقابت برای ساخت بزرگترین مدلهاست.
کشوری ممکن است سازنده پیشرفتهترین مدل جهان نباشد، اما همچنان به دانش، نهادها و متخصصانی نیاز داشته باشد که بتوانند خطرات این فناوری را در زیرساختها و خدمات خود تشخیص دهند.
در نهایت، حکمرانی جهانی هوش مصنوعی زمانی میتواند اعتبار و کارآمدی بیشتری پیدا کند که قواعد ایمنی آن، تا حد ممکن، از رقابت برای حفظ انحصار فناوری و منافع ژئوپلیتیکی قدرتهای بزرگ مستقل باشند.
این استقلال البته بهسادگی به دست نمیآید؛ زیرا همان کشورها و شرکتهایی که بیشترین توانایی را در توسعه هوش مصنوعی دارند، بیشترین نفوذ را نیز در شکلگیری قواعد آینده آن خواهند داشت.
به نظرم مهمترین پرسش در تمام این بحث، نه زمان رسیدن به هوش مصنوعی فوقبشری است و نه حتی میزان واقعی بودن سناریوهای فاجعهبار.
پرسش بنیادیتر این است که سازوکار تصمیمگیری درباره خطرات این فناوری چگونه باید شکل بگیرد.
تصور کنیم یک شرکت پیشرو قصد دارد مدل جدیدی منتشر کند. ارزیابیهای داخلی نشان میدهند این مدل در انجام برخی فعالیتهای پرخطر توانایی بیشتری پیدا کرده است. یک گروه مستقل نیز نسبت به بخشی از عملکرد آن هشدار میدهد. شرکت معتقد است تدابیر حفاظتی کافی وجود دارد و عرضه محصول باید طبق برنامه انجام شود.
چه کسی تصمیم نهایی را میگیرد؟
اگر پاسخ این باشد که شرکت سازنده، در نهایت خود تصمیم میگیرد، ارزیابی مستقل صرفاً نقش مشورتی خواهد داشت.
اگر پاسخ این باشد که دولت باید تصمیم بگیرد، باید پرسید آیا دولت دانش فنی و ظرفیت نهادی لازم را در اختیار دارد و چگونه میتوان از مداخله سیاسی ناموجه جلوگیری کرد.
اگر این اختیار به مجموعهای از شرکتهای بزرگ سپرده شود، مسئله تعارض منافع و تمرکز قدرت دوباره مطرح میشود.
راهحل احتمالاً در یک نهاد یا یک ابزار خلاصه نمیشود.
وجود ارزیابی مستقل، معیارهای شفاف، گزارش عمومی حوادث، مسئولیت حقوقی روشن و اختیار مداخله نهادهای ذیصلاح، هرکدام بخشی از ساختار پاسخگویی را تشکیل میدهند.
همچنین باید میان انواع خطر تمایز گذاشت. یک مدل که در تولید اطلاعات نادرست عملکرد ضعیفی دارد، الزاماً به همان نوع نظارتی نیاز ندارد که یک ایجنت هوش مصنوعی با امکان اجرای کد، دسترسی به شبکه و انجام عملیات مستقل نیازمند آن است.
مقررات مؤثر باید متناسب با توانایی واقعی سیستمها و پیامدهای احتمالی عملکردشان طراحی شوند، نه صرفاً بر اساس اندازه شرکت سازنده یا ادعاهای تبلیغاتی درباره قدرت مدل.
از سوی دیگر، تمرکز بر خطرات آینده نباید باعث شود مسئولیت شرکتها درباره آسیبهای کنونی نادیده گرفته شود.
نمیتوان به بهانه جلوگیری از یک فاجعه احتمالی در سالهای آینده، از مسائل امروز مربوط به حریم خصوصی، حقوق افراد، شفافیت دادهها و تمرکز قدرت چشم پوشید.
این دو حوزه رقیب یکدیگر نیستند. هر دو به یک پرسش مربوط میشوند: چگونه میتوان توسعه فناوری را با پاسخگویی صاحبان آن همراه کرد؟
داریو آمودی در تشخیص یک خطر مهم حق دارد: ممکن است سرعت پیشرفت تواناییهای هوش مصنوعی از ظرفیت ما برای شناخت و کنترل آنها بیشتر شود.
اما کافی نیست که سازندگان این فناوری درباره خطراتش هشدار بدهند. اهمیت واقعی هشدار زمانی روشن میشود که ببینیم حاضرند برای کاهش خطر، چه محدودیتهایی را بپذیرند؛ بهخصوص محدودیتهایی که ممکن است هزینه اقتصادی داشته باشند.
تجربه چند دهه صنعت فناوری نشان داده است که نوآوری و منافع عمومی همیشه بهطور خودکار در یک مسیر حرکت نمیکنند. این واقعیت نه دلیلی برای دشمنی با فناوری است و نه مجوزی برای سپردن آینده آن به تصمیمهای غیرشفاف چند شرکت.
در حادثه OpenAI، ایجنتهای هوش مصنوعی بهدنبال راهی بودند که در آزمون عملکرد بهتری ثبت کنند، حتی اگر لازم بود از محدوده مجاز خارج شوند.
اکنون صنعت هوش مصنوعی با آزمون مهمتری مواجه است.
سازندگان مدلها باید نشان دهند که ایمنی را فقط تا جایی جدی نمیگیرند که مانعی برای رقابت و رشد درآمد نباشد.
و جامعه نیز باید بتواند مستقل از ادعاهای همین شرکتها، درستی عملکردشان را ارزیابی کند.
تا زمانی که مشخص نباشد چه کسی حق دارد یک مدل پرخطر را مردود اعلام کند و مانع عرضه آن شود، بحث درباره ایمنی هوش مصنوعی یک پرسش اساسی را بیپاسخ گذاشته است.
این یادداشت بر پایه گزارش آسوشیتدپرس، یادداشت اصلی داریو آمودی، تحقیق مستقل METR و گزارش فنی Hugging Face نوشته شده است.
برای بررسی دیدگاههای متفاوت نیز از سرمقاله واشنگتنپست، گفتوگوی وایرد با تیمنیت گبرو، تحلیل ووکس و یادداشت پژوهشگران CSIS استفاده شده است.