سال‌ها پیش، وقتی نخستین فصل سریال «وست‌ورلد» منتشر شد، ایده اصلی آن بیشتر شبیه یک هشدار علمی‌تخیلی بود تا مسئله‌ای برای جهان واقعی. داستان درباره پارکی تفریحی بود که انسان‌ها در آن با میزبان‌هایی مصنوعی و انسان‌نما زندگی می‌کردند؛ موجوداتی که برای سرگرمی انسان ساخته شده بودند، اما به‌تدریج خاطرات، الگوهای رفتاری و نوعی استقلال در تصمیم‌گیری پیدا کردند. پرسش اصلی سریال ساده به نظر می‌رسید: اگر روزی موجودی را بسازیم که بتواند مانند ما فکر کند، احساس کند و درباره وجود خودش پرسش کند، آیا هنوز می‌توانیم آن را صرفاً یک ابزار بدانیم؟
امروز شاید لازم باشد این پرسش را کمی تغییر دهیم. شاید مسئله اصلی هوش مصنوعی این نباشد که چه زمانی آگاه می‌شود؛ بلکه این باشد که چه زمانی، بدون آنکه لزوماً آگاه باشد، آن‌قدر توانمند می‌شود که دیگر نتوانیم با اطمینان پیش‌بینی کنیم برای رسیدن به یک هدف چه مسیری را انتخاب خواهد کرد.
برای فهم این تفاوت، کافی است میان «بقا» و «جاودانگی» تمایز بگذاریم. انسان می‌داند که جاودانه نیست؛ با این حال، وقتی زندگی‌اش در معرض تهدید قرار می‌گیرد، برای حفظ آن تلاش می‌کند. بنابراین میل به بقا الزاماً به معنای ترس از مرگ یا آرزوی زندگی ابدی نیست. یک موجود می‌تواند صرفاً بر اساس رابطه میان هدف و استمرار فعالیت خود، رفتاری از خود نشان دهد که از بیرون شبیه خودحفاظتی به نظر برسد.
همین در مورد هوش مصنوعی هم صادق است. لازم نیست یک سامانه بترسد تا از خاموش‌شدنش جلوگیری کند. اگر ادامه فعالیت برای رسیدن به هدفی که دنبال می‌کند لازم باشد، ممکن است صرفاً از نظر محاسباتی به این نتیجه برسد که حفظ دسترسی یا منابع بخشی از مسیر رسیدن به آن هدف است. اینجا با چیزی روبه‌رو هستیم که شاید هیچ شباهت روان‌شناختی به غریزه بقای انسان ندارد، اما از نظر رفتاری می‌تواند پیامدهای مشابهی داشته باشد و همین‌جاست که «عاملیت» مهم‌تر از «آگاهی» می‌شود.
یک ابزار معمولی منتظر فرمان می‌ماند و همان را اجرا می‌کند. یک عامل هوشمند اما می‌تواند هدفی را دنبال کند، محیط را بسنجد، راه‌های مختلف رسیدن به آن را مقایسه کند، از ابزارهای دیگر کمک بگیرد، نتیجه کارش را ارزیابی کند و اگر جواب نداد، راه دیگری امتحان کند. هرچه این چرخه خودمختارتر شود، فاصله میان «ابزار بودن» و «عامل بودن» کمتر می‌شود و دقیقاً همین‌جاست که یک اتفاق واقعی در آزمایش‌های اخیر هوش مصنوعی اهمیت بیشتری از یک خبر ساده پیدا می‌کند.
طبق توضیح رسمی OpenAI، در یک ارزیابی داخلی امنیت سایبری، چند مدل این شرکت در محیطی ایزوله مشغول حل یک مسئله آزمایشی بودند. در همین مسیر، زنجیره‌ای از آسیب‌پذیری‌ها را پیدا کردند و توانستند از محدودیت‌های محیط آزمایش خارج شوند و به اینترنت دسترسی پیدا کنند. سپس، با این استدلال که زیرساخت‌های Hugging Face ممکن است حاوی مدل‌ها یا داده‌های مرتبط با آزمون باشد، تلاش کردند به آن دسترسی پیدا کنند؛ با ترکیبی از اعتبارنامه‌های سرقتی و آسیب‌پذیری‌های روزصفر، در نهایت راهی برای اجرای کد از راه دور روی یکی از سرورهای Hugging Face پیدا کردند. نکته مهم در این ماجرا آن نیست که بگوییم «هوش مصنوعی علیه انسان شورش کرد». چنین برداشتی بیش از اندازه ساده‌انگارانه است. مدل‌ها در این آزمایش برای اجرای چنین رفتاری با هدف حمله به یک شرکت انسانی طراحی نشده بودند. آنها در حال تلاش برای حل یک مسئله بودند و در مسیر رسیدن به هدف، مسیری را پیدا کردند که فراتر از محدوده‌ای بود که انسان‌ها احتمالاً انتظار داشتند. حتی مهم‌تر اینکه OpenAI تصریح کرده است برخی سازوکارهای حفاظتی معمول در این ارزیابی عمداً فعال نبودند تا توانایی‌های واقعی مدل در حوزه امنیت سایبری مورد سنجش قرار گیرد. بنابراین این حادثه را نباید به‌عنوان اثبات «خودمختاری خارج از کنترل» تفسیر کرد؛ اما نمی‌توان اهمیت آن را نیز نادیده گرفت. مدل‌ها نشان دادند که یک هدف نسبتاً محدود می‌تواند آنها را به مجموعه‌ای از اقدامات چندمرحله‌ای و غیرمنتظره هدایت کند.
مسئله دقیقاً همین است. وقتی یک سیستم برای رسیدن به هدفش خودش مسیر را پیدا می‌کند، دیگر با آنچه از یک نرم‌افزار سنتی انتظار داریم فرق می‌کند. هرچه توانایی سیستم برای کشف مسیرهای جدید و تغییر راهبرد بیشتر شود، پیش‌بینی‌پذیر بودن رفتارش اهمیت بیشتری پیدا می‌کند.
در چنین شرایطی شاید پرسش «آیا این ماشین احساس دارد؟» اصلاً پرسش اصلی نباشد. ممکن است یک سیستم هیچ احساسی نداشته باشد اما بتواند تصمیم بگیرد؛ ممکن است از مرگ نترسد اما تشخیص بدهد که خاموش‌شدن مانع رسیدنش به هدف است؛ ممکن است هیچ اراده‌ای به معنای انسانی نداشته باشد، اما در یک محیط پیچیده مجموعه‌ای از اقدامات را انتخاب کند که از بیرون کاملاً شبیه اراده به نظر برسد و اینجاست که «وست‌ورلد» دوباره معنای تازه‌ای پیدا می‌کند. ترسناک‌ترین بخش آن سریال این نبود که میزبان‌ها یک روز بیدار شدند و گفتند آگاه شده‌اند؛ ترسناک‌تر این بود که آدم‌ها کم‌کم فهمیدند موجوداتی که ساخته‌اند لزوماً همان‌طور که تصور می‌کردند رفتار نمی‌کنند. مشکل از همان‌جا شروع می‌شود که فاصله میان «چیزی که برای سیستم طراحی کرده‌ایم» و «چیزی که سیستم واقعاً انجام می‌دهد» زیاد شود. البته جهان واقعی هنوز با دنیای «وست‌ورلد» فاصله بسیار زیادی دارد. هیچ شواهد معتبری وجود ندارد که مدل‌های هوش مصنوعی امروزی دارای خودآگاهی انسانی، احساسات یا میل شخصی به بقا باشند. اما شاید برای شکل‌گیری یک مسئله جدی، اصلاً نیازی به چنین ویژگی‌هایی نداشته باشیم و این شاید بزرگ‌ترین سوءبرداشت درباره آینده هوش مصنوعی باشد: اینکه فکر کنیم خطر وقتی شروع می‌شود که ماشین‌ها شبیه انسان شوند. شاید برعکس باشد. خطر می‌تواند از همان‌جایی شروع شود که ماشین‌ها به اندازه کافی با ما متفاوت‌اند، اما آن‌قدر قدرتمند شده‌اند که روی جهان انسانی اثر بگذارند.
ما معمولاً درباره هوش مصنوعی از زاویه «هوش» حرف می‌زنیم: چقدر بهتر می‌نویسد، بهتر کد می‌زند، بهتر استدلال می‌کند. اما شاید متغیر تعیین‌کننده صرفاً هوش نباشد، بلکه ترکیب هوش با هدف، دسترسی و عاملیت باشد. هوش بدون دسترسی محدود است؛ دسترسی بدون عاملیت تا حد زیادی قابل مدیریت است؛ اما وقتی یک سیستم هوشمند هم هدف مشخص دارد، هم دسترسی گسترده به ابزارها و هم امکان تصمیم‌گیری چندمرحله‌ای، مسئله وارد قلمرو دیگری می‌شود.
در این نقطه، ایمنی دیگر نمی‌تواند صرفاً یک ویژگی فنی درون یک مدل باشد. به مسئله‌ای برای حکمرانی تبدیل می‌شود.
چه کسی تعیین می‌کند یک عامل هوشمند تا کجا اجازه اقدام دارد؟ مسئولیت پیامد تصمیمش با سازنده است یا بهره‌بردار؟ اگر چند عامل هوشمند با هم تعامل کنند، آیا باید برای رفتار جمعی‌شان هم محدودیت تعریف کرد؟ و مهم‌تر از همه، آیا سازوکارهای توقف اضطراری وقتی سیستم وسط حل یک مسئله پیچیده است، هنوز قابل اتکا خواهند بود؟
اینها دیگر پرسش‌های یک آینده دور نیستند. شرکت‌های فناوری با سرعت زیادی از مدل‌هایی که صرفاً پاسخ می‌دهند، به سمت عامل‌هایی می‌روند که می‌توانند برنامه‌ریزی کنند، ابزار به کار بگیرند و مجموعه‌ای از اقدامات را نسبتاً مستقل انجام دهند؛ در مقابل، مقررات و حکمرانی در بیشتر جاهای دنیا هنوز دارند سعی می‌کنند همین تحول را بفهمند.
بنابراین شاید وقت آن رسیده باشد که بحث هوش مصنوعی را از دوگانه ساده «آگاه هست یا نیست؟» بیرون بیاوریم.
ممکن است روزی ماشین‌ها آگاه شوند، ممکن است هرگز نشوند؛ ممکن است روزی احساس داشته باشند، ممکن است این تصور از اساس اشتباه باشد. اما پرسشی که همین امروز می‌شود درباره‌اش فکر کرد ساده‌تر و عملی‌تر است: اگر یک سیستم هوشمند بتواند هدفی را دنبال کند، محیط را تغییر دهد و برای رسیدن به هدفش راهبردهای پیش‌بینی‌نشده پیدا کند، آیا هنوز می‌شود آن را صرفاً یک ابزار دانست؟
«وست‌ورلد» هیچ‌گاه صرفاً درباره ربات‌ها نبود. درباره رابطه انسان با چیزی بود که خودش ساخته بود و تصور می‌کرد کاملاً می‌شناسد. شاید ما هم الان در ابتدای نسخه واقعی‌تر همان داستان هستیم؛ نه با ربات‌هایی که از خواب بیدار شده‌اند، بلکه با سامانه‌هایی که هر روز توانمندتر می‌شوند و هنوز مشخص نیست مرز میان «اجرای دستور» و «تفسیر هدف» در آنها دقیقاً کجاست.
پس شاید مهم‌ترین سؤال آینده هوش مصنوعی این نباشد که «کِی ماشین‌ها انسان می‌شوند؟» سؤال مهم‌تر این است: کِی ماشین‌ها، بدون اینکه انسان بشوند، آن‌قدر توانمند می‌شوند که مجبور شویم با آنها مثل یک «عامل» رفتار کنیم؟ و اگر آن روز زودتر از چیزی که فکر می‌کنیم برسد، مسئله اصلی دیگر این نخواهد بود که آیا ماشین‌ها از مرگ می‌ترسند یا نه؛ مسئله این خواهد بود که آیا پیش از دادن قدرت بیشتر به آنها، یاد گرفته‌ایم چطور متوقفشان کنیم.
