
بازیهای رایانهای همیشه فقط وسیلهای برای سرگرمی نبودهاند. محیطهای بازی، بهویژه بازیهای رقابتی و پیچیده، امکان آزمایش ایدههایی را فراهم میکنند که بررسی آنها در دنیای واقعی دشوار، پرهزینه یا حتی خطرناک است. در چنین محیطهایی میتوان یک عامل هوشمند را در معرض تصمیمگیری، رقابت، شکست، همکاری و تغییر شرایط قرار داد و عملکرد آن را با دقت اندازهگیری کرد.
در میان بازیهای رایانهای، دوتا ۲ جایگاه ویژهای در توسعه و آزمایش هوش مصنوعی پیدا کرده است. این بازی فقط به واکنش سریع یا حفظ کردن چند حرکت محدود نمیشود. بازیکن باید در هر لحظه تصمیم بگیرد، منابع را مدیریت کند، با چهار همتیمی هماهنگ شود، رفتار حریف را پیشبینی کند و در شرایطی که اطلاعات کاملی در اختیار ندارد، برای آینده برنامهریزی کند.
همین ویژگیها باعث شد پژوهشگران هوش مصنوعی، دوتا ۲ را محیطی مناسب برای بررسی یادگیری تقویتی و هوش مصنوعی چندعاملی بدانند. مشهورترین نمونه در این زمینه، پروژه OpenAI Five بود؛ سامانهای که برای بازی تیمی دوتا ۲ طراحی شد و توانست در مسابقههایی نمایشی با بازیکنان حرفهای رقابت کند.
البته اهمیت دوتا ۲ فقط به شکست دادن انسانها در یک بازی محدود نیست. ارزش اصلی این پروژه در آن بود که نشان داد یک سامانه هوش مصنوعی میتواند در محیطی پیچیده، پویا و چندعاملی، از طریق تجربه و بازخورد، راهبردهایی مؤثر یاد بگیرد. بااینحال، نباید از این موفقیت نتیجه گرفت که هوش مصنوعی بهطور کامل به سطح هوش عمومی انسانی رسیده است. دوتا ۲ یک محیط کنترلشده با قوانین مشخص است و انتقال تواناییهای آموختهشده در آن به دنیای واقعی، مسئلهای بسیار دشوار باقی میماند.
چرا دوتا ۲ محیط مناسبی برای پژوهش هوش مصنوعی است؟
برای درک نقش دوتا ۲ در ساخت هوش مصنوعی، ابتدا باید دید چه چیزی این بازی را از بسیاری از بازیهای دیگر متمایز میکند.
تصمیمگیری در زمان واقعی
در بازیهای نوبتی، عامل هوشمند معمولاً فرصت زیادی برای بررسی گزینهها دارد. اما در دوتا ۲ تصمیمها باید در زمان واقعی گرفته شوند. بازیکن نمیتواند برای هر حرکت چند دقیقه فکر کند؛ زیرا موقعیت بازی در هر ثانیه تغییر میکند.
هوش مصنوعی باید بتواند همزمان چند کار را انجام دهد:
وضعیت قهرمان خود را ارزیابی کند.
موقعیت همتیمیها و دشمنان را بررسی کند.
احتمال حمله یا عقبنشینی را بسنجد.
منابعی مانند سلامتی، مانا و طلا را مدیریت کند.
حرکت بعدی را انتخاب کند.
نتیجه احتمالی آن حرکت را پیشبینی کند.
این ویژگی، دوتا ۲ را به محیطی مناسب برای مطالعه تصمیمگیری سریع و پیوسته تبدیل میکند.
فضای عمل بسیار گسترده
در یک بازی ساده، عامل هوشمند شاید فقط چند انتخاب داشته باشد؛ برای مثال حرکت به چپ، حرکت به راست یا توقف. اما در دوتا ۲ تعداد تصمیمهای ممکن بسیار بیشتر است. بازیکن میتواند حرکت کند، حمله کند، توانایی خاصی را فعال کند، آیتم بخرد، آیتم استفاده کند، هدف انتخاب کند یا موقعیت خود را تغییر دهد.
ترکیب این تصمیمها نیز اهمیت دارد. انتخاب یک توانایی بهتنهایی کافی نیست؛ زمان فعالسازی، هدف توانایی، فاصله، جهت حرکت و هماهنگی با سایر بازیکنان نیز اهمیت دارد. بنابراین هوش مصنوعی باید با فضایی از تصمیمها کار کند که هم بزرگ و هم پیوسته در حال تغییر است.
اطلاعات ناقص و مه جنگ
بازیکن در دوتا ۲ تمام نقشه و تمام فعالیتهای دشمن را نمیبیند. بخشهایی از نقشه در اثر مه جنگ پنهان میمانند و اطلاعات بازیکن درباره موقعیت حریف ناقص است.
این شرایط به مسئلهای شبیه دنیای واقعی شباهت دارد. در جهان واقعی نیز عامل تصمیمگیرنده معمولاً به همه اطلاعات دسترسی ندارد. یک خودرو خودران، ربات صنعتی یا سامانه مدیریتی باید بر اساس دادههای ناقص، تأخیر در اطلاعات و احتمال خطا تصمیم بگیرد.
هوش مصنوعی در دوتا ۲ باید از روی نشانههای محدود، رفتار احتمالی حریف را حدس بزند. اگر چند بازیکن دشمن برای مدتی در نقشه دیده نشوند، ممکن است در حال آماده شدن برای حمله باشند. این سامانه باید بتواند از رویدادهای قبلی، الگوهای رفتاری و وضعیت نقشه برای پیشبینی آینده استفاده کند.
اهداف کوتاهمدت و بلندمدت
برخی تصمیمها در دوتا ۲ نتیجهای فوری دارند و برخی دیگر اثر خود را چند دقیقه بعد نشان میدهند. کشتن یک واحد کوچک ممکن است مقدار کمی طلا ایجاد کند، اما همین منابع در ادامه برای خرید آیتمهای مهم به کار میروند. از طرف دیگر، یک حمله سریع شاید در لحظه موفق باشد، اما موقعیت تیم را در ادامه ضعیف کند.
این مسئله در هوش مصنوعی با مفهوم پاداش تأخیری ارتباط دارد. عامل باید یاد بگیرد که میان سود فوری و نتیجه بلندمدت تفاوت بگذارد. چنین مسئلهای در بسیاری از کاربردهای واقعی مانند برنامهریزی، مدیریت منابع و کنترل رباتها نیز اهمیت دارد.
همکاری چندعامل
دوتا ۲ یک بازی تیمی است. در حالت استاندارد، پنج بازیکن در برابر پنج بازیکن قرار میگیرند. هر بازیکن نقش، توانایی و موقعیت متفاوتی دارد و پیروزی معمولاً نتیجه عملکرد یک نفر نیست.
این ویژگی فرصت مناسبی برای مطالعه هوش مصنوعی چندعاملی فراهم میکند. در این حوزه، چند عامل هوشمند باید در یک محیط مشترک تصمیم بگیرند. آنها ممکن است هدف مشترک داشته باشند، اما اطلاعات، نقش و تصمیمهایشان با یکدیگر متفاوت است.
یک عامل هوشمند در دوتا ۲ باید بداند چه زمانی به همتیمی کمک کند، چه زمانی از او فاصله بگیرد، چه زمانی یک هدف را رها کند و برای هدف مهمتری آماده شود. چنین رفتاری فراتر از اجرای دستورهای ثابت است و به هماهنگی، پیشبینی و سازگاری نیاز دارد.
OpenAI Five و نقطه عطف هوش مصنوعی در دوتا ۲
مهمترین نمونه استفاده از دوتا ۲ برای توسعه هوش مصنوعی، پروژه OpenAI Five بود. هدف این پروژه، ساخت پنج عامل هوشمند بود که بتوانند بهصورت تیمی دوتا ۲ بازی کنند.
در این پروژه، هر عامل نقش یکی از بازیکنان تیم را بر عهده داشت. عوامل باید نهتنها بهصورت جداگانه تصمیم بگیرند، بلکه رفتار خود را با اعضای تیم هماهنگ کنند. این تفاوت مهمی با بازیهایی دارد که در آن یک هوش مصنوعی تنها کنترل یک شخصیت یا یک طرف بازی را بر عهده دارد.
OpenAI Five در رویدادهای مختلف در برابر بازیکنان انسانی قرار گرفت و در سال ۲۰۱۹ در یک مسابقه نمایشی توانست تیم حرفهای OG را شکست دهد. این رویداد توجه گستردهای را به تواناییهای یادگیری تقویتی و آموزش هوش مصنوعی در محیطهای پیچیده جلب کرد.
بااینحال، مهمترین دستاورد OpenAI Five نتیجه مسابقه نبود. ارزش اصلی پروژه در روشهایی بود که برای آموزش، هماهنگی و کنترل عاملها به کار گرفته شد.
یادگیری تقویتی چگونه در دوتا ۲ استفاده شد؟
روش اصلی آموزش OpenAI Five، یادگیری تقویتی بود. در این روش، عامل هوشمند بدون آنکه برای تمام موقعیتها پاسخ آماده دریافت کند، با محیط تعامل میکند. عامل یک عمل انجام میدهد، نتیجه آن را مشاهده میکند و بر اساس پاداش یا جریمه، سیاست تصمیمگیری خود را اصلاح میکند.
در دوتا ۲ پاداشها میتوانند شامل مواردی مانند موارد زیر باشند:
از بین بردن واحدهای دشمن
جمعآوری طلا
نابود کردن سازههای مهم
از بین رفتن یا زنده ماندن قهرمان
برتری در نبردهای تیمی
پیروزی نهایی در مسابقه
عامل باید بهتدریج یاد بگیرد که کدام تصمیمها احتمال رسیدن به هدف نهایی، یعنی پیروزی تیم، را افزایش میدهند.
مشکل پاداشدهی
یکی از دشواریهای آموزش در دوتا ۲ این است که پیروزی نهایی ممکن است پس از مدت زیادی رخ دهد. اگر هوش مصنوعی فقط در پایان بازی پاداش دریافت کند، یادگیری بسیار کند خواهد بود. زیرا عامل نمیداند کدام تصمیمهای قبلی در رسیدن به نتیجه نهایی مؤثر بودهاند.
برای حل این مشکل، پژوهشگران از پاداشهای میانی و سیگنالهای مختلف استفاده میکنند. البته پاداشهای میانی باید با دقت طراحی شوند. اگر پاداش نابود کردن دشمن بیش از حد مهم شود، عامل ممکن است به دنبال درگیریهای کوچک برود و هدف اصلی، یعنی پیروزی در مسابقه، را فراموش کند.
این موضوع در طراحی هر سامانه هوش مصنوعی اهمیت دارد. تعریف هدف نادرست میتواند باعث شود سیستم رفتاری را یاد بگیرد که از نظر عددی موفق به نظر میرسد، اما با هدف واقعی انسانها سازگار نیست.
نقش خودبازی در پیشرفت OpenAI Five
یکی از مهمترین تکنیکهای بهکاررفته در پروژههای هوش مصنوعی بازیمحور، خودبازی یا Self-Play است. در این روش، عامل هوشمند به جای آنکه همیشه در برابر انسان بازی کند، با نسخههای دیگر خودش رقابت میکند.
خودبازی چند مزیت دارد. نخست آنکه تولید داده برای آموزش را ممکن میکند. یک سامانه میتواند تعداد بسیار زیادی مسابقه انجام دهد، در حالی که فراهم کردن همین میزان بازی با بازیکنان انسانی دشوار و پرهزینه است.
دوم اینکه عامل مجبور میشود در برابر راهبردهای مختلف واکنش نشان دهد. اگر یک نسخه از هوش مصنوعی رفتاری موفق پیدا کند، نسخههای دیگر برای مقابله با آن تلاش میکنند. در نتیجه، یک چرخه رقابتی ایجاد میشود که میتواند به شکلگیری راهبردهای جدید منجر شود.
در دوتا ۲، خودبازی به هوش مصنوعی کمک کرد تا تصمیمهایی را یاد بگیرد که الزاماً از آموزش مستقیم انسانی به دست نمیآمدند. انسان ممکن است بهدلیل عادت، تجربه محدود یا ترجیح سبک خاصی، همیشه از یک روش استفاده کند؛ اما خودبازی میتواند راهحلهایی متفاوت و گاهی غیرمنتظره تولید کند.
چالش هماهنگی میان پنج عامل هوشمند
یکی از دشوارترین بخشهای پروژه OpenAI Five، هماهنگ کردن پنج عامل مستقل بود. اگر هر عامل فقط به دنبال بیشینه کردن موفقیت خودش باشد، ممکن است تصمیمهایی بگیرد که به ضرر کل تیم تمام شود.
برای مثال، یک قهرمان ممکن است بتواند یک دشمن را شکست دهد، اما برای این کار بیش از حد جلو برود و خودش نیز از بین برود. از دید یک تصمیم کوتاهمدت، حمله موفق بوده است؛ اما از دید تیمی، شاید این اقدام ارزش نداشته باشد.
هوش مصنوعی باید مفاهیمی مانند این موارد را یاد بگیرد:
تقسیم مسئولیت میان بازیکنان
هماهنگی برای آغاز یک حمله
عقبنشینی همزمان
محافظت از بازیکن آسیبپذیر
ایجاد فرصت برای رشد اقتصادی تیم
فدا کردن یک بازیکن برای رسیدن به هدف مهمتر
این مسائل به پژوهشهای گستردهتر در زمینه همکاری میان عاملها ارتباط دارند. در سامانههای واقعی نیز ممکن است چند ربات، چند خودرو یا چند نرمافزار نیاز داشته باشند برای رسیدن به هدفی مشترک با یکدیگر همکاری کنند.
دوتا ۲ چه چیزهایی به پژوهش هوش مصنوعی اضافه کرد؟
تجربه دوتا ۲ به پژوهشگران کمک کرد چند مسئله مهم را در مقیاس بزرگ بررسی کنند.
برنامهریزی در محیط پویا
در دوتا ۲ شرایط ثابت نمیماند. موقعیت بازیکنان، قدرت شخصیتها، منابع، اهداف نقشه و رفتار حریف دائماً تغییر میکند. هوش مصنوعی نمیتواند یک برنامه ثابت را از آغاز تا پایان اجرا کند؛ باید برنامه خود را مرتب اصلاح کند.
این ویژگی برای توسعه سامانههایی مهم است که در محیطهای پیشبینیناپذیر فعالیت میکنند. یک ربات در محیط صنعتی یا یک سامانه مدیریت ترافیک نیز ممکن است مجبور شود با تغییر ناگهانی شرایط، تصمیم خود را تغییر دهد.
یادگیری از تجربه به جای دستور مستقیم
برنامهنویسی سنتی معمولاً بر اساس تعریف قوانین مشخص انجام میشود. برای مثال، میتوان نوشت اگر دشمن نزدیک بود، حمله کن؛ اگر سلامتی کم بود، عقبنشینی کن. اما تعداد حالتهای ممکن در دوتا ۲ آنقدر زیاد است که نوشتن همه قوانین بهصورت دستی عملی نیست.
یادگیری تقویتی به سیستم اجازه میدهد بخشی از قواعد را از تجربه استخراج کند. این رویکرد در مسئلههایی مفید است که قوانین صریح کافی نیستند یا شرایط بیش از حد پیچیده است.
آزمایش هوش مصنوعی چندعاملی
بسیاری از پژوهشهای قدیمی هوش مصنوعی روی یک عامل متمرکز بودند. دوتا ۲ نشان داد که همکاری میان چند عامل، سطح پیچیدگی تازهای ایجاد میکند. این عاملها باید هم محیط و هم رفتار همتیمیهای خود را درک کنند.
دستاوردهای این حوزه میتوانند در طراحی سامانههای توزیعشده، رباتهای گروهی، شبیهسازی اقتصادی و مدیریت شبکهها مورد استفاده قرار گیرند.
سنجش عملکرد در محیطی قابلاندازهگیری
یکی از مزیتهای بازی، وجود معیارهای روشن است. هوش مصنوعی یا برنده میشود یا شکست میخورد؛ همچنین میتوان عملکرد آن را بر اساس تعداد پیروزیها، کیفیت تصمیمها، میزان هماهنگی و پیشرفت در طول زمان ارزیابی کرد.
در بسیاری از کاربردهای واقعی، اندازهگیری عملکرد هوش مصنوعی دشوارتر است. بازی به پژوهشگران اجازه میدهد الگوریتمهای مختلف را در شرایط مشابه با یکدیگر مقایسه کنند.
آیا هوش مصنوعی دوتا ۲ واقعاً هوشمند است؟
پاسخ به این پرسش به تعریف ما از هوش بستگی دارد. OpenAI Five در بازی دوتا ۲ تواناییهای چشمگیری داشت، اما این تواناییها به محیط و قوانین همان بازی وابسته بودند.
این سامانه میتوانست:
وضعیت بازی را تحلیل کند.
تصمیمهای سریع بگیرد.
با همتیمیهای خود هماهنگ شود.
راهبردهای مختلف را امتحان کند.
از تجربه مسابقههای قبلی یاد بگیرد.
اما نمیتوان گفت که مانند انسان، مفهوم کلی «بازی»، «هدف» یا «همکاری» را در همه زمینهها درک میکند. هوش مصنوعی در محیط دوتا ۲ آموزش دیده بود و در همان محیط عملکرد بالایی داشت. اگر از آن بخواهیم یک مسئله حقوقی، پزشکی یا اجتماعی را حل کند، این توانایی بهطور خودکار منتقل نمیشود.
این تفاوت میان هوش تخصصی و هوش عمومی اهمیت زیادی دارد. هوش مصنوعی تخصصی میتواند در یک کار مشخص بسیار قدرتمند باشد، بدون آنکه توانایی عمومی انسان برای درک موقعیتهای متنوع را داشته باشد.
محدودیتهای استفاده از بازی برای ساخت هوش مصنوعی
با وجود ارزش علمی دوتا ۲، نباید نقش آن را بیش از اندازه بزرگ کرد. چند محدودیت مهم وجود دارد.
قوانین مشخص و محیط کنترلشده
دوتا ۲ قوانین معینی دارد. نقشه، شخصیتها، تواناییها و اهداف بازی از قبل تعریف شدهاند. در دنیای واقعی، قوانین همیشه کامل یا ثابت نیستند و اطلاعات نیز ممکن است متناقض، ناقص یا غیرقابلاعتماد باشد.
هدف سادهتر از اهداف انسانی
هدف اصلی در دوتا ۲ پیروزی در مسابقه است. در زندگی واقعی، تصمیمها معمولاً چندین هدف همزمان دارند؛ برای مثال سودآوری، ایمنی، عدالت، رضایت انسانها و حفظ منابع. این اهداف ممکن است با یکدیگر تعارض داشته باشند.
تفاوت میان سرعت پردازش و فهم
هوش مصنوعی میتواند با سرعت زیادی دادهها را پردازش کند، اما این الزاماً به معنای فهم عمیق نیست. عملکرد خوب در یک محیط عددی و قانونمند، جایگزین درک اجتماعی، اخلاقی و فرهنگی انسان نمیشود.
دشواری انتقال یادگیری
راهبردی که در دوتا ۲ موفق است، لزوماً در محیط دیگری کاربرد ندارد. حتی اگر الگوریتمهای یادگیری تقویتی در بازی عملکرد خوبی داشته باشند، برای استفاده در رباتیک، پزشکی یا حملونقل باید با دادهها، محدودیتها و معیارهای جدید آموزش ببینند.
ارتباط دوتا ۲ با کاربردهای آینده
پروژههایی مانند OpenAI Five بهطور مستقیم یک سامانه عمومی برای اداره جهان ایجاد نکردند، اما به توسعه ابزارها و ایدههایی کمک کردند که در کاربردهای مختلف قابل بررسی هستند.
رباتهای همکار
در آینده ممکن است چند ربات برای جابهجایی کالا، جستوجو در مناطق خطرناک یا انجام عملیات صنعتی با یکدیگر همکاری کنند. الگوهای هماهنگی میان عاملها در بازیهای تیمی میتواند برای مطالعه چنین سیستمهایی مفید باشد.
مدیریت منابع
در دوتا ۲، تیم باید منابع محدود خود را میان بازیکنان و اهداف مختلف تقسیم کند. در کاربردهای واقعی نیز سامانههای هوشمند باید انرژی، زمان، نیروی انسانی یا تجهیزات را به شکل مؤثر تخصیص دهند.
کنترل و برنامهریزی
توانایی تغییر برنامه در واکنش به شرایط جدید، در خودروهای خودران، رباتها و سامانههای لجستیکی اهمیت دارد. بازی میتواند محیطی کمهزینه برای آزمایش برخی الگوریتمهای برنامهریزی باشد.
آموزش و شبیهسازی
بازیها و شبیهسازها امکان بررسی رفتار هوش مصنوعی را بدون به خطر انداختن انسانها فراهم میکنند. پیش از اجرای یک الگوریتم در محیط واقعی، میتوان آن را در چندین سناریوی مجازی آزمایش کرد.
اخلاق و مسئولیت در توسعه هوش مصنوعی
موفقیت هوش مصنوعی در دوتا ۲ یک نکته اخلاقی مهم را نیز نشان میدهد: توانایی بیشتر باید با مسئولیت بیشتر همراه باشد.
در بازی، شکست یک عامل معمولاً فقط به از دست دادن یک مسابقه منجر میشود. اما در کاربردهای واقعی، تصمیم اشتباه یک سامانه میتواند بر سلامت، امنیت، شغل یا حقوق افراد اثر بگذارد. بنابراین الگوریتمهایی که در بازی آموزش دیدهاند، پیش از استفاده در جهان واقعی به آزمونهای ایمنی، نظارت انسانی و ارزیابی دقیق نیاز دارند.
همچنین باید روشن باشد که چه کسی مسئول تصمیمهای یک سامانه هوشمند است. اگر چند عامل خودکار در یک محیط مشترک تصمیم بگیرند، باید امکان ثبت، بررسی و توضیح تصمیمها وجود داشته باشد. شفافیت، قابلیت کنترل و امکان مداخله انسانی از اصول مهم در توسعه مسئولانه هوش مصنوعی هستند.
جمعبندی
بازی دوتا ۲ یکی از پیچیدهترین محیطهایی بود که برای آزمایش تواناییهای هوش مصنوعی مورد استفاده قرار گرفت. وجود تصمیمگیری سریع، اطلاعات ناقص، اهداف بلندمدت، فضای عمل گسترده و همکاری میان پنج بازیکن، این بازی را به آزمایشگاهی ارزشمند برای پژوهش در یادگیری تقویتی و هوش مصنوعی چندعاملی تبدیل کرد.
پروژه OpenAI Five نشان داد که یک سامانه هوش مصنوعی میتواند با استفاده از خودبازی و تجربه گسترده، راهبردهای مؤثری را در محیطی پیچیده یاد بگیرد. این پروژه همچنین اهمیت همکاری میان عاملها، مدیریت پاداش و برنامهریزی در شرایط متغیر را برجسته کرد.
بااینحال، عملکرد قدرتمند در دوتا ۲ را نباید با هوش عمومی انسانی یکی دانست. این سامانه در محیطی مشخص، با قوانین تعریفشده و هدفی روشن آموزش دیده بود. ارزش واقعی چنین پروژههایی در این است که روشها و پرسشهای تازهای برای ساخت سامانههای هوشمندتر ایجاد میکنند، نه اینکه بهتنهایی مسئله هوش عمومی را حل کرده باشند.
دوتا ۲ در مسیر توسعه هوش مصنوعی نقش یک میدان آزمایشی را ایفا کرد؛ میدانی که در آن پژوهشگران توانستند یادگیری از تجربه، تصمیمگیری در زمان واقعی و همکاری چندعاملی را در مقیاسی بزرگ بررسی کنند. تجربه حاصل از این بازی میتواند بخشی از مسیر آینده هوش مصنوعی باشد، به شرط آنکه محدودیتهای آن بهدرستی شناخته شود و انتقال فناوری به دنیای واقعی با دقت، مسئولیت و نظارت کافی انجام گیرد.
نویسنده: محمدرضا خیاطزاده