عنوان سخنرانی: The Evolution Story of Game Architecture: PUBG: Battlegrounds, KRAFTON
سخنران: Jung Hun Kim (DevOps Team Lead @KRAFTON) و همکاران از AWS
کنفرانس: AWS re : Invent 2024
لینک ویدیو: https://www.youtube.com/watch?v=GhYUjTxSOkE
سخنرانی Jung Hun Kim از شرکت KRAFTON، روایتی جامع از سفر مدرنیزاسیون یکی از محبوبترین بازیهای چندنفره آنلاین جهان، یعنی PUBG: Battlegrounds، ارائه میدهد. این بازی با رکورد ۳.۲۵ میلیون بازیکن همزمان در پلتفرم STEAM، همواره با چالشهای جدی در زمینه مقیاسپذیری، کارایی و چابکی عملیاتی مواجه بوده است.
معماری PUBG از دو بخش اصلی تشکیل شده است: سرور لابی که مسئولیت خدمات خارج از بازی مانند احراز هویت، تطبیق بازیکنان و جدول امتیازات را بر عهده دارد، و سرور جلسه که وضعیت بازیکنان را در طول بازی پردازش میکند. سرور لابی در ابتدا روی گروههای مقیاسبندی خودکار EC2 مبتنی بر ویندوز اجرا میشد و تیم توسعه با چالشهایی مانند ناکارآمدی، کاهش بهرهوری و چابکی عملیاتی محدود دست و پنجه نرم میکرد.

کرافتون، مدرنیزاسیون را در نوامبر ۲۰۱۸ از محیط تضمین کیفیت آغاز کرد و در اکتبر ۲۰۱۹، محیط تولید سرور لابی به طور کامل به کانتینرها و سرویس EKS منتقل شد. در ژوئیه ۲۰۲۱، نوبت به سرورهای جلسه رسید که با استفاده از Agones – یک راهکار متنباز برای مدیریت سرورهای بازی در کوبرنتیز – به این مهاجرت پیوستند.
برای مدیریت محیطهای متعدد QA، کرافتون از کانتینرها و کوبرنتیز استفاده کرد و منابع را به دو گروه اختصاصی و مشترک تقسیم نمود. منابع اختصاصی مانند صفهای SQS و جداول DynamoDB برای هر محیط به صورت جداگانه ایجاد میشدند، در حالی که منابع محاسباتی و شبکهای مانند VPCها بین محیطها به اشتراک گذاشته میشدند تا هزینهها کاهش یابد.
برای مهاجرت تولید، کرافتون رویکرد ترکیبی را در پیش گرفت؛ منابع پایدار مانند خوشههای EKS با Terraform مدیریت میشدند، در حالی که استقرار سرورها به صورت پویا در کوبرنتیز انجام میگرفت. آنها برای کنترل ترافیک، از VPC CNI استفاده کردند تا غلافهای کوبرنتیز بتوانند مستقیماً با نمونههای EC2 ارتباط برقرار کنند. با این حال، پس از مهاجرت با چالش توزیع ناهموار ترافیک مواجه شدند و برای حل این مشکل، از Istio به عنوان شبکه سرویس جدید خود بهره بردند که مدیریت ترافیک و مسیریابی پیشرفتهتری را فراهم میکرد.
یکی از چالشهای مهم، تأخیر بالای بوتاسترپ سرورهای جلسه بود که تا ۱۵ دقیقه طول میکشید. کرافتون با راهاندازی Harbor و CloudFront به عنوان پروکسی کش تصاویر، و ایجاد پاد ImagePuller به صورت DaemonSet، این زمان را به زیر ۴ دقیقه کاهش داد.
در زمینه بهینهسازی هزینه، کرافتون با مهاجرت به نمونههای Graviton مبتنی بر معماری ARM، به بهبود ۳۵ درصدی نسبت عملکرد به قیمت دست یافت، بدون آنکه پایداری تأخیر به خطر بیفتد. آنها با بهینهسازی فرآیند مدیریت تصاویر و تولید مانیفست تصویربرداری، توانستند به طور همزمان از هر دو معماری ARM و X86 پشتیبانی کنند.
درسهای کلیدی این مهاجرت شامل تمرکز بر کارهای ارزشمند و حذف کارهای غیرضروری با استفاده از سرویسهای مدیریتشده، آگاهی از عوارض جانبی غیرمنتظره مهاجرت، و همیشه داشتن برنامه بازگشت به حالت قبل برای مدیریت مسائل غیرمنتظره است. همکاری نزدیک با تیم AWS و ارائه بازخورد به آنها، منجر به راهاندازی ویژگی HostPort برای سیستمهای ویندوزی در EKS در کمتر از دو ماه شد.
چندین نکته در این ارائه برای من بسیار جذاب و جدید بود. اولین و مهمترین مورد، استفاده از Agones برای مدیریت سرورهای جلسه بازی بود. تا قبل از این، تصور میکردم که کوبرنتیز برای مدیریت تمام انواع workloadها به یک شکل عمل میکند، اما با Agones متوجه شدم که سرورهای جلسه بازی نیازمندیهای خاصی دارند که با پادهای معمولی تفاوت اساسی دارد. ویژگیهایی مانند مدیریت چرخه حیات Game Server، تخصیص مبتنی بر انتخابگر، و بهروزرسانی مداوم مشابه استقرارهای کوبرنتیز، نشان میدهد که چگونه یک راهکار متنباز میتواند نیازهای خاص یک صنعت را به خوبی پوشش دهد.
دومین نکته جالب، مهاجرت به نمونههای Graviton مبتنی بر معماری ARM بود. همیشه فکر میکردم که تغییر معماری پردازنده، کاری بسیار دشوار و زمانبر است، اما کرافتون نشان داد که با برنامهریزی مناسب و بهینهسازی ابزارهای ساخت، این کار شدنی است. نکته جالبتر اینکه آنها با این مهاجرت به بهبود ۳۵ درصدی نسبت عملکرد به قیمت دست یافتند و متوجه شدند که معماری ARM در برابر نوسانات پردازنده مقاومتر است و تأخیر پایدارتری ارائه میدهد. این موضوع نشان میدهد که انتخاب معماری پردازنده چقدر میتواند بر عملکرد نهایی تأثیر بگذارد.
سومین نکته، استفاده از Istio به عنوان شبکه سرویس برای حل مشکل توزیع ناهموار ترافیک بود. داستان جالب اینجاست که کشف سرویس مبتنی بر etcd که خودشان طراحی کرده بودند، به خوبی کار میکرد، اما پس از مهاجرت به کوبرنتیز و استفاده از سرویس Kubernetes، با چالش توزیع ترافیک مواجه شدند. این نشان میدهد که گاهی راهحلهای سفارشی که برای یک معماری خاص طراحی شدهاند، نمیتوانند به سادگی به معماری جدید منتقل شوند و نیاز به بازنگری اساسی دارند.
این سفر مدرنیزاسیون، ارتباط عمیقی با مباحث درسی معماری نرمافزار دارد. اولین ارتباط، الگوهای طراحی است. کرافتون از الگوی Strangler برای مهاجرت تدریجی استفاده کرد؛ آنها ابتدا محیط QA را به کانتینرها منتقل کردند، سپس محیط تولید، و حتی در محیط تولید، ترافیک را به تدریج بین نمونههای قدیمی و جدید تقسیم کردند تا اطمینان حاصل شود که مهاجرت با موفقیت انجام میشود.
ارتباط دوم، مقیاسپذیری است. یکی از چالشهای اصلی PUBG، مدیریت همزمان صدها محیط QA بود که هر کدام نیاز به منابع جداگانه داشتند. با استفاده از کانتینرها و کوبرنتیز، آنها توانستند منابع را به اشتراک بگذارند و هزینهها را به طور قابلتوجهی کاهش دهند. این موضوع دقیقاً همان مفهومی است که در مباحث مقیاسپذیری عمودی و افقی در درس معماری نرمافزار مطرح میشود.
ارتباط سوم، مدیریت ریسک در مهاجرت معماری است. کرافتون با داشتن برنامه بازگشت به حالت قبل Rollback Plan، توانست ریسک مهاجرت را مدیریت کند. همچنین آنها با انتقال تدریجی ترافیک و نظارت مستمر بر عملکرد، از بروز مشکلات جدی جلوگیری کردند. این رویکرد، مصداق عملی از مدیریت تغییر در معماری نرمافزار است.
ارتباط چهارم، Separation of Concerns است. آنها با تفکیک سرور لابی و سرور جلسه، و همچنین تفکیک منابع اختصاصی و مشترک، توانستند هر بخش را به طور مستقل مدرنیزه کنند. این اصل، یکی از اصول پایهای معماری نرمافزار است که در طراحی سیستمهای بزرگ بسیار حیاتی است.
با وجود موفقیتهای چشمگیر، چند سوال و نکته انتقادی برای من ایجاد شد:
سوال اول: آیا این رویکرد برای همه بازیهای چندنفره آنلاین قابلتعمیم است؟ PUBG یک بازی بتل رویال با جلسات نسبتاً طولانی است. آیا برای بازیهایی با جلسات کوتاهتر و تعداد جلسات بسیار بیشتر مانند بازیهای موبایلی نیز این رویکرد کارایی دارد؟ به نظر میرسد مدیریت تعداد بسیار بیشتری از Game Serverها در کوبرنتیز، چالشهای جدیدی ایجاد کند که شاید در این ارائه به آنها اشاره نشده است.
سوال دوم: آیا استفاده از Agones بهترین انتخاب بود یا راهحلهای جایگزین مانند OpenKruise یا راهحلهای اختصاصی نیز میتوانستند موفق باشند؟ من کنجکاوم که کرافتون چه معیارهایی را برای انتخاب Agones در نظر گرفته است و آیا این انتخاب بر اساس بررسی گزینههای مختلف یا صرفاً به دلیل جامعه فعال آن بوده است ؟
نکته انتقادی: یکی از چالشهایی که کرافتون با آن مواجه شد، تأخیر بوتاسترپ اولیه سرورهای جلسه بود که تا ۱۵ دقیقه طول میکشید و آنها با استفاده از راهکارهایی مانند Harbor و ImagePuller آن را به زیر ۴ دقیقه کاهش دادند. با این حال، به نظر میرسد هنوز این زمان برای شرایط بحرانی مانند افزایش ناگهانی تعداد بازیکنان، نسبتاً بالاست. آیا راهکارهایی مانند پیشگرم کردن پادها-Pod Pre-warming یا استفاده از Serverless برای مدیریت ترافیک ناگهانی میتوانستند مؤثرتر باشند؟
سوال سوم: با توجه به اینکه سرور جلسه PUBG بر اساس موتور Unreal ساخته شده و این موتور به شدت به تأخیر و عملکرد پایدار حساس است، آیا کانتینری کردن سرور جلسه میتواند به تأخیر شبکه اضافه کند؟ از آنجایی که کانتینرها از Overlay Network استفاده میکنند، آیا این موضوع میتواند تأثیر منفی بر تجربه بازیکنان داشته باشد؟ کرافتون با استفاده از VPC CNI این مشکل را حل کرده اما من کنجکاوم که آیا در عمل این راهکار کاملاً مؤثر بوده است یا هنوز چالشهایی وجود دارد.
این ارائه برای من بسیار الهامبخش بود و نشان داد که حتی بزرگترین و پیچیدهترین سیستمها نیز قابل مدرنیزه شدن هستند. مهمترین درسی که گرفتم این است که مدرنیزاسیون فقط تغییر فناوری نیست، بلکه تغییر رویکرد، فرهنگ و فرآیندهاست. کرافتون با ترکیب سرویسهای مدیریتشده AWS، ابزارهای متنباز، و فرهنگ یادگیری مستمر، توانسته است معماری PUBG را به سطح جدیدی از کارایی، مقیاسپذیری و چابکی برساند. همچنین همکاری نزدیک با تیم AWS و ارائه بازخورد به آنها، نمونۀ زیبایی از یک رابطه برد-برد است که هم به نفع مشتری و هم به نفع ارائهدهنده سرویس تمام میشود.
«اين مطلب، بخشي از تمرينهاي درس معماري نرمافزار در دانشگاه شهيدبهشتي است»