ویرگول
ورودثبت نام
حسین شنیوری
حسین شنیوریتکنولوژی، ساختن و حل مسئله؛ همین مسیر من است
حسین شنیوری
حسین شنیوری
خواندن ۴ دقیقه·۲ ماه پیش

مهندسی تاب‌آوری در سامانه‌های توزیع جهانی (GDS): پیش بینی قطعی‌های ناخواسته Sabre و Amadeus از روز اول در معماری سیستم

وقتی در حال طراحی و معماری یک پلتفرم پیشرفته در حوزه فناوری‌های سفر (TravelTech) هستید، یکی از حیاتی‌ترین و در عین حال استرس‌زاترین بخش‌ها، اتصال به سامانه‌های توزیع جهانی (GDS) مثل Sabre و Amadeus است. از همان روزهای اولی که نشستیم تا سنگ بنای معماری سیستم را بچینیم، یک سوال بزرگ مثل سایه روی میز بود: «اگر فردا یکی از این غول‌های جهانی بدون هیچ هشدار قبلی قطع شد، سیستم ما چه واکنشی نشان خواهد داد؟»

ما می‌دانستیم که قطعی در GDSها یک احتمال نیست؛ یک قطعیِ دیر یا زود است. اگر قرار بود سیستم ما به روش سنتی و با یک اتصال خطی و مستقیم بالا بیاید، هر قطعی کوچک می‌توانست کل کسب‌وکار را زمین بزند. به همین خاطر، تصمیم گرفتیم مهندسی تاب‌آوری (Resilience Engineering) را نه به عنوان یک وصله پینه‌دوزی‌شده در زمان بحران، بلکه به عنوان هسته مرکزی و بنیادین در طراحی معماری سیستم پیاده‌سازی کنیم.

در این مقاله می‌خواهم از تجربه واقعی خودم در طراحی این سیستم و استراتژی‌های معماری‌اش بگویم؛ اینکه چطور سناریوی بروز بحران را پیش‌بینی کردیم و چه روش‌هایی را به کار گرفتیم تا در صورت وقوع قطعی، سیستم با کمترین پیامد منفی و به صورت خودکار آن را مدیریت کند.

اصل طلایی در طراحی: «فرض کن هر لحظه قرار است قطع شود»
اصل طلایی در طراحی: «فرض کن هر لحظه قرار است قطع شود»

اصل طلایی در طراحی: «فرض کن هر لحظه قرار است قطع شود»

در فاز تحلیل و طراحی سیستم، نگاه ما این بود که هیچ ارائه‌دهنده خارجی‌ای صددرصد قابل اعتماد نیست. وابستگی مستقیم (Direct Integration) به یک GDS یعنی امضای حکم اعدام پلتفرم در روز مبادا. برای اینکه سیستم ما در مواجهه با قطعی ناخواسته دچار فروپاشی نشود، باید سناریوی بحران را از پیش حل می‌کردیم.

یعنی صفر شدن قطعی برای کاربر نهایی و حفظ ثبات مالی
یعنی صفر شدن قطعی برای کاربر نهایی و حفظ ثبات مالی

برای مدیریت این چالش با کمترین پیامد منفی (یعنی صفر شدن قطعی برای کاربر نهایی و حفظ ثبات مالی)، معماری سیستم را بر اساس سه استراتژی کلیدی زیر طراحی و پیاده‌سازی کردیم:

۱. پیاده‌سازی لایه انتزاع و جداسازی (GDS Abstraction & Decoupling)

یکی از اشتباهات رایج در معماری این است که کدهای بیزینس و لایه پرداخت مستقیم به ساختار API یک GDS خاص گره می‌خورند. در طراحی سیستم خود، ما یک لایه میانجی و ایزوله (Adapter & Proxy Layer) پیاده کردیم.

  • روش مدیریت بحران: این لایه تمامی درخواست‌های سیستم داخلی را به یک مدل داده‌ای واحد تبدیل می‌کند و سپس به GDS مقصد می‌فرستد. اگر فردا قرار باشد ارائه‌دهنده عوض شود یا سامانه اصلی قطع شود، کل کدهای بیزینس اپلیکیشن دست‌نخورده باقی می‌مانند و ما فقط کانکتور لایه زیرین را سوئیچ می‌کنیم. سیستم از روز اول طوری طراحی شد که انگار چندین GDS به صورت موازی در پشت صحنه آماده به خدمت هستند.

۲. طراحی موتور مسیریابی پویا و Failover خودکار (Dynamic Circuit Breaking & Failover)

ما از الگوی طراحی Circuit Breaker (مدارشکن) همراه با مانیتورینگ آنی سلامت سرویس‌ها در معماری استفاده کردیم. سیستم ما به صورت لحظه‌ای نرخ خطا، تاخیر پاسخ‌‌دهی (Latency) و کدهای وضعیت ارسالی از Sabre و Amadeus را زیر نظر دارد.

  • روش مدیریت بحران: اگر نرخ خطای یکی از کانال‌ها از آستانه مشخصی عبور کند یا پاسخ‌دهی متوقف شود، مدارشکن بلافاصله وارد وضعیت Open می‌شود. در این حالت، سیستم به جای ارسال درخواست‌های بی‌نتیجه و معطل نگه داشتن کاربر، به صورت کاملاً خودکار و در کسری از ثانیه (بدون دخالت انسانی)، مسیر جریان داده را روی کانال جایگزین (مثلاً سوئیچ از Sabre روی Amadeus یا بالعکس) هدایت می‌کند. کاربر نهایی در فرانت‌اند اصلا متوجه این جابجایی نمی‌شود و فرآیند رزرو با موفقیت کامل انجام می‌گیرد.

۳. استراتژی بازگشت هوشمند و داده‌های جایگزین (Smart Caching & Degradation)

گاهی اوقات ممکن است در بدترین سناریو، همزمان ارتباط با تمام کانال‌های اصلی دچار اختلال موقت شود. در معماری سیستم پیش‌بینی کرده بودیم که در چنین لحظاتی، اپلیکیشن نباید به هیچ وجه با خطای 500 Internal Server Error یا صفحه سفید مواجه شود.

  • روش مدیریت بحران: ما مکانیزم Graceful Degradation (کاهش تدریجی و امن سطح سرویس) را پیاده‌سازی کردیم. سیستم در زمان قطع کامل، به سراغ داده‌های کش‌شده معتبر (Smart Caching با پایگاه‌داده‌های سریع مثل Redis) می‌رود تا نتایج جستجوی پروازهای اخیر یا اطلاعات پایه‌ای را به کاربر نمایش دهد و از ریزش مخاطب جلوگیری کند. همچنین در بخش رزرو نهایی، صف‌های انتظار ایمن (Async Queues) فعال می‌شوند تا به محض پایداری نسبی شبکه، تراکنش‌ها پردازش شوند.

دستاوردهای این نوع طراحی در عمل
دستاوردهای این نوع طراحی در عمل

دستاوردهای این نوع طراحی در عمل

وقتی معماری سیستم را از ابتدا با فرض «وقوع حتمی بحران» طراحی می‌کنید، نتیجه نهایی کاملاً متفاوت خواهد بود. پیاده‌سازی این الگوها در پلتفرم ما مزایای زیر را به همراه داشت:

  • به حداقل رساندن پیامدهای منفی: قطعی‌های ناخواسته GDSها دیگر یک بحرانِ منجر به توزش فروش نیستند، بلکه به یک رویداد خودترمیم‌شونده در سطح زیرساخت تبدیل شده‌اند.

  • استقلال و آرامش تیم فنی: در زمان بروز اختلالات سراسری ارائه‌دهندگان، تیم ما نیازی به پایش دستی و تغییرات هول‌هولکی کدها ندارد؛ سیستم خودش تصمیم می‌گیرد و بار را مدیریت می‌کند.

  • حفظ اعتماد و تجربه کاربری بی‌نقص: مسافر نهایی ابداً متوجه جنگ پشت صحنه بین سرورها و GDSها نمی‌شود و بلیت خود را سر وقت دریافت می‌کند.

کلام آخر

تجربه به من ثابت کرد که مهندسی نرم‌افزار حرفه‌ای، یعنی هنر پیش‌بینی شکست‌ها پیش از رخ دادن آن‌ها. وقتی معماری سیستم را طوری طراحی کنید که بحران‌ها را به رسمیت بشناسد و برای کنترل آن‌ها پروتکل‌های خودکار تعریف کند، دیگر قطعی سرویس‌های بزرگ خارجی کابوس شما نخواهد بود، بلکه چالشی است که معماری شما به زیبایی از پسِ حل آن برمی‌آید.

۰
۰
حسین شنیوری
حسین شنیوری
تکنولوژی، ساختن و حل مسئله؛ همین مسیر من است
شاید از این پست‌ها خوشتان بیاید