ویرگول
ورودثبت نام
Kian
Kianفعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
Kian
Kian
خواندن ۵ دقیقه·۶ سال پیش

طراحی برای پایداری و کارایی در سرویس‌های آنلاین - بخش سوم

مقدمه و زمینه برای مطالب زیر در بخش نخست و بخش دوم آمده و خواندن آن‌ها پیش از خواندن مطالب زیر توصیه می‌شود. در آن دو بخش، تقریبا یک سیستم کامل را در سطح بالا (منهای جزییات) سر هم کردیم که از سطح تک‌سرور (نمونه/instance) تا سطح کل job و سپس خوشه‌ای از jobها و سپس کل یک سرویس جهانی، مدیریت بارِ پایدار و کارا داشت. ولی جای یک حلقه‌ی مهم همچنان خالی ماند: پاسداری هر تک‌سرور از خودش. یعنی چه و چرا؟

۱. پاسداری در سطح تک‌سرور

۱.۱. نیاز نخست: زنده ماندن زیرِ ناملایمت‌ها از بالا - بارِ ورودی

ساز و کارهایی که پیش‌تر گفته شد، اطمینان حاصل می‌کنند که بار روی سرورهای یک job همگن باشد، به هر job بیش از توانش بار داده نشود، به خوشه بیش از ظرفیتِ job گلوگاهش بار داده نشود، و سرویس جهانی بار را از خوشه‌های پُر شده دور کند - بخش دوم این مجموعه نوشتار را ببینید. خوب همین کافی نیست؟ خیر. مقیاس زمانی واکنش این ساز و کارها، چند ثانیه تا چند ده ثانیه است؛ باید واضح باشد چرا:‌ تمیز و صاف کردن داده‌های لحظه‌ای.

زمانی که بار ناگهانی روی سرویس قرار می‌گیرد (مثلا ناگهان ۱۵۰qps به جای ۱۰۰qps)، یا درخواست‌های پیچیده‌تری دست سرور می‌رسند (مثلا به جای ۵۰ms زمان به ۷۰ms زمان پردازشی نیاز دارند)، همچنان شاهد خوابیدن کل job/خوشه/سرویس خواهیم بود - بارها برای سرویس‌های ما رخ داده. یعنی اگر در خانه‌ای از چوب و کاغذ زندگی می‌کنیم (که می‌کنیم)، این که سر چهارراه ایستگاه آتش‌نشانی هست کافی نیست - کپسول آتش‌نشانی هم در خانه نیاز داریم.

۲.۱. نیاز دوم: زنده ماندن زیرِ ناملایمت‌ها از پایین - backendهای خُمار

کار بیشتر jobهای یک سرویس، مقداری پردازش و فراخوانی یک یا چند backend (مثلا یک job دیگر یا یک مخزن داده) به ازای هر درخواست ورودی است. زمانی که یکی از backendها ناخوش‌احوال شود (که می‌شود)، چه اتفاقی می‌افتد؟ job الف درخواست‌های ورودی‌اش را برمی‌دارد و همه‌ی کارهای لازم از آغاز تا فراخوانی job ب را می‌کند، ولی پاسخ‌های ب با تاخیر زیادی می‌آیند یا timed out می‌شوند. این انبوهی از درخواست‌هایی که به ب فرستاده شده و منتظر پاسخ‌اند یعنی انباشته شدن درخواست‌های «در-پرواز» در الف.

مثلا اگر یک تک‌سرور الف، ۱۰۰۰ درخواست در ثانیه می‌گیرد و با میانگین زمان ۲۰۰ms پاسخ می‌دهد، در هر لحظه از زمان حدود ۲۰۰ درخواستِ در-پرواز در الف هست. وقتی ب به ترتر افتاد و تاخیرش از مثلا ۱۰۰ms رفت روی ۳s، یعنی ۳۰۰۰ درخواستِ در-پرواز در الف انباشته می‌شود. بسته به این‌که الف به ازای هر درخواست چه اندازه منابع (به ویژه حافظه) نگه دارد، این اتفاق می‌تواند باعث crash کردن الف شود - این‌گونه موارد هم بارها برای سرویس‌های ما رخ داده.

۳.۱. راه حل

هر سرور به ازای هر درخواست ورودی تصمیم می‌گیرد که آن را بپذیرد یا رد کند - طبیعتا همه‌ی درخواست‌ها را می‌پذیرد و گزینه‌ی رد کردن تنها برای لحظه‌های مباداست. رد کردن یعنی اصلا درخواست را باز نکرده پس فرستادن، مثلا RPC error دادن به فراخواننده با کد خطای Unavailable. چرا و بر چه اساسی درخواست‌ها را نپذیریم؟ دو نیاز بالا (و نیازهای دیگر بسته به طبیعت سیستم) را در نظر بگیرید.

در مورد بار ناگهانی، پاسداری «مستقیم» از سرور یعنی از نزدیک دنبال کردن بهره‌گیریِ لحظه‌ای سرور توسط خود سرور (مثلا خودِ درصد بهره‌گیری CPU یا (بهتر) یکی از معیارهایی که پیش‌تر معرفی شد مانند طول صف یا زمان انتظار کارها/threadها در صف‌ها) و نپذیرفتن درخواست‌های ورودی در صورت لزوم. منظور از پاسداری مستقیم/صریح بر اسا بار لحظه‌ای، تمایز با پاسداری غیر مستقیم/ضمنی یعنی مثلا کنترل بار با کنترل طول صف ورودی و تعداد thread و چنین سوییچ‌های نیابتی‌ست.

  • تکرار می‌کنم، ساز و کار بلندمدت برای دور کردن بار اضافه، در سطح تک‌سرور نیست چنان‌که اشاره شد، ولی واکنش لحظه‌ای در سطح تک‌سرور بسیار مهم و غیر قابل چشم‌پوشی‌ست.
  • هر چه این پاسداری سخت‌گیرانه‌تر، سرور پایدارتر. ما این پاسداری را تا نهایت جای ممکن سخت‌گیرانه می‌کنیم، یعنی تا آستانه‌ی این که منجر به شورش را در آوردن و نپذیرفتن درخواست‌ها در زمان‌های عادی (نه سرریز) شود.

در مورد backendهای خسته، پاسداری از سرور یعنی از نزدیک دنبال کردن منابعِ باز نگه داشته شده برای درخواست‌هایِ در-پرواز (یا ساده‌تر: خود تعداد درخواست‌های در-پرواز) تا اگر داشتیم به حالت اشباع نزدیک می‌شدیم، درخواست‌های ورودی را نپذیریم.

  • توجه کنید که این کار، جایگزین تنظیم و بهینه‌سازی مهلت (deadline؛ زمان تا timeout) فراخوانی backendها نیست که امری‌ست جداگانه و لازم، و خارج از حوزه‌ی این نوشتار.

جایزه‌. یکی از سودمندی‌های دیگرِ پاسداری مستقیم، در کنار سلامت و کیفیت سرویس در برابر بار اضافی، در امکان‌پذیر کردن افزایش بهره‌گیری‌ست. چگونه؟ نمودار نوسان‌های لحظه‌ایِ بهره‌گیری سرورها در مقیاس زیر-ثانیه که در بخش نخست اشاره شد را در نظر بگیرید - همان که قرار است قُله‌هایش زیر ۱۰۰٪ باشد و تلاش داشتیم دامنه‌اش را مثلا از ۲۰٪± به ۱۰٪± کاهش و سپس کُلش را به بالا هُل دهیم. با پاسداری لحظه‌ای و قابل اعتماد، اشکالی ندارد اگر نوک قله‌های آن نمودار کمی از ۱۰۰٪ تجاوز کنند: سرشلوغیِ آنی و گذرای سرور با نپذیرفتن چند درخواست مدیریت می‌شود و درخواست‌های پذیرفته نشده توسط client ارسال مجدد می‌شوند و از سرور دیگری پاسخ می‌گیرند. البته این امکان، دامنه‌ی محدودی دارد و صرفا به عنوان جایزه‌ای که رایگان به دست می‌آید مطرح شد.

۲. جمع‌بندی این مجموعه‌ی سه‌بخشی

در این مجموعه، مروری کوتاه و سطح بالا از مساله‌ی پایداری و کارایی در سرویس‌های توزیع‌شده از سطح تک‌سرور تا سرویس جهانی کردیم.

اگر خواستیم یک سرویس توزیع‌شده‌ی پایدار/کارا طراحی کنیم، همین کارهایی که گفته شد را بکنیم؟ نه. هر سیستمی یکتاست با طبیعت و نیازمندی‌های خودش. مهم‌تر از این که ببینیم مشخصا چه کارهایی بکنیم، تلاش بنده بوده تا چرایی‌اش واکاوی شود و شُمای خواننده به درنگ در این جنبه دعوتید.

آیا همین مباحث گفته شده، کم و بیش برای پایداری سیستم ما کافی‌ست؟ در این مجموعه تنها به بخش‌هایی از لایه‌های میانیِ مربوط به پایداری پرداختیم. یک سیستم پایدار حاصل ده‌ها ساز و کار، شگرد، و فرایند مهندسی شده است. از استانداردهای کُدنویسی تا جریان کار توسعه و تست و انتشار و غیره در لایه‌های آغازین، تا رویه‌های خودسازگاری سیستم (که بخشی‌اش را دیدیم) و نهایتا تا لایه‌های پایش و تشخیص و واکنش به خطا و بازیابی و مانور آمادگی و فرهنگ یادگیری از حادثه و همه و همه، روی هم یک سیستم پایدار را می‌سازند و رو کیمیای چند-نُه بودن در یک سیستم بزرگ و پویا را دست‌یافتنی می‌کنند. در نوشتارهای پیشین بنده در ویرگول به برخی از همین ابعاد پرداخته شده.

۵
۰
Kian
Kian
فعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
شاید از این پست‌ها خوشتان بیاید