ویرگول
ورودثبت نام
Kian
Kianفعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
Kian
Kian
خواندن ۸ دقیقه·۶ سال پیش

طراحی برای پایداری و کارایی در سرویس‌های آنلاین - بخش دوم

مقدمه و زمینه برای مطالب زیر در بخش نخست آمده و خواندن آن پیش از خواندن مطالب زیر توصیه می‌شود. در بخش نخست، هدف‌های مورد نظر در پایداری و کارایی را دیدیم، با معیارهایی برای کمّی شدن فضای فکری‌مان در این مقوله آشنا شدیم، و همچنین یکی از راه‌کارها برای «پایدار کردن» و «پایین آوردن» کارِ لحظه‌ای در سطح تک-سرور را بررسی کردیم - برای دست‌گرمی.

در نوشتار پیشِ رو که بخش اصلی در زمینه‌ی پایداری و مدیریت بار است، از سطح تک-سرور به سطح job و سپس مجموع سیستم می‌رسیم.

۱. نقش محوری «بهره‌گیری» در توزیع بار

فرض کنید در استقرار سرویس فروشگاه اینترنتی در یک مرکز داده، ۱۵ سرور از job «میان‌دار» و ۱۰ تا «عقب‌دار» مستقرند (سرور = نمونه/instance)، و میان‌دار عقب‌دار را فرامی‌خواند - مثلا با استفاده از gRPC. هر سرور «میان‌دار» با چند/کدام‌یک از «عقب‌دارها» در ارتباط است و چگونه درخواست‌ها را میان آن‌ها توزیع می‌کند؟ علاوه بر مختصری که در پایین آمده، در این نوشتار پیشین مشخصا به توزیع بار پرداخته شده و بازخوانی‌اش توصیه می‌شود.

توزیع بار بین سرورهای job الف و سرورهای job ب:

  • تقریبا همیشه در سوی client و به صورت توزیع شده است، یعنی هر سرور «میان‌دار» جداگانه تصمیم می‌گیرد. اصطلاح دهان‌پرکن «یک load balancer می‌گذاریم» را فراموش کنید؛ برای این‌جا نیست.
  • به شکل پیش‌فرض معمولا با سیاست round robin یا سیاست تصادفی است که خوب نیست. round robin یعنی هر سرور الف به شکل چرخشی روی سرورهایی از ب که به آن‌ها کانال زده می‌گردد و درخواست‌ها را می‌فرستد. فرعی: به چند/چه سرورهایی کانال زده؟ در مثال کوچک بالا، به همه‌ی سرورهای ب، ولی معمولا از (۱۰۰)O به بالا نیاز به انتخاب زیرمجموعه‌ای کوچک‌تر است که چرایی و چگونگی‌اش فرعی‌ست و فراتر از این نوشتار.

چرا سیاست round robin یا تصادفی، نه برای پایداری و نه برای کارایی خوب نیست؟ این سیاست‌ها تلاش می‌کنند تا سرورهای یک job، درخواست‌های مساوی (qps مساوی) بگیرند. ولی سرورها، روی ماشین‌های گوناگون با شرایط ناهمسان زندگی می‌کنند، از جمله تفاوت‌های کاراییِ سخت‌افزاری (حتی با مدل سخت‌افزار یکسان)، و از آن مهم‌تر، jobهای دیگر که همسایه‌ی ما روی ماشین‌ها هستند. در نتیجه qps مساوی مثلا ۱۰۰qps روی هر سرور یعنی مصرف CPU و بهری‌گیری نامساوی مثلا یک سرور ۷۰٪ و یکی ۹۰٪. این خوب نیست: در هر لحظه از زمان، برخی سرورها دچار سرریز و ناپایداری‌اند و/یا برخی دارند هدر می‌روند.

پس چه سیاستی خوب است؟ سیاست توزیع بار بر اساس مصرف CPU / بهره‌گیری لحظه‌ای (تمرین / سوال مصاحبه: پیاده‌سازی بهینه و واقع‌بینانه برای این سیاست توزیع بار). یک تفاوت ساختاری این سیاست با round robin در وجود «بازخورد» از ب به الف است: هر سرور ب بهره‌گیریِ لحظه‌ای‌اش را گزارش می‌دهد. round robin نیازی به بازخورد ندارد و ساده‌تر است و برای همین شایع‌تر. طبیعتا با یکسان‌سازی بهره‌گیری میان سرورها مثلا همگی روی ۸۰٪، QPS سرورها ناهمسان می‌شود مثلا یکی ۹۰qps و یکی ۱۱۰qps، ولی این هیچ اشکالی ندارد.

اگر بین دو درخواست state داشتیم، یعنی دومی باید حتما روی همان سروری می‌افتاد که اولی افتاده چه؟ این گونه چسبندگی (affinity) یعنی طراحی نادرست در دسترسی‌پذیری. state یا باید در یک جای اشتراکی نوشته شود یا در خود درخواست‌ها و پاسخ‌ها رد و بدل شود، مگر حالتی که داریم همان سرویس «جای اشتراکی» مثلا یک مخزن key-value طراحی می‌کنیم یا یک سرویس cache توزیع شده یا از این دست - یعنی اِفراز فضای کلید (key space) میان سرورها.

به عنوان تمرین، نمودار بهره‌گیری CPU سرورها (N خط روی یک نمودار، یکی به ازای هر سرور) را تصور کنید درست بین پیش و پس از لحظه‌ای که سیاست توزیع بار را از round robin به مبتنی-بر-بهره‌گیری تغییر می‌دهیم. چه شکلی‌ست؟ مانند چند رودخانه‌ی موازی که ناگهان در نقطه‌ای به سمت هم می‌پیچند و به هم می‌رسند. از قضا ما یک بار پرینتش کردیم و به دیوار زدیم به عنوان اثر هنری. حالا به جای نمودار بهره‌گیری، نمودار QPS سرورها را تصور کنید: برعکس همین اثر.

مطالب این فصل در راستای کاهش دامنه‌ی نوسان‌های بهره‌گیری سرورها (هم برای پایداری و هم برای کارایی بهتر)، استفاده‌ی همگن از سرورها و حفاظت از سرورهای در آستانه‌ی سرریز بود. کارِ گفته شده هرچند لازم ولی کافی نیست، چون اولا چرخه‌ی رفت و برگشت بین سرور پایین‌دستی و بالادستی تاخیر دارد و به تنهایی توان صاف کردن نوسان‌ها را ندارد، و دوما اگر مجموع بار ورودی زیاد بود و همه‌ی سرورها پُر بودند چه؟

۲. مدیریت بار

راهبرد ما برای سرریز نشدن بار سیستم چیست؟ تامین سرورها برای کمی بیش از بار مورد انتظار و امید به رخ ندادن سورپریز؟ مسلما نه، بلکه ساز و کارهای مدیریت بار و پس زدن بار اضافی نیاز داریم. در سرویس‌های ما، این کار در سه سطح تک‌سرور، سرویس محلی و سرویس جهانی رخ می‌دهد. دو سطح آخری را در زیر خواهیم دید، و در بخش سومِ این مجموعه نوشتار به پاسداری از تک-سرورها برمی‌گردیم.

۱.۲. سرویس محلی - در یک استقرار/خوشه

درخت jobهای سرویس فروشگاه اینترنتی مستقر در یک مرکز داده را در نظر بگیرید - آن را یک خوشه‌ی (cluster) سرویس بنامیم. نقطه‌ی ورود به این خوشه، سرورهای «جلودار» است. فرض کنید یکی از jobهای این خوشه در آستانه‌ی سرریز بار (overload) است، مثلا «مقررات‌چی». این یعنی کل خوشه در آستانه‌ی سرریز بار است هرچند سایر jobها آزاد باشند. (وارد جزییات backend قابل نادیده‌گیری و غیرقابل نادیده‌گیری از لحاظ منطق تجاری سرویس نمی‌شویم و فرض می‌کنیم همه غیرقابل نادیده‌گیری‌اند.)

  • نکته‌ی فرعی: این یعنی jobهای خوشه باید به نسبت درست تامین (provision) شده باشند تا بهره‌گیری بین jobها کم و بیش همگن باشد یک job گلوگاه کل خوشه نباشد.

بنابراین با سرریز شدن هر یک از jobها در درخت، «جلودار» نیز خود را در آستانه‌ی سرریز بار گزارش می‌کند. به چه کسی؟ به هر کسی که بالادستش است: اگر سرویس ما شامل همین یک خوشه است، به واسط وِب و app؛ اگر سرویس ما برساخته از چند خوشه در چند مرکز داده است، به سیستم مدیریت بار جهانی/بین خوشه‌ای (پایین را ببینید).

چگونه این اطلاعات را در خوشه جمع کنیم و به «جلودار» برسانیم؟ چگونگی این پیاده‌سازی چندان مهم نیست و هدف تنها بازبینی مفاهیم سطح بالا است، مثلا می‌توانیم به صورت متمرکز/centralized یا (بهتر) غیرمتمرکز گردآوری کنیم. کار ساده‌ای که ما می‌کنیم، این است که هر سرور در درخت، بین بهره‌گیری خودش و بهره‌گیری jobهایی که فرامی‌خواند، بیشینه (max) می‌گیرد و به فراخواننده‌ی خود گزارش می‌دهد - با کمی جزییات در تجمیع و نویزگیری که مهم نیستند. دقت کنید که این کار (انتشار اطلاعات بهره‌گیری) را مستقیم انجام دادیم و به ساز و کارهای غیرمستقیم مانند مسدود شدن jobها پشت صف‌های یکدیگر مانند آن‌چه در بخش نخست اشاره شد نسپردیم.

۲.۲. سرویس جهانی - بین چند استقرار/خوشه

منظور از جهانی یعنی صرفا بین خوشه‌ای، یعنی برای یک سرویسِ کوچک‌ترِ مثلا کشوری که در چند مرکز داده مستقر است نیز کاربرد دارد. مدیریت بار جهانی/بین خوشه‌ای یعنی بار را میان خوشه‌ها/مراکز داده تنظیم کن؛ مثلا یعنی کاربران را بفرست به خوشه‌ی نزدیک/کم‌هزینه مگر این که ظرفیت آن خوشه پر باشد.

وقتی یک سرویس (job الف و زیردرخت زیرش) پشت یک سرویس جهانی قرار گرفت، یعنی فراخواننده‌ی آن سرویس دیگر با «سرویس الف در خوشه قاف» ارتباط ندارد بلکه با «سرویس الف» ارتباط دارد - «کدام خوشه» توسط ساز و کار مدیریت بار جهانی تصمیم‌گیری و ابلاغ می‌شود.

این مفهوم به شکل‌های گوناگونی قابل پیاده‌سازی‌ست. در گوگل، نام این ساز و کار GSLB است و جزییاتش قابل جستجو. هر برنامه‌ای که علاقه‌مند به ارتباط با یک سرویس مدیریت شده توسط GSLB‌ است، با خودِ GSLB ارتباط می‌گیرد و با معرفی خودش (من در مرکز داده‌ی قاف هستم)، برای ارتباط با سرویس الف، دستور کار و updateهای منظم دریافت می‌کند، مثلا به این شکل: «۶۰٪ از بارت را بده به الف در مرکز داده‌ی قاف، ۳۰٪ به کاف و ۱۰٪ به گاف» - طبیعتا این عملیات در کتابخانه‌ی client رتق و فتق می‌شود نه در لایه‌ی application. سپس برنامه برای فرستادن هر درخواست به الف، یک تاس می‌اندازد و با احتمال‌های بالا یکی از سه خوشه‌ی الف را انتخاب می‌کند (همین تاس‌اندازی هم می‌تواند با consistent hashing برای بهینه‌سازی churn بینِ خوشه‌ای باشد یا در صورت نیاز حتی از روی hash‌ خودِ درخواست در مواقعی که چسبندگی/affinity لازم است مثلا توسعه‌ی یک سرویس key-value یا cache توزیع شده که اشاره شد.) پس از انتخاب خوشه، با کمک سیاست توزیع بار (load balancing policy) که در بالا اشاره شد و جزییاتش به عنوان سوال مصاحبه پیشنهاد شد‌ (!) یکی از سرورهای job الف در خوشه‌ی انتخاب شده را برای درخواستِ کنونی انتخاب می‌کنیم.

اصول سفت و سختی برای جدا کردن سطح خوشه‌ای و سطح بین خوشه‌ای وجود ندارد، یعنی حیاتی نیست که حتما «خوشه» برابر با «همه‌ی jobهای درخت» باشد. مثلا می‌توان تکه‌ی «عقب‌دار» به پایین این درخت سرویس را کَند تا دیگر بخشی از خوشه‌های زیرِ لوای «جلودار» نباشد بلکه تبدیل به سرویس جهانی مجزا شود که توسط «میان‌دار» (که همچنان بخشی از خوشه‌ی جلودار است) فراخوانی می‌شود. یا در دو حالت حدی:

  • می‌توان هر job را یک سرویس جهانی کرد و اصلا مدیریت بار بین jobها در سطح خوشه‌ای (گردآوری و بیشینه‌گیری از بهره‌گیری لحظه‌ای و ...) را فراموش کرد.
  • می‌توان مدیریت بار در سطح جهانی را فراموش کرد و توزیع بار گفته شده در فصل پیش (هر سرور الف انتخاب کند که درخواست کنونی را به کدام تک-سرور ب بفرستد) را به جای یک خوشه در سطح جهانی انجام داد - هرچند احمقانه.

طبیعتا هیچ یک از این کارها توصیه نمی‌شوند و در عوض، جداسازیِ فکرشده‌ی سطح خوشه‌ای و بین خوشه‌ای توصیه می‌شود. بر چه اساسی؟ بر این اساس که: (۱) یک درخواست که بین jobها می‌گردد، تا جای ممکن محلی بگردد و نه بین مراکز داده (دلیلی برای بزرگ کردن خوشه‌ها)؛ (۲) ظرفیت jobها هدر نروند یا jobها گاه و بیگاه گلوگاه کل خوشه نشوند (دلایلی برای کوچک کردن خوشه‌ها). جزییات بیشتر، فراتر از این نوشتار است.

۳. جمع‌بندی

همگن‌سازی بار بین سرورها در یک خوشه/cluster و مدیریت و توزیع بار در یک خوشه (یک مرکز داده) و بینِ خوشه‌ها را دیدیم. اگر نقش کلیدی این ساز و کارها در پایداری و کارایی سرویس، روشن نیست، در بخش نظرات بپرسید.

با وجود این ساز و کارها، قاعدتا یعنی همه‌ی سرورهای همه‌ی jobهای همه‌ی خوشه‌ها در برابر ناپایداری محافظت می‌شوند. نه؟ نه! یک ستون مهمِ در پایداری، پاسداری جداگانه از سرورها در سطح تک-سرور است، چون:‌ (۱) ساز و کارهای گفته شده توانایی واکنش لحظه‌ای در سطح ثانیه ندارند، در حالی که این سطح از واکنش هرچند به نظر کوچک ولی حیاتی‌ست؛ (۲) پاسداری در سطح تک-سرور برای دلایلی بیش از صِرفِ سرریز بار ضروری‌ست. این پاسداری را در بخش سوم از این مجموعه خواهیم دید.


۱۲
۶
Kian
Kian
فعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
شاید از این پست‌ها خوشتان بیاید