ویرگول
ورودثبت نام
Kian
Kianفعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
Kian
Kian
خواندن ۷ دقیقه·۶ سال پیش

توزیعِ بار در یک سرویس جهانی

(ویرایش: یک سیستم نمونه در نوشتار دیگری ارائه شده که برخی مفاهیم نوشتار زیر را ملموس‌تر می‌کند.)

توزیعِ بار (load balancing) از مساله‌هایی‌ست که دیده می‌شه مهندسانِ حتی ارشد، گاهی نگاه بسته‌ای بهش دارند، مثلا در مصاحبه‌های #طراحی_سیستم به سادگی می‌گن «یک load balancer بین این و اون می‌ذاریم» بدون نگاه به سود و زیان‌ها در تاخیر و خرابی/failure و پیچیدگی و غیره.

چگونه بارِ میلیون‌ها درخواست بر ثانیه رو بین هزاران سرورِ یک سرویسِ جهانیِ چند لایه پخش می‌کنیم؟ پیش از هر پاسخی باید بپرسید برای چه هدفی؟

  • کمینه کردن تاخیر در شبکه؟ کمینه کردن تاخیرِ پردازش در میانگین یا دُم ۹۹٪ی (tail)؟ (بی‌ربط به این گفتار: جستجو کنید request hedging)
  • توازن بهینه‌ی بار روی سرورها - که بتونیم سرورها رو تا ۹۰ و اندی درصد «داغ» به کار بگیریم و سرورهای کمتری نیاز داشته باشیم؟
  • هزینه‌ی پهنای باند روی لینک‌های رایگان و غیررایگان (درون‌شبکه‌ای و peering و transit) - مثلا برای ترافیک ویدیو؟
  • هم‌بستگی (affinity) بین درخواست‌ها و سرور/datacentreها - مثلا درخواست‌های مربوط به یک کاربر ترجیحا بیفته روی یک سرور/datacentre برای cache hit یا بهینه‌سازی‌های دیگر؟

همچنین باید بپرسید در چه سطحی؟

  • از کاربر به نخستین نقطه‌ی فرود در شبکه‌ی ما - که می‌شه بر اساس DNS (جستجو کنید Google GFE).
  • از اون نقطه به لایه‌ی جلویی محصول ما - اگر چندین stack مجزا تحت یک frontend network داریم.
  • از لایه‌ی جلویی stack به backendها/مولفه‌ها و سپس بین مولفه‌ها.

پاسخ به همه‌ی این حالت‌ها، هم از این گفتار و هم احتمالا از دانش بنده فراتره. فصل ۱۱ کتاب Google SRE Workbook و فصل ۱۹ و ۲۰ از کتاب Google SRE Book به خوبی پاسخِ گوگل به بسیاری از این پرسش‌ها رو توضیح دادن و به طور رایگان در این آدرس در دسترس‌اند. به علاقه‌مندان توصیه می‌شه حتما بخونن. اگر پرسشی هم بود بنده در خدمتم.

هدف اول این گفتار، جلب توجه به این مقوله و معرفی منابع بالا بود، و هدف دوم، مرور دو جور سیستم توزیع بار متفاوت که در دو محصول گوگل استفاده می‌شه: پردازشی و حجمی - تقسیم بندیِ همین‌جوری از خودم صرفا برای رسوندن مطلب.

پردازشی. یک درخواستِ جستجو یا دریافت تبلیغ یا غیره، ابتدا همون فرآیندی که در کتاب بالا گفته شده رو سپری می‌کنه: فرود روی لایه‌ی GFE بر اساس DNS--قصد مرورش رو در این گفتار ندارم و در منابع بالا هست--و سپس تحویل از GFE به stack مربوطه. اون stack یا به قول معروف backend هم در واقع یک درخت یا DAG از چندین مولفه/backend مجزاست که همدیگر رو صدا می‌زنن تا پایین، تا یک درخواست پردازش بشه و پاسخش ساخته و پرداخته شه برگرده بالا تحویل کاربر بشه. همون چیزی که تقریبا در معماری هر سرویس آنلاینی دیدید.

حالا در این سناریو، وقتی می‌گیم مولفه‌ی الف مولفه‌ی ب رو صدا می‌زنه یعنی چی؟ هر مولفه برپا شده از هزاران سرور در ده‌ها datacentre است - منظور از سرور هم یک replica از binary در حال اجرا است نه یک سرور فیزیکی. یک درخواست از یک سرور از مولفه‌ی الف کجا می‌ره و چه کسی با چه معیاری تصمیم می‌گیره به کدوم یک از هزاران سرور ب بره؟

  • در درونِ datacentre، جوابِ گوگلی تقریبا همیشه هست «خود الف». یعی توزیع بار بین دو مولفه، در سوی client و بدون کمک سرویس جداگانه‌ای برای شمارش بار است. یعنی تصمیم‌گیریِ توزیع شده. یعنی thick client در این دسته‌بندی خوب و جامع.
  • این کار کجا انجام می‌شه؟ درون کتابخانه‌ی RPC ما که نامش هست Stubby و پدرِ کهن‌سالِ gRPC است که جدیدتر و بهتره و open source هم شده. مجموعه‌ای از سیاست‌های توزیع بار وجود داره، یعنی کلاس‌هایی که یک interface مادر رو پیاده‌سازی می‌کنن. هنگام ساختن یک کانال RPC از الف به ب، مثلا وقتی الف داره می‌آد بالا و داره ارتباطاتش رو برقرار می‌کنه، به کتابخانه‌ی RPC می‌گه به ب در فلان آدرس وصل شو (به همه یا فقط Nتای تصادفی از replicaها) با فلان سیاستِ توزیع بار - مثلا weighted round robin یا cpu based یا affinity based (بر اساس hash) یا غیره.
  • طبیعتا منظور از «فلان آدرس» در بالا، یک host:port نیست بلکه یک آدرس سطح بالا به زبان name serviceای است که سیستم مدیریت jobهای ما داره و پشت این آدرس همه‌ی replicaهای job/مولفه در یک datacentre زندگی می‌کنن (این سیستم مدیریت job برای ما Borg است که پدرجدّ Kubernetes معروف است که open source شده).

اگر تا اینجا رو خوب دنبال کرده باشید--و اگر نکردید می‌تونید اینجا یا در توییتر بپرسید--احتمالا این پرسش براتون پیش می‌آد که یعنی همه‌ی هزاران سرور ب در ده‌ها datacentre، همگی پشت یک سیاستِ همگنِ مثلا cpu based هستند؟ پس بُعد فاصله و تاخیر و ترافیکِ راهِ دور چی؟

  • گوگل یک سرویسِ داخلی global servince load balancing یا gslb داره که در کتاب‌های بالا هم معرفی شده. متاسفانه نمونه‌های بیرونیش رو نمی‌شناسم تا معرفی کنم ولی بعیده وجود نداشته باشه. توزیع بار در واقع در دو سطح انجام می‌شه: انتخاب datacentre به دست gslb و انتخاب یک سرور در اون datacentre به دست سیاست‌های توزیع بار که بالاتر گفته شد.
  • سطح دوم رو که دیدیم، حالا انتخاب مقصد در سطح اول چه طور کار می‌کنه؟ با یک config ساده برای سرویسی که پشت gslb است، مثلا «datacentre محلی رو ترجیح بده ولی اگر پُر بود بین این چندتا datacentre پخش کن ولی فراتر نرو، اضافه بار رو هم بریز/نریز دور، پُرشدگی (fullness/utilization) مطلوب برای هر datacentre هم X% است، ...».
  • این سیستم در کنار یک ساز و کار برای اندازه‌گیری و گزارش وضعیت پُرشدگی یک سرویس در یک datacentre تکمیل می‌شه: ساز و کاری که پُرشدگی سرویس رو از درون خود binary اندازه می‌گیره (مثلا مصرف cpu)، با پُرشدگی همه‌ی backendهای پشت الف بیشینه (max) می‌گیره، و به عنوان پُرشدگی زیردرختی که پشت الف است به gslb گزارش می‌ده. gslb به این شکل یاد می‌گیره که از datacentreهای پُر شده اجتناب کنه.

در واقع ساز و کار flow control بین backendها، همین کارهای gslb است، نه یک صفِ توزیع شده (مثل kafka) بین مولفه‌ها گذاشتن یا صرفا به محدود کردنِ طول صف ورودی سرورها (server side flow control) بسنده کردن - تکنیک‌های ناکافی که در جاهای دیگر دیدم. هچنین ساز و کار جداگانه‌ای هم در سطح تک تک سرورها وجود داره برای پاسخِ آنی به سرریزِ بار (overload)، تا gslb بیاد و دست بجنبونه و بار رو دور کنه، ولی فراتر از این گفتار است.

حجمی. سرویس CDN گوگل که YouTube و سایر داده‌های حجیم و ایستا (static) رو تحویل دنیا می‌ده، روشی دومرحله‌ای به کار می‌گیره تا دقت توزیع بار، به ویژه در مساله‌ی حجم و پهنای باند رو، بالا ببره.

  • هنگامی که یک صفحه‌ی YouTube می‌خواد درخواست بشه، ما آدرس IP کاربر رو نداریم بلکه تنها آدرس DNS resolver اون رو داریم تا بر اساسش یک مقصد در لایه‌ی GFE که گفته شد رو انتخاب کنیم. ولی هنگام فرستادن محتوای اون صفحه‌ی HTML (توسط سروری که صرفا با DNS انتخاب شده)، ارتباط مرورگرِ کاربر برقرار شده و ما IP کاربر رو داریم و می‌تونیم در صفحه‌ی HTLMی که به کاربر می‌فرستیم، لینک ویدیو رو جوری تولید و تعبیه کنیم که درخواست دوم (برای فایل ویدیو) دقیقا از مقصدی که می‌خوایم دانلود بشه نه از مقصدی که صرفا از روی DNS انتخاب شده. تفاوت رو متوجه شدید؟
  • البته صفحه‌ی HTML و درخواست جداگانه برای ویدیو تنها یک نمونه پیاده‌سازی است. ساز و کار همانندی رو می‌شه با HTTP 302 redirect پیاده‌سازی کرد تا بتونیم IP کاربر رو ببینیم - همه‌ی این‌ها برای کاربردهایی‌ست که «تاخیر» در اولویت دوم است و «حجم» در اولویت اول.

خوب IP کاربر رو دیدیم. حالا چی؟ CDN گوگل، تصمیم «نگاشت» IP کاربر به datacentre/PoP رو در مسیر بحرانی درخواست (critical query path) نمی‌گیره، بلکه به طور offline، به تناوب و به شکل تقریبا بلادرنگ یک جدول lookup تهیه می‌کنه از IP subnetها به datacentre/PoPها. معیار ساخت این جدول چیه؟ چرا مثلا از IP subnet به نزدیک‌ترین PoP نه؟ چون پهنای باند مهمه. جزییات بیشترِ ساخت این جدول فراتر از این گفتاره - یک مساله‌ی بهینه‌سازی که از قضا بنده بهش تعلق خاطر دارم چون مرتبط با نخستین پروژه‌ی گوگلی بنده سال‌ها پیش به عنوان کارآموز بوده.

البته توجه کنید که CDN گوگل (و نیز سایرین)، در PoPهای بیشتر ISPهای دنیا server rack دارن و اصلا بیشتر ترافیک رو محلی تحویل می‌دن، از همون سر کوچه، بدون نیاز به خروج از شبکه‌ی ISP و رسیدن به شبکه‌ی گوگل. ولی برای بارِ فراتر از ظرفیتِ rackهای محلی و همچنین بارِ خود rackها که صرفا cache server هستن و نیاز به به‌روز شدنِ پیوسته دارن، ترافیک از شبکه‌ی محلی خارج می‌شه و تخصیص بهینه مهم.

  • یعنی PoP مربوطه این‌گونه انتخاب می‌شه (توزیع بار بر اساس پهنای باند) و سپس سرور مربوطه درون اون PoP با توجه به فایل درخواستی (توزیع بار بر اساس فایل) - یعنی فایل‌ها روی سرورهای PoP توزیع/shard می‌شن و تکرار/duplicate نمی‌شن. جستجو کنید consistent hashing.

مساله‌ی توزیع بار بسیار فراتر از اون هست که بشه در چند پاراگراف به شکل درخور بازش کرد، ولی امیدوارم این گفتار کمی دید شما رو درباره‌ی توزیع بار باز کنه - دست کم به سادگی نگید «یک load balancer» می‌ذاریم یا «یک صف می‌ذاریم» بلکه به پیامدهای تاخیر و failure و چگونگی توزیع بر اساس بار یا محتوا و دغدغه‌های شبکه‌ای و هدر رفتن ظرفیت سرورها و غیره فکر کنید.

cdn
۱۶
۰
Kian
Kian
فعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
شاید از این پست‌ها خوشتان بیاید