ویرگول
ورودثبت نام
ساسان پرویز
ساسان پرویزمهندس نرم افزار و سرور
ساسان پرویز
ساسان پرویز
خواندن ۶ دقیقه·۱ سال پیش

استفاده از ردیس برای کش پست‌های هر تگ.

یکی از چالش هایی که جدیدا بهش برخوردیم این بود که براساس تگ هایی که یک سری پست دارن اون ها رو نشون ندیم، بولد (Bold) نشون بدیم و ... برای این کار یک دیتابیس داریم که لیست تگ‌ها رو توی خودش نگه میداره و یک دیتابیس دیگه که با Many-to-many رابطه بین پست و تگ ها رو ذخیره میکنه. تا اینجای قضیه سادست. اما از اونجایی که درخواست های زیادی سمت وبسایتمون میاد باید حتما یک کش داشته باشیم که دیتابیسمون به رحمت خدا نره و نماز میت بر ما واجب نشه.

چرا از ردیس استفاده میکنیم؟

برای کش کردن کلی راه حل مثل Redis, memcached و... هست. اما تفاوتی که ردیس داره اینه که دیتاتایپ هایی به ما میده که بتونیم طبق نیازی که داریم ازشون استفاده کنیم.

حالا که معلوم شد چرا از ردیس استفاده میکنیم بیاید با هم مشکلمون رو بررسی کنیم و براساس ابزار هایی که ردیس بهمون میده چند تا راه حل پیدا کنیم و با بنچ مارک گرفتن بهینه ترینشون رو انتخاب کنیم.

مسئله ما اینه که یک لیست از پست آی‌دی داریم (۱۰۰ تا پست) و میخوایم چک کنیم برای تک تک اون آی‌دی ها که ۴ تا تگ مشخص رو دارن یا نه.

راه حل های ابتدایی و بدرد نخور

بدرد نخور لفظ خوبی نیست! اما خب برای این همه بار اضافه ایی که این راه حل ها میارن حرف خوبیه. هر دیتاتایپ ایی جای خودش به کار میاد. قرار نیست همه چیز با یک ارایه خشک و خالی حل شه.

راه حل ابتدایی اولیه اینه که کل آی‌دی های پست های هر تگ رو توی یک آرایه بریزیم و برای هر بار چک کردن هم از اول تا آخر ارایه بریم که پیچیدگی زمانی N داره و به درد این کار نمیخوره.

راه حل ابتدایی دوم اینه ارایه ایی که آی دی ها ریخته میشه توش رو Sort کنیم که پیچیدگی زمانی دریافت لگاریتمی میشه. اما خب چه کاریه اینقدر پیچیدش کنیم!

ساده‌ترین راه حل،‌ ترکیب شناسه‌ پست با تگ در Key ردیس.

احتمالا ساده‌ترین راه حلی که به ذهن همه میاد اینه که یک ترکیب مثل postid:tagid توی ردیس ذخیره کنن. حالا هر بار نیاز بود چک کنن پست X آیا تگ Y رو داره یا نه، باید چک کنن که کلید x:y وجود داره توی ردیس ما یا نه. قبل از هر تصمیمی بهتره یک بنچ‌مارک ازش بگیریم. من یک اسکریپت نوشتم که برای ۱۰۰ تا تگ و ۴۰۰ هزار تا پست دیتا تولید میکنه. ( در مجموع میشه ۴۰ میلیون داده توی ردیس ). همچنین یک اسکریپت دیگه هم داریم که برای ۱۰۰ تا پست چک کنه که ۴ تا تگ رو دارن یا نه.

  1. اجرای اسکریپت افزودن دیتا یک دقیقه و ۳۸ ثانیه طول کشید.
  2. حجم مموری ردیس بعد از افزودن دیتای: ۳.۱۳گیگ
  3. اجرای اسکریپت دریافت ۴ تگ برای ۱۰۰ تا پست: ۱.۲۴ میلی‌ثانیه.

چون حالت دیگه ایی نداریم که مقایسه کنیم عددا یکم برامون گنگ هستن. ۳ گیگ خوبه یا نه؟ بهتر راه حل های دیگه رو هم چک کنیم.

استفاده از هش ردیس

حالا چطور ازش استفاده میکنیم؟ یک کلید میسازیم برای هر تگ و به اون هشمون تک تک پست هایی که اون تگ رو دارن با مقدار 1 اضافه میکنیم. مثلا اگه تگ free داشته باشیم با پست های 5,12 و 21 دستور ردیسمون اینطور میشه:

HMSET tag:free 12 1 5 1 21 1

توی دستور بالا میگیم یک هش به اسم tag:free بساز که به ترتیب 12,5,21 مقدارشون یک باشه.

ما برای این کار دو تا راه حل داشتیم، کلید ما تگ باشه و هش ما پست ها، یا کلید پست باشه و هش ما لیست تگ های اون پست. چرا راه اول رو انتخاب کردیم؟
برای اینکه علت رو دقیق تر متوجه بشیم باید صورت مسئله رو یک بار دیگه بخونیم. یک لیست ۱۰۰ تایی داریم و میخوایم برای هر تگ چک کنیم که آیا تک تک این پست ها فلان تگ رو دارن یا نه. همچنین باید در نظر داشته باشیم برای دریافت اطلاعات از هش ما نمیخوایم یکی یکی چک کنیم که تگ فلان پست فلان رو داره یا نه. ما میخوایم همزمان بگیم که یک پست اون ۴ تا تگ رو داره یا یک تگ اون ۱۰۰ تا پست رو داره یا نه؟
حالا اگه کلید ما پست آی دی باشه و هش ما تگ های ما، باید ۱۰۰ تا چک برای ۴ تا تگ داشته باشیم در حالی که الان با این روش ۴ تا چک برای ۱۰۰ تا پست رو داریم.

حالا که متوجه کلیت این روش شدیم بهتره بریم سراغ بنچ مارک گرفتن.

  1. اسکریپت افزودن دیتاها ۴۰ ثانیه طول کشید.
  2. حجم مموری گرفته شده ۲.۱ گیگ بود.
  3. اسکریپت دریافت اطلاعات از کش ۸۵۰ میکروثانیه یعنی کمتر از یک میلی‌ثانیه طول کشید.

این روش خیلی سریع تر بود. اما مشکلی که هست اینه میخوایم سعی کنیم اگر امکانش هست حافظه کمتر از ۲ گیگ باشه.

یک دیتاتایپ ایی که هنوز در موردش صحبت نکردیم ست ها (Sets) هستند. اگه درس ساختمان داده رو خونده باشید میدونید ست ها از هش توی خودشون استفاده میکنن. اما برعکس هش‌ایی که توی ردیس داشتیم قرار نیست دیگه دیتای اضافی ایی که به هر آیتم بدیم. توی ست میتونیم چک کنیم که آیا یک آیتم عضو ست هست یا نه.

استفاده از ست‌های ردیس

کاری که میخوایم انجام بدیم تقریبا شبیه مپ هست. به ازای هر تگ یک ست داریم که حاوی آی‌دی پست هایی هست که اون تگ رو دارن. فرقش با هش اینه دیگه نمیگیم هر عضو مقدار true (یا یک) رو داره. چون هر عضو قرار نیست دیتایی رو توی خودش ذخیره کنه. صرفا با کامند های ردیس میتونیم چک کنیم که آیا فلان عضو توی فلان ست هست یا نه. براساس این موضوع میشه پیشبینی کرد که حافظه رم ما کمتر میشه و احتمالا به زیر ۲ گیگ برسیم. بهتره بنچ‌مارک بگیریم:

  1. اسکریپت افزودن دیتا ها فقط ۳۰ ثانیه طول کشید.
  2. حجم مموری گرفته شده ۱.۷ گیگ بود ( هورااا‌ )
  3. اسکریپت دریافت اطلاعات از ردیس ( ؟؟؟‌)

خب، به یک مشکل خوردیم! بذارید مسئله رو دوباره بگم. ما یک کلید داریم که نشون دهنده یک تگ هست که حاوی یک ست از آی‌دی پست هاست. ما میخوایم ۱۰۰ تا پست رو توی اون ست چک کنیم. اما کامندی که ردیس برای چک کردن عضو درون ست به ما میده single هست. یعنی فقط یک عضو رو میتونیم تست کنیم. چطور ۱۰۰ تا رو با هم چک کنیم؟ از pipeline استفاده میکنیم (با استفاده از پایپ‌لاین ها یک مجموعه دستور برای ردیس با هم می فرستیم که پشت سر هم اجرا بشن.) اما برعکس هش یا get دستوری نیست که همه رو با هم بگیره و مطمئن باشیم بهینه سازی های ردیس روش انجام میشه.

۳. اسکریپت دریافت اطلاعات از ردیس: ۱.۴ میلی‌ثانیه

جمع بندی

ست ها میتونست جواب بهتری باشه ولی مجبوریم ۴۰۰ مگ رو با stability معاوضه کنیم. البته سرعت دریافت از هش تا دو برابر سریع تر از ست بود که کنار استیبل بودن هش ها باعث شد این گزینه رو انتخاب کنیم.

۱
۰
ساسان پرویز
ساسان پرویز
مهندس نرم افزار و سرور
شاید از این پست‌ها خوشتان بیاید