یکی از چالش هایی که جدیدا بهش برخوردیم این بود که براساس تگ هایی که یک سری پست دارن اون ها رو نشون ندیم، بولد (Bold) نشون بدیم و ... برای این کار یک دیتابیس داریم که لیست تگها رو توی خودش نگه میداره و یک دیتابیس دیگه که با Many-to-many رابطه بین پست و تگ ها رو ذخیره میکنه. تا اینجای قضیه سادست. اما از اونجایی که درخواست های زیادی سمت وبسایتمون میاد باید حتما یک کش داشته باشیم که دیتابیسمون به رحمت خدا نره.

برای کش کردن کلی راه حل مثل Redis, memcached و... هست. اما تفاوتی که ردیس داره اینه که دیتاتایپ هایی به ما میده که بتونیم طبق نیازی که داریم ازشون استفاده کنیم. توی این مطلب ویرگول با Geo-spatial ردیس کار کردیم و نشون دادم چه امکانات خفنی ردیس میتونه به ما بده.
حالا که معلوم شد چرا از ردیس استفاده میکنیم بیاید با هم مشکلمون رو بررسی کنیم و براساس ابزار هایی که ردیس بهمون میده چند تا راه حل پیدا کنیم و با بنچ مارک گرفتن بهینه ترینشون رو انتخاب کنیم.
مسئله ما اینه که یک لیست از پست آیدی داریم (۱۰۰ تا پست) و میخوایم چک کنیم برای تک تک اون آیدی ها که ۴ تا تگ مشخص رو دارن یا نه.
بدرد نخور لفظ خوبی نیست! اما خب برای این همه بار اضافه ایی که این راه حل ها میارن حرف خوبیه. هر دیتاتایپ ایی جای خودش به کار میاد. قرار نیست همه چیز با یک ارایه خشک و خالی حل شه.
راه حل ابتدایی اولیه اینه که کل آیدی های پست های هر تگ رو توی یک آرایه بریزیم و برای هر بار چک کردن هم از اول تا آخر ارایه بریم که پیچیدگی زمانی N داره و به درد این کار نمیخوره.
راه حل ابتدایی دوم اینه ارایه ایی که آی دی ها ریخته میشه توش رو Sort کنیم که پیچیدگی زمانی دریافت لگاریتمی میشه. اما خب چه کاریه اینقدر پیچیدش کنیم!
احتمالا سادهترین راه حلی که به ذهن همه میاد اینه که یک ترکیب مثل postid:tagid توی ردیس ذخیره کنن. حالا هر بار نیاز بود چک کنن پست X آیا تگ Y رو داره یا نه، باید چک کنن که کلید x:y وجود داره توی ردیس ما یا نه. قبل از هر تصمیمی بهتره یک بنچمارک ازش بگیریم. من یک اسکریپت گو نوشتم که برای ۱۰۰ تا تگ و ۴۰۰ هزار تا پست دیتا تولید میکنه. ( در مجموع میشه ۴۰ میلیون داده توی ردیس ). همچنین یک اسکریپت دیگه هم داریم که برای ۱۰۰ تا پست چک کنه که ۴ تا تگ رو دارن یا نه.
چون حالت دیگه ایی نداریم که مقایسه کنیم عددا یکم برامون گنگ هستن. ۳ گیگ خوبه یا نه؟ بهتر راه حل های دیگه رو هم چک کنیم.
یکی از دیتاتایپ های خوب ردیس هش ها هستن. هش مثل مپ هستش. یک نمونش اینه یک کلید به اسم user:11 داشته باشیم که هش باشه و مپ اش به شکل name:Mohammad age:22 و.. باشه.
HMSET user:1000 username antirez password P1pp0 age 34
حالا ما چطور ازش استفاده میکنیم؟ یک کلید میسازیم برای هر تگ و به اون هشمون تک تک پست هایی که اون تگ رو دارن با مقدار 1 اضافه میکنیم. مثلا اگه تگ free داشته باشیم با پست های 5,12 و 21 دستور ردیسمون اینطور میشه:
HMSET tag:free 12 1 5 1 21 1
توی دستور بالا میگیم یک هش به اسم tag:free بساز که به ترتیب 12,5,21 مقدارشون یک باشه.
ما برای این کار دو تا راه حل داشتیم، کلید ما تگ باشه و هش ما پست ها، یا کلید پست باشه و هش ما لیست تگ های اون پست. چرا راه اول رو انتخاب کردیم؟
برای اینکه علت رو دقیق تر متوجه بشیم باید صورت مسئله رو یک بار دیگه بخونیم. یک لیست ۱۰۰ تایی داریم و میخوایم برای هر تگ چک کنیم که آیا تک تک این پست ها فلان تگ رو دارن یا نه. همچنین باید در نظر داشته باشیم برای دریافت اطلاعات از هش ما نمیخوایم یکی یکی چک کنیم که تگ فلان پست فلان رو داره یا نه. ما میخوایم همزمان بگیم که یک پست اون ۴ تا تگ رو داره یا یک تگ اون ۱۰۰ تا پست رو داره یا نه؟
حالا اگه کلید ما پست آی دی باشه و هش ما تگ های ما، باید ۱۰۰ تا چک برای ۴ تا تگ داشته باشیم در حالی که الان با این روش ۴ تا چک برای ۱۰۰ تا پست رو داریم.
حالا که متوجه کلیت این روش شدیم بهتره بریم سراغ بنچ مارک گرفتن.
این روش خیلی سریع تر بود. اما مشکلی که هست اینه میخوایم سعی کنیم اگر امکانش هست حافظه کمتر از ۲ گیگ باشه.
یک دیتاتایپ ایی که هنوز در موردش صحبت نکردیم ست ها (Sets) هستند. اگه درس ساختمان داده رو خونده باشید میدونید ست ها از هش توی خودشون استفاده میکنن. اما برعکس هشایی که توی ردیس داشتیم قرار نیست دیگه دیتای اضافی ایی که به هر آیتم بدیم. توی ست میتونیم چک کنیم که آیا یک آیتم عضو ست هست یا نه.
کاری که میخوایم انجام بدیم تقریبا شبیه مپ هست. به ازای هر تگ یک ست داریم که حاوی آیدی پست هایی هست که اون تگ رو دارن. فرقش با هش اینه دیگه نمیگیم هر عضو مقدار true (یا یک) رو داره. چون هر عضو قرار نیست دیتایی رو توی خودش ذخیره کنه. صرفا با کامند های ردیس میتونیم چک کنیم که آیا فلان عضو توی فلان ست هست یا نه. براساس این موضوع میشه پیشبینی کرد که حافظه رم ما کمتر میشه و احتمالا به زیر ۲ گیگ برسیم. بهتره بنچمارک بگیریم:
خب، به یک مشکل خوردیم! بذارید مسئله رو دوباره بگم. ما یک کلید داریم که نشون دهنده یک تگ هست که حاوی یک ست از آیدی پست هاست. ما میخوایم ۱۰۰ تا پست رو توی اون ست چک کنیم. اما کامندی که ردیس برای چک کردن عضو درون ست به ما میده single هست. یعنی فقط یک عضو رو میتونیم تست کنیم. چطور ۱۰۰ تا رو با هم چک کنیم؟ از pipeline استفاده میکنیم (با استفاده از پایپلاین ها یک مجموعه دستور برای ردیس با هم می فرستیم که پشت سر هم اجرا بشن.) اما برعکس هش یا get دستوری نیست که همه رو با هم بگیره و مطمئن باشیم بهینه سازی های ردیس روش انجام میشه.
ردیس کامند SMISMEMBER رو از ورژن ۶.۲.۰ به بعد اضافه میکنه.( که روی ورژن stable فعلی نیست) پس قضیش برای استفاده توی پروداکشن کنسله! اما من روی سیستم خودم اوردم بالا اون ورژن رو و تستش کردم زیاد فرقی با پایپلاین ها نداشت.
۳. اسکریپت دریافت اطلاعات از ردیس: ۱.۴ میلیثانیه
ست ها میتونست جواب بهتری باشه ولی مجبوریم ۴۰۰ مگ رو با stability معاوضه کنیم. البته سرعت دریافت از هش تا دو برابر سریع تر از ست بود که کنار استیبل بودن هش ها باعث شد این گزینه رو انتخاب کنیم.