ویرگول
ورودثبت نام
babak abadkheir
babak abadkheir
babak abadkheir
babak abadkheir
خواندن ۳ دقیقه·۶ سال پیش

ساده ترین روش نگه داری تعداد داده ها با Redis HyperLogLog

مقدمه

برای همه ی ما پیش آمده که بخواهیم تعداد رکورد های مخصوصی رو از دیتابیس بدست بیاریم . به عنوان مثال تعداد خونه هایی که در یک سال گذشته فروخته شدن . یا تعداد کلیک هایی که یک کاربر بر روی سایت ما . یا تعداد ip هایی که تا الان وارد سایت ما شدن . همه ی اینها باید یک جا ذخیره بشن . و ما می دونیم که هر query برای ما می تونه چقدر سنگین باشه. مثلا پیدا کردن تعداد همین ip ها از بین پنج میلیون رکورد می تونه چقدر زمان بر باشه و بار پردازش زیادی رو بر روی سرور ما بزاره.امروز می خواهیم راه سریعتر و راحت تری رو به شما معرفی کنیم.

اگر با redis آشنا باشید می دونید که redis یک دیتابیس in-memory هستش.البته که این همش نیست. redis قابلیت های فراوانی رو در اختیار ما قرار میده. یکی از این قابلیت ها محاسبه تعداد یک set یا دسته بدون تکرار هستش. یعنی شما می تونید تعداد element های مختلف از یک دسته خاص رو داشته باشید.

a = { 1, 2, 5, 6, 7 } // cardinality is 5 b = {1, 1, 2, 2, 2, 3, 4 } // cardinality is 4

HyperLogLog

ابتدا دستور زیر رو وارد کنید تا به redis وصل بشید.

redis-cli

حالا می خواهیم دیتا های مورد نظر خودمون رو به صورت set ذخیره کنیم.

با دستور PFADD می تونیم شروع کنیم.

PFADD key value

127.0.0.1:6379> PFADD ips 127.1.1.1 (integer) 1 127.0.0.1:6379> PFADD ips 127.5.1.33 (integer) 1 127.0.0.1:6379> PFADD ips 144.22.21.10 (integer) 1

در اینجا redis برای ما set رو با اسم ips درست کرد.و مقدار مورد نظر مارو داخل set قرار داد.

حالا بیایم تعداد مقدار های ذخیره شده در set رو با دستور زیر بدست بیاریم.

PFCOUNT key value

127.0.0.1:6379> PFCOUNT ips (integer) 3

می بینیم که تعداد رو به ما بر می گردونه. حالا بیایم راستی آزمایی کنیم. اگه ‌‌ip تکراری وارد کنیم چه اتفاقی می افته؟

127.0.0.1:6379> PFADD ips 127.1.1.1 (integer) 0 127.0.0.1:6379> PFADD ips 144.22.21.10 (integer) 0 127.0.0.1:6379> PFCOUNT ips (integer) 3


بله redis مقدار های تکراری رو داخل set قرار نمیده.چقدر می تونه این کاربردی باشه برای ما رو خودمون باید تشخیص بدیم. دقت کنید که شما به خود مقدار ها دسترسی ندارید. فقط count رو می تونید بگیرید.مورد آخر اینکه redis در دستور PFCOUNT به شما این امکان رو میده که جمع set های مختلف با هم رو بدست بیارین.البته که این کار از سمت تیم توسعه redis پیشنهاد نمیشه. چون وقتی چندین تا set رو با هم محاسبه می کنیم redis مجبور میشه دوباره فرآیند set سازی رو انجام بده با داده های ورودی جدید تا مقدار های مشترک بین set هارو حذف کنه.


127.0.0.1:6379> PFADD ipz 127.1.1.1 (integer) 1 127.0.0.1:6379> PFCOUNT ips ipz (integer) 3


redis
۳
۰
babak abadkheir
babak abadkheir
شاید از این پست‌ها خوشتان بیاید