ویرگول
ورودثبت نام
hamed sahami
hamed sahamihttps://www.linkedin.com/in/hamedsahami/
hamed sahami
hamed sahami
خواندن ۳ دقیقه·۲ سال پیش

کلیک هاوس و شدنی های بینظیرش

تعریف ورودی برای View

تو بین فعالان حوزه دیتا پذیرفته شده است وقتی تو دیتابیس هایی که استفاده میکنند نیاز دارند یه دستور select که معمولا پیچیده هست و یا نیاز دارند چند مرتبه از اون استفاده کنند از یک آبجکت به اسم View استفاده میکنند. این آبجکت بهشون اجاز میده که فقط دستور یا کوئری پیچیده رو ذخیره کنند. تو برخی موارد و محصولات دیتابیس یا پایگاه های داده که رابطه ای بودن و بعضا تجربه کار باهاش رو داریم، امکان ذخیره کردن نتیجه دستور SELECT هم وجود داره که اصلاحا و عموما MaterializedView صدا زده میشوند.

اما کلیک هاوس

داخل این محصول بی رغیب امکان استفاده از MaterializedView وجود داره و کلی Option و امکان اضافه تر هم به شما میده که اون ها رو باهم بررسی میکنیم. به صورت پیش فرض این ابجکت برای شما بر اساس تریگر و اضافه شدن رکورد جدید به جدول منبع برای شما کار خواهد کرد و برای ساخت سیستم های در لحظه یا RealTime بخصوص وقتی جدول منبع با کافکا یا منابع اطلاعاتی مشابه اون پر میشه بسیار عالی کار خواهد کرد.

قابیلت append

با استفاده از این گزینه تو زمان ساخت یک متریالایز ویو میشه کاری کرد که داده های مورد نیازمون به صورت تدریجی یا Incremental به جدول مقصد اضافه بشه تا بار سبک تری به سیستم تحمیل بشه و تو حجم اطلاعاتی زیاد بازهم امکان استفاده از متریالاز ویو برای نگهداری و افزودن تازه های سیستم وجود داشته باشه.

CREATE MATERIALIZED VIEW <DbName>.<ObjectName> REFRESH EVERY 1 MINUTE APPEND TO <DbName>.<ObjectName> As
<your query> SETTINGS allow_experimental_refreshable_materialized_view = 1

تو نمونه بالا هر یک دقیقه یکبار متریالایز ویو اجرا خواهد شد و جدول مقصد شما رو بر اساس کوئری تون بروز میکنه، شما در این بخش میتوانید از شرط های مبتنی براساس زمان "تغییرات یک دقیقه آخر" و حتی آفست "بزرگتر بودن از آخرین آفست یا کلید موجود" استفاده کنید تا رکوردهای بازه مورد نظرتون رو دریافت کنید.

تعریف ورودی برای View

در کلیک هاوس امکانات یا آپشن های بیشتری برای کلیک هاوس بازهم وجود داره، اما چیزی که من رو سورپرایز کرد امکان تعریف ورودی برای ویو در کلیک هاوس بود که تو خیلی از سیستم های ذخیره اطلاعات رابطه ای ندیده بودم. کلیک هاوس بصورت مبتنی بر ستون "Column Base"هست و با این امکانی که ارائه کرد کنار کلی قابلیت دیگه من رو خوشحال کرد.

نمونه اسکریپت ایجاد ویو بصورت Parameterized

Create Script CREATE VIEW raw_data_parametrized AS
SELECT *
FROM raw_data
WHERE (id >= {id_from:UInt32}) AND (id <= {id_to:UInt32}) Usage Example SELECT count() FROM raw_data_parametrized(id_from=0, id_to=50000);

با همین ابتکار ساده خیلی جاها به کمک من اومد تا بتونم شبیه به یک تابع این بار View رو صدا بزنم و بر اساس ورودی ها منتظر خروجی ای باشم که تو مصارف تحلیلی و تجمیعی در برابر دیتابیس های معمول سرعت 100 برابری داره و بازهم حال خودم و استفاده کننده گان داده در سازمان رو خوشحال کنه.

هر جا دوست داشتید چیزهای بیشتر از کلیک هاوس بدونین یا مشکلی رو تو کلیک هاوس مشورت کنین با دوست دیگه ای رو کمک من حامد سهامی حتما حساب کنین، خوشحال میشم .

۲
۰
hamed sahami
hamed sahami
https://www.linkedin.com/in/hamedsahami/
شاید از این پست‌ها خوشتان بیاید