ویرگول
ورودثبت نام
hamed sahami
hamed sahamihttps://www.linkedin.com/in/hamedsahami/
hamed sahami
hamed sahami
خواندن ۴ دقیقه·۱ سال پیش

کلیک هاوس در Exabeam

این جلسه، که توسط وِنایاک سوار (معاون مهندسی در Exabeam) و آرون (سرپرست فنی) ارائه شده است، بر چگونگی استفاده شرکت Exabeam از پایگاه داده تحلیلی ClickHouse برای مقیاس‌دهی پلتفرم عملیات امنیتی (SecOps) خود متمرکز بود.

در زیر خلاصه‌ای از مطالب ارائه شده بر اساس منابع موجود آمده است:

۱. مروری بر پلتفرم Exabeam و ضرورت استفاده از ClickHouse

پلتفرم عملیات امنیتی Exabeam برای ارائه قابلیت‌های تشخیص، بررسی و واکنش به تهدیدات سایبری از ابتدا تا انتها، از هوش مصنوعی (AI) و یادگیری ماشین (ML) استفاده می‌کند.

چهار ستون اصلی این پلتفرم عبارتند از:

  1. خط لوله داده‌گیری (Injection): از ۹,۵۰۰ تجزیه‌کننده (parser) پشتیبانی می‌کند و داده‌ها را از منابع مختلف (از جمله بارهای کاری ابری، برنامه‌های SaaS، نقاط پایانی و فایروال‌ها) جمع‌آوری و با زمینه‌های اضافی غنی‌سازی می‌کند.

  2. تشخیص تهدید: این موتور از AI و ML استفاده کرده و شامل ۲۰۰۰ قانون تحلیلی و ۷۵۰ مدل رفتاری است که برای تحلیل رفتار کاربران و نهادها، اولویت‌بندی، امتیازدهی و همبستگی‌سازی استفاده می‌شود تا تهدیدات واقعی با کمترین نویز شناسایی شوند.

  3. بررسی (Investigation): جدول‌های زمانی رویدادها و همچنین کمک‌خلبان‌های (Co-pilots) هوش مصنوعی مولد را ارائه می‌دهد که خلاصه‌های عمیق و خوبی از تهدیدات را در اختیار کاربران قرار می‌دهند.

  4. واکنش (Response): یک پلتفرم خودکارسازی را فراهم می‌کند که به شرکت‌ها اجازه می‌دهد Playbookهای خود را خودکار کرده و با ابزارهای شخص ثالث ادغام شوند.

معیار کلیدی و نقش ClickHouse: در امنیت سایبری، میانگین زمان تشخیص (MTDT) بسیار حیاتی است؛ یعنی زمان بین ورود رویدادها تا زمان شناسایی و نمایش تهدید به تحلیلگران امنیتی. ClickHouse به Exabeam کمک کرده است تا این معیار (MTDT) را کاهش دهد و نیاز به یک پایگاه داده تحلیلی بلادرنگ را برآورده سازد که بتواند جستجوی کم‌هزینه و سریع را فراهم کند.

۲. معیارهای مقیاس و عملکرد

Exabeam در ۱۰ منطقه جهانی از ClickHouse Cloud استفاده می‌کند. دستاوردهای مقیاس‌دهی به شرح زیر است:

  • حجم داده‌گیری: در اوج، پلتفرم قادر به پشتیبانی از ۱.۲ میلیون رویداد در ثانیه است.

  • میزان روزانه: تقریباً ۸۰ میلیارد رویداد روزانه در سیستم وارد می‌شود.

  • ذخیره‌سازی: در چند ماه اخیر، بیش از ۳.۵ پتابایت داده وارد شده و این میزان در حال رشد است.

  • مدل داده: داده‌ها در یک مدل اطلاعاتی مشترک (CIM) با بیش از ۱۰۰۰ فیلد نرمال‌سازی شده‌اند و مدل داده ClickHouse حول این ساختار ساخته شده است.

۳. بهینه‌سازی‌های فنی و معماری

برای مدیریت ۱ میلیون رویداد در ثانیه در ClickHouse Cloud، بهینه‌سازی‌های متعددی انجام شده است [4، 5].

الف) معماری و جداسازی وظایف

برای جلوگیری از تأثیر بارهای کاری سنگین خواندن (Read Heavy) بر عملیات نوشتن و ادغام، Exabeam از قابلیت‌های محاسباتی ClickHouse برای جداسازی فرآیندهای نوشتن، ادغام و خواندن استفاده کرد:

  • Write Instance (نمونه نوشتن): صرفاً بر روی نوشتن داده‌ها در ClickHouse تمرکز دارد.

  • Merge Instance (نمونه ادغام): ادغام‌های پس‌زمینه را انجام می‌دهد.

  • Read Instance (نمونه خواندن): بارهای کاری مختلف خواندن را مدیریت می‌کند.

ب) بهینه‌سازی برای جستجوی سریع

برای بهبود عملکرد جستجو، Exabeam تعداد ستون‌ها را بهینه‌سازی کرد:

  • استفاده از فیلدهای فشرده (Consolidated Fields): اگرچه جدول فرضی آن‌ها بیش از ۱۲۰۰ ستون داشت، بازیابی تمام این ستون‌ها عملکرد کافی نداشت. با این حال، اگر فقط یک ستون جستجو می‌شد، پاسخ در کمتر از یک ثانیه حاصل می‌شد.

  • کاهش تعداد ستون‌ها: بسیاری از ستون‌ها (حدود ۸۰ درصد) در مدل داده‌ای، مقدار Null داشتند. با فشرده‌سازی این ستون‌های نادر و قرار دادن آن‌ها در فیلدهای خاص (که در آن کلید، نام ستون و مقدار، ارزش ستون بود)، تعداد ستون‌ها از ۱۲۰۰+ به ۲۵۰ ستونکاهش یافت.

  • مزیت عملکرد: این رویکرد توانست سرعت داده‌گیری را از ۱۰۰ هزار رویداد در ثانیه به ۲۵۰ هزار رویداد در ثانیه در یک خوشه سه‌گره‌ای ClickHouse افزایش دهد.

ج) بهینه‌سازی داده‌گیری و پردازش رویداد

  • خواننده (Reader) GCP: استفاده از خواننده اختصاصی GCP ۲۰٪ مزیت عملکردی در خواندن فایل‌ها از GCS Buckets فراهم کرد.

  • مهاجرت JSON به Jackson: این تغییر ۶۰٪ عملکرد سریع‌تر در پردازش داده‌ها و رویدادهای JSON به همراه داشت.

  • بهینه‌سازی نویسنده داده (Data Writer): انتقال ۱۰۰ هزار رویداد از ماشین به ClickHouse ابتدا ۲۰ ثانیه طول می‌کشید (با فرمت JSON/باینری خام). پس از آزمایش‌های مختلف، با استفاده از رویکرد بهینه‌سازی‌شده تبدیل ردیف‌ها به بایت‌ها و استفاده از byte array q input stream، زمان انتقال از طریق شبکه به ۱ ثانیه کاهش یافت.

د) حل چالش‌های عملیاتی

  1. مشکل حداکثر فایل‌های قطعه (Max Part File Issue): هنگام درج ۱۰۰ هزار رویداد در یک دسته، داده‌ها به پارتیشن‌های مختلفی وارد می‌شدند که این امر منجر به ایجاد فایل‌های قطعه‌ای متعدد، استفاده زیاد از حافظه و لغو شدن فرآیندهای ادغام (Merge) می‌شد.

    • راه حل: برای حل این مشکل، جریان داده‌گیری به رویدادهای بلادرنگ (Real-time) و بک‌لاگ (Backlog) تقسیم شد. رویدادهای بک‌لاگ به یک تاپیک جداگانه ارسال و در دسته‌های بزرگتر پردازش شدند، که این کار تعداد فایل‌های قطعه‌ای برای پارتیشن‌های قدیمی‌تر را کاهش داد و هزینه‌های عملیاتی را نیز پایین آورد.

  2. هزینه سخت‌افزاری و ایندکس‌گذاری: Exabeam در ابتدا از ایندکس اِن‌گرام (ngram index) استفاده می‌کرد که برای عبارات باقاعده و جستجوی IP مفید است، اما به سخت‌افزار بیشتری نیاز داشت زیرا ClickHouse باید تطبیق‌های پس‌زمینه را انجام می‌داد که برای داده‌های لاگ گران تمام می‌شد.

    • راه حل: از آنجا که جستجوهای عبارت باقاعده تنها ۱٪ از پرس‌وجوهای مشتریان را تشکیل می‌داد، Exabeam به رویکرد توکن‌سازی (Tokenization) روی آورد. توکن‌سازی توکن‌های کمتری تولید می‌کند، به سخت‌افزار کمتری نیاز دارد و اندازه ایندکس را کاهش می‌دهد و در نهایت عملکرد ClickHouse را بهبود می‌بخشد.

در نتیجه، با بهره‌گیری از ClickHouse، Exabeam توانست به قابلیت‌های جستجوی بسیار سریع، مقیاس‌پذیر، با تأخیر کم و مقرون به صرفه دست یابد.
لینک ویدیو
https://youtu.be/T87D6FTDGX0?list=TLGG9a--NsXGHFIyMzA5MjAyNQ

هوش مصنوعیامنیت سایبریبهبود عملکردیادگیری ماشین
۱
۰
hamed sahami
hamed sahami
https://www.linkedin.com/in/hamedsahami/
شاید از این پست‌ها خوشتان بیاید