ویرگول
ورودثبت نام
hamed sahami
hamed sahamihttps://www.linkedin.com/in/hamedsahami/
hamed sahami
hamed sahami
خواندن ۸ دقیقه·۱ سال پیش

Exabeam: مقیاس‌پذیری جستجوی تحلیلی امنیت با ClickHouse

متون ارائه شده بر رویکرد شرکت اگزابیم (Exabeam) در زمینه امنیت سایبری و تجزیه و تحلیل امنیتی تمرکز دارند. منبع اول که رونوشتی از یک ویدیوی یوتیوبی است، جزئیات فنی استفاده اگزابیم از کلیک‌هاوس (ClickHouse) را برای ایجاد یک پلتفرم عملیات امنیتی مقیاس‌پذیر تشریح می‌کند؛ این پلتفرم از هوش مصنوعی و یادگیری ماشین برای تشخیص تهدید، رسیدگی، و پاسخ‌دهی استفاده کرده و نشان می‌دهد که چگونه برای مدیریت بیش از یک میلیون رویداد در ثانیه و ۸۰ میلیارد رویداد روزانه، بهینه‌سازی‌هایی در معماری و تزریق داده انجام شده است. منبع دوم، یک صفحه وب از اگزابیم است که به طور کلی سبد محصولات و راهکارهای این شرکت را معرفی می‌کند، شامل پلتفرم‌های SIEM (مدیریت اطلاعات و رویدادهای امنیتی) با قابلیت‌های بومی ابری و خودمیزبان، همراه با تمرکز بر تحلیل رفتار کاربر و موجودیت (UEBA) و تشخیص، بررسی و پاسخ‌دهی به تهدید (TDIR). هر دو منبع، اهمیت اگزابیم در مقابله با تهدیدات داخلی و خارجی و همچنین انطباق با مقررات را برجسته می‌سازند.



شرکت اکزابیم (Exabeam) یک متخصص در حوزه امنیت سایبری است که راهکارهایی را برای شناسایی، تحقیق و پاسخگویی به تهدید (TDIR) ارائه می‌دهد. هدف اکزابیم کمک به سازمان‌های پیشرو در جهان است تا با تهدیداتی که نمی‌توانند ببینند، به صورت سریع‌تر، دقیق‌تر و قابل تکرار مبارزه کنند.

این شرکت خدمات خود را با استفاده از هوش مصنوعی (AI) و اتوماسیون برای بهبود عملیات‌های امنیتی (SOC) ارائه می‌دهد.

پلتفرم‌ها و قابلیت‌های کلیدی

پورتفولیوی محصول اکزابیم انتخاب‌های انعطاف‌پذیری را برای مدیریت اطلاعات و رخدادهای امنیتی (SIEM) و TDIR فراهم می‌کند. این محصولات به دو دسته اصلی تقسیم می‌شوند:

  1. پلتفرم ابری (Cloud-Native Platform): شامل New-Scale Fusion، New-Scale SIEM و New-Scale Analytics است که برای TDIR پیشرفته مبتنی بر هوش مصنوعی و اتوماسیون طراحی شده است.

  2. پلتفرم خودمیزبان (Self-Hosted Platform): شامل LogRhythm SIEM و LogRhythm Intelligence است که برای TDIR و رعایت الزامات تطبیق‌پذیری (Compliance) کاربرد دارد.

قابلیت‌های محوری این شرکت عبارتند از:

  • SIEM (مدیریت اطلاعات و رخدادهای امنیتی).

  • UEBA (تحلیل رفتار کاربر و موجودیت).

  • AI (هوش مصنوعی).

  • SOAR (خودکارسازی امنیت، ارکستراسیون و پاسخگویی).

  • TDIR (شناسایی، تحقیق و پاسخگویی به تهدید).

رویکرد TDIR مبتنی بر هوش مصنوعی

پلتفرم عملیات امنیتی اکزابیم بر چهار ستون اصلی تکیه دارد که از هوش مصنوعی و یادگیری ماشین بهره می‌برند:

  1. ورود داده (Injection Pipeline): از طریق این خط لوله، داده‌ها از منابع مختلف از جمله بارهای کاری ابری، برنامه‌های SaaS، نقاط پایانی (endpoints) و فایروال‌ها جمع‌آوری می‌شوند. این داده‌ها با زمینه‌های اضافی غنی‌سازی می‌شوند تا برای تشخیص تهدید استفاده شوند. اکزابیم در حال حاضر از حدود ۹۵۰۰ تحلیلگر (parsers) پشتیبانی می‌کند.

  2. شناسایی تهدید (Threat Detection): این موتور از هوش مصنوعی و یادگیری ماشین برای ارائه تحلیل رفتار کاربر و موجودیت (UEBA)، اولویت‌بندی، امتیازدهی و همبستگی استفاده می‌کند. این امر به برجسته کردن سریع تهدیدات واقعی کمک کرده و در عین حال نویز را به حداقل می‌رساند. این سیستم شامل حدود ۲۰۰۰ قانون تحلیلی و ۷۵۰ مدل رفتاری است.

  3. تحقیق (Investigation): اکزابیم ابزارهایی مانند جدول زمانی رخدادها و همچنین دستیاران هوش مصنوعی مولد (Generative AI co-pilots) را ارائه می‌دهد که خلاصه‌هایی از تهدید و بینش‌های عمیق را بر اساس تمام شناسایی‌ها فراهم می‌کنند.

  4. پاسخگویی (Response): این شرکت یک پلتفرم اتوماسیون (SOAR) دارد که به سازمان‌ها اجازه می‌دهد تا پلی‌بوک‌های خود را خودکارسازی کرده و با ابزارهای شخص ثالث ادغام شوند.

مقیاس و عملکرد

عملکرد بالا و مقیاس‌پذیری، یک معیار حیاتی در امنیت سایبری برای اکزابیم است.

  • پلتفرم عملیات امنیتی اکزابیم در ۱۰ منطقه جهانی فعال است.

  • این پلتفرم قادر است در اوج، از ۱.۲ میلیون رخداد در ثانیه پشتیبانی کند.

  • تقریباً ۸۰ میلیارد رخداد روزانه جذب می‌شود.

  • این شرکت در ماه‌های اخیر، بیش از ۳.۵ پتابایت داده را جذب کرده است.

  • یک معیار کلیدی که اکزابیم بر آن تمرکز دارد، میانگین زمان شناسایی (MTDT) است، یعنی زمان بین ورود رخدادها تا زمانی که تهدید شناسایی و به تحلیلگران امنیتی نشان داده می‌شود.

برای مدیریت این حجم بالا از داده‌ها و ارائه جستجوی کم‌هزینه و پرسرعت، اکزابیم از کلیک‌هاوس (ClickHouse) استفاده می‌کند.

تمرکز بر تهدیدات خاص و تطبیق‌پذیری

اکزابیم راهکارهایی را برای تحقق نتایج استراتژیک امنیتی ارائه می‌دهد:

  • تهدیدات داخلی (Insider Threats): این راهکارها شامل نظارت بر رفتار داخلی برای تعیین نیت و شناسایی نوع جدیدی از تهدیدات داخلی: عوامل هوش مصنوعی (AI Agents) هستند.

  • تهدیدات خارجی (External Threats): دفاع در برابر فیشینگ، بدافزار، باج‌افزار و موارد دیگر.

  • تطبیق‌پذیری (Compliance): اکزابیم امکان پایبندی دائمی و ساده‌سازی گزارش‌دهی را فراهم می‌کند.

لازم به ذکر است که اکزابیم به دلیل نوآوری در هوش مصنوعی و تفاوت‌هایش در ارائه ارزش، به عنوان یک رهبر مورد اعتماد و برنده جوایز متعدد در صنعت امنیت شناخته شده است.


در آخر باید اشاره کرد که کلیک هاوس (ClickHouse) به شرکت اگزابیم (Exabeam) کمک کرده است تا پلتفرم عملیات امنیتی (SecOps) خود را مقیاس‌پذیر سازد. این مقیاس‌پذیری به ویژه برای برآورده کردن یک معیار کلیدی در امنیت سایبری، یعنی میانگین زمان شناسایی (MTDT) حیاتی بوده است.

در زیر، شرح کامل کارهایی که کلیک هاوس برای این شرکت انجام داده و نحوه اجرای آن بر اساس اطلاعات ویدئو آورده شده است:

دستاوردهای کلیدی و مقیاس‌پذیری (آنچه کلیک هاوس انجام داد)

کلیک هاوس به اگزابیم اجازه داد تا به توانمندی‌های عملکردی زیر دست یابد:

  1. سرعت بالا و تأخیر کم: با بهره‌گیری از کلیک هاوس، اگزابیم توانسته است قابلیت‌های جستجوی پرسرعت، مقیاس‌پذیر، با تأخیر کم و مقرون به صرفه را ارائه دهد.

  2. پشتیبانی از حجم داده عظیم: در اوج مصرف، پلتفرم قادر به پشتیبانی از 1.2 میلیون رویداد در ثانیه است.

  3. حجم بلعیده شده روزانه: تقریباً 80 میلیارد رویداد به صورت روزانه بلعیده می‌شوند.

  4. ذخیره‌سازی داده: در چند ماه گذشته، سه و نیم پتابایت داده وارد سیستم شده است.

  5. کاهش MTDT: کلیک هاوس به اگزابیم کمک کرد تا معیار MTDT (میانگین زمان شناسایی) را کاهش دهد، که برای امنیت سایبری بسیار حیاتی است.

  6. عملکرد جستجو: امکان دستیابی به هزینه کمتر و جستجوهای سریع‌تر برای شناسایی تهدیدات و نمایش آن‌ها به تحلیلگران امنیتی فراهم شد.

نحوه اجرای فنی و بهینه‌سازی‌ها (چگونه این کار انجام شد)

اگزابیم از ClickHouse Cloud استفاده می‌کند و در 10 منطقه جهانی فعال است. تیم فنی چندین بهینه‌سازی عمده را برای مدیریت حجم بالای داده و عملکرد انجام دادند:

1. بهینه‌سازی معماری و جداسازی فرآیندها

برای مدیریت 1 میلیون رویداد در ثانیه، چندین بهینه‌سازی، عمدتاً در معماری، صورت گرفت:

  • جداسازی خواندن، نوشتن و ادغام: از قابلیت محاسباتی کلیک هاوس برای جداسازی فرآیندهای نوشتن (writes)، ادغام (merges) و خواندن (reads) استفاده شد. این جداسازی تضمین می‌کند که بارهای کاری بسیار سنگین خواندن بر روی عملیات نوشتن و ادغام تأثیر نگذارند.

  • ساختار معماری سطح بالا: معماری شامل موارد زیر است:

    • سرویس‌های Ingest (بلعیدن داده).

    • نمونه‌های نوشتن (Write instances) که صرفاً بر روی نوشتن داده در کلیک هاوس تمرکز دارند.

    • نمونه‌های ادغام (Merge instances) که ادغام‌های پس‌زمینه را انجام می‌دهند.

    • نمونه‌های خواندن (Read instances) که بارهای کاری مختلف خواندن را مدیریت می‌کنند.

  • مدیریت شمای داده: از سرویس مدیریت کلیک هاوس برای مدیریت شمای داده در محیط کلیک هاوس استفاده شد.

2. بهینه‌سازی مدل داده برای جستجوی سریعتر

  • مدل اطلاعات مشترک (CIM): داده‌ها در مدلی به نام Common Information Model (مدل اطلاعات مشترک) نرمال‌سازی شده‌اند که شامل بیش از 1000 فیلد است. مدل داده کلیک هاوس بر اساس این ساختار ساخته شده است و کلیک هاوس از آن در قالب چندمستأجری پشتیبانی می‌کند.

  • تغییر از ستون‌های زیاد به فیلدهای یکپارچه: با وجود 1200+ ستون در مدل فرضی، تیم متوجه شد که جستجوی 180+ ستون حدود 8 ثانیه یا بیشتر طول می‌کشد، در حالی که جستجوی یک ستون در کمتر از یک ثانیه انجام می‌شد.

  • فشرده‌سازی ستون‌ها: آن‌ها فیلدها را بهینه کردند. با توجه به اینکه 80 درصد از ستون‌ها در مدل ممکن است تهی (null) باشند، آن‌ها این ستون‌های کمیاب را فشرده کرده و آن‌ها را در فیلدهای کمیاب (rare fields) قرار دادند، جایی که نام ستون کلید و مقدار ستون، مقدار آن است.

  • کاهش تعداد ستون: با استفاده از این رویکرد، تعداد ستون‌ها از 1200+ به 250 ستون کاهش یافت.

  • نتایج بهینه‌سازی: این بهینه‌سازی، سرعت بلعیدن داده را از 100 هزار رویداد در ثانیه به 250 هزار رویداد در ثانیه در یک کلاستر سه گره‌ای (سه ریپلیکایی) افزایش داد.

3. بهینه‌سازی خط لوله بلعیدن داده (Ingestion Pipeline)

تیم اگزابیم چندین بهینه‌سازی فنی را برای مقیاس‌بندی ورودی انجام داد:

  • استفاده از GCP Reader: استفاده از GCP reader هنگام خواندن فایل‌ها از GCS buckets، 20 درصد افزایش عملکرد در خواندن فایل‌ها به همراه داشت.

  • مهاجرت JSON: مهاجرت از JSON به Jackson، 60 درصد عملکرد سریع‌تر در پردازش داده و رویدادهای JSON فراهم کرد.

  • بهینه‌سازی شبکه Data Writer: برای ارسال سریع 100 هزار رویداد به کلیک هاوس:

    • روش اولیه (فرمت باینری خام با JSON) 20 ثانیه طول کشید.

    • روش دوم (استفاده از چندین رشته و تبدیل سطرها به بایت قبل از ارسال) زمان انتقال را به 5 ثانیه کاهش داد.

    • روش پیشنهادی کلیک هاوس (استفاده از iterable by array input stream) زمان انتقال را به 1 ثانیه کاهش داد، اما 7 گیگابایت از حافظه Pod را مصرف کرد زیرا استفاده از iterator مانع از جمع‌آوری زباله (Garbage Collection) می‌شد.

    • راه‌حل نهایی: آن‌ها یک wrapper ایجاد کردند تا رویکرد iterator را حذف کنند و امکان جمع‌آوری زباله فوری فراهم شود. این کار مصرف حافظه را از 7 گیگابایت به 4 گیگابایت کاهش داد و توان عملیاتی را از 16 هزار رویداد در ثانیه به 20 هزار رویداد در ثانیه افزایش داد.

4. حل چالش‌های عملیاتی در تولید

  • مشکل Max Part File: در محیط تولید، نوشتن 100 هزار رویداد در یک دسته (batch) به چندین پارتیشن منجر به ایجاد فایل‌های پارتیشن متعدد شد. این وضعیت باعث مصرف بالای حافظه، تداخل در فرآیندهای ادغام (merges) و لغو شدن آن‌ها می‌شد.

    • راه‌حل: رویدادهای بلعیده شده به دو دسته "زمان واقعی" (Real-time) و "معوقه" (Backlog) تقسیم شدند. رویدادهای زمان واقعی مستقیماً به کلیک هاوس ارسال می‌شوند. رویدادهای معوقه به یک تاپیک معوقه ارسال می‌شوند و توسط پردازنده‌های بلع معوقه در دسته‌های بسیار بزرگتر پردازش و ثبت می‌شوند. این کار تعداد فایل‌های پارتیشن برای پارتیشن‌های قدیمی‌تر را کاهش داد. این رویکرد مشکل حداکثر فایل پارتیشن و همچنین هزینه‌های عملیاتی را کاهش داد.

  • مشکل ایندکس‌گذاری (Ngram): در ابتدا، آن‌ها از ایندکس n-gram برای جستجوهای عبارات منظم (Regular Expression) و IP استفاده کردند.

    • مشکل: N-gram به سخت‌افزار بیشتری نیاز داشت زیرا کلیک هاوس باید عملیات تطبیق پس‌زمینه را انجام داده و ایندکس را بازسازی کند که برای داده‌های لاگ حجیم بسیار پرهزینه بود.

    • راه‌حل: آن‌ها به رویکرد توکن‌سازی (tokenization) روی آوردند. توکن‌سازی توکن‌های کمتری تولید می‌کند، به سخت‌افزار کمتری نیاز دارد و عملکرد کلیک هاوس را با کاهش اندازه ایندکس بهبود می‌بخشد. این تصمیم عملی بود زیرا جستجوهای عبارات منظم تنها 1 درصد از کوئری‌های مشتریان آن‌ها را تشکیل می‌داد.

در کنار همه این ها باید گفت که کلیک هاوس مطابق مطالب طرح شده در جلسات Meetup با امکانات فراوانی که ارایه کرده به این شرکت امنیتی به شکل مطلوبی کمک کرده تا از کلان داده های تولید شده استفاه درست و به موقعی داشته باشه.

هوش مصنوعیامنیت سایبری
۱
۰
hamed sahami
hamed sahami
https://www.linkedin.com/in/hamedsahami/
شاید از این پست‌ها خوشتان بیاید