ویرگول
ورودثبت نام
سپهر فصیحی - Sepehr Fassihi
سپهر فصیحی - Sepehr FassihiDevOps Engineer | Telegram : @SepiFa
سپهر فصیحی - Sepehr Fassihi
سپهر فصیحی - Sepehr Fassihi
خواندن ۱۲ دقیقه·۱ ماه پیش

Multi-Tenancy در Kubernetes؛ چرا Namespace به‌تنهایی مرز امنیتی نیست؟

استفاده از یک cluster مشترک برای چند تیم یا چند محصول، از نظر هزینه و سرعت توسعه جذاب است. تیم‌ها می‌توانند از nodeها، registry، monitoring و ابزارهای مشترک استفاده کنند و بدون ساختن زیرساخت جداگانه، workloadهای خود را deploy کنند.

اما از لحظه‌ای که چند گروه مستقل روی یک cluster قرار می‌گیرند، سؤال مهمی مطرح می‌شود:

اگر یکی از تیم‌ها یا workloadهای آن compromise شود، دقیقاً چه چیزی از تیم‌ها و سرویس‌های دیگر جدا می‌ماند؟

اینجا با مفهوم چندمستاجری (Multi-Tenancy) روبه‌رو هستیم. منظور از tenant می‌تواند یک تیم داخلی، یک محصول، یک واحد سازمانی یا حتی مشتری مستقل باشد.

چندمستاجری فقط ساختن namespaceهای جدا نیست. باید هویت، دسترسی، شبکه، منابع، secretها، nodeها، logها و مسیر deploy طوری طراحی شوند که هر tenant فقط به محدودهٔ خودش دسترسی داشته باشد.

سه مدل اصلی چندمستاجری

قبل از نوشتن policy باید مشخص کنیم چه نوع جداسازی لازم داریم. همهٔ محیط‌ها به یک سطح isolation نیاز ندارند.

چند تیم در یک cluster

در این مدل، تیم‌های مختلف یک سازمان از cluster مشترک استفاده می‌کنند. معمولاً namespace، RBAC و NetworkPolicy بخش اصلی جداسازی هستند.

این مدل برای تیم‌های داخلی مناسب است، به‌شرط اینکه همهٔ تیم‌ها سطح اعتماد تقریباً مشابهی داشته باشند و دسترسی administratorها کنترل شده باشد.

چند محیط یا محصول در یک cluster

برای مثال، staging، development و production یا چند محصول مستقل در یک cluster اجرا می‌شوند. مشکل اصلی این است که خطای یک محیط نباید به محیط حساس‌تر سرایت کند.

در این مدل، جداسازی production از development معمولاً باید بیشتر از یک namespace ساده باشد؛ مخصوصاً اگر توسعه‌دهندگان بتوانند کد دلخواه در محیط development اجرا کنند.

چند مشتری مستقل روی یک cluster

در این مدل، tenantها ممکن است به یکدیگر اعتماد نداشته باشند. اگر یک مشتری compromise شود یا عمداً رفتار مخرب داشته باشد، isolation باید بسیار سخت‌گیرانه‌تر طراحی شود.

برای مشتریان مستقل، استفاده از node pool جدا، cluster جدا یا حتی حساب cloud جدا ممکن است ارزش هزینهٔ اضافی را داشته باشد.

Namespace چه چیزی را جدا می‌کند؟

Namespace برای نام‌گذاری، اعمال RBAC، محدود کردن quota و سازمان‌دهی resourceها بسیار مفید است. اما namespace یک دیوار کامل بین workloadها نیست.

اگر فقط namespace بسازیم و کنترل دیگری اعمال نکنیم، ممکن است هنوز این اتفاق‌ها ممکن باشند:

  • Podها از namespaceهای دیگر به سرویس‌ها متصل شوند.

  • یک Service Account به resourceهای خارج از namespace دسترسی داشته باشد.

  • یک Pod منابع CPU و memory کل node را مصرف کند.

  • secretهای حساس در namespace اشتباه قرار بگیرند.

  • tenant بتواند workload را روی node مشترک با tenant حساس اجرا کند.

  • developer بتواند تنظیمات privileged ایجاد کند.

  • log یا metric یک tenant، دادهٔ tenant دیگر را نمایش دهد.

پس namespace را باید یک لایه از isolation بدانیم، نه مرز نهایی اعتماد.

مدل تهدید را قبل از policy مشخص کنید

امنیت چندمستاجری بدون مدل تهدید معمولاً به مجموعه‌ای از policyهای پراکنده تبدیل می‌شود. ابتدا باید مشخص کنیم از چه چیزی دفاع می‌کنیم.

چند سؤال پایه:

  • آیا tenantها به یکدیگر اعتماد دارند؟

  • آیا tenant می‌تواند کد دلخواه deploy کند؟

  • آیا tenant به node یا cloud credential دسترسی دارد؟

  • آیا administratorهای cluster کاملاً قابل اعتماد و محدود هستند؟

  • آیا هدف ما جلوگیری از خطای تصادفی است یا دفاع در برابر tenant مخرب؟

  • آیا دادهٔ tenantها باید از نظر compliance کاملاً جدا باشد؟

  • در صورت compromise شدن یک Pod، چه سطحی از خسارت قابل‌قبول است؟

اگر tenantها کاملاً نامطمئن باشند، namespace مشترک و node مشترک ممکن است سطح isolation لازم را فراهم نکند. در این حالت باید به سمت cluster یا حساب cloud جدا حرکت کرد.

الگوی پیشنهادی برای onboarding یک tenant

به‌جای اینکه هر تیم دستی namespace و permission بسازد، onboarding را به یک الگوی استاندارد تبدیل کنید.

برای هر tenant می‌توان این resourceها را به‌صورت خودکار ایجاد کرد:

  1. namespace اختصاصی

  2. Service Accountهای محدود

  3. Role و RoleBinding همان namespace

  4. ResourceQuota

  5. LimitRange

  6. NetworkPolicy پیش‌فرض

  7. policyهای admission

  8. label و annotationهای مالکیت

  9. مسیر log و metric مشخص

  10. owner و زمان بازبینی

در این مدل، tenant جدید از روز اول baseline امنیتی دارد و مجبور نیست هر policy را به‌صورت دستی کشف کند.

RBAC؛ tenant نباید administrator خودش باشد

در محیط چندمستاجری، permission باید در محدودهٔ tenant باقی بماند. استفاده از ClusterRoleBinding برای تیم‌های application معمولاً باید exception باشد.

نمونهٔ سادهٔ دسترسی محدود:

apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: orders-deployer namespace: tenant-orders rules: - apiGroups: ["apps"] resources: ["deployments"] verbs: ["get", "list", "watch", "create", "update", "patch"] - apiGroups: [""] resources: ["pods", "services", "configmaps"] verbs: ["get", "list", "watch"]

این Role عمداً دسترسی‌هایی مثل موارد زیر را ندارد:

  • خواندن همهٔ Secretها

  • تغییر RoleBinding

  • ایجاد Pod در namespace دیگر

  • دسترسی به Nodeها

  • اجرای command در هر Pod

  • تغییر policyهای cluster

حتی در namespace خودش هم باید permissionها را بر اساس نیاز واقعی محدود کنیم. اینکه تیم مالک namespace است، به معنی نیاز آن به cluster-admin نیست.

Service Account را برای هر workload جدا کنید

استفاده از یک Service Account مشترک برای همهٔ deploymentهای tenant، دامنهٔ حادثه را بزرگ‌تر می‌کند. اگر یکی از applicationها compromise شود، token آن ممکن است برای سرویس‌های دیگر هم معتبر باشد.

برای مثال، این سه workload بهتر است identity جدا داشته باشند:

  • orders-api

  • orders-worker

  • orders-reporting

ممکن است worker نیاز به خواندن queue داشته باشد، اما API نیازی به دسترسی به resourceهای Kubernetes نداشته باشد. هویت مشترک این تفاوت را از بین می‌برد.

برای workloadهایی که به Kubernetes API نیاز ندارند، token را mount نکنید:

spec: automountServiceAccountToken: false

NetworkPolicy؛ جداسازی واقعی ارتباط‌ها

در clusterهای چندمستاجری، policy شبکه باید از حالت «همه‌چیز مجاز است» به حالت «فقط ارتباط موردنیاز مجاز است» نزدیک شود.

یک baseline مناسب معمولاً شامل این دو مرحله است:

  1. deny همهٔ ingress و egressها

  2. باز کردن ارتباط‌های ضروری به‌صورت صریح

نمونهٔ deny پیش‌فرض در یک namespace:

apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: default-deny namespace: tenant-orders spec: podSelector: {} policyTypes: - Ingress - Egress

بعد باید ارتباط‌های لازم را اضافه کنیم؛ مثلاً API فقط از ingress controller درخواست بگیرد و فقط به database یا cache مجاز متصل شود.

اگر CNI مورد استفاده NetworkPolicy را enforce نکند، وجود YAML امنیت ایجاد نمی‌کند. باید در محیط واقعی تست شود که policy واقعاً ارتباط را قطع یا مجاز می‌کند.

جداسازی بین tenantها را آزمایش کنید

در محیط تست، فقط به بررسی manifest اکتفا نکنید. باید سناریوهای ارتباطی را واقعاً امتحان کنید:

  • Pod tenant A نباید به service tenant B وصل شود.

  • Pod tenant A نباید به database tenant B دسترسی داشته باشد.

  • DNS resolution سرویس‌های حساس باید محدود باشد.

  • egress به اینترنت باید فقط برای مقصدهای لازم فعال باشد.

  • Pod نباید بتواند به metadata service متصل شود.

تست منفی به اندازهٔ تست مثبت مهم است. اگر فقط بررسی کنیم سرویس مجاز کار می‌کند، نمی‌فهمیم آیا ارتباط غیرمجاز هم باز مانده است یا نه.

ResourceQuota؛ امنیت availability هم هست

در multi-tenancy، مصرف منابع فقط مسئلهٔ هزینه نیست. یک tenant می‌تواند با ایجاد Podهای زیاد یا مصرف memory بالا، سرویس tenantهای دیگر را مختل کند.

نمونهٔ محدودیت:

apiVersion: v1 kind: ResourceQuota metadata: name: tenant-orders-quota namespace: tenant-orders spec: hard: requests.cpu: "8" requests.memory: 16Gi limits.cpu: "16" limits.memory: 32Gi pods: "40"

این quota جلوی همهٔ حملات denial of service را نمی‌گیرد، اما جلوی مصرف بی‌حدومرز منابع namespace را می‌گیرد و ظرفیت هر tenant را قابل‌پیش‌بینی‌تر می‌کند.

LimitRange؛ جلوی Pod بدون محدودیت را بگیرید

اگر tenant بتواند Pod بدون requests و limits deploy کند، scheduler و nodeها تصویر دقیقی از مصرف آینده ندارند.

apiVersion: v1 kind: LimitRange metadata: name: tenant-defaults namespace: tenant-orders spec: limits: - type: Container default: cpu: "1" memory: 1Gi defaultRequest: cpu: "100m" memory: 256Mi

مقدارهای پیش‌فرض باید بر اساس رفتار واقعی سرویس‌ها انتخاب شوند. limit غیرواقعی می‌تواند باعث OOM یا throttling شود و تیم را به سمت خاموش کردن policy سوق دهد.

Node مشترک یا Node اختصاصی؟

حتی اگر RBAC و شبکه درست باشند، workloadهای چند tenant ممکن است روی یک node اجرا شوند. این موضوع برای تیم‌های داخلی با سطح اعتماد مشابه معمولاً قابل‌قبول است، اما برای tenantهای مستقل یا workloadهای بسیار حساس باید دقیق‌تر بررسی شود.

گزینه‌ها:

node مشترک

هزینه کمتر و استفادهٔ بهتر از منابع، اما isolation ضعیف‌تر در برابر خطاهای runtime و حمله‌های سطح node.

node pool جدا

برای workloadهای حساس‌تر isolation عملیاتی بهتری می‌دهد، اما هزینه و پیچیدگی بیشتری دارد.

cluster جدا

قوی‌ترین جداسازی زیرساختی، اما با هزینهٔ بیشتر در مدیریت، مانیتورینگ و upgrade.

قاعدهٔ مهم این است که level of trust و حساسیت داده باید انتخاب معماری را تعیین کند، نه صرفاً راحتی deploy.

Taint و Toleration ابزار جداسازی هستند، نه مجوز امنیتی

می‌توان nodeهای حساس را با taint علامت‌گذاری کرد و فقط workloadهای مجاز را روی آن‌ها schedule کرد. اما taint به‌تنهایی یک مرز امنیتی کامل نیست.

اگر tenant بتواند خودش toleration اضافه کند یا روی node label مورداعتماد اثر بگذارد، جداسازی بی‌معنی می‌شود. بنابراین scheduling policy باید با admission control و RBAC همراه باشد.

همچنین باید بررسی شود که tenant امکان ایجاد DaemonSet یا workloadی را ندارد که روی تعداد زیادی node اجرا شود.

Secretها در محیط چندمستاجری

قرار دادن همهٔ secretها در یک namespace یا استفاده از credential مشترک، حادثه را بزرگ می‌کند. هر tenant باید فقط secretهای خودش را ببیند.

برای محیط‌های حساس‌تر:

  • secret manager مسیر tenant جدا داشته باشد.

  • identity workload به namespace و application محدود شود.

  • secretهای database، queue و API جدا باشند.

  • log و trace مقدار secret را چاپ نکنند.

  • rotation tenantها مستقل انجام شود.

اگر tenant A بتواند credential tenant B را بخواند، دیگر با multi-tenancy واقعی مواجه نیستیم؛ فقط resourceها را نام‌گذاری کرده‌ایم.

Admission Control؛ جلوگیری از تنظیمات خطرناک

در cluster مشترک، باید قبل از اجرای workload موارد پرخطر کنترل شوند:

  • privileged: true

  • hostPath حساس

  • hostNetwork یا hostPID

  • capabilityهای غیرضروری

  • image خارج از registry مجاز

  • Service Account پیش‌فرض

  • نداشتن owner و tenant label

  • نداشتن resource limit

policy باید tenant را هم بشناسد. برای مثال، tenant معمولی نباید بتواند workloadی بسازد که روی node اختصاصی امنیتی اجرا شود یا به namespace دیگر دسترسی دارد.

خطای policy باید قابل‌فهم باشد. پیام «admission denied» برای توسعه‌دهنده کافی نیست؛ باید گفته شود کدام rule نقض شده و چگونه اصلاح شود.

مثال عملی: پلتفرمی شبیه دیجی‌کالا

فرض کنید تیم‌های catalog، orders و recommendation در یک cluster مشترک کار می‌کنند. سرویس سفارش به دادهٔ حساس‌تری دسترسی دارد و نباید با recommendation در یک سطح اعتماد قرار بگیرد.

طراحی پیشنهادی:

  • namespace جدا برای هر تیم

  • RBAC محدود به namespace

  • NetworkPolicy با deny پیش‌فرض

  • database مستقل یا حداقل credential مستقل

  • node pool جدا برای workloadهای سفارش در صورت نیاز

  • admission policy سخت‌گیرانه‌تر برای namespace سفارش

  • log و metric با tenant label و کنترل دسترسی

اگر recommendation compromise شود، باید نتواند به database سفارش، Secret پرداخت یا Kubernetes API سرویس orders دسترسی پیدا کند.

مثال عملی: پلتفرمی شبیه فیلیمو

فرض کنید workloadهای api، transcoder و media-worker نیازهای متفاوتی دارند. transcoder ممکن است CPU و disk زیادی مصرف کند و media-worker به object storage دسترسی داشته باشد.

اگر همهٔ آن‌ها در namespace و Service Account مشترک اجرا شوند:

  • محدود کردن مصرف یک workload دشوار می‌شود.

  • credentialها بیش از نیاز توزیع می‌شوند.

  • تشخیص رفتار غیرعادی سخت‌تر می‌شود.

  • یک compromise می‌تواند چند مسیر را باز کند.

با namespace، quota، identity و policy جدا، هر workload دامنهٔ محدودتری خواهد داشت. transcoder می‌تواند به منابع پردازشی دسترسی داشته باشد، اما نباید token media-worker یا API مدیریتی را ببیند.

مثال عملی: سرویس‌های حمل‌ونقل شبیه اسنپ و تپسی

فرض کنید سرویس‌های trip، driver-location و notification releaseهای متفاوت و مقیاس‌های متفاوت دارند.

یک tenant boundary خوب باید مشخص کند:

  • هر تیم چه resourceهایی را deploy می‌کند.

  • چه سرویس‌هایی به هم ارتباط دارند.

  • کدام workloadها اینترنت خروجی لازم دارند.

  • کدام secretها کوتاه‌عمر هستند.

  • سقف مصرف CPU و memory هر تیم چقدر است.

  • در زمان incident کدام تیم مالک isolate کردن workload است.

اگر این موارد فقط در ذهن افراد باشد، با تغییر اعضای تیم یا ایجاد یک deployment اضطراری، مرزهای امنیتی از بین می‌روند. باید در policy، Git و runbook ثبت شوند.

log و metric هم باید چندمستاجری باشند

گاهی خود Kubernetes درست ایزوله شده، اما observability کل دادهٔ tenantها را به همه نشان می‌دهد.

مواردی که باید بررسی شوند:

  • آیا developer tenant A می‌تواند logهای tenant B را ببیند؟

  • آیا metricها نام سرویس‌ها یا customerها را افشا می‌کنند؟

  • آیا trace شامل token یا دادهٔ حساس tenant دیگر است؟

  • آیا dashboardها access control دارند؟

  • آیا alert routing به تیم درست ارسال می‌شود؟

لاگ مرکزی باید tenant label داشته باشد، اما label به‌تنهایی access control نیست. سیستم log و metric نیز باید permission و retention مناسب داشته باشد.

Backup و disaster recovery را فراموش نکنید

در چندمستاجری، backup می‌تواند دادهٔ همهٔ tenantها را کنار هم نگه دارد. اگر دسترسی به backup بیش از حد گسترده باشد، شکست یک account می‌تواند دادهٔ چندین tenant را افشا کند.

باید مشخص شود:

  • backupها چگونه رمزنگاری می‌شوند.

  • چه کسی می‌تواند restore کند.

  • آیا restore tenant جدا امکان‌پذیر است.

  • آیا backup شامل Secret و دادهٔ حساس است.

  • retention هر نوع داده چقدر است.

  • آزمایش restore با چه دوره‌ای انجام می‌شود.

Backup امن فقط داشتن نسخهٔ کپی نیست؛ باید بتوانیم آن را با کمترین دسترسی لازم restore کنیم.

ارتقا و تغییر policy بدون ایجاد اختلال

در cluster مشترک، تغییر policy روی یک tenant می‌تواند روی tenantهای دیگر اثر بگذارد. برای همین باید تغییرات را مرحله‌ای اجرا کرد:

  1. policy را در audit mode فعال کنید.

  2. violationها را براساس tenant دسته‌بندی کنید.

  3. workloadهای ناسازگار را اصلاح کنید.

  4. policy را روی یک namespace آزمایشی enforce کنید.

  5. نتیجه را بررسی کنید.

  6. rollout را تدریجی انجام دهید.

  7. exceptionها را owner و تاریخ انقضا بدهید.

تغییر مستقیم policy سراسری در ساعت شلوغی، بدون rollback، ریسک عملیاتی بزرگی ایجاد می‌کند.

چه زمانی cluster مشترک انتخاب بدی است؟

cluster مشترک همیشه اقتصادی‌تر یا بهتر نیست. جدا کردن tenantها در clusterهای مستقل ممکن است منطقی باشد اگر:

  • tenantها به هم اعتماد ندارند.

  • داده‌ها حساس یا مشمول الزامات جدی هستند.

  • تیم‌ها administrator مستقل دارند.

  • workloadها به capabilityهای پرخطر نیاز دارند.

  • تفاوت نسخه و چرخهٔ upgrade زیاد است.

  • یک حادثهٔ tenant نباید روی دیگری اثر بگذارد.

  • مشتریان بیرونی باید مرز اعتماد جدا داشته باشند.

هزینهٔ cluster جدا را باید با هزینهٔ incident، توقف سرویس و پیچیدگی policy مقایسه کرد؛ نه فقط با هزینهٔ VM یا node.

چک‌لیست ارزیابی چندمستاجری

  • آیا هر tenant namespace مستقل دارد؟

  • آیا tenant به cluster-admin یا ClusterRoleBinding غیرضروری دسترسی دارد؟

  • آیا Service Accountها بین workloadها مشترک نیستند؟

  • آیا token غیرضروری automount نمی‌شود؟

  • آیا NetworkPolicy deny پیش‌فرض وجود دارد؟

  • آیا ارتباط بین tenantها تست منفی شده است؟

  • آیا ResourceQuota و LimitRange اعمال شده‌اند؟

  • آیا tenant نمی‌تواند privileged یا hostPath حساس ایجاد کند؟

  • آیا secretها با identity و مسیر جدا مدیریت می‌شوند؟

  • آیا node pool جدا برای workloadهای حساس لازم است؟

  • آیا log، metric و trace access control دارند؟

  • آیا backup و restore tenantها قابل تفکیک است؟

  • آیا exceptionها owner و تاریخ انقضا دارند؟

  • آیا انتخاب cluster مشترک با مدل تهدید سازگار است؟

جمع‌بندی

چندمستاجری در Kubernetes یک feature نیست؛ یک تصمیم معماری است. Namespace شروع خوبی است، اما برای ایجاد مرز واقعی باید RBAC، Service Account، NetworkPolicy، quota، admission، secret management، node isolation و observability کنار هم قرار بگیرند.

هدف این نیست که همهٔ tenantها را از یکدیگر کاملاً جدا کنیم، بدون اینکه نیاز واقعی و هزینه را در نظر بگیریم. هدف این است که سطح isolation با سطح اعتماد و حساسیت داده متناسب باشد.

برای تیم‌های داخلی با اعتماد مشابه، namespace و policyهای مناسب ممکن است کافی باشد. برای مشتریان مستقل یا workloadهای حساس، node pool یا cluster جدا تصمیم منطقی‌تری است.

قاعدهٔ نهایی این است:

اگر در یک cluster مشترک نمی‌توانیم توضیح دهیم compromise شدن tenant A دقیقاً تا کجا می‌تواند پیش برود، هنوز مرزهای چندمستاجری را درست طراحی نکرده‌ایم.

امنیتنرم افزارکوبرنتیزدواپسداکر
۱
۰
سپهر فصیحی - Sepehr Fassihi
سپهر فصیحی - Sepehr Fassihi
DevOps Engineer | Telegram : @SepiFa
شاید از این پست‌ها خوشتان بیاید