
استفاده از یک cluster مشترک برای چند تیم یا چند محصول، از نظر هزینه و سرعت توسعه جذاب است. تیمها میتوانند از nodeها، registry، monitoring و ابزارهای مشترک استفاده کنند و بدون ساختن زیرساخت جداگانه، workloadهای خود را deploy کنند.
اما از لحظهای که چند گروه مستقل روی یک cluster قرار میگیرند، سؤال مهمی مطرح میشود:
اگر یکی از تیمها یا workloadهای آن compromise شود، دقیقاً چه چیزی از تیمها و سرویسهای دیگر جدا میماند؟
اینجا با مفهوم چندمستاجری (Multi-Tenancy) روبهرو هستیم. منظور از tenant میتواند یک تیم داخلی، یک محصول، یک واحد سازمانی یا حتی مشتری مستقل باشد.
چندمستاجری فقط ساختن namespaceهای جدا نیست. باید هویت، دسترسی، شبکه، منابع، secretها، nodeها، logها و مسیر deploy طوری طراحی شوند که هر tenant فقط به محدودهٔ خودش دسترسی داشته باشد.
قبل از نوشتن policy باید مشخص کنیم چه نوع جداسازی لازم داریم. همهٔ محیطها به یک سطح isolation نیاز ندارند.
در این مدل، تیمهای مختلف یک سازمان از cluster مشترک استفاده میکنند. معمولاً namespace، RBAC و NetworkPolicy بخش اصلی جداسازی هستند.
این مدل برای تیمهای داخلی مناسب است، بهشرط اینکه همهٔ تیمها سطح اعتماد تقریباً مشابهی داشته باشند و دسترسی administratorها کنترل شده باشد.
برای مثال، staging، development و production یا چند محصول مستقل در یک cluster اجرا میشوند. مشکل اصلی این است که خطای یک محیط نباید به محیط حساستر سرایت کند.
در این مدل، جداسازی production از development معمولاً باید بیشتر از یک namespace ساده باشد؛ مخصوصاً اگر توسعهدهندگان بتوانند کد دلخواه در محیط development اجرا کنند.
در این مدل، tenantها ممکن است به یکدیگر اعتماد نداشته باشند. اگر یک مشتری compromise شود یا عمداً رفتار مخرب داشته باشد، isolation باید بسیار سختگیرانهتر طراحی شود.
برای مشتریان مستقل، استفاده از node pool جدا، cluster جدا یا حتی حساب cloud جدا ممکن است ارزش هزینهٔ اضافی را داشته باشد.
Namespace برای نامگذاری، اعمال RBAC، محدود کردن quota و سازماندهی resourceها بسیار مفید است. اما namespace یک دیوار کامل بین workloadها نیست.
اگر فقط namespace بسازیم و کنترل دیگری اعمال نکنیم، ممکن است هنوز این اتفاقها ممکن باشند:
Podها از namespaceهای دیگر به سرویسها متصل شوند.
یک Service Account به resourceهای خارج از namespace دسترسی داشته باشد.
یک Pod منابع CPU و memory کل node را مصرف کند.
secretهای حساس در namespace اشتباه قرار بگیرند.
tenant بتواند workload را روی node مشترک با tenant حساس اجرا کند.
developer بتواند تنظیمات privileged ایجاد کند.
log یا metric یک tenant، دادهٔ tenant دیگر را نمایش دهد.
پس namespace را باید یک لایه از isolation بدانیم، نه مرز نهایی اعتماد.
امنیت چندمستاجری بدون مدل تهدید معمولاً به مجموعهای از policyهای پراکنده تبدیل میشود. ابتدا باید مشخص کنیم از چه چیزی دفاع میکنیم.
چند سؤال پایه:
آیا tenantها به یکدیگر اعتماد دارند؟
آیا tenant میتواند کد دلخواه deploy کند؟
آیا tenant به node یا cloud credential دسترسی دارد؟
آیا administratorهای cluster کاملاً قابل اعتماد و محدود هستند؟
آیا هدف ما جلوگیری از خطای تصادفی است یا دفاع در برابر tenant مخرب؟
آیا دادهٔ tenantها باید از نظر compliance کاملاً جدا باشد؟
در صورت compromise شدن یک Pod، چه سطحی از خسارت قابلقبول است؟
اگر tenantها کاملاً نامطمئن باشند، namespace مشترک و node مشترک ممکن است سطح isolation لازم را فراهم نکند. در این حالت باید به سمت cluster یا حساب cloud جدا حرکت کرد.
بهجای اینکه هر تیم دستی namespace و permission بسازد، onboarding را به یک الگوی استاندارد تبدیل کنید.
برای هر tenant میتوان این resourceها را بهصورت خودکار ایجاد کرد:
namespace اختصاصی
Service Accountهای محدود
Role و RoleBinding همان namespace
ResourceQuota
LimitRange
NetworkPolicy پیشفرض
policyهای admission
label و annotationهای مالکیت
مسیر log و metric مشخص
owner و زمان بازبینی
در این مدل، tenant جدید از روز اول baseline امنیتی دارد و مجبور نیست هر policy را بهصورت دستی کشف کند.
در محیط چندمستاجری، permission باید در محدودهٔ tenant باقی بماند. استفاده از ClusterRoleBinding برای تیمهای application معمولاً باید exception باشد.
نمونهٔ سادهٔ دسترسی محدود:
apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: orders-deployer namespace: tenant-orders rules: - apiGroups: ["apps"] resources: ["deployments"] verbs: ["get", "list", "watch", "create", "update", "patch"] - apiGroups: [""] resources: ["pods", "services", "configmaps"] verbs: ["get", "list", "watch"]
این Role عمداً دسترسیهایی مثل موارد زیر را ندارد:
خواندن همهٔ Secretها
تغییر RoleBinding
ایجاد Pod در namespace دیگر
دسترسی به Nodeها
اجرای command در هر Pod
تغییر policyهای cluster
حتی در namespace خودش هم باید permissionها را بر اساس نیاز واقعی محدود کنیم. اینکه تیم مالک namespace است، به معنی نیاز آن به cluster-admin نیست.
استفاده از یک Service Account مشترک برای همهٔ deploymentهای tenant، دامنهٔ حادثه را بزرگتر میکند. اگر یکی از applicationها compromise شود، token آن ممکن است برای سرویسهای دیگر هم معتبر باشد.
برای مثال، این سه workload بهتر است identity جدا داشته باشند:
orders-api
orders-worker
orders-reporting
ممکن است worker نیاز به خواندن queue داشته باشد، اما API نیازی به دسترسی به resourceهای Kubernetes نداشته باشد. هویت مشترک این تفاوت را از بین میبرد.
برای workloadهایی که به Kubernetes API نیاز ندارند، token را mount نکنید:
spec: automountServiceAccountToken: false
در clusterهای چندمستاجری، policy شبکه باید از حالت «همهچیز مجاز است» به حالت «فقط ارتباط موردنیاز مجاز است» نزدیک شود.
یک baseline مناسب معمولاً شامل این دو مرحله است:
deny همهٔ ingress و egressها
باز کردن ارتباطهای ضروری بهصورت صریح
نمونهٔ deny پیشفرض در یک namespace:
apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: default-deny namespace: tenant-orders spec: podSelector: {} policyTypes: - Ingress - Egress
بعد باید ارتباطهای لازم را اضافه کنیم؛ مثلاً API فقط از ingress controller درخواست بگیرد و فقط به database یا cache مجاز متصل شود.
اگر CNI مورد استفاده NetworkPolicy را enforce نکند، وجود YAML امنیت ایجاد نمیکند. باید در محیط واقعی تست شود که policy واقعاً ارتباط را قطع یا مجاز میکند.
در محیط تست، فقط به بررسی manifest اکتفا نکنید. باید سناریوهای ارتباطی را واقعاً امتحان کنید:
Pod tenant A نباید به service tenant B وصل شود.
Pod tenant A نباید به database tenant B دسترسی داشته باشد.
DNS resolution سرویسهای حساس باید محدود باشد.
egress به اینترنت باید فقط برای مقصدهای لازم فعال باشد.
Pod نباید بتواند به metadata service متصل شود.
تست منفی به اندازهٔ تست مثبت مهم است. اگر فقط بررسی کنیم سرویس مجاز کار میکند، نمیفهمیم آیا ارتباط غیرمجاز هم باز مانده است یا نه.
در multi-tenancy، مصرف منابع فقط مسئلهٔ هزینه نیست. یک tenant میتواند با ایجاد Podهای زیاد یا مصرف memory بالا، سرویس tenantهای دیگر را مختل کند.
نمونهٔ محدودیت:
apiVersion: v1 kind: ResourceQuota metadata: name: tenant-orders-quota namespace: tenant-orders spec: hard: requests.cpu: "8" requests.memory: 16Gi limits.cpu: "16" limits.memory: 32Gi pods: "40"
این quota جلوی همهٔ حملات denial of service را نمیگیرد، اما جلوی مصرف بیحدومرز منابع namespace را میگیرد و ظرفیت هر tenant را قابلپیشبینیتر میکند.
اگر tenant بتواند Pod بدون requests و limits deploy کند، scheduler و nodeها تصویر دقیقی از مصرف آینده ندارند.
apiVersion: v1 kind: LimitRange metadata: name: tenant-defaults namespace: tenant-orders spec: limits: - type: Container default: cpu: "1" memory: 1Gi defaultRequest: cpu: "100m" memory: 256Mi
مقدارهای پیشفرض باید بر اساس رفتار واقعی سرویسها انتخاب شوند. limit غیرواقعی میتواند باعث OOM یا throttling شود و تیم را به سمت خاموش کردن policy سوق دهد.
حتی اگر RBAC و شبکه درست باشند، workloadهای چند tenant ممکن است روی یک node اجرا شوند. این موضوع برای تیمهای داخلی با سطح اعتماد مشابه معمولاً قابلقبول است، اما برای tenantهای مستقل یا workloadهای بسیار حساس باید دقیقتر بررسی شود.
گزینهها:
هزینه کمتر و استفادهٔ بهتر از منابع، اما isolation ضعیفتر در برابر خطاهای runtime و حملههای سطح node.
برای workloadهای حساستر isolation عملیاتی بهتری میدهد، اما هزینه و پیچیدگی بیشتری دارد.
قویترین جداسازی زیرساختی، اما با هزینهٔ بیشتر در مدیریت، مانیتورینگ و upgrade.
قاعدهٔ مهم این است که level of trust و حساسیت داده باید انتخاب معماری را تعیین کند، نه صرفاً راحتی deploy.
میتوان nodeهای حساس را با taint علامتگذاری کرد و فقط workloadهای مجاز را روی آنها schedule کرد. اما taint بهتنهایی یک مرز امنیتی کامل نیست.
اگر tenant بتواند خودش toleration اضافه کند یا روی node label مورداعتماد اثر بگذارد، جداسازی بیمعنی میشود. بنابراین scheduling policy باید با admission control و RBAC همراه باشد.
همچنین باید بررسی شود که tenant امکان ایجاد DaemonSet یا workloadی را ندارد که روی تعداد زیادی node اجرا شود.
قرار دادن همهٔ secretها در یک namespace یا استفاده از credential مشترک، حادثه را بزرگ میکند. هر tenant باید فقط secretهای خودش را ببیند.
برای محیطهای حساستر:
secret manager مسیر tenant جدا داشته باشد.
identity workload به namespace و application محدود شود.
secretهای database، queue و API جدا باشند.
log و trace مقدار secret را چاپ نکنند.
rotation tenantها مستقل انجام شود.
اگر tenant A بتواند credential tenant B را بخواند، دیگر با multi-tenancy واقعی مواجه نیستیم؛ فقط resourceها را نامگذاری کردهایم.
در cluster مشترک، باید قبل از اجرای workload موارد پرخطر کنترل شوند:
privileged: true
hostPath حساس
hostNetwork یا hostPID
capabilityهای غیرضروری
image خارج از registry مجاز
Service Account پیشفرض
نداشتن owner و tenant label
نداشتن resource limit
policy باید tenant را هم بشناسد. برای مثال، tenant معمولی نباید بتواند workloadی بسازد که روی node اختصاصی امنیتی اجرا شود یا به namespace دیگر دسترسی دارد.
خطای policy باید قابلفهم باشد. پیام «admission denied» برای توسعهدهنده کافی نیست؛ باید گفته شود کدام rule نقض شده و چگونه اصلاح شود.
فرض کنید تیمهای catalog، orders و recommendation در یک cluster مشترک کار میکنند. سرویس سفارش به دادهٔ حساستری دسترسی دارد و نباید با recommendation در یک سطح اعتماد قرار بگیرد.
طراحی پیشنهادی:
namespace جدا برای هر تیم
RBAC محدود به namespace
NetworkPolicy با deny پیشفرض
database مستقل یا حداقل credential مستقل
node pool جدا برای workloadهای سفارش در صورت نیاز
admission policy سختگیرانهتر برای namespace سفارش
log و metric با tenant label و کنترل دسترسی
اگر recommendation compromise شود، باید نتواند به database سفارش، Secret پرداخت یا Kubernetes API سرویس orders دسترسی پیدا کند.
فرض کنید workloadهای api، transcoder و media-worker نیازهای متفاوتی دارند. transcoder ممکن است CPU و disk زیادی مصرف کند و media-worker به object storage دسترسی داشته باشد.
اگر همهٔ آنها در namespace و Service Account مشترک اجرا شوند:
محدود کردن مصرف یک workload دشوار میشود.
credentialها بیش از نیاز توزیع میشوند.
تشخیص رفتار غیرعادی سختتر میشود.
یک compromise میتواند چند مسیر را باز کند.
با namespace، quota، identity و policy جدا، هر workload دامنهٔ محدودتری خواهد داشت. transcoder میتواند به منابع پردازشی دسترسی داشته باشد، اما نباید token media-worker یا API مدیریتی را ببیند.
فرض کنید سرویسهای trip، driver-location و notification releaseهای متفاوت و مقیاسهای متفاوت دارند.
یک tenant boundary خوب باید مشخص کند:
هر تیم چه resourceهایی را deploy میکند.
چه سرویسهایی به هم ارتباط دارند.
کدام workloadها اینترنت خروجی لازم دارند.
کدام secretها کوتاهعمر هستند.
سقف مصرف CPU و memory هر تیم چقدر است.
در زمان incident کدام تیم مالک isolate کردن workload است.
اگر این موارد فقط در ذهن افراد باشد، با تغییر اعضای تیم یا ایجاد یک deployment اضطراری، مرزهای امنیتی از بین میروند. باید در policy، Git و runbook ثبت شوند.
گاهی خود Kubernetes درست ایزوله شده، اما observability کل دادهٔ tenantها را به همه نشان میدهد.
مواردی که باید بررسی شوند:
آیا developer tenant A میتواند logهای tenant B را ببیند؟
آیا metricها نام سرویسها یا customerها را افشا میکنند؟
آیا trace شامل token یا دادهٔ حساس tenant دیگر است؟
آیا dashboardها access control دارند؟
آیا alert routing به تیم درست ارسال میشود؟
لاگ مرکزی باید tenant label داشته باشد، اما label بهتنهایی access control نیست. سیستم log و metric نیز باید permission و retention مناسب داشته باشد.
در چندمستاجری، backup میتواند دادهٔ همهٔ tenantها را کنار هم نگه دارد. اگر دسترسی به backup بیش از حد گسترده باشد، شکست یک account میتواند دادهٔ چندین tenant را افشا کند.
باید مشخص شود:
backupها چگونه رمزنگاری میشوند.
چه کسی میتواند restore کند.
آیا restore tenant جدا امکانپذیر است.
آیا backup شامل Secret و دادهٔ حساس است.
retention هر نوع داده چقدر است.
آزمایش restore با چه دورهای انجام میشود.
Backup امن فقط داشتن نسخهٔ کپی نیست؛ باید بتوانیم آن را با کمترین دسترسی لازم restore کنیم.
در cluster مشترک، تغییر policy روی یک tenant میتواند روی tenantهای دیگر اثر بگذارد. برای همین باید تغییرات را مرحلهای اجرا کرد:
policy را در audit mode فعال کنید.
violationها را براساس tenant دستهبندی کنید.
workloadهای ناسازگار را اصلاح کنید.
policy را روی یک namespace آزمایشی enforce کنید.
نتیجه را بررسی کنید.
rollout را تدریجی انجام دهید.
exceptionها را owner و تاریخ انقضا بدهید.
تغییر مستقیم policy سراسری در ساعت شلوغی، بدون rollback، ریسک عملیاتی بزرگی ایجاد میکند.
cluster مشترک همیشه اقتصادیتر یا بهتر نیست. جدا کردن tenantها در clusterهای مستقل ممکن است منطقی باشد اگر:
tenantها به هم اعتماد ندارند.
دادهها حساس یا مشمول الزامات جدی هستند.
تیمها administrator مستقل دارند.
workloadها به capabilityهای پرخطر نیاز دارند.
تفاوت نسخه و چرخهٔ upgrade زیاد است.
یک حادثهٔ tenant نباید روی دیگری اثر بگذارد.
مشتریان بیرونی باید مرز اعتماد جدا داشته باشند.
هزینهٔ cluster جدا را باید با هزینهٔ incident، توقف سرویس و پیچیدگی policy مقایسه کرد؛ نه فقط با هزینهٔ VM یا node.
آیا هر tenant namespace مستقل دارد؟
آیا tenant به cluster-admin یا ClusterRoleBinding غیرضروری دسترسی دارد؟
آیا Service Accountها بین workloadها مشترک نیستند؟
آیا token غیرضروری automount نمیشود؟
آیا NetworkPolicy deny پیشفرض وجود دارد؟
آیا ارتباط بین tenantها تست منفی شده است؟
آیا ResourceQuota و LimitRange اعمال شدهاند؟
آیا tenant نمیتواند privileged یا hostPath حساس ایجاد کند؟
آیا secretها با identity و مسیر جدا مدیریت میشوند؟
آیا node pool جدا برای workloadهای حساس لازم است؟
آیا log، metric و trace access control دارند؟
آیا backup و restore tenantها قابل تفکیک است؟
آیا exceptionها owner و تاریخ انقضا دارند؟
آیا انتخاب cluster مشترک با مدل تهدید سازگار است؟
چندمستاجری در Kubernetes یک feature نیست؛ یک تصمیم معماری است. Namespace شروع خوبی است، اما برای ایجاد مرز واقعی باید RBAC، Service Account، NetworkPolicy، quota، admission، secret management، node isolation و observability کنار هم قرار بگیرند.
هدف این نیست که همهٔ tenantها را از یکدیگر کاملاً جدا کنیم، بدون اینکه نیاز واقعی و هزینه را در نظر بگیریم. هدف این است که سطح isolation با سطح اعتماد و حساسیت داده متناسب باشد.
برای تیمهای داخلی با اعتماد مشابه، namespace و policyهای مناسب ممکن است کافی باشد. برای مشتریان مستقل یا workloadهای حساس، node pool یا cluster جدا تصمیم منطقیتری است.
قاعدهٔ نهایی این است:
اگر در یک cluster مشترک نمیتوانیم توضیح دهیم compromise شدن tenant A دقیقاً تا کجا میتواند پیش برود، هنوز مرزهای چندمستاجری را درست طراحی نکردهایم.