فهمیدم. الان یک تحقیق کامل انجام میدهم که بهترین روش برای استفاده از این هارد ۳.۷ ترابایتی برای نصب و استفاده از ollama، مدلهای دیپ لرنینگ سنگین، و افزایش کارایی سرور هوش مصنوعی شما چیست. نتایج را همراه با مزایا و معایب هر حالت (مثل یکجا فرمت کردن یا جداکردن یک بخش برای swap) و توصیه دقیق برای تصمیمگیری به شما ارائه میدهم.
ابتدا باید تصمیم بگیرید که آیا تمام فضای هارد جدید را به صورت یک پارتیشن دادهها استفاده کنید یا بخشی از آن را به فضای Swap (حافظه مجازی) اختصاص دهید. فضای Swap به سیستم اجازه میدهد در صورت کمبود RAM از دیسک به عنوان حافظه کمکی استفاده کند، اما دسترسی به دیسک (حتی SSD) بسیار کندتر از RAM است. در کارهای سنگین هوش مصنوعی و مدلهای بزرگ، اتکا به Swap میتواند سرعت را بهشدت کاهش دهد، زیرا جابجایی دادهها بین RAM و دیسک (swap in/out) زمانبر است. مزیت استفاده نکردن از Swap یا کوچک نگهداشتن آن این است که تمام فضای هارد برای دادهها قابل استفاده بوده و از افت سرعت شدید به خاطر Swap جلوگیری میشود. در این حالت، در صورت پر شدن RAM، سیستم به جای کند شدن ممکن است خطای کمبود حافظه (OOM) بدهد یا پروسهها را خاتمه دهد. از سوی دیگر، مزیت داشتن مقداری Swap امنیت خاطر است؛ یعنی اگر بهصورت اتفاقی مصرف RAM از حد فراتر رفت، سیستم به جای کرش کردن، مقداری از دادههای کماستفاده را به Swap منتقل میکند. در سرورهایی با RAM بالا، معمولاً Swap را نسبتاً کوچک در نظر میگیرند. برای مثال، Red Hat برای سیستمهای دارای بیش از ۸GB RAM حداقل ۴GB فضای Swap را توصیه کرده است (I have 16GB RAM. Do I need 32GB swap? - Ask Ubuntu) و برخی مدیران سرور با RAMهای بسیار بالا تنها حدود ۲GB Swap تخصیص میدهند و مقدار swappiness (تمایل سیستم به استفاده از Swap) را کاهش میدهند تا Swap بهآسانی بهکار گرفته نشود (linux - How big should the swap partition be? - Server Fault). در نتیجه اگر RAM کافی (مثلاً ۳۲GB یا بیشتر) دارید، میتوانید کل هارد را به دادهها اختصاص دهید و Swap را به حداقل (یا حتی صفر) برسانید. در صورت نیاز بعدی، امکان ساخت فایل Swap روی همین پارتیشن دادهها نیز وجود دارد (که انعطافپذیری بیشتری نسبت به پارتیشن مجزا دارد). خلاصه اینکه اگر RAM سیستم برای مدلهای مورد نظر کافی است (که در کاربرد دیپلرنینگ بسیار مهم است)، تمام فضای ۳.۷ ترابایتی را به دادهها بدهید و حداکثر یک Swap کوچک جهت اطمینان ایجاد کنید. اگر RAM محدود است و احتمال کمبود آن میرود، میتوانید درصد کوچکی از دیسک (مثلاً ۵ الی ۱۰ درصد یا یک حجم ثابت مثل ۲۰−۳۰GB) را به پارتیشن Swap اختصاص دهید تا سیستم در مواقع ضروری از آن استفاده کند – البته با آگاهی از کاهش سرعت محسوس در زمان استفاده از Swap.
برای فضای ۳.۷ ترابایتی جدید، دو گزینهی رایج و قابل اتکا فایلسیستم ext4 و XFS هستند. هر دوی این فایلسیستمها توانایی مدیریت حجمهای بزرگ و فایلهای حجیم را دارند و عملکرد بسیار خوبی روی سرورها ارائه میدهند (Chapter 1. Overview of available file systems | Red Hat Product Documentation). ext4 سیستمفایل پیشفرض بسیاری از توزیعها (مانند اوبونتو) است و مزیت آن سادگی و آشنایی و امکان تعمیر/کوچک کردن نسبتاً آسان است. XFS به صورت پیشفرض در RHEL استفاده میشود و برای کارهای موازی و حجمهای فوقالعاده بزرگ بهینه شده است (XFS vs. ext4: Which Linux file system to maximize storage? | TechTarget) (XFS vs. ext4: Which Linux file system to maximize storage? | TechTarget). از نظر کارایی خام، تفاوت ext4 و XFS در اغلب سناریوها زیاد نیست؛ اما چند نکتهی کلیدی وجود دارد: ext4 در عملیات تکرشتهای (single-thread) کمی سریعتر است، در حالی که XFS در بارهای کاری چندرشتهای و موازی بهتر مقیاس میشود (ext4 - between ex4 and XFS which is better for large small files - Server Fault). به عبارت دیگر، اگر برنامهی شما عمدتاً یک جریان بزرگ را روی دیسک مینویسد/میخواند (مثلاً بارگذاری یک مدل بزرگ در هر نوبت)، ext4 کاملاً مناسب و سریع است. اما اگر سناریویی دارید که چندین فایل بزرگ به طور همزمان خوانده یا نوشته میشوند (مثلاً چند فرآیند آموزشی/استنتاج موازی یا دسترسی چندکاربره به دادهها)، XFS میتواند کارایی بهتری نشان دهد. علاوه بر این، ext4 کمی سبکتر بوده و بار کمتری روی CPU دارد، در حالی که XFS برای دستیابی به کارایی بالا از CPU بیشتری استفاده میکند (XFS vs. ext4: Which Linux file system to maximize storage? | TechTarget) (این در سرورهای بسیار شلوغ میتواند عامل مهمی باشد). از نظر حداکثر اندازه فایل/پارتیشن، ext4 تا حجمهایی بسیار فراتر از نیاز ما را پشتیبانی میکند (حداکثر فایل ~۱۶ ترابایت و پارتیشن تا دهها ترابایت (XFS vs. ext4: Which Linux file system to maximize storage? | TechTarget))، لذا ۳.۷ ترابایت کاملاً در محدودهی قابل پشتیبانی ext4 است. XFS نیز محدودیت بسیار بالاتری (پتابایتها) دارد که در این سناریو مطرح نیست (XFS vs. ext4: Which Linux file system to maximize storage? | TechTarget). یک تفاوت فنی دیگر در انعطاف مدیریت فضاست: ext4 امکان کوچک کردن حجم را دارد (میتوان پس از فرمت، حجم را shrink کرد)، در حالی که XFS فقط قابلیت بزرگشدن دارد و نمیتوان آن را کوچک کرد (XFS vs. ext4: Which Linux file system to maximize storage? | TechTarget). بنابراین اگر تصور میکنید شاید در آینده بخواهید بخشی از این درایو را جدا کرده و به کار دیگری اختصاص دهید یا حجم پارتیشن را کاهش دهید، ext4 این انعطاف را دارد. در مجموع، هر دو گزینه پایدار و آزموده شدهاند؛ اگر سرعت حداکثری در سناریوهای موازی مد نظر باشد و مشکلی با عدم امکان shrink ندارید، XFS انتخاب بسیار خوبی است (خود Red Hat نیز XFS را برای اغلب سرورها توصیه میکند (Chapter 1. Overview of available file systems | Red Hat Product Documentation)). اگر سازگاری گسترده، سادگی ابزارها و شاید سهولت بازیابی برایتان اولویت دارد، ext4 همچنان کاملاً پاسخگو است و عملکرد آن در بسیاری موارد همتراز XFS است (Chapter 1. Overview of available file systems | Red Hat Product Documentation). (گزینههای دیگری مانند Btrfs یا ZFS نیز وجود دارند که قابلیتهای پیشرفتهتری مثل snapshot یا فشردهسازی دارند، اما برای بیشترین سرعت در کار با فایلهای بسیار بزرگ و عدم پیچیدگی، معمولاً ext4 یا XFS ترجیح داده میشوند.)
پس از انتخاب نوع فایلسیستم، میتوان با چند تنظیم ساده در زمان mount کردن پارتیشن، عملکرد بهتری بهدست آورد. مهمترین گزینه، غیرفعال کردن بهروزرسانی زمان آخرین دسترسی (atime) است. به طور پیشفرض، لینوکس زمان آخرین دسترسی به هر فایل/دایرکتوری را ثبت میکند که هر بار خواندن فایل باعث یک نوشتن کوچک روی دیسک برای ثبت atime میشود. این رفتار برای کاربرد سرور مدلهای بزرگ که عمدتاً فایلها فقط خوانده میشوند، غیرضروری است. شما میتوانید با گزینهی noatime در زمان mount، این بهروزرسانی را غیرفعال کنید تا از اضافهنویسیهای غیرضروری جلوگیری شود. در اکثر توزیعهای جدید، به طور پیشفرض از relatime استفاده میشود که تا حدی دفعات بهروزرسانی atime را کمتر میکند، اما noatime کاملاً آن را میبندد و کمی به سرعت خواندن مداوم کمک میکند. تنظیم مهم بعدی مخصوصاً برای درایوهای SSD/NVMe است: فعالسازی TRIM. اگر هارد جدید شما SSD است، اضافه کردن گزینهی discard در mount باعث میشود عملیات TRIM (حذف بلاکهای آزاد) به صورت خودکار انجام شود. البته به جای discard میتوانید از سرویس دورهای fstrim (مثلاً هفتهای یکبار) استفاده کنید که در بسیاری از توزیعها موجود است. TRIM به حفظ سرعت نوشتن SSD در درازمدت کمک میکند. گزینههای پیشفرض دیگری که معمولاً فعال هستند (مانند defaults که شامل writeback cache، journaling معمول و ... است) غالباً عملکرد مناسبی دارند. به طور کلی نیازی به تغییر حالت ژورنال ext4 نیست – ext4 به صورت پیشفرض data=ordered است که توازن خوبی بین امنیت و کارایی دارد. مگر اینکه بخواهید برای سرعت نوشتن بالاتر، ژورنالدهی داده را غیرفعال کنید (گزینهی پرخطر data=writeback که توصیه نمیشود چون در صورت کرش ممکن است آخرین دادهها ناسازگار بمانند). در مورد XFS نیز تنظیم پیشفرض (journaling روشن با write cache) مناسب است و فقط همان noatime و discard (در صورت SSD بودن) کافی خواهد بود. خلاصه: در خط مربوط به این پارتیشن در فایل /etc/fstab خود میتوانید گزینههایی شبیه defaults,noatime (و در صورت نیاز discard) قرار دهید تا سیستم در هر بار mount این تنظیمات را اعمال کند. همچنین برای حصول اطمینان از پایداری، گزینههای استاندارد آخر فایل fstab را نیز درست تنظیم کنید: برای پارتیشن ext4 عدد آخر را 2 بگذارید تا ابزار fsck در بوتهای دورهای آن را چک کند، و برای XFS مقدار 0 بگذارید (چون XFS نیازی به fsck زمان بوت ندارد) – در ادامه نمونهای از خط fstab ارائه خواهد شد.
در این بخش مراحل گامبهگام آمادهسازی درایو تازه را از صفر مرور میکنیم. فرض میکنیم دستگاه هارد جدید به نام مثلاً /dev/sdb در سیستم شناسایی شده است (میتوانید با اجرای lsblk یا sudo fdisk -l دستگاه را پیدا کنید). سپس مراحل زیر را دنبال کنید:
parted یک برچسب GPT بسازید:sudo parted /dev/sdb -- mklabel gpt
این دستور یک جدول پارتیشن GPT خالی روی /dev/sdb ایجاد میکند. (اگر از ابزارهای تعاملی مثل fdisk یا gdisk استفاده میکنید، نوع جدول را روی GPT تنظیم کنید.)sudo parted /dev/sdb -- mkpart primary 0% 100%
این کار یک پارتیشن (مثلاً /dev/sdb1) در بر میگیرد که تمام ۳.7TB را شامل میشود.sudo parted /dev/sdb -- mkpart primary linux-swap 0% 32GB
sudo parted /dev/sdb -- mkpart primary ext4 32GB 100%
(در اینجا اندازه ۳۲GB نمونه است؛ میتوانید بر اساس نیاز خود تغییر دهید). parted با استفاده از گزینه linux-swap نوع پارتیشن اول را به swap مشخص میکند. پس از این مرحله با دستور lsblk یا parted /dev/sdb print میتوانید ببینید مثلاً /dev/sdb1 به عنوان swap و /dev/sdb2 برای داده ایجاد شده است.sudo mkfs.ext4 -L OllamaData /dev/sdb1
اگر XFS انتخاب شماست:sudo mkfs.xfs -L OllamaData /dev/sdb1
گزینه -L یک برچسب نامخوانا (label) مانند "OllamaData" به پارتیشن میدهد که اختیاری است ولی بعدها شناسایی دیسک را آسانتر میکند. (توجه: در صورت ساخت پارتیشن جدا برای Swap، این دستور را بر روی پارتیشن Swap اجرا نکنید. مراحل آمادهسازی Swap در گام بعد است.)sudo mkswap /dev/sdb2
این کار سیستم فایل Swap را روی پارتیشن دوم ایجاد میکند. سپس میتوانید برای تست، آن را فعال کنید:sudo swapon /dev/sdb2
(اگر قصد دارید به جای پارتیشن، از فایل Swap استفاده کنید، از این مرحله عبور کنید. میتوان بعداً داخل پارتیشن دادهها یک فایل Swap ساخت.)sudo mkdir -p /mnt/ollama
سپس پارتیشن دادهی فرمتشده را روی این پوشه مونت کنید:sudo mount /dev/sdb1 /mnt/ollama
بعد از این دستور با df -h میتوانید ببینید که پارتیشن جدید روی مسیر /mnt/ollama سوار شده و فضای 3.7T را نشان میدهد./etc/fstab) اضافه کنید. پیشنهاد میشود به جای نام دستگاه، از UUID پارتیشن استفاده کنید تا در صورت تغییر نام دستگاه (مثلاً sdb به sdc) تنظیمات دچار مشکل نشود. با دستور زیر میتوانید UUID را بهدست آورید:blkid -s UUID -o value /dev/sdb1
خروجی این دستور یک رشتهی طولانی شبیه 123e4567-e89b-12d3-a456-426614174000 خواهد بود. این را کپی کنید و فایل /etc/fstab را با یک ویرایشگر متنی باز کنید (مثلاً sudo nano /etc/fstab). یک خط جدید مانند زیر اضافه کنید:UUID=123e4567-e89b-12d3-a456-426614174000 /mnt/ollama ext4 defaults,noatime 0 2
(در صورتی که از XFS استفاده کردهاید، کلمهی ext4 را به xfs تغییر دهید و عدد آخر را به 0 تبدیل کنید چون XFS نیازی به fsck زمان بوت ندارد.) این خط فرض میکند که فایلسیستم ext4 را انتخاب کردهاید و گزینههای mount پیشنهادی (defaults,noatime) را اعمال میکند. میتوانید برچسب (label) را نیز در fstab به جای UUID استفاده کنید، مثلاً LABEL=OllamaData /mnt/ollama ext4 defaults,noatime 0 2 – اما استفاده از UUID مطمئنتر است.blkid /dev/sdb2 بگیرید. سپس مثلاً این خط را اضافه کنید:UUID=789e0123-45b6-78c9-d012-3456789fghij none swap sw 0 0
گزینهی sw نوع mount را به swap اختصاص میدهد. مقدار none به عنوان mount point درج میشود چون Swap نقطه وصل ندارد. اعداد آخر نیز معمولاً هر دو 0 هستند (swap نیاز به بکاپ dump یا fsck ندارد).sudo mount -a
این دستور تمام mountهای تعریفشده در fstab (که در حال حاضر mount نشدهاند) را اجرا میکند. اگر خطایی در نحو خط اضافهشده باشد، نمایش داده میشود؛ در غیر این صورت پارتیشن شما باید بیصدا mount شده باشد (اگر قبلاً به صورت دستی mount بود، تغییری نخواهید دید). همچنین در صورت افزودن swap:sudo swapon -a
را اجرا کنید تا ورودی swap جدید فعال شود (با swapon --show میتوانید لیست swapهای فعال را ببینید). به این ترتیب، پس از راهاندازی مجدد نیز پارتیشن دادهها به طور خودکار متصل و فضای Swap (در صورت تعریف) فعال خواهد شد.پس از طی این مراحل، درایو جدید شما آماده استفاده است. میتوانید مسیر mount (/mnt/ollama در مثال ما) را در تنظیمات Ollama یا هر جای دیگری که مدلها ذخیره میشوند استفاده کنید (مثلاً اگر Ollama به صورت پیشفرض مدلها را در مسیر خاصی ذخیره میکند، ممکن است بخواهید آن پوشه را به این مسیر جدید لینک دهید یا Ollama را طوری تنظیم کنید که از مسیر جدید به عنوان محل ذخیره مدلها استفاده کند).
در پایان، چند توصیهی اضافی برای بهرهگیری حداکثری از کارایی سیستم در استفادههای یادگیری عمیق و مدلهای بزرگ مطرح میشود:
tune2fs را اجرا کنید، مثلاً:sudo tune2fs -m 1 /dev/sdb1
این دستور میزان رزرو را به ۱٪ کاهش میدهد (با -m 0 میتوانید به صفر برسانید). توجه کنید که برای اجرای این دستور پارتیشن نباید mount شده باشد (در صورت mount بودن، یک بار umount کنید یا این کار را قبل از تنظیم fstab انجام دهید).vm.swappiness را بررسی و تنظیم کنید. این پارامتر مشخص میکند سیستم چقدر تمایل به انتقال صفحات حافظه به Swap دارد. مقدار پیشفرض در بسیاری از توزیعها 60 است که نسبتاً بالا است (مناسب سیستمهای دسکتاپ). برای سرورهای پردازشی که نمیخواهیم تا حد امکان از Swap (که کند است) استفاده شود، میتوانید این را به مقدار کمتری مثلاً ۱۰ یا ۲۰ کاهش دهید (linux - How big should the swap partition be? - Server Fault). برای تنظیم موقت:echo 10 | sudo tee /proc/sys/vm/swappiness
و برای دائمی کردن، خطی مانند vm.swappiness=10 را به فایل /etc/sysctl.conf اضافه کنید. با این کار، Swap فقط در شرایط کاملاً ضروری به کار گرفته میشود و تا جای ممکن دادهها در RAM نگهداری میشوند.cfq, deadline, bfq, noop یا در معماریهای جدیدتر none و mq-deadline). انتخاب بهینه به نوع درایو بستگی دارد. برای NVMe SSDها معمولاً زمانبند پیشفرض none (یا noop) است که به کنترلکنندهی پرسرعت SSD اجازه میدهد خودش زمانبندی را مدیریت کند – این معمولاً بهترین گزینه است. برای SSDهای SATA یا هارددیسکهای مکانیکی، زمانبند deadline یا bfq رایج است. deadline برای بارهای سنگین ترتیبی (sequential) مناسب است و اجازه میدهد تاخیر درخواستها را حد نگه دارد، در حالی که bfq/cfq برای توزیع منصفانه بین فرآیندها طراحی شدهاند. در کار هوش مصنوعی که معمولاً دسترسی به دیسک برای بارگذاری دادههای بزرگ به صورت ترتیبی است، deadline یا noop میتواند کارایی بهتری داشته باشد. شما میتوانید زمانبند جاری را با فرمان زیر ببینید:cat /sys/block/sdb/queue/scheduler
(نام دستگاه را مطابق درایو خود تنظیم کنید؛ NVMeها معمولاً نامی مثل nvme0n1 دارند.) خروجی چیزی شبیه [none] mq-deadline kyber خواهد بود که نشان میدهد زمانبند فعال در کروشه مشخص شده است. برای تغییر موقت زمانبند میتوانید مثلاً:echo mq-deadline | sudo tee /sys/block/sdb/queue/scheduler
را اجرا کنید. در صورت نیاز به تغییر دائمی، میتوان از udev rule یا تنظیمات کرنل استفاده کرد، اما اگر خروجی بالا نشان میدهد که زمانبند معقولی (مثل none برای NVMe یا mq-deadline برای SATA) فعال است نیازی به تغییر نیست. این نکته بیشتر برای اطمینان از همخوانی تنظیمات با نوع ذخیرهساز است.cpupower انجام داد. همچنین اگر از GPU برای دیپلرنینگ استفاده میکنید، درایور مناسب و تنظیمات توان/فرکانس GPU را بررسی کنید. هرچند این موارد به طور مستقیم به فضای دیسک مربوط نیستند، اما بر کارایی کلی سرور هوش مصنوعی تأثیرگذارند. در حوزهی ذخیرهسازی نیز، نظارت بر سلامت دیسک (با SMART montitoring) را فراموش نکنید تا در صورت بروز بدسکتور یا افت کارایی دیسک، بتوانید پیشگیرانه عمل کنید.با رعایت موارد فوق، هارد ۳.۷ ترابایتی جدید شما با حداکثر کارایی و پایداری برای ذخیرهسازی مدلهای بزرگ و استفاده توسط Ollama و دیگر ابزارهای دیپلرنینگ آماده خواهد بود. به طور خلاصه، انتخاب دقیق پارتیشنبندی و فایلسیستم (بدون پیچیدگی غیرضروری)، تنظیم بهینهی mount و پارامترهای سیستم، و اعمال چند بهینهسازی جانبی میتواند تضمین کند که خواندن/نوشتن مدلهای حجیم تا حد امکان سریع انجام شود و فضای ذخیرهسازی جدید به شکل مطلوب در خدمت پروژههای هوش مصنوعی شما قرار گیرد.
منابع و مراجع: