
تا همین چند سال پیش، اجرای مدلهای پیشرفته هوش مصنوعی به سرورهای قدرتمند و مراکز داده مجهز به پردازندههای گرافیکی گرانقیمت وابسته بود. کاربران برای پرسیدن سؤال، تولید متن، تحلیل تصویر یا خلاصهسازی اسناد معمولاً باید اطلاعات خود را به سرویسهای آنلاین ارسال میکردند و منتظر پاسخ میماندند.
اما این وضعیت در حال تغییر است. کامپیوترهای شخصی جدید با پردازندههای مجهز به واحد پردازش عصبی (NPU)، کارتهای گرافیک قدرتمند، حافظه بیشتر و معماریهای بهینهشده میتوانند بخشی از وظایف هوش مصنوعی را مستقیماً روی دستگاه انجام دهند.
حتی اجرای مدلهای زبانی بزرگ بهصورت محلی نیز دیگر فقط یک ایده آزمایشگاهی نیست. ابزارهایی مانند MLX در کامپیوترهای اپل و Foundry Local در ویندوز امکان اجرای مدلهای مختلف را بدون اتصال دائمی به اینترنت فراهم کردهاند.
اما یک سؤال مهم باقی میماند: آیا کامپیوترهای خانگی میتوانند مدلهایی در اندازه و توانایی مدلهای ابری پیشرفته را بهطور کامل و با سرعت مناسب اجرا کنند؟
برای درک این تغییر، ابتدا باید تفاوت دو روش اصلی اجرای هوش مصنوعی را بشناسیم.
هوش مصنوعی ابری (Cloud AI): در این روش، درخواست کاربر از طریق اینترنت به سرورهای یک شرکت ارسال میشود. پردازش روی سختافزارهای قدرتمند مرکز داده انجام میگیرد و نتیجه به دستگاه کاربر بازمیگردد.
هوش مصنوعی محلی (Local AI): در این روش، مدل هوش مصنوعی روی خود کامپیوتر نصب و اجرا میشود. پردازنده، کارت گرافیک یا NPU دستگاه وظیفه پردازش درخواست را بر عهده دارد و برای انجام عملیات اصلی نیازی به ارسال اطلاعات به سرور خارجی نیست.
تفاوت این دو روش فقط در محل پردازش نیست. هزینه استفاده، حریم خصوصی، سرعت پاسخگویی و محدودیتهای سختافزاری نیز تحت تأثیر قرار میگیرند.
برای مثال، کاربری که میخواهد یک قرارداد محرمانه را خلاصه کند، ممکن است ترجیح دهد فایل خود را به سرویس آنلاین ارسال نکند. اجرای یک مدل محلی میتواند این امکان را فراهم کند که اطلاعات روی همان کامپیوتر باقی بمانند.
مدلهای زبانی بزرگ یا LLM از تعداد زیادی پارامتر تشکیل شدهاند. این پارامترها در واقع بخش مهمی از اطلاعات یادگرفتهشده مدل هستند و هنگام تولید پاسخ مورد استفاده قرار میگیرند.
هرچه تعداد پارامترها بیشتر باشد، معمولاً نیاز مدل به حافظه و توان پردازشی نیز افزایش پیدا میکند. البته تعداد پارامترها بهتنهایی معیار قطعی کیفیت یا سرعت نیست؛ معماری مدل، روش فشردهسازی و تعداد پارامترهای فعال نیز اهمیت دارند.
برای نمونه، مدل ۷ میلیارد پارامتری با مدل ۷۰ میلیارد پارامتری از نظر نیاز سختافزاری تفاوت قابلتوجهی دارد.
در اجرای محلی، سه محدودیت اصلی وجود دارد:
مدل باید در حافظه سیستم یا حافظه اختصاصی کارت گرافیک بارگذاری شود. اگر حافظه کافی نباشد، اجرای مدل با مشکل مواجه میشود یا سیستم مجبور میشود بخشی از اطلاعات را از حافظه کندتر دریافت کند.
به همین دلیل، هنگام انتخاب کامپیوتر برای هوش مصنوعی نباید فقط به پردازنده توجه کرد. مقدار RAM و حافظه گرافیکی (VRAM) نیز اهمیت زیادی دارند.
کارت گرافیک برای انجام محاسبات موازی مورد نیاز مدلهای هوش مصنوعی بسیار کاربردی است. در مقابل، NPU برای اجرای وظایف مشخص هوش مصنوعی با مصرف انرژی کمتر طراحی شده است.
این دو قطعه جایگزین کامل یکدیگر نیستند. بعضی مدلها و نرمافزارها از GPU عملکرد بهتری میگیرند و برخی قابلیتهای سبکتر و بهینهشده میتوانند از NPU استفاده کنند.
حتی اگر مدل در حافظه دستگاه جا شود، سرعت انتقال اطلاعات بین حافظه و پردازنده میتواند عملکرد آن را محدود کند.
از طرف دیگر، اجرای مداوم مدلهای سنگین گرمای زیادی تولید میکند. بنابراین سیستم خنککننده مناسب نیز برای حفظ عملکرد در استفاده طولانیمدت اهمیت دارد.
واحد پردازش عصبی یا NPU یکی از مهمترین اجزای نسل جدید کامپیوترهای مجهز به هوش مصنوعی است. این قطعه برای انجام محاسبات مرتبط با یادگیری ماشین طراحی شده و میتواند برخی وظایف را با مصرف انرژی کمتر از پردازنده مرکزی انجام دهد.
برای مثال، کامپیوترهای Copilot+ PC مایکروسافت به NPU با توان بیش از ۴۰ تریلیون عملیات در ثانیه (TOPS) مجهز هستند.
این دستگاهها میتوانند برخی قابلیتهای هوش مصنوعی ویندوز را بهصورت محلی اجرا کنند؛ از جمله پردازش تصویر، ترجمه، تشخیص محتوا و قابلیتهای زبانی سبکتر.
مایکروسافت همچنین مدل Phi Silica را برای اجرای محلی روی دستگاههای سازگار توسعه داده است. این مدل میتواند در کارهایی مانند خلاصهسازی، بازنویسی و درک متن کاربرد داشته باشد.
اما یک نکته مهم وجود دارد: داشتن NPU قدرتمند به معنی توانایی اجرای تمام مدلهای بزرگ نیست. برای اجرای مدلهای سنگین، ظرفیت حافظه، توان GPU، پشتیبانی نرمافزاری و معماری مدل همچنان تعیینکننده هستند.
یکی از تغییرات مهم بازار هوش مصنوعی، توسعه مدلهایی است که میتوان آنها را روی کامپیوترهای شخصی اجرا کرد.
امروزه مدلهای متنباز و قابلدریافت در اندازههای مختلف منتشر میشوند. بعضی از آنها برای لپتاپهای معمولی بهینه شدهاند و برخی دیگر به کامپیوترهای حرفهای با حافظه بسیار زیاد نیاز دارند.
برای درک بهتر تفاوتها، میتوان مدلها را بهصورت تقریبی در چند گروه بررسی کرد:
اندازه مدلکاربرد و نیاز سختافزاری۱ تا ۳ میلیارد پارامترمناسب برای وظایف سبک، خلاصهسازی و پردازش متن ساده۷ تا ۸ میلیارد پارامترمناسب برای چت محلی، تولید متن و کمک در برنامهنویسی۱۳ تا ۱۴ میلیارد پارامترتوانایی بیشتر در تحلیل و انجام وظایف پیچیدهتر؛ نیازمند حافظه بیشتر۳۰ تا ۳۲ میلیارد پارامترمناسب برای سیستمهای قدرتمند با حافظه و پردازنده گرافیکی مناسب۷۰ میلیارد پارامتر و بیشترمعمولاً نیازمند سختافزار حرفهای، حافظه زیاد یا چند پردازنده گرافیکی
این تقسیمبندی قطعی نیست. مدلهای فشردهشده با دقت پایینتر میتوانند به حافظه کمتری نیاز داشته باشند و معماریهای خاص نیز ممکن است اجرای مدلهای بزرگتر را امکانپذیر کنند.
یکی از فناوریهای مهم در این حوزه Quantization یا کوانتیزهسازی است.
در حالت عادی، پارامترهای مدل میتوانند با دقت عددی بالا ذخیره شوند. اما در روش کوانتیزهسازی، اطلاعات مدل با دقت پایینتری نمایش داده میشوند تا حجم حافظه مورد نیاز کاهش پیدا کند.
برای مثال، مدل ۸ میلیارد پارامتری با وزنهای ۴ بیتی، در حالت نظری حدود ۴ گیگابایت حافظه برای وزنهای خود نیاز دارد.
اما این تمام ماجرا نیست. حافظه مورد نیاز برای پردازش، حافظه موقت، طول مکالمه و سیستمعامل نیز باید در نظر گرفته شود. بنابراین یک مدل ۴ گیگابایتی لزوماً روی کامپیوتری با ۴ گیگابایت حافظه قابل اجرا نیست.
کوانتیزهسازی میتواند اجرای مدلهای بزرگتر را ممکن کند، اما در بعضی شرایط روی دقت پاسخ یا کیفیت خروجی نیز تأثیر میگذارد.
اپل یکی از شرکتهایی است که روی اجرای مدلهای هوش مصنوعی بهصورت محلی تمرکز کرده است.
فناوری MLX برای پردازندههای Apple Silicon طراحی شده و به توسعهدهندگان اجازه میدهد مدلهای یادگیری ماشین را با استفاده از معماری حافظه یکپارچه این دستگاهها اجرا کنند.
در کامپیوترهای معمولی، حافظه پردازنده و حافظه کارت گرافیک ممکن است جدا از یکدیگر باشند. اما در معماری حافظه یکپارچه اپل، CPU و GPU به حافظه مشترک دسترسی دارند. این ویژگی میتواند برای اجرای مدلهایی که به حافظه زیادی نیاز دارند مفید باشد.
اپل در اکتبر ۲۰۲۶ گزارشی درباره اجرای مدلهای بسیار بزرگ با استفاده از MLX منتشر کرد. در این آزمایش، مدل Muse Spark Open با حدود ۸۱۶ میلیارد پارامتر روی مجموعهای از چهار دستگاه Mac Studio مجهز به تراشه M5 Ultra اجرا شد.
این مدل از معماری Mixture of Experts استفاده میکند؛ یعنی با وجود تعداد بسیار زیاد پارامترهای کلی، فقط بخشی از آنها در هر مرحله فعال هستند. در این آزمایش حدود ۴۲ میلیارد پارامتر فعال بود.
نکته مهم این است که اجرای چنین مدلی به معنی امکان اجرای آن روی یک لپتاپ معمولی نیست. آزمایش اپل از چند کامپیوتر قدرتمند با حافظه بسیار زیاد و ارتباط سریع بین دستگاهها استفاده کرده است.
این اتفاق نشان میدهد اجرای مدلهای بسیار بزرگ بهصورت محلی امکانپذیر شده، اما هنوز به تجهیزات حرفهای و گرانقیمت نیاز دارد.
برای استفاده از هوش مصنوعی محلی، فقط داشتن سختافزار مناسب کافی نیست. به نرمافزاری نیاز دارید که بتواند مدل را دریافت، بارگذاری و اجرا کند.
چند ابزار شناختهشده در این زمینه عبارتاند از:
۱. Ollama
Ollama یکی از ابزارهای محبوب برای دریافت و اجرای مدلهای زبانی روی کامپیوتر شخصی است. کاربران میتوانند مدلهای سازگار را دانلود کنند و پس از نصب، بدون نیاز به اینترنت از آنها استفاده کنند.
۲. LM Studio
این نرمافزار محیط گرافیکی سادهای برای جستوجو، دریافت و اجرای مدلهای محلی فراهم میکند. برای کاربرانی که نمیخواهند با دستورات خط فرمان کار کنند، میتواند گزینه مناسبی باشد.
۳. llama.cpp
این پروژه متنباز امکان اجرای مدلهای زبانی را روی سختافزارهای مختلف فراهم میکند و به دلیل پشتیبانی از روشهای فشردهسازی، در اجرای مدلهای محلی کاربرد زیادی دارد.
۴. Microsoft Foundry Local
مایکروسافت با Foundry Local امکان اجرای مجموعهای از مدلهای هوش مصنوعی را روی دستگاههای ویندوزی فراهم کرده است. این ابزار از مدلهای مختلف پشتیبانی میکند و برای توسعهدهندگان و برنامههایی که به پردازش محلی نیاز دارند کاربرد دارد.
۵. Apple MLX
این چارچوب برای دستگاههای مجهز به Apple Silicon طراحی شده و به توسعهدهندگان امکان میدهد مدلهای هوش مصنوعی را روی مک اجرا و آزمایش کنند.
نکته مهم این است که دریافت اولیه مدلها و نرمافزارها معمولاً به اینترنت نیاز دارد. پس از دانلود و آمادهسازی فایلها، اجرای مدل میتواند کاملاً آفلاین انجام شود.
استفاده از مدلهای محلی فقط برای علاقهمندان به فناوری جذاب نیست؛ این روش میتواند در کارهای روزمره و حرفهای نیز کاربرد داشته باشد.
وقتی مدل روی کامپیوتر اجرا میشود، برای انجام پردازش اصلی نیازی به ارسال متن، اسناد یا فایلهای شخصی به سرور خارجی نیست.
این ویژگی برای شرکتها، وکلا، پژوهشگران و سازمانهایی که با اطلاعات حساس سروکار دارند اهمیت زیادی دارد.
البته محلی بودن مدل بهتنهایی امنیت کامل را تضمین نمیکند. نرمافزارهای جانبی، اتصالهای شبکه و نحوه ذخیرهسازی اطلاعات نیز باید ایمن باشند.
در محیطهایی که اینترنت ضعیف یا ناپایدار است، مدل محلی میتواند همچنان به کار خود ادامه دهد.
برای مثال، دانشجو میتواند جزوههای خود را خلاصه کند یا برنامهنویس بدون اتصال به اینترنت از مدل محلی برای بررسی کد کمک بگیرد.
در سرویسهای ابری، کاربر معمولاً به مدلها و امکاناتی دسترسی دارد که شرکت ارائهدهنده تعیین میکند.
اما در اجرای محلی، امکان انتخاب مدل، تغییر تنظیمات، استفاده از نسخههای مختلف و حتی شخصیسازی بعضی مدلها وجود دارد.
بعضی سرویسهای هوش مصنوعی برای دسترسی به امکانات پیشرفته هزینه اشتراک دریافت میکنند. مدل محلی میتواند وابستگی به اشتراک ماهانه را کاهش دهد.
البته هزینه سختافزار، برق، نگهداری و زمان مورد نیاز برای راهاندازی را نباید نادیده گرفت.
با وجود پیشرفتهای چشمگیر، هوش مصنوعی محلی هنوز محدودیتهایی دارد.
۱. هزینه بالای سختافزار: اجرای مدلهای بزرگ به حافظه زیاد و کارت گرافیک قدرتمند نیاز دارد. تهیه چنین سیستمی ممکن است برای کاربران عادی اقتصادی نباشد.
۲. سرعت کمتر در برخی مدلها: سرورهای ابری از چندین پردازنده گرافیکی حرفهای و زیرساخت اختصاصی استفاده میکنند. یک کامپیوتر شخصی الزاماً نمیتواند با آنها رقابت کند.
۳. محدودیت ظرفیت مدل: بعضی مدلهای پیشرفته بهقدری بزرگ هستند که حتی در حافظه کامپیوترهای حرفهای نیز جا نمیشوند.
۴. نیاز به تنظیمات فنی: نصب مدل، انتخاب نسخه مناسب، تنظیم حافظه و بهینهسازی عملکرد ممکن است برای کاربران تازهکار دشوار باشد.
۵. تفاوت کیفیت پاسخها: مدلهای کوچک و فشردهشده در بعضی وظایف عملکرد خوبی دارند، اما ممکن است در تحلیلهای پیچیده، استدلال طولانی یا پاسخگویی تخصصی به اندازه مدلهای بزرگ ابری توانمند نباشند.
اگر قصد خرید لپتاپ یا کامپیوتر رومیزی برای اجرای مدلهای هوش مصنوعی را دارید، بهتر است فقط به عبارت AI PC روی جعبه دستگاه توجه نکنید.
این مشخصات اهمیت بیشتری دارند:
حافظه RAM: برای اجرای مدلهای کوچک و متوسط، ۳۲ گیگابایت میتواند نقطه شروع مناسبی باشد. برای مدلهای سنگینتر، ۶۴ گیگابایت یا بیشتر کاربردیتر است.
حافظه گرافیکی: اگر قصد اجرای مدلهای بزرگ با GPU را دارید، ظرفیت VRAM اهمیت زیادی دارد. کارتهایی با ۱۶ تا ۲۴ گیگابایت VRAM برای برخی مدلهای متوسط و فشردهشده مناسبتر هستند.
پردازنده گرافیکی: سازگاری نرمافزار با GPU و پشتیبانی از شتابدهندههای سختافزاری را بررسی کنید.
NPU: برای قابلیتهای هوش مصنوعی داخلی ویندوز و برنامههای بهینهشده، NPU قدرتمند میتواند مفید باشد.
حافظه SSD: مدلهای هوش مصنوعی ممکن است چندین گیگابایت یا حتی بیشتر حجم داشته باشند؛ SSD پرسرعت و ظرفیت کافی اهمیت دارد.
سیستم خنککننده: اجرای طولانیمدت مدلها میتواند فشار زیادی به دستگاه وارد کند. خنککنندگی مناسب به حفظ عملکرد کمک میکند.
اگر هدف شما اجرای مدلهای بزرگ است، گاهی یک کامپیوتر رومیزی با کارت گرافیک مستقل و حافظه قابل ارتقا انتخاب منطقیتری از لپتاپ باریک و سبک خواهد بود.
احتمالاً آینده هوش مصنوعی به انتخاب یکی از دو روش محلی یا ابری محدود نخواهد شد. ترکیب این دو میتواند تجربه کاربردیتری ایجاد کند.
برای مثال، یک کامپیوتر میتواند کارهای روزمره مانند خلاصهسازی اسناد، جستوجو در فایلها و بازنویسی متن را به مدل محلی بسپارد؛ اما برای تحلیلهای بسیار پیچیده یا تولید محتوای سنگین از سرویس ابری کمک بگیرد.
این روش چند مزیت دارد:
کاهش وابستگی به اینترنت برای وظایف معمول
حفظ اطلاعات حساس در دستگاه
استفاده از قدرت سرورهای ابری برای درخواستهای پیچیده
مدیریت بهتر هزینه و مصرف انرژی
امکان ادامه برخی فعالیتها هنگام قطع اینترنت
به همین دلیل، شرکتهای سازنده سختافزار و سیستمعامل بهجای تمرکز صرف بر افزایش قدرت پردازنده، در حال توسعه اکوسیستمی هستند که CPU، GPU، NPU و سرویسهای ابری را در کنار یکدیگر به کار میگیرد.
آیا میتوان ChatGPT را بدون اینترنت روی کامپیوتر اجرا کرد؟
نسخه آنلاین ChatGPT برای کارکرد اصلی به اینترنت نیاز دارد. اما میتوان مدلهای زبانی دیگری را که بهصورت محلی قابل اجرا هستند، روی کامپیوتر نصب کرد و از آنها برای گفتوگو و تولید متن استفاده کرد.
آیا برای اجرای هوش مصنوعی محلی حتماً به کارت گرافیک نیاز داریم؟
خیر. بعضی مدلها روی CPU نیز اجرا میشوند، اما معمولاً سرعت کمتری دارند. GPU میتواند اجرای مدلهای بزرگتر را سریعتر کند و NPU نیز برای وظایف بهینهشده هوش مصنوعی مفید است.
آیا لپتاپهای معمولی میتوانند مدلهای هوش مصنوعی را اجرا کنند؟
بله. مدلهای کوچک و فشردهشده روی بسیاری از لپتاپها قابل اجرا هستند. با این حال، برای مدلهای بزرگتر به حافظه و توان پردازشی بیشتری نیاز است.
آیا اجرای محلی هوش مصنوعی همیشه رایگان است؟
خود نرمافزارها و بسیاری از مدلهای محلی رایگان هستند، اما هزینه خرید سختافزار، برق و نگهداری سیستم همچنان وجود دارد.
آیا مدل محلی به اندازه مدل ابری هوشمند است؟
لزومی ندارد. کیفیت پاسخ به معماری، اندازه، دادههای آموزشی و میزان فشردهسازی مدل بستگی دارد. برخی مدلهای محلی برای کارهای مشخص عملکرد بسیار خوبی دارند، اما در وظایف پیچیده ممکن است از مدلهای ابری عقبتر باشند.
اجرای هوش مصنوعی بدون اینترنت دیگر یک قابلیت دور از دسترس نیست. کامپیوترهای مجهز به پردازندههای جدید، GPUهای قدرتمند و NPUهای اختصاصی میتوانند مدلهای زبانی، ابزارهای تولید محتوا و برنامههای پردازش تصویر را بهصورت محلی اجرا کنند.
با این حال، اجرای مدلهای بسیار بزرگ همچنان به حافظه زیاد، توان پردازشی بالا و گاهی چند کامپیوتر حرفهای نیاز دارد. بنابراین نباید تصور کرد هر لپتاپ جدیدی با عنوان AI PC میتواند جایگزین کامل سرورهای هوش مصنوعی شود.
مسیر آینده احتمالاً به سمت کامپیوترهایی خواهد رفت که بخشی از وظایف هوش مصنوعی را بدون اینترنت انجام میدهند و برای پردازشهای سنگینتر از فضای ابری کمک میگیرند.
در مجله اوپاکالا، تازهترین تحولات هوش مصنوعی، کامپیوترهای شخصی، لپتاپها و فناوریهای دیجیتال را دنبال کنید.
اوپاکالا