https://virgool.ir/feed/@janebimall.irfa2026-11-12 07:15:39https://files.virgool.ir/upload/users/3207460/avatar/avatar.pnghttps://virgool.ir/@janebimall.irhttps://virgool.ir/@janebimall.ir/httpsjanebimallcomd8a2d8b1d8b4db8cd988-d8a8d984d8a7daaf-dharqj6laigeتا همین یکی دو سال پیش، اجرای مدل‌های زبانی بزرگ (LLM) بدون اتصال به اینترنت تقریباً غیرممکن به نظر می‌رسید. هر تعامل با هوش مصنوعی به سرورهای ابری وابسته بود؛ داده‌ها ارسال می‌شدند، پردازش در دیتاسنتر انجام می‌گرفت و پاسخ برمی‌گشت.اما امروز، با ترکیب چند فناوری کلیدی، این معادله در حال تغییر اساسی است.اکنون می‌توان مدل‌های زبانی را آموزش داد، بهینه‌سازی کرد و مستقیماً روی گوشی‌های موبایل (اندروید و iOS) اجرا کرد؛ آن هم با سرعت بالا، بدون اینترنت و با حفظ کامل حریم خصوصی.این مقاله دقیقاً درباره همین تغییر بنیادین است.اجرای LLM روی موبایل؛ چرا این‌قدر مهم است؟وقتی یک مدل زبانی مستقیماً روی گوشی اجرا می‌شود، چند تحول مهم رخ می‌دهد:حریم خصوصی واقعیداده‌های کاربر از دستگاه خارج نمی‌شوند. نه لاگی، نه سروری، نه تحلیل ابری.پاسخ‌دهی آنیچون پردازش محلی است، تأخیر شبکه حذف می‌شود و پاسخ‌ها سریع‌تر تولید می‌شوند.امکان استفاده آفلاینحتی بدون اینترنت، کاربر می‌تواند با مدل گفتگو کند.این دقیقاً همان چیزی‌ست که شرکت‌های بزرگ فناوری سال‌هاست روی آن کار می‌کنند، اما کمتر درباره‌اش شفاف صحبت می‌شود.پشت صحنه این پیشرفت: همکاری Unsloth و ExecuTorchاین دستاورد نتیجه همکاری مستقیم بین Unsloth و ExecuTorch است؛ فریم‌ورکی که توسط PyTorch و Meta توسعه داده شده و همین حالا در اپلیکیشن‌هایی مثل Instagram و WhatsApp برای میلیاردها کاربر استفاده می‌شود.هدف این همکاری، ساخت یک مسیر استاندارد و عملی برای:آموزش مدلکوانتیزه‌سازی هوشمندو اجرای مستقیم روی دستگاه‌های Edge مثل موبایلنقش حیاتی Quantization-Aware Training (QAT)مدل‌های زبانی ذاتاً بزرگ و سنگین‌اند. اجرای آن‌ها روی موبایل بدون بهینه‌سازی، عملاً غیرممکن است.اینجاست که QAT (آموزش آگاه از کوانتیزه‌سازی) وارد بازی می‌شود.در این روش:مدل از همان مرحله آموزش یاد می‌گیرد که قرار است کوچک‌تر شودکوانتیزه‌سازی وزن‌ها (INT4) و اکتیویشن‌ها (INT8) شبیه‌سازی می‌شودمحاسبات همچنان با دقت 16 بیت انجام می‌شوندنتیجه؟حجم مدل به‌شدت کاهش می‌یابدمصرف رم پایین می‌آیدو مهم‌تر از همه، تا ۷۰٪ دقت از دست‌رفته‌ی کوانتیزه‌سازی بازیابی می‌شوداین یعنی کیفیت خروجی قربانی اجرا روی موبایل نمی‌شود.اجرای واقعی روی موبایل: اعداد و واقعیت‌هادر تست‌های عملی:مدل Qwen3-0.6Bروی Pixel 8 و iPhone 15 Proبا سرعت حدود ۴۰ توکن در ثانیهآن هم کاملاً آفلاین.این عدد برای یک مدل زبانی روی موبایل، یک جهش جدی محسوب می‌شود.مسیر کلی: از آموزش تا اجرا روی گوشیفرآیند کامل به‌صورت زیر است:آموزش یا فاین‌تیون مدل با Unslothفعال‌سازی حالت phone-deployment برای QATتبدیل مدل به فرمت مخصوص ExecuTorch (.pte)انتقال مدل به اپلیکیشن موبایلاجرا و چت مستقیم روی دستگاهمدل نهایی Qwen3-0.6B حدود ۴۷۲ مگابایت حجم دارد؛ عددی که برای یک LLM کاملاً عملی است.اجرای مدل روی iOS؛ محدود اما ممکندر iOS:نیاز به macOS و Xcode 15 به بالا وجود داردبرای اجرای روی دستگاه واقعی، اکانت پولی Apple Developer لازم استقابلیت Increased Memory Limit باید فعال شودپس از این مراحل، اپلیکیشن نمونه ExecuTorch می‌تواند:مدل را لود کندtokenizer را بشناسدو بدون اینترنت، چت را اجرا کنداجرای مدل روی اندروید؛ انعطاف‌پذیرتر از iOSدر اندروید:نیازی به Android Studio نیستهمه‌چیز از طریق خط فرمان انجام می‌شودAPK ساخته و مستقیم روی گوشی نصب می‌شودمدل و tokenizer از طریق adb به مسیر خاصی منتقل می‌شوند و اپلیکیشن ExecuTorch آن‌ها را بارگذاری می‌کند.بعد از آن، تجربه‌ای مشابه چت‌بات‌های ابری، اما کاملاً محلی خواهید داشت.این فناوری همین حالا کجا استفاده می‌شود؟ExecuTorch در حال حاضر:در Instagram برای استخراج استیکر از تصویردر Messenger برای تشخیص زبان و ترجمه‌ی محلیدر اپلیکیشن‌های رمزنگاری‌شده برای پردازش امناستفاده می‌شود.یعنی این آینده، آینده‌ی فرضی نیست؛ آینده‌ی در حال اجراست.پشتیبانی از مدل‌های بیشتراین مسیر فقط محدود به Qwen3 نیست. مدل‌های زیر هم پشتیبانی می‌شوند:خانواده Qwen 3 (۰.۶B تا ۳۲B)Gemma 3Llama 3Qwen 2.5Phi 4 Miniبا کمی شخصی‌سازی، هرکدام از این‌ها می‌توانند به مدل موبایلی تبدیل شوند.آینده: هوش مصنوعی شخصی، نه ابریجهت حرکت کاملاً مشخص است:هوش مصنوعی از سرورها جدا می‌شودبه سمت دستگاه‌های شخصی می‌آیدو برای هر کاربر، شخصی‌سازی می‌شوددر چنین آینده‌ای:موبایل شما فقط مصرف‌کننده AI نیستبلکه میزبان هوش مصنوعی شماستجمع‌بندی نهاییاجرای مدل‌های زبانی بزرگ روی موبایل، فقط یک پیشرفت فنی نیست؛این یک تغییر پارادایم است.هوش مصنوعی:خصوصی‌تر می‌شودمستقل‌تر عمل می‌کندو از انحصار سرورها خارج می‌شودو شاید به همین دلیل است کههمه دوست ندارند شما از این آینده خبر داشته باشید.سوالی که برای خود من بعد از انتشار این اخبار به وجود اومد این بود که ایا دقت پاسخ های هوش مصنوعی آفلاین به اندازه ی هوش مصنوعی آنلاین هست؟پاسخ چت جی بی تی برای شما هم شاید جالب باشه نه، معمولاً دقت پاسخ‌های مدل‌های LLM که روی گوشی به صورت آفلاین اجرا می‌شوند، کمتر از نسخه آنلاین همان مدل است. چند دلیل اصلی داره:حجم مدل کمتر است:برای اجرا روی گوشی، مدل‌ها معمولاً کوچک یا Quantized می‌شوند (مثلاً 0.6B در مقابل نسخه 4B یا بزرگ‌تر آنلاین). این کاهش اندازه باعث می‌شود برخی دانش و توانایی‌های مدل اصلی کاهش پیدا کند.کمبود منابع محاسباتی:گوشی‌ها RAM و CPU/GPU محدود دارند، بنابراین مدل نمی‌تواند تمام محاسبات پیچیده و وزن‌های کامل مدل اصلی را پردازش کند. به همین خاطر از QAT یا INT8/INT4 quantization استفاده می‌شود که کمی دقت را کاهش می‌دهد.کمبود context و memory:مدل‌های روی گوشی معمولاً context window کوتاه‌تر دارند (مثلاً 128 تا 1024 توکن)، در حالی که نسخه‌های آنلاین می‌توانند هزاران توکن را همزمان مدیریت کنند. این موضوع باعث می‌شود در مکالمات طولانی، پاسخ‌ها کمتر دقیق یا ناقص باشند.Fine-tuning محدود:حتی با اجرای QAT و fine-tuning، مدل گوشی نمی‌تواند به تمام قدرت نسخه بزرگ آنلاین برسد، اما برای پاسخ‌های عمومی و محاوره‌ای معمولاً کفایت می‌کند.💡 جمع‌بندی:مزیت آفلاین: سرعت بالا، حریم خصوصی، پاسخ فوری بدون اینترنتمعایب: دقت کمتر نسبت به مدل آنلاین بزرگ، توانایی محدود در پاسخ‌های تخصصی یا طولانیhossein zareianhossein zareianSat, 20 Dec 2025 18:05:58 +0330