شما هم مثل از من سرویس های هوش مصنوعی لوکال استفاده می کنید؟
منظور سرویس هایی مثل Ollama یا LmStudio یا حتی Bionic هست که که به ما اجازه میده از اتصال به اینترنت بی نیاز باشیم و بتونیم از ظرفیت های افلاین مدل های هوش مصنوعی و سخت افزارمون حداکثر استفاده رو ببریم.
اولین بار از Ollama استفاده کردم. در واقع یه بستر ترمینال شکل بود که می تونستی با اتصال یکباره به اینترنت مدل مخصوص رو دانلود کنی و در همون مدل ترمینال با مدل سر و کله بزنی. البته الان استانداردتر شده و رابط کاربری اضافه کرده.

اما من چند تا بستر دیگه رو هم تجربه کردم و در نهایت رسیدم به Lm Studio
می تونم بگم یه جورایی از بقیه شون بهتر بود. محیط ساده و کاربردی. خیلی راحت هم هر مدلی که نیاز داشته باشی رو می تونی نسبت به قدرت سخت افزاریت توی همین بستر دانلود و استفاده کنی.

کدوم مدل و بگیریم؟
همون طور که می بینید فارسی رو به خوبی پشتیبانی می کنه. مدل *gemma 4 E4B* یه نسخه به روز از بهترین مدل های افلاین محصول گوگل هست. من روی سیستم خودم یه رم 16 نسل 4 و کارت گرافیک انبرد دارم. پرازنده هم i5 12400 هست. با این سخت افزار می تونیم کوانتایز 8 یا 4 رو دانلود کنید. که من از Q8 استفاده می کنم. بهتره حجم مدل بیشتر از نصف ظرفیت رم نباشه.

گفتم که مدل ها رو میشه از داخل خود بستر دانلود کردید. اگر دقت کنید می بینید مدل جما 4 پیشنهاد اول برای دانلود هست چون خیلی طرفدار داره. در بخش راست هم می تونید مدل رو رایگان دانلود کنید. برای سیستم من خودش به صورت هوشمند پیشنهاد داده که نسخه Q4_K_M با حجم 6.33 گیگ رو دانلود کنم که پیشنهاد خوبی هم هست اما من مدل Q8 با حجم 9 گیگ رو دانلود کردم. که هیچ مشکلی هم نداره. همچنان سرعتش قابل قبوله و تا 98 درصد دقت نسخه فول رو داره. در نظر بگیرید من کارت گرافیک ندارم و محاسبات بر گردن پردازنده من هست اگر کارت گرافیک داشته باشید می تونید خیلی تجربه سریع تر هم داشته باشید.


این مدل تصویر رو هم پشتیبانی می کنه مثلا ازش خواستم تصویری که بهش دادم رو توصیف کنه و بعدش بهم بگه اونجا کجاست.

البته قرار نبود اینجا آموزشی بدم چون چیزایی که گفتم فقط بخش خیلی کوچیکی از ابزارهایی هستن که من استفاده می کنم. من حتی ابزار های افلاینی مثل ویسپر دارم که با یک مدل 100 مگابایتی خیلی سریع و راحت می تونه یه فیلم سینمایی رو برات زیرنویس کنه و فایل زیرنویس با ترجمه فارسی برات بسازه و رایگان بهت تحویل بده بدون هیچ هزینه ای. این ابزار روی نرم افزار Subtitle Edit به راحتی قابل نصبه. حتی اگه یه کارت گرافیک با حداقل 8 گیگ Vram داشته باشی می تونی ویدیو و اهنگ هم بسازی کاملا روی سیستم خودت و بدون هیچ گونه محدودیتی.. اگر چه ممکنه فعلا و در برخی موارد به قدرت نمونه های پولی نرسن.
* اصل حرفم از اینجا شروع میشه:
وقتی مدل های افلاین به این خوبیز می تونن بخش بزرگی از خواسته های ما رو براورده کنن اصلا چه نیازیه پول پای مدل های غیر رایگان بدن مخصوصا واسه ما که تو ایران زندگی می کنیم. هم خریدشون سخته و هم برای ما گرون حساب میشن.
البته اصلا ادعایی نداریم که مدل های محلی بتونن از سرور های قدرتمند شرکت های چند میلیارد دلاری سبقت بگیرن اما می بینیم که بیشتر نیاز های ما رو براورده می کنن. حالا شما تصور کنید همین بسترهای رایگان که توسط هزاران مهندس خبره کدنویسی شدن تا چند سال آینده چه پیشرفت هایی که می کنن. از طرفی هر چند سال یکبار انقلابی در قدرت پردازشی دستگاه هایی که ازشون استفاده می کنیم به وجود میاد و هر بار سخت افزار قدرتمندتری خواهیم داشت.
اگه پیگیر اخبار هوش مصنوعی باشید هر روز خبر ورشکسته شدن یک استارتاپ هوش مصنوعی و فروش سخت افزارهای به جا مونده ازون شرکت به شرکت دیگه به گوشتون می خوره. در حال حاضر رقابت و ریسک های بزرگی بر سر راه این شرکت ها که هزینه های سنگینی هم روی این حوزه کردن وجود داره. درامدهایی که شرکت های سرمایه گذار روی AI کردن از هزینه اولیه خیلی کمتر بوده و اصلا معلوم نیست قراره به درامدی برسن یا نه.
با ظهور مدل ها و بستر های افلاین که هر روزه بیشتر هم می شن و قدرتمند تر شدن سخت افزارها، ممکنه یه روز مدل های لوکال به صورت کامل جای سرویس های گرون رو بگیرن و بتونی با همون سخت افزاری که داری همه کارهات رو پیش ببری.
نظر شما چیه؟