روزی که تصمیم گرفتم وارد دنیای هوش مصنوعی و پایتون شوم، فکر میکردم اولین چیزی که نیاز دارم یک لپتاپ گیمینگِ غولپیکر با کارت گرافیک RTX است. سیستمِ زیر دستم؟ یک لپتاپ قدیمی با ۳.۷۳ گیگابایت رمِ قابل استفاده و بدون حتی یک ذره گرافیک مجزا!
نتیجهی اولین تلاشم برای اجرای یک مدل سادهی بینایی ماشین روی سیستم خودم؟
فنِ لپتاپ چنان زوزهای کشید که انگار داشت آمادهی پرواز میشد، بعد سیستم فریز شد، و در نهایت ارورِ آشنای مرگآورِ CUDA out of memory روی صفحه نقش بست.
اگر تو هم مثل من بودی، احتمالاً همان لحظه لپتاپ را میبستی و میگفتی: «ولش کن، این کارا پولِ کلان میخواد!» اما حقیقت این است که مجبور نبودم تسلیم شوم. در این مقاله میخواهم بدون شعار و حرفهای کلیشهای، بهت بگویم چطور با همین سیستمِ زغالی، مدلهای سنگین را دور زدم و دارم کدهای خفنم را اجرا میکنم.
نکتهی کلیدی که خیلی دیر فهمیدم این است: کدِ تو قرار نیست روی لپتاپ تو پردازش شود! شبکههای عصبی و مدلهای سنگین نیاز به پردازش موازیِ عظیم دارند که کارِ CPU نیست؛ کارِ GPU است. وقتی گرافیک نداری، یعنی نباید بگذاری محاسبات روی دستگاهِ تو انجام شود. باید بارِ سنگین را بفرستی جای دیگر. کجای کاری؟ ابر (Cloud)!
گوگل یک سرور ابری رایگان با کارت گرافیک خفن (مثل T4) بهت میدهد. فرقی نمیکند لپتاپت چقدر ضعیف است؛ مرورگر تو فقط دارد تصویر صفحه را نشان میدهد و همهی فشار روی سرورهای گوگل است.
برای شروع، من همیشه کدهای پایهایِ اتصال به سختافزار را اینطوری در کولب تست میکنم تا مطمئن شوم همهچیز روی ابر سوار است:
یکوقتهایی دسترسی به اینترنت نداری یا مجبوری یک اسکریپت سبک را روی سیستمِ خودت اجرا کنی. اینجا دیگر کولب به کار نمیآید. چاره چیست؟ کوانتیزاسیون (Quantization).
مدلهای هوش مصنوعی معمولاً با دقت اعشاریِ سنگین (FP32) ذخیره میشوند که حجم عظیمی از رم را میبلعند. کوانتیزاسیون یعنی لاغر کردن مدل؛ یعنی تبدیل این دقت به مقادیر سبکتر مثل INT8 یا INT4. با این کار حجم مدل تا ۷۰ درصد کم میشود و جالب اینجاست که افتِ دقتِ مدل در حد چند صدمِ درصد است!
با کتابخانههایی مثل bitsandbytes در پایتون، خیلی راحت میتوانید مدلهای فشرده را حتی روی سیستمهای ضعیف لود کنید بدون اینکه رم دستگاه منفجر شود.
برنامهنویس واقعی کسی نیست که با قویترین سیستم، تمیزترین کد را بنویسد؛ برنامهنویس واقعی کسی است که با محدودیت بجنگد و راهحل خلق کند.
اگر تو هم با یک سیستم ضعیف درگیرِ یادگیری هوش مصنوعی، پایتون یا توسعه هستی، ناامید نشو. ابزارها برای دور زدنِ محدودیتها ساخته شدهاند.
تو با چه سیستمی کار میکنی و بزرگترین چالشِ رم و گرافیکت چی بوده؟