ویرگول
ورودثبت نام
مصطفی لوائی
مصطفی لوائییه برنامه نویس که دوست داره داشته هاشو در اختیار دیگران بذاره
مصطفی لوائی
مصطفی لوائی
خواندن ۳ دقیقه·۵ سال پیش

چطوری توی لاراول سرعت آپلود رو زیاد کردیم؟


بیزینس چاپ‌آقا مبتنی بر فایله و گاها فایل‌های مشتری خیلی حجیم هستن (چند گیگ). معمولا برای آپلود فایل‌های حجیم، از روش‌هایی استفاده می شه که فایل به صورت قطعه قطعه شده از سمت کلاینت برای بک‌اند ارسال بشه. این روش علی رغم اینکه یکم سرعت آپلود رو کاهش می ده (به خاطر Overhead درخواست‌های HTTP) اما مزایای زیادی داره:

  • مدیریت بهتر Memory سرور
  • عدم نیاز به افزایش memory_limit توی php.ini
  • عدم نیاز به افزایش max_post_size و max_upload_size توی php.ini
  • امکان Retry کردن درخواست اگه یه لحظه اینترنت Unstable بشه
  • امکان نمایش Progress به کاربر
  • ...

البته اینکه اندازه هر قطعه (Chunk) رو چقدر بذارید که کمترین تاثیر رو روی Performance بذاره هم خیلی مهمه. هرچی اندازه Chunk ها کمتر باشه، سرعت آپلود کمتر می شه اما منابع سرور بهینه‌تر استفاده می شه و البته Progress دقیق‌تری هم به کاربر نمایش داده می‌شه.

ما هم توی چاپ‌آقا از همین روش استفاده کرده بودیم و همه چیز ظاهرا داشت کار می کرد تا اینکه متوجه شدیم که فایل‌های حجیم خیلی کند آپلود می‌شن و از اون بدتر، از یه حجمی بالاتر به خطای Memory یا Timeout می خوریم! چرا؟ ? ما که داریم فایل رو با Chunk های 2 مگابایتی می فرستیم و انتظار داریم هر ریکوئست مقدار خیلی کمی Memory مصرف کنه و توی چند میلی‌ثانیه پردازش بشه!

پیداکردن و حل مشکل

برای شروع یه فایل حجیم آپلود کردیم و توی Console درخواست‌های HTTP رو دنبال کردیم. درخواست‌های اول خیلی شیک و مجلسی ارسال می شدن و همه چی خوب بود، اما به مرور، زمان پردازش هر درخواست بیشتر و بیشتر می شد تا اینکه به جایی می رسید که هر درخواست نزدیک 30 ثانیه زمان می برد در حالی که حامل Chunk دو مگابایتی بود! 30 ثانیه زمان برای ذخیره 2 مگابایت؟ ?

کدهای بک‌اند خیلی ساده و سرراست بود. Chunk رو می گرفت و به انتهای فایل می‌چسبوند:

Storage::append($filePath, $chunk, '');

کجای این کد ساده مشکل داره؟ برای پیدا کردن مشکل باید می‌دیدیم لاراول تابع append رو چطوری پیاده سازی کرده:

public function append($path, $data, $separator = PHP_EOL) { if ($this->exists($path)) { return $this->put($path, $this->get($path).$separator.$data); } return $this->put($path, $data); }

چی شد؟ ? به جای اینکه هر Chunk رو Append کنیم داریم هر دفعه کل فایل رو می خونیم و توی Memory میایم Chunk رو بهش می چسبونیم و دوباره کل فایل رو ذخیره می کنیم؟

یعنی اگه یه فایل 1 گیگی رو بخوایم با Chunk های 2 مگابایتی آپلود کنیم، فقط توی درخواست آخر حدود 2 گیگ Read/Write روی دیسک و 1 گیگ Memory مصرف می کنیم! و این عمل 500 بار داره تکرار می شه.. چه فاجعه‌ای.

ساده‌ترین راه (و نه البته بهترین راه) برای حل این مشکل، استفاده از توابع ساده PHP به جای این خط کد وحشتناک بود:

$absoluteFilePath = Storage::path($filePath); $fp = fopen($absoluteFilePath, 'a+'); fwrite($fp, $chunk); fclose($fp);

و تمام! مشکل حل شد و همه چیز همونطور که انتظار داشتیم کار می کنه!

نتیجه اخلاقی

از نظر من فریم‌ورک ها فوق العاده هستن و شدیدا بهشون معتقدم، اما نقدی که وجود داره اینه که عموم افراد «نحوه کار با فریم‌ورک» رو یاد می گیرن، ولی «نحوه کار کردن فریم‌ورک» رو نه. دسته‌ای که فقط نحوه کار با فریم‌ورک رو یاد می گیرن، خیلی ساده از تابع append استفاده می کنن، بدون اینکه دقت کنن که ممکنه روی فایل های بزرگ و درخواست هایی که مکررا تکرار می شن به مشکل می خورن. وقتی هم که به مشکل می خورن معمولا متوجه نمی شن که چی شده و چرا به مشکل خوردن و در نهایت صورت مساله رو پاک می کنن.

laravelperformance
۱۲
۲
مصطفی لوائی
مصطفی لوائی
یه برنامه نویس که دوست داره داشته هاشو در اختیار دیگران بذاره
شاید از این پست‌ها خوشتان بیاید