
بیزینس چاپآقا مبتنی بر فایله و گاها فایلهای مشتری خیلی حجیم هستن (چند گیگ). معمولا برای آپلود فایلهای حجیم، از روشهایی استفاده می شه که فایل به صورت قطعه قطعه شده از سمت کلاینت برای بکاند ارسال بشه. این روش علی رغم اینکه یکم سرعت آپلود رو کاهش می ده (به خاطر Overhead درخواستهای HTTP) اما مزایای زیادی داره:
البته اینکه اندازه هر قطعه (Chunk) رو چقدر بذارید که کمترین تاثیر رو روی Performance بذاره هم خیلی مهمه. هرچی اندازه Chunk ها کمتر باشه، سرعت آپلود کمتر می شه اما منابع سرور بهینهتر استفاده می شه و البته Progress دقیقتری هم به کاربر نمایش داده میشه.
ما هم توی چاپآقا از همین روش استفاده کرده بودیم و همه چیز ظاهرا داشت کار می کرد تا اینکه متوجه شدیم که فایلهای حجیم خیلی کند آپلود میشن و از اون بدتر، از یه حجمی بالاتر به خطای Memory یا Timeout می خوریم! چرا؟ ? ما که داریم فایل رو با Chunk های 2 مگابایتی می فرستیم و انتظار داریم هر ریکوئست مقدار خیلی کمی Memory مصرف کنه و توی چند میلیثانیه پردازش بشه!
برای شروع یه فایل حجیم آپلود کردیم و توی Console درخواستهای HTTP رو دنبال کردیم. درخواستهای اول خیلی شیک و مجلسی ارسال می شدن و همه چی خوب بود، اما به مرور، زمان پردازش هر درخواست بیشتر و بیشتر می شد تا اینکه به جایی می رسید که هر درخواست نزدیک 30 ثانیه زمان می برد در حالی که حامل Chunk دو مگابایتی بود! 30 ثانیه زمان برای ذخیره 2 مگابایت؟ ?
کدهای بکاند خیلی ساده و سرراست بود. Chunk رو می گرفت و به انتهای فایل میچسبوند:
Storage::append($filePath, $chunk, '');
کجای این کد ساده مشکل داره؟ برای پیدا کردن مشکل باید میدیدیم لاراول تابع append رو چطوری پیاده سازی کرده:
public function append($path, $data, $separator = PHP_EOL) { if ($this->exists($path)) { return $this->put($path, $this->get($path).$separator.$data); } return $this->put($path, $data); }
چی شد؟ ? به جای اینکه هر Chunk رو Append کنیم داریم هر دفعه کل فایل رو می خونیم و توی Memory میایم Chunk رو بهش می چسبونیم و دوباره کل فایل رو ذخیره می کنیم؟
یعنی اگه یه فایل 1 گیگی رو بخوایم با Chunk های 2 مگابایتی آپلود کنیم، فقط توی درخواست آخر حدود 2 گیگ Read/Write روی دیسک و 1 گیگ Memory مصرف می کنیم! و این عمل 500 بار داره تکرار می شه.. چه فاجعهای.
سادهترین راه (و نه البته بهترین راه) برای حل این مشکل، استفاده از توابع ساده PHP به جای این خط کد وحشتناک بود:
$absoluteFilePath = Storage::path($filePath); $fp = fopen($absoluteFilePath, 'a+'); fwrite($fp, $chunk); fclose($fp);
و تمام! مشکل حل شد و همه چیز همونطور که انتظار داشتیم کار می کنه!
از نظر من فریمورک ها فوق العاده هستن و شدیدا بهشون معتقدم، اما نقدی که وجود داره اینه که عموم افراد «نحوه کار با فریمورک» رو یاد می گیرن، ولی «نحوه کار کردن فریمورک» رو نه. دستهای که فقط نحوه کار با فریمورک رو یاد می گیرن، خیلی ساده از تابع append استفاده می کنن، بدون اینکه دقت کنن که ممکنه روی فایل های بزرگ و درخواست هایی که مکررا تکرار می شن به مشکل می خورن. وقتی هم که به مشکل می خورن معمولا متوجه نمی شن که چی شده و چرا به مشکل خوردن و در نهایت صورت مساله رو پاک می کنن.