
استقرار مدل های زبان بزرگ منبع باز (LLM) در مقیاس در حالی که اطمینان از قابلیت اطمینان، تأخیر کم و مقرون به صرفه بودن می تواند یک تلاش چالش برانگیز باشد. با استفاده از تجربه گسترده ما در ساخت زیرساخت های LLM و استقرار موفقیت آمیز آن برای مشتریان خود، فهرستی از چالش های اصلی که معمولاً افراد در این فرآیند با آن مواجه می شوند را گردآوری کرده ام.
📷
گزینه های متعددی برای سرورهای مدل برای میزبانی LLM و پارامترهای پیکربندی مختلف برای تنظیم بهترین عملکرد برای مورد استفاده شما وجود دارد. TGI ، VLLM ، OpenLLM تعدادی از رایج ترین چارچوب ها برای میزبانی این LLM ها هستند. در این وبلاگ می توانید تحلیل دقیقی پیدا کنید . برای انتخاب چارچوب مناسب برای هاست خود، مهم است که عملکرد این فریم ورکها را برای مورد استفاده خود محک بزنید و آن را انتخاب کنید که مناسب ترین مورد استفاده شما باشد. همچنین، این چارچوبها تنها پارامترهای قابل تنظیم خود را دارند که میتوانند به شما در استخراج بهترین نتایج معیار کمک کنند.
پردازنده های گرافیکی گران هستند و به سختی پیدا می شوند. ارائه دهندگان ابری مختلف GPU از ابرهای برجسته مانند AWS، GCP و Azure تا ارائه دهندگان ابری در مقیاس کوچک مانند Runpod، Fluidstack، Paperspace و Coreweave وجود دارند. تنوع زیادی در قیمت ها و پیشنهادات هر یک از این ارائه دهندگان وجود دارد. قابلیت اطمینان همچنین برای برخی از ارائه دهندگان ابری جدیدتر GPU همچنان یک نگرانی است.
این در عمل سخت تر از آن چیزی است که به نظر می رسد. با توجه به تجربه ما از اجرای LLM ها در تولید، شما باید برای باگ های عجیب و غریب در سرورهای مدل آماده باشید که می توانند روند شما را معطل کنند و تمام درخواست ها به پایان برسد. بسیار مهم است که مدیران فرآیند مناسب و کاوشگرهای آمادگی/زندگی راهاندازی شوند تا سرورهای مدل بتوانند از خرابیها بهبود یابند یا ترافیک به طور یکپارچه از یک نمونه ناسالم به یک نمونه سالم تغییر کند.
در حین انجام محک زدن، بسیار مهم است که تعادل بین تاخیر و توان عملیاتی را مشخص کنیم. با افزایش تعداد درخواست های همزمان به مدل، تأخیر کمی تا یک نقطه خاص افزایش می یابد، پس از آن تأخیر به شدت بدتر می شود. یافتن تعادل صحیح بین تاخیر، توان عملیاتی و هزینه می تواند زمان بر و مستعد خطا باشد. ما چند وبلاگ داریم که چنین معیارهایی را برای Llama7B و Llama13B بیان می کنند .
مدل های LLM از نظر اندازه بسیار بزرگ هستند – از 10 ثانیه تا 100 گیگابایت. زمانی که سرور مدل آماده شد دانلود مدل و سپس بارگیری آن از دیسک به حافظه ممکن است زمان زیادی طول بکشد. ضروری است که مدل را روی دیسک ذخیره کنید تا در صورت شروع مجدد فرآیند، دوباره مدل را دانلود نکنیم. همچنین برای صرفه جویی در هزینه های شبکه، بهتر است یک بار مدل را دانلود کنید و به جای اینکه هر ماکت به طور مکرر مدل را از طریق اینترنت دانلود کند، دیسک را بین چندین ماکت به اشتراک بگذارید.
مقیاس خودکار در مورد میزبانی LLM به دلیل زمان راهاندازی بالا یک ماکت دیگر مشکل است. اگر بار بسیار سیخدار باشد، معمولاً باید زیرساختها را مطابق با کپیهای پیک فراهم کنیم – اما اگر اوج در زمانهای خاصی از روز انتظار میرود، مقیاس خودکار بر اساس زمان به خوبی کار میکند.
ما با رویکرد فوق شروع کردیم، اما به زودی به معماری زیر مهاجرت کردیم که به ما اجازه میدهد LLMهایی را با هزینههای بسیار کم و قابلیت اطمینان بالا میزبانی کنیم.
📷
ما اساسا چندین استخر GPU را در ارائه دهندگان ابری مختلف در مناطق مختلف ایجاد می کنیم و معمولاً از نمونه های نقطه ای استفاده می کنیم اگر یکی از AWS، GCP یا Azure باشد یا گره های درخواستی ارائه دهندگان ابر کوچکتر. ما همچنین یک صف در وسط قرار میدهیم که تمام درخواستها را میگیرد و استخرهای GPU مختلف از صف مصرف میکنند و پاسخ را به صف برمیگردانیم که از آنجا پاسخ HTTP به کاربر برمیگردد. چند مزیت این معماری:
اجازه دهید یک سناریوی میزبانی یک LLM با 10 درخواست در ثانیه در اوج و 7 درخواست در ثانیه به طور متوسط در نظر بگیریم. بیایید بگوییم که با استفاده از بنچمارک متوجه میشویم که یک دستگاه GPU 80 گیگابایتی A100 میتواند 0.5 RPS را انجام دهد. بیایید همچنین در نظر بگیریم که ترافیک برای 12 ساعت در روز بیشتر است (حدود 9-10 RPS) و برای بقیه 12 ساعت در روز کم است (7-8 RPS).
بر اساس دادههای بالا، میتوانیم تعداد ماشینهای GPU مورد نیاز در پنجره اوج ۱۲ ساعت و پنجره غیر اوج ۱۲ ساعته را پیدا کنیم:
پنجره اوج ۱۲ ساعت: 20 GPU
غیر اوج پنجره ۱۲ ساعت: 15 GPU
ما هزینه اجرای LLM را با استفاده از Sagemaker، میزبانی ساده بر اساس تقاضا در AWS، GCP و Azure و استفاده از معماری خودمان با مقیاس خودکار مقایسه خواهیم کرد.
هزینه میزبانی در Sagemaker (منطقه us-east-1):
هزینه 8 دستگاه A100 80 گیگابایتی (ml.p4de.24xlarge) -> ۴۷.۱۱ دلار در ساعت
در ساعات غیر پیک به ۲ دستگاه و در ساعات اوج مصرف به ۳ دستگاه نیاز خواهیم داشت.
کل هزینه ماهانه: ۸۵ هزار دلار
هزینه میزبانی مستقیم در گره های AWS:
هزینه 8 دستگاه A100 80 گیگابایتی (p4de.24xlarge) -> ۴۰.۹۶۶ دلار در ساعت
ما به ۲ دستگاه در ساعات غیر پیک و ۳ دستگاه در ساعات اوج مصرف نیاز خواهیم داشت:
کل هزینه ماهانه: ۷۳ هزار دلار
هزینه میزبانی در Truefoundry
با استفاده از نمونه های نقطه ای و سایر ارائه دهندگان GPU، می توانیم میانگین قیمت GPU را به 2.5 دلار در ساعت برسانیم. با فرض 15 GPU در ساعات غیر اوج مصرف و 20 GPU در ساعات اوج مصرف، هزینه کل خواهد بود:
۲.۵ دلار * (۱۵*۱۲ + ۲۰*۱۲) * ۳۰ (روز در ماه) = ۳۱ هزار دلار
همانطور که می بینیم، ما می توانیم همان LLM را با تقریباً 30 درصد قیمت Sagemaker با قابلیت اطمینان بالا میزبانی کنیم. با این حال، ساخت و نگهداری این معماری نیازمند تلاش است. Truefoundry میتواند به میزبانی آن برای شما یا میزبانی آن در حساب ابری خودتان بدون هیچ زحمتی و در عین حال صرفهجویی در هزینهها کمک کند.