ویرگول
ورودثبت نام
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM هااینجا جدیدترین تکنیک های مربوط به آموزش chatgpt و LLM ها بهت یاد می دم https://aliayoubi.com
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM ها
خواندن ۸ دقیقه·۲ سال پیش

مسائل کلیدی در استقرار LLM

استقرار مدل های زبان بزرگ منبع باز (LLM) در مقیاس در حالی که اطمینان از قابلیت اطمینان، تأخیر کم و مقرون به صرفه بودن می تواند یک تلاش چالش برانگیز باشد. با استفاده از تجربه گسترده ما در ساخت زیرساخت های LLM و استقرار موفقیت آمیز آن برای مشتریان خود، فهرستی از چالش های اصلی که معمولاً افراد در این فرآیند با آن مواجه می شوند را گردآوری کرده ام.

📷

مسائل کلیدی در استقرار LLM

بهینه ترین راه را برای میزبانی یک نمونه از مدل پیدا کنید

گزینه های متعددی برای سرورهای مدل برای میزبانی LLM و پارامترهای پیکربندی مختلف برای تنظیم بهترین عملکرد برای مورد استفاده شما وجود دارد. TGI ، VLLM ، OpenLLM تعدادی از رایج ترین چارچوب ها برای میزبانی این LLM ها هستند. در این وبلاگ می توانید تحلیل دقیقی پیدا کنید . برای انتخاب چارچوب مناسب برای هاست خود، مهم است که عملکرد این فریم ورک‌ها را برای مورد استفاده خود محک بزنید و آن را انتخاب کنید که مناسب ترین مورد استفاده شما باشد. همچنین، این چارچوب‌ها تنها پارامترهای قابل تنظیم خود را دارند که می‌توانند به شما در استخراج بهترین نتایج معیار کمک کنند.

پیدا کردن ناوگان پردازنده های گرافیکی

پردازنده های گرافیکی گران هستند و به سختی پیدا می شوند. ارائه دهندگان ابری مختلف GPU از ابرهای برجسته مانند AWS، GCP و Azure تا ارائه دهندگان ابری در مقیاس کوچک مانند Runpod، Fluidstack، Paperspace و Coreweave وجود دارند. تنوع زیادی در قیمت ها و پیشنهادات هر یک از این ارائه دهندگان وجود دارد. قابلیت اطمینان همچنین برای برخی از ارائه دهندگان ابری جدیدتر GPU همچنان یک نگرانی است.

حفظ قابلیت اطمینان

این در عمل سخت تر از آن چیزی است که به نظر می رسد. با توجه به تجربه ما از اجرای LLM ها در تولید، شما باید برای باگ های عجیب و غریب در سرورهای مدل آماده باشید که می توانند روند شما را معطل کنند و تمام درخواست ها به پایان برسد. بسیار مهم است که مدیران فرآیند مناسب و کاوشگرهای آمادگی/زندگی راه‌اندازی شوند تا سرورهای مدل بتوانند از خرابی‌ها بهبود یابند یا ترافیک به طور یکپارچه از یک نمونه ناسالم به یک نمونه سالم تغییر کند.

تضمین توان عملیاتی بالا در زمان تاخیر کم

در حین انجام محک زدن، بسیار مهم است که تعادل بین تاخیر و توان عملیاتی را مشخص کنیم. با افزایش تعداد درخواست های همزمان به مدل، تأخیر کمی تا یک نقطه خاص افزایش می یابد، پس از آن تأخیر به شدت بدتر می شود. یافتن تعادل صحیح بین تاخیر، توان عملیاتی و هزینه می تواند زمان بر و مستعد خطا باشد. ما چند وبلاگ داریم که چنین معیارهایی را برای Llama7B و Llama13B بیان می کنند .

از زمان راه اندازی سریع مدل اطمینان حاصل کنید

مدل های LLM از نظر اندازه بسیار بزرگ هستند – از 10 ثانیه تا 100 گیگابایت. زمانی که سرور مدل آماده شد دانلود مدل و سپس بارگیری آن از دیسک به حافظه ممکن است زمان زیادی طول بکشد. ضروری است که مدل را روی دیسک ذخیره کنید تا در صورت شروع مجدد فرآیند، دوباره مدل را دانلود نکنیم. همچنین برای صرفه جویی در هزینه های شبکه، بهتر است یک بار مدل را دانلود کنید و به جای اینکه هر ماکت به طور مکرر مدل را از طریق اینترنت دانلود کند، دیسک را بین چندین ماکت به اشتراک بگذارید.

تنظیم مقیاس خودکار

مقیاس خودکار در مورد میزبانی LLM به دلیل زمان راه‌اندازی بالا یک ماکت دیگر مشکل است. اگر بار بسیار سیخ‌دار باشد، معمولاً باید زیرساخت‌ها را مطابق با کپی‌های پیک فراهم کنیم – اما اگر اوج در زمان‌های خاصی از روز انتظار می‌رود، مقیاس خودکار بر اساس زمان به خوبی کار می‌کند.

چگونه LLM ها را به تولید ببریم؟

  1. با محک زدن LLM با مدل های مختلف سرورها، GPU و پارامترها شروع کنید تا ببینید بهترین عملکرد را از کجا دریافت می کنید. در حالت ایده‌آل، باید داده‌هایی از محک‌گذاری مشابه آنچه در این وبلاگ برای Llama7B داریم داشته باشید .
  2. می‌توانید مدل‌ها را روی چند پردازنده گرافیکی در Kubernetes یا در نمونه‌های فلزی خالی تنظیم کنید. ما به طور ایده آل Kubernetes را توصیه می کنیم زیرا تمام بررسی های سلامت، مسیریابی و failover را به صورت رایگان دریافت می کنید.
  3. مدل را در یک حجم مشترک مانند EFS قرار دهید تا مدل ها بارها و بارها دانلود نشوند و حجم را روی همه پادها نصب کنید.
  4. نظارت و هشدار را روی نمونه ها تنظیم کنید.
  5. در حالت ایده‌آل، لایه‌ای داشته باشید که بتواند در هر درخواست، توکن شمارش را برای شما انجام دهد، زیرا درک الگوی ترافیک ورودی آسان‌تر است.
  6. الگوی ترافیک را رعایت کنید و سیاست مقیاس خودکار را بر اساس آن تنظیم کنید.
  7. ترکیبی از نمونه های لحظه ای و درخواستی را برای کاهش هزینه ها نگه دارید.

معماری برای میزبانی LLMs در مقیاس

ما با رویکرد فوق شروع کردیم، اما به زودی به معماری زیر مهاجرت کردیم که به ما اجازه می‌دهد LLM‌هایی را با هزینه‌های بسیار کم و قابلیت اطمینان بالا میزبانی کنیم.

📷

ما اساسا چندین استخر GPU را در ارائه دهندگان ابری مختلف در مناطق مختلف ایجاد می کنیم و معمولاً از نمونه های نقطه ای استفاده می کنیم اگر یکی از AWS، GCP یا Azure باشد یا گره های درخواستی ارائه دهندگان ابر کوچکتر. ما همچنین یک صف در وسط قرار می‌دهیم که تمام درخواست‌ها را می‌گیرد و استخرهای GPU مختلف از صف مصرف می‌کنند و پاسخ را به صف برمی‌گردانیم که از آنجا پاسخ HTTP به کاربر برمی‌گردد. چند مزیت این معماری:

  1. قابلیت اطمینان بالا با نمونه‌های نقطه‌ای: از آنجایی که ما بار را بین نمونه‌های نقطه‌ای از چندین ارائه‌دهنده ابر و مناطق توزیع می‌کنیم، احتمال اینکه همه نمونه‌های نقطه‌ای پایین بیایند بسیار کند می‌شود و هر یک از استخرها می‌توانند با پایین آمدن یک استخر، بار را تحمل کنند.
  2. صف قابلیت اطمینان بیشتری را تحت بارگذاری بالا می‌افزاید: اگر جهش‌های ناگهانی وجود داشته باشد، یک سرویس HTTP شروع به بازگرداندن 503s می‌کند. به دلیل صف در بین، ما می‌توانیم بارهای کاری پراکنده را تحمل کنیم – تاخیر کمی برای درخواست‌ها در طول spike افزایش می‌یابد، اما آنها شکست نمی‌خورند. افزودن صف در وسط، تأخیر کلی حدود 10-20 میلی ثانیه اضافه می کند که برای موارد استفاده استنتاج LLM خوب است زیرا تأخیر کلی استنتاج به ترتیب ثانیه است.
  3. کاهش هزینه: این به کاهش شدید هزینه در مقایسه با میزبانی LLM در موارد درخواستی کمک می کند – ما در زیر مقایسه دقیقی از هزینه ها انجام خواهیم داد.
  4. تجزیه و تحلیل دقیق: لایه دروازه LLM به ما کمک می کند تا تجزیه و تحلیل دقیق درخواست های دریافتی را محاسبه کنیم و همچنین می تواند توزیع توکن را در بین درخواست ها محاسبه کند. همچنین می‌توانیم ثبت درخواست‌ها را شروع کنیم تا بعداً تنظیمات دقیق را فعال کنیم.
  5. بدون وابستگی به یک ارائه‌دهنده ابری: این معماری به ما اجازه می‌دهد تا در صورت یافتن قیمت بهتر در جایی با زمان توقف صفر، به راحتی یک ارائه‌دهنده GPU خود را با دیگری تعویض کنیم. همچنین در صورتی که یکی از ارائه دهندگان از کار بیفتد، استخرهای دیگر سیستم را بدون مشکل نگه می دارند!

کاهش هزینه برای میزبانی LLM

اجازه دهید یک سناریوی میزبانی یک LLM با 10 درخواست در ثانیه در اوج و 7 درخواست در ثانیه به طور متوسط ​​در نظر بگیریم. بیایید بگوییم که با استفاده از بنچمارک متوجه می‌شویم که یک دستگاه GPU 80 گیگابایتی A100 می‌تواند 0.5 RPS را انجام دهد. بیایید همچنین در نظر بگیریم که ترافیک برای 12 ساعت در روز بیشتر است (حدود 9-10 RPS) و برای بقیه 12 ساعت در روز کم است (7-8 RPS).

بر اساس داده‌های بالا، می‌توانیم تعداد ماشین‌های GPU مورد نیاز در پنجره اوج ۱۲ ساعت و پنجره غیر اوج ۱۲ ساعته را پیدا کنیم:

پنجره اوج ۱۲ ساعت: 20 GPU
غیر اوج پنجره ۱۲ ساعت: 15 GPU

ما هزینه اجرای LLM را با استفاده از Sagemaker، میزبانی ساده بر اساس تقاضا در AWS، GCP و Azure و استفاده از معماری خودمان با مقیاس خودکار مقایسه خواهیم کرد.

هزینه میزبانی در Sagemaker (منطقه us-east-1):

هزینه 8 دستگاه A100 80 گیگابایتی (ml.p4de.24xlarge) -> ۴۷.۱۱ دلار در ساعت

در ساعات غیر پیک به ۲ دستگاه و در ساعات اوج مصرف به ۳ دستگاه نیاز خواهیم داشت.

کل هزینه ماهانه: ۸۵ هزار دلار

هزینه میزبانی مستقیم در گره های AWS:

هزینه 8 دستگاه A100 80 گیگابایتی (p4de.24xlarge) -> ۴۰.۹۶۶ دلار در ساعت

ما به ۲ دستگاه در ساعات غیر پیک و ۳ دستگاه در ساعات اوج مصرف نیاز خواهیم داشت:

کل هزینه ماهانه: ۷۳ هزار دلار

هزینه میزبانی در Truefoundry

با استفاده از نمونه های نقطه ای و سایر ارائه دهندگان GPU، می توانیم میانگین قیمت GPU را به 2.5 دلار در ساعت برسانیم. با فرض 15 GPU در ساعات غیر اوج مصرف و 20 GPU در ساعات اوج مصرف، هزینه کل خواهد بود:

۲.۵ دلار * (۱۵*۱۲ + ۲۰*۱۲) * ۳۰ (روز در ماه) = ۳۱ هزار دلار

همانطور که می بینیم، ما می توانیم همان LLM را با تقریباً 30 درصد قیمت Sagemaker با قابلیت اطمینان بالا میزبانی کنیم. با این حال، ساخت و نگهداری این معماری نیازمند تلاش است. Truefoundry می‌تواند به میزبانی آن برای شما یا میزبانی آن در حساب ابری خودتان بدون هیچ زحمتی و در عین حال صرفه‌جویی در هزینه‌ها کمک کند.

۲
۰
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM ها
اینجا جدیدترین تکنیک های مربوط به آموزش chatgpt و LLM ها بهت یاد می دم https://aliayoubi.com
شاید از این پست‌ها خوشتان بیاید