https://virgool.ir/feed/@matinghiasvandبرنامه نویس و توسعه دهنده اپلیکیشن های جاوا، محقق و متخصص در مدل های زبانی بزرگfa2026-11-12 03:10:59https://virgool.ir/images/default-avatar.jpghttps://virgool.ir/@matinghiasvandhttps://virgool.ir/@matinghiasvand/5-تکنیک-برای-بهینه-سازی-llmها-hko6jp0apdrp5 تکنیک برای بهینه‌سازی LLMها:1) LoRA - دو ماتریس کم‌رتبه، A و B، را به همراه ماتریس‌های وزن W که شامل پارامترهای قابل آموزش هستند، بروزرسانی کنید.2) LoRA-FA - در حالی که LoRA به طور قابل توجهی تعداد کل پارامترهای قابل آموزش را کاهش می‌دهد، هنوز هم نیاز به حافظه فعال بالا برای به‌روزرسانی وزن‌های کم‌رتبه دارد. - LoRA-FA (FA مخفف Frozen-A) ماتریس A را قفل می‌کند و فقط ماتریس B را به‌روزرسانی می‌کند.3) VeRA - در LoRA، هر لایه یک جفت متفاوت از ماتریس‌های کم‌رتبه A و B دارد و هر دو ماتریس آموزش داده می‌شوند. - اما در VeRA، ماتریس‌های A و B قفل شده، تصادفی و در تمام لایه‌های مدل مشترک هستند. 4) Delta-LoRA - در اینجا، علاوه بر آموزش ماتریس‌های کم‌رتبه، ماتریس W نیز تنظیم می‌شود اما نه به روش سنتی. - بلکه تفاوت (یا دلتا) بین حاصل‌ضرب ماتریس‌های کم‌رتبه A و B در دو مرحله آموزشی متوالی به W اضافه می‌شود.5) LoRA+ - در LoRA، هر دو ماتریس A و B با همان نرخ یادگیری به‌روزرسانی می‌شوند. - نویسندگان دریافتند که تنظیم نرخ یادگیری بالاتر برای ماتریس B منجر به همگرایی بهینه‌تر می‌شود.Matin GhiasvandMatin GhiasvandSat, 08 Feb 2025 12:44:58 +0330https://virgool.ir/@matinghiasvand/آشنایی-با-معماری-های-تولید-با-تقویت-بازیابی-اطلاعات-rag-bsnbqq3wmrq1در دنیای امروز، ترکیب مدل های زبانی با منابع دانش برای ارائه پاسخ‌های دقیق و کاربردی، بسیار حیاتی شده است. اینفوگرافیک زیر انواع معماری‌های RAG را نمایش می‌دهد که مدل‌های زبانی را با پایگاه‌های اطلاعاتی ادغام می‌کنند. 1️⃣ Naive RAG: بازیابی مستقیم اسناد و استفاده از آن‌ها در مدل زبانی برای پاسخ‌دهی.2️⃣ Retrieve-and-Rerank RAG: رتبه‌بندی مجدد اسناد بازیابی شده برای ارائه مرتبط‌ترین اطلاعات.3️⃣ Multimodal RAG: ترکیب داده‌های متنی و چندرسانه‌ای (تصاویر، ویدئوها) برای پاسخ‌دهی.4️⃣ Graph RAG: استفاده از پایگاه داده‌های گرافی برای درک روابط پیچیده بین اطلاعات.5️⃣ Hybrid RAG: ترکیب چندین روش بازیابی برای تقویت دقت و تنوع.6️⃣ Agentic RAG (Router): عوامل هوشمند برای مسیریابی بهتر اطلاعات.7️⃣ Agentic RAG (Multi-Agent): استفاده از منابع متنوع (موتورهای جستجو، پیام‌رسان‌ها، ایمیل) با هماهنگی بین عوامل هوشمند.✨ این معماری‌ها تحول بزرگی در سیستم‌های پاسخ‌دهی ایجاد کرده‌اند.Matin GhiasvandMatin GhiasvandSun, 26 Jan 2025 18:15:42 +0330https://virgool.ir/@matinghiasvand/فناوری-rag-و-استفاده-در-چت-بات-ها-k2mvg294dgx1امروزه با استفاده از RAG (retrieval-augmented generation) و قدرت مدل‌های زبانی بزرگ، می‌توان چت‌بات‌هایی طراحی کرد که علاوه بر دقت بالا، اطلاعات را مستقیماً از منابع معتبر و به‌روز ارائه می‌دهند. این مزیت به خصوص در بخش‌های پشتیبانی مشتریان، خدمات پزشکی و آموزش آنلاین بسیار کارآمد است. مزایای اصلی استفاده از RAG در چت‌بات‌ها :1- ارائه پاسخ‌های دقیق با استفاده از دیتای واقعی و قابل اعتماد. 2- کاهش احتمال تولید اطلاعات نادرست توسط مدل‌های زبانی. 3- امکان شخصی‌سازی بر اساس نیازهای کاربران و سازمان‌ها.Matin GhiasvandMatin GhiasvandThu, 26 Dec 2024 23:08:13 +0330