ویرگول
ورودثبت نام
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM هااینجا جدیدترین تکنیک های مربوط به آموزش chatgpt و LLM ها بهت یاد می دم https://aliayoubi.com
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM ها
خواندن ۱۳ دقیقه·۲ سال پیش

xLSTM: راهنمای جامع برای حافظه کوتاه مدت طولانی

برای بیش از دو دهه، معماری پیشگام حافظه بلند مدت کوتاه مدت (LSTM) Sepp Hochreiter در پیشرفت های یادگیری عمیق و برنامه های کاربردی در دنیای واقعی بسیار موثر بوده است. از تولید زبان طبیعی تا تقویت سیستم‌های تشخیص گفتار، LSTM‌ها نیروی محرکه انقلاب هوش مصنوعی بوده‌اند.

با این حال، حتی خالق LSTM محدودیت‌های ذاتی آن‌ها را که مانع از تحقق کامل پتانسیل خود می‌شد، تشخیص داد. کاستی هایی مانند ناتوانی در اصلاح اطلاعات ذخیره شده، ظرفیت های حافظه محدود و عدم موازی سازی راه را برای ظهور ترانسفورماتور و سایر مدل ها برای پیشی گرفتن از LSTM ها برای کارهای پیچیده تر زبانی هموار کرد.

اما در توسعه اخیر، Hochreiter و تیم او در NXAI یک نوع جدید به نام توسعه یافته LSTM (xLSTM) معرفی کرده اند که به این مسائل دیرینه می پردازد. xLSTM که در یک مقاله تحقیقاتی اخیر ارائه شده است، بر اساس ایده های اساسی است که LSTM ها را بسیار قدرتمند کرده است، در حالی که از طریق نوآوری های معماری بر نقاط ضعف اصلی آنها غلبه می کند.

در هسته xLSTM دو جزء جدید وجود دارد: دروازه نمایی و ساختارهای حافظه تقویت شده. گیتینگ نمایی امکان کنترل انعطاف‌پذیرتری بر جریان اطلاعات را فراهم می‌کند و xLSTM‌ها را قادر می‌سازد تا به‌طور مؤثر تصمیم‌ها را با مواجهه با زمینه جدید بازبینی کنند. در همین حال، معرفی حافظه ماتریسی ظرفیت ذخیره سازی را در مقایسه با LSTM های اسکالر سنتی بسیار افزایش می دهد.

اما پیشرفت ها به همین جا ختم نمی شود. با بهره‌گیری از تکنیک‌های قرض‌گرفته‌شده از مدل‌های زبان بزرگ مانند موازی‌پذیری و انباشته شدن بلوک‌ها، xLSTM‌ها می‌توانند به طور موثر به میلیاردها پارامتر مقیاس شوند. این پتانسیل آنها را برای مدل‌سازی توالی‌های بسیار طولانی و پنجره‌های زمینه باز می‌کند – قابلیتی که برای درک زبان پیچیده حیاتی است.

پیامدهای آخرین آفرینش هوکرایتر به یاد ماندنی است. دستیارهای مجازی را تصور کنید که می توانند به طور قابل اعتمادی زمینه را در مکالمات چند ساعته دنبال کنند. یا مدل‌های زبانی که پس از آموزش بر روی داده‌های گسترده، قوی‌تر به حوزه‌های جدید تعمیم می‌دهند. برنامه‌ها در همه جا پخش می‌شوند که LSTM‌ها تأثیر گذاشتند – چت ربات، ترجمه، رابط گفتار، تجزیه و تحلیل برنامه و موارد دیگر – اما اکنون با قابلیت‌های پیشرفت xLSTM توربوشارژ شده‌اند.

در این راهنمای فنی عمیق، ما به جزئیات معماری xLSTM می پردازیم و اجزای جدید آن مانند LSTM های اسکالر و ماتریسی، مکانیسم های دروازه نمایی، ساختارهای حافظه و موارد دیگر را ارزیابی می کنیم. شما از نتایج تجربی بینش‌هایی کسب خواهید کرد که عملکرد چشمگیر xLSTM را نسبت به معماری‌های پیشرفته مانند ترانسفورماتورها و آخرین مدل‌های بازگشتی نشان می‌دهد.

📷

درک ریشه ها: محدودیت های LSTM

قبل از اینکه وارد دنیای xLSTM شویم، درک محدودیت‌هایی که معماری‌های سنتی LSTM با آن روبرو بوده‌اند ضروری است. این محدودیت ها نیروی محرکه توسعه xLSTM و سایر رویکردهای جایگزین بوده است.

  1. ناتوانی در اصلاح تصمیمات ذخیره سازی : یکی از محدودیت های اولیه LSTM، تلاش آن برای تجدید نظر در مقادیر ذخیره شده در هنگام مواجهه با یک بردار مشابه است. این می تواند منجر به عملکرد کمتر از حد مطلوب در کارهایی شود که به به روز رسانی پویا برای اطلاعات ذخیره شده نیاز دارند.
  2. ظرفیت‌های ذخیره‌سازی محدود : LSTM‌ها اطلاعات را در حالت‌های سلول اسکالر فشرده می‌کنند، که می‌تواند توانایی آن‌ها را برای ذخیره و بازیابی مؤثر الگوهای داده پیچیده، به‌ویژه زمانی که با توکن‌های نادر یا وابستگی‌های دوربرد سروکار دارند، محدود کند.
  3. عدم قابلیت موازی سازی: مکانیسم اختلاط حافظه در LSTM ها، که شامل ارتباطات پنهان-پنهان بین مراحل زمانی است، پردازش متوالی را اعمال می کند، مانع موازی سازی محاسبات می شود و مقیاس پذیری را محدود می کند.

این محدودیت‌ها راه را برای ظهور ترانسفورماتورها و دیگر معماری‌هایی که در جنبه‌های خاصی از LSTM‌ها پیشی گرفته‌اند، به‌ویژه زمانی که به مدل‌های بزرگ‌تر مقیاس می‌شوند، هموار کرده‌اند.

معماری xLSTM

📷

خانواده گسترده LSTM (xLSTM).

در هسته xLSTM دو تغییر اصلی در چارچوب سنتی LSTM نهفته است: دروازه نمایی و ساختارهای حافظه جدید. این پیشرفت‌ها دو نوع جدید LSTM را معرفی می‌کنند که با نام‌های sLSTM (LSTM اسکالر) و mLSTM (LSTM ماتریسی) شناخته می‌شوند.

  1. sLSTM : Scalar LSTM با گیتینگ نمایی و اختلاط حافظهگیت نمایی : sLSTM دارای توابع فعال سازی نمایی برای دروازه های ورودی و فراموشی است که امکان کنترل انعطاف پذیرتری بر جریان اطلاعات را فراهم می کند.
    عادی سازی و تثبیت : برای جلوگیری از ناپایداری های عددی، sLSTM یک حالت نرمال ساز را معرفی می کند که محصول دروازه های ورودی و دروازه های فراموشی آینده را پیگیری می کند.
    Memory Mixing : sLSTM از سلول های حافظه متعدد پشتیبانی می کند و امکان اختلاط حافظه را از طریق اتصالات مکرر فراهم می کند و امکان استخراج الگوهای پیچیده و قابلیت های ردیابی وضعیت را فراهم می کند.
  2. mLSTM : Matrix LSTM با ظرفیت های ذخیره سازی پیشرفتهحافظه ماتریسی : به جای سلول حافظه اسکالر، mLSTM از حافظه ماتریسی استفاده می کند، ظرفیت ذخیره سازی آن را افزایش می دهد و امکان بازیابی کارآمدتر اطلاعات را فراهم می کند.
    قانون به‌روزرسانی کوواریانس : mLSTM از یک قانون به‌روزرسانی کوواریانس، الهام گرفته از حافظه‌های تداعی دو جهته (BAMs)، برای ذخیره و بازیابی مؤثر جفت‌های کلید-مقدار استفاده می‌کند.
    موازی‌پذیری : با کنار گذاشتن اختلاط حافظه، mLSTM به موازی‌پذیری کامل دست می‌یابد و محاسبات کارآمد را روی شتاب‌دهنده‌های سخت‌افزاری مدرن ممکن می‌سازد.

این دو نوع، sLSTM و mLSTM، می توانند در معماری بلوک های باقیمانده ادغام شوند و بلوک های xLSTM را تشکیل دهند. با چیدن باقیمانده این بلوک‌های xLSTM، محققان می‌توانند معماری‌های قدرتمند xLSTM را که برای وظایف و حوزه‌های کاربردی خاص طراحی شده‌اند بسازند.

ریاضیات

LSTM سنتی:

معماری اصلی LSTM مکانیزم‌های چرخ و فلک خطای ثابت و دروازه‌ای را برای غلبه بر مشکل گرادیان ناپدید شدن در شبکه‌های عصبی عودکننده معرفی کرد.

📷

ماژول تکرار در یک LSTM –

به روز رسانی سلول های حافظه LSTM توسط معادلات زیر کنترل می شود:

به‌روزرسانی وضعیت سلول: ct = ft ⊙ ct-1 + it ⊙ zt

به روز رسانی حالت پنهان: ht = ot ⊙ tanh(ct)

جایی که:

  • 𝑐𝑡 ​بردار حالت سلولی در زمان 𝑡 t است
  • 𝑓𝑡 ​بردار دروازه فراموشی است
  • 𝑖𝑡  بردار دروازه ورودی است
  • 𝑜𝑡 بردار دروازه خروجی است
  • 𝑧𝑡  ورودی مدوله شده توسط گیت ورودی است
  • ⊙  نشان دهنده ضرب عنصری است

گیت‌های ft، آن و غیره کنترل می‌کنند که چه اطلاعاتی از حالت سلول ct ذخیره، فراموش شده و خروجی می‌شوند و مشکل گرادیان ناپدید شدن را کاهش می‌دهند.

xLSTM با گیتینگ نمایی:

📷

معماری xLSTM دروازه‌های نمایی را معرفی می‌کند تا امکان کنترل انعطاف‌پذیرتر بر جریان اطلاعات را فراهم کند. برای نوع اسکالر xLSTM (sLSTM):

به‌روزرسانی وضعیت سلول: ct = ft ⊙ ct-1 + it ⊙ zt

به روز رسانی حالت نرمال ساز: nt = ft ⊙ nt-1 + it

به روز رسانی حالت پنهان: ht = ot ⊙ (ct / nt)

ورودی و فراموش کردن دروازه ها: it = exp(W_i xt + R_i ht-1 + b_i) ft = σ(W_f xt + R_f ht-1 + b_f) OR ft = exp(W_f xt + R_f ht-1 + b_f)

توابع فعال‌سازی نمایی برای گیت‌های ورودی (it) و فراموشی (ft)، همراه با حالت نرمال‌کننده nt، کنترل مؤثرتری بر به‌روزرسانی‌های حافظه و بازنگری اطلاعات ذخیره‌شده را امکان‌پذیر می‌سازد.

xLSTM با حافظه ماتریکس:

برای نوع ماتریس xLSTM (mLSTM) با ظرفیت ذخیره سازی افزایش یافته:

به‌روزرسانی وضعیت سلول: Ct = ft ⊙ Ct-1 + it ⊙ (vt kt^T)

به روز رسانی حالت نرمال ساز: nt = ft ⊙ nt-1 + it ⊙ kt

به روز رسانی حالت پنهان: ht = ot ⊙ (Ct qt / max(qt^T nt, 1))

جایی که:

  • 𝐶𝑡 ​حالت سلول ماتریس است
  • 𝑣𝑡  و 𝑘𝑡  بردارهای مقدار و کلید هستند
  • 𝑞𝑡  بردار پرس و جو است که برای بازیابی استفاده می شود

این معادلات کلیدی نشان می‌دهد که چگونه xLSTM فرمول LSTM اصلی را با دروازه‌ای نمایی برای کنترل حافظه انعطاف‌پذیرتر و حافظه ماتریسی برای قابلیت‌های ذخیره‌سازی پیشرفته‌تر گسترش می‌دهد. ترکیب این نوآوری ها به xLSTM اجازه می دهد بر محدودیت های LSTM های سنتی غلبه کند.

ویژگی های کلیدی و مزایای xLSTM

  1. توانایی اصلاح تصمیمات ذخیره سازی : به لطف دروازه نمایی نمایی، xLSTM می تواند به طور موثر مقادیر ذخیره شده را هنگام مواجهه با اطلاعات مرتبط تر، اصلاح کند و بر محدودیت قابل توجهی از LSTM های سنتی غلبه کند.
  2. ظرفیت‌های ذخیره‌سازی پیشرفته : حافظه ماتریسی در mLSTM ظرفیت ذخیره‌سازی را افزایش می‌دهد و xLSTM را قادر می‌سازد تا توکن‌های کمیاب، وابستگی‌های دوربرد و الگوهای داده پیچیده‌تر را به طور مؤثرتری مدیریت کند.
  3. موازی‌پذیری : نوع mLSTM xLSTM کاملاً موازی‌پذیر است و امکان محاسبات کارآمد را بر روی شتاب‌دهنده‌های سخت‌افزاری مدرن مانند پردازنده‌های گرافیکی فراهم می‌کند و مقیاس‌پذیری را برای مدل‌های بزرگ‌تر امکان‌پذیر می‌کند.
  4. اختلاط حافظه و ردیابی وضعیت : نوع sLSTM xLSTM قابلیت های اختلاط حافظه LSTM های سنتی را حفظ می کند، ردیابی وضعیت را امکان پذیر می کند و xLSTM را نسبت به ترانسفورماتورها و مدل های فضای حالت برای کارهای خاص گویاتر می کند.
  5. مقیاس‌پذیری : با استفاده از جدیدترین تکنیک‌های مدل‌های زبان بزرگ مدرن (LLM)، xLSTM را می‌توان تا میلیاردها پارامتر مقیاس‌بندی کرد و امکانات جدیدی را در مدل‌سازی زبان و وظایف پردازش توالی باز کرد.

ارزیابی تجربی: نمایش قابلیت‌های xLSTM

📷

مقاله تحقیقاتی یک ارزیابی تجربی جامع از xLSTM ارائه می‌کند و عملکرد آن را در وظایف و معیارهای مختلف برجسته می‌کند. در اینجا چند یافته کلیدی وجود دارد:

  1. سینتتیک تسکز و عرصه بلند برد :xLSTM در حل وظایف زبان رسمی که نیاز به ردیابی وضعیت دارند، عملکرد بهتر از ترانسفورماتورها، مدل‌های فضایی حالت و سایر معماری‌های RNN برتری دارد.
    در تکلیف Multi-Query Associative Recall، xLSTM ظرفیت های حافظه افزایش یافته را نشان می دهد، از مدل های غیر ترانسفورماتور پیشی می گیرد و با عملکرد ترانسفورماتور رقابت می کند.
    در معیار Long Range Arena، xLSTM عملکرد قوی ثابتی از خود نشان می‌دهد و کارایی خود را در رسیدگی به مشکلات با زمینه طولانی نشان می‌دهد.
  2. مدل سازی زبان و وظایف پایین دستی :هنگامی که xLSTM بر روی 15B توکن از مجموعه داده SlimPajama آموزش داده می شود، از نظر سرگشتگی اعتبار سنجی از روش های موجود، از جمله ترانسفورماتورها، مدل های فضایی حالت، و سایر انواع RNN بهتر عمل می کند.
    از آنجایی که مدل‌ها به اندازه‌های بزرگ‌تر مقیاس‌بندی می‌شوند، xLSTM به حفظ مزیت عملکرد خود ادامه می‌دهد و رفتار مقیاس‌بندی مطلوب را نشان می‌دهد.
    در کارهای پایین دستی مانند استدلال عقل سلیم و پاسخ به سؤال، xLSTM به عنوان بهترین روش در اندازه‌های مختلف مدل ظاهر می‌شود که از رویکردهای پیشرفته پیشی می‌گیرد.
  3. عملکرد در وظایف زبان PALOMA :xLSTM[1:0] (نوع sLSTM) که بر روی 571 حوزه متنی از معیار زبان PALOMA ارزیابی شده است، در 99.5٪ دامنه ها نسبت به Mamba، 85.1٪ در مقایسه با Llama، و 99.8٪ در مقایسه با RWKV، پیچیدگی های کمتری نسبت به روش های دیگر کسب می کند. -4.
  4. قوانین مقیاس بندی و برون یابی طول :هنگامی که xLSTM بر روی توکن های 300B از SlimPajama آموزش می بیند، قوانین مقیاس پذیری مطلوبی را نشان می دهد، که نشان دهنده پتانسیل آن برای بهبود عملکرد بیشتر با افزایش اندازه مدل است.
    در آزمایش‌های برون‌یابی طول دنباله، مدل‌های xLSTM حتی برای زمینه‌هایی که به‌طور قابل‌توجهی طولانی‌تر از آنچه در طول آموزش دیده می‌شوند، گیجی کم نگه می‌دارند و از روش‌های دیگر بهتر عمل می‌کنند.

این نتایج تجربی قابلیت‌های قابل توجه xLSTM را برجسته می‌کند و آن را به عنوان یک مدعی امیدوارکننده برای وظایف مدل‌سازی زبان، پردازش توالی و طیف گسترده‌ای از برنامه‌های کاربردی دیگر قرار می‌دهد.

برنامه های کاربردی دنیای واقعی و مسیرهای آینده

کاربردهای بالقوه xLSTM طیف وسیعی از حوزه‌ها، از پردازش و تولید زبان طبیعی تا مدل‌سازی توالی، تحلیل سری‌های زمانی و فراتر از آن را در بر می‌گیرد. در اینجا چند زمینه هیجان انگیز وجود دارد که xLSTM می تواند تأثیر قابل توجهی داشته باشد:

  1. مدل‌سازی زبان و تولید متن : xLSTM با ظرفیت‌های ذخیره‌سازی پیشرفته‌اش و توانایی اصلاح اطلاعات ذخیره‌شده، می‌تواند مدل‌سازی زبان و وظایف تولید متن را متحول کند و امکان تولید متن منسجم‌تر، آگاه‌تر از متن و روان‌تر را فراهم کند.
  2. ترجمه ماشینی : قابلیت‌های ردیابی وضعیت xLSTM می‌تواند در کارهای ترجمه ماشینی ارزشمند باشد، جایی که حفظ اطلاعات متنی و درک وابستگی‌های دوربرد برای ترجمه‌های دقیق بسیار مهم است.
  3. تشخیص و تولید گفتار : موازی‌پذیری و مقیاس‌پذیری xLSTM آن را برای کاربردهای تشخیص گفتار و تولید، که در آن پردازش کارآمد توالی‌های طولانی ضروری است، مناسب می‌سازد.
  4. تحلیل و پیش‌بینی سری‌های زمانی : توانایی xLSTM برای مدیریت وابستگی‌های دوربرد و ذخیره و بازیابی مؤثر الگوهای پیچیده می‌تواند منجر به پیشرفت‌های قابل‌توجهی در تجزیه و تحلیل سری‌های زمانی و وظایف پیش‌بینی در حوزه‌های مختلف، مانند امور مالی، پیش‌بینی آب و هوا، و کاربردهای صنعتی شود.
  5. سیستم‌های یادگیری و کنترل تقویتی : پتانسیل xLSTM در سیستم‌های یادگیری و کنترل تقویتی امیدوارکننده است، زیرا قابلیت‌های حافظه افزایش یافته و توانایی‌های ردیابی وضعیت آن می‌تواند تصمیم‌گیری و کنترل هوشمندانه‌تری را در محیط‌های پیچیده امکان‌پذیر کند.

بهینه سازی های معماری و تنظیم فراپارامتر

در حالی که نتایج کنونی امیدوارکننده هستند، هنوز فضا برای بهینه سازی معماری xLSTM و تنظیم دقیق فراپارامترهای آن وجود دارد. محققان می‌توانند ترکیب‌های مختلفی از بلوک‌های sLSTM و mLSTM را بررسی کنند و نسبت‌ها و مکان‌ها را در معماری کلی تغییر دهند. علاوه بر این، جستجوی سیستماتیک فراپارامتر می‌تواند منجر به بهبود عملکرد بیشتر، به‌ویژه برای مدل‌های بزرگ‌تر شود.

📷

بهینه‌سازی‌های سخت‌افزاری : برای استفاده کامل از قابلیت موازی‌سازی xLSTM، به‌ویژه نوع mLSTM، محققان می‌توانند بهینه‌سازی‌های سخت‌افزاری را که برای معماری‌های GPU خاص یا سایر شتاب‌دهنده‌ها طراحی شده‌اند، بررسی کنند. این می تواند شامل بهینه سازی هسته های CUDA، استراتژی های مدیریت حافظه و استفاده از دستورالعمل ها یا کتابخانه های تخصصی برای عملیات ماتریس کارآمد باشد.

ادغام با سایر اجزای شبکه عصبی : بررسی ادغام xLSTM با سایر اجزای شبکه عصبی، مانند مکانیسم‌های توجه، پیچیدگی‌ها یا تکنیک‌های یادگیری تحت نظارت خود، می‌تواند به معماری‌های ترکیبی منجر شود که نقاط قوت رویکردهای مختلف را ترکیب می‌کند. این مدل‌های هیبریدی به طور بالقوه می‌توانند قابلیت‌های جدیدی را باز کنند و عملکرد را در طیف وسیع‌تری از وظایف بهبود بخشند.

آموزش چند شات و انتقال : بررسی استفاده از xLSTM در سناریوهای یادگیری چند شات و انتقال می تواند یک راه هیجان انگیز برای تحقیقات آینده باشد. xLSTM با استفاده از قابلیت‌های حافظه پیشرفته و توانایی‌های ردیابی وضعیت، به طور بالقوه می‌تواند انتقال دانش کارآمدتر و انطباق سریع با وظایف یا حوزه‌های جدید با داده‌های آموزشی محدود را امکان‌پذیر کند.

تفسیرپذیری و توضیح‌پذیری : مانند بسیاری از مدل‌های یادگیری عمیق، عملکرد درونی xLSTM می‌تواند مبهم باشد و تفسیر آن دشوار است. توسعه تکنیک‌هایی برای تفسیر و توضیح تصمیم‌های اتخاذ شده توسط xLSTM می‌تواند منجر به مدل‌های شفاف‌تر و قابل‌اعتمادتر شود، پذیرش آنها در برنامه‌های کاربردی حیاتی را تسهیل کرده و مسئولیت‌پذیری را ارتقا دهد.

استراتژی‌های آموزشی کارآمد و مقیاس‌پذیر : با ادامه رشد مدل‌ها در اندازه و پیچیدگی، استراتژی‌های آموزشی کارآمد و مقیاس‌پذیر اهمیت فزاینده‌ای پیدا می‌کنند. محققان می‌توانند تکنیک‌هایی مانند موازی‌سازی مدل، موازی‌سازی داده‌ها و رویکردهای آموزشی توزیع‌شده را که به‌طور خاص برای معماری‌های xLSTM طراحی شده‌اند، بررسی کنند، که امکان آموزش مدل‌های بزرگ‌تر و کاهش بالقوه هزینه‌های محاسباتی را فراهم می‌کند.

اینها چند جهت و زمینه تحقیقاتی بالقوه آینده برای کاوش بیشتر با xLSTM هستند.

نتیجه

معرفی xLSTM نقطه عطف مهمی در پیگیری مدل‌سازی زبان و معماری‌های پردازش توالی قدرتمندتر و کارآمدتر است. xLSTM با پرداختن به محدودیت‌های LSTM‌های سنتی و استفاده از تکنیک‌های جدید مانند دروازه‌های نمایی و ساختارهای حافظه ماتریسی، عملکرد قابل‌توجهی را در طیف وسیعی از وظایف و معیارها نشان داده است.

با این حال، سفر به اینجا ختم نمی شود. مانند هر فناوری پیشگامانه، xLSTM فرصت های هیجان انگیزی را برای کاوش بیشتر، اصلاح و کاربرد در سناریوهای دنیای واقعی ارائه می دهد. همانطور که محققان همچنان مرزهای ممکن را پیش می برند، می توان انتظار داشت که شاهد پیشرفت های چشمگیرتری در زمینه پردازش زبان طبیعی و هوش مصنوعی باشیم.

۱
۰
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM ها
اینجا جدیدترین تکنیک های مربوط به آموزش chatgpt و LLM ها بهت یاد می دم https://aliayoubi.com
شاید از این پست‌ها خوشتان بیاید