ویرگول
ورودثبت نام
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM هااینجا جدیدترین تکنیک های مربوط به آموزش chatgpt و LLM ها بهت یاد می دم https://aliayoubi.com
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM ها
خواندن ۱۰ دقیقه·۲ سال پیش

تنظیم دقیق: مدل‌های OpenAI + داده‌های تلاقی شما

اگر ChatGPT آیفون است، پس AppStore هنوز ساخته نشده است و این مجموعه ای از برنامه های کاربردی عمودی خواهد بود که در بالای آن ساخته شده است. هر صنعت، هر کسب و کار و هر فردی قرار است این برنامه ها را به روش های کوچک و بزرگ بسازد. شروع از ساختن یک ChatGPT مخصوص مراقبت‌های بهداشتی یا تولید، تا نوشتن ایمیل‌های دامنه خاص برای بازاریابی، تا پاسخ دادن به سؤالات خاص سازمانی از پایگاه دانش داخلی، تا حتی ساخت موتورهای جستجوی شخصی برای پاسخ به سؤالاتی مانند آدرس جان چیست یا چه زمانی. تولد مادرشوهر من است؟ ما در پست قبلی وبلاگمان در اینجا چند نمونه نوشتیم.

📷

چرا ChatGPT به خودی خود برای این برنامه های عمودی کافی نیست؟

برای درک این موضوع، درک وب شفاف در مقابل عمیق مهم است:

  • پاک کردن وب: صفحات وب در دسترس عموم که توسط موتورهای جستجو نمایه شده اند. به عنوان مثال ویکی پدیا، کتاب ها، پست های رسانه های اجتماعی و غیره.
  • وب عمیق: بخشی از اینترنت که پشت یک سیستم احراز هویت قرار دارد. به عنوان مثال ایمیل شما یا پلتفرم های SaaS. این 96 درصد وب را تشکیل می دهد.

مدل‌هایی مانند ChatGPT بر روی یک مجموعه داده عظیم آموزش داده می‌شوند، اما همه چیزهایی که در وب شفاف موجود است. بنابراین نمی‌توانید از آن سؤالی بپرسید که پاسخ آن به هر چیزی در وب عمیق مانند ایمیل یا اسناد خصوصی شما بستگی دارد. با این حال، در فرآیند یادگیری از مجموعه داده‌های گسترده وب واضح، مدل‌هایی مانند ChatGPT آنقدر هوشمندی در مورد زبان و معنایی ایجاد می‌کنند که یادگیری اطلاعات جدید از مقادیر کم داده برای یک کار خاص برای آن بسیار آسان‌تر است.

بیا تنظیم دقیق

تنظیم دقیق یک تکنیک قدرتمند است که به ما امکان می دهد از دانش و یادگیری یک مدل از پیش آموزش دیده مانند ChatGPT برای بهبود عملکرد مدل در یک کار جدید با آموزش آن بر روی یک مجموعه داده کوچکتر و مختص کار استفاده کنیم. به عنوان مثال، فرض کنید می خواهید یک سیستم پاسخگویی به سوالات برای اسناد شرکت داخلی خود که در Confluence ذخیره شده است بسازید. می توانید تمام محتوای متنی را از محل تلاقی خود منتقل کنید و یک مدل GPT را با آنها تنظیم کنید.

ساده به نظر می رسد. چرا همه این کار را نمی کنند؟

در حالی که OpenAI اصطکاک زیادی را از طریق API های تنظیم دقیق خود کاهش داده است، هنوز هم به کمی توجه، برنامه ریزی و تلاش در محورهای مختلف نیاز دارد.

آماده سازی داده ها

داده‌هایی که برای تنظیم دقیق مدل‌ها نیاز دارید باید در قالب جفت تکمیل سریع باشد.

{“prompt”: <prompt-text>, “completion”: <ideal generated text>}

چند نکته قابل تامل:

  1. گرفتن اسناد دلخواه مانند اسناد تلاقی شرکت و تبدیل آنها به نمونه های باکیفیت در قالب بالا، امری بی اهمیت است.
  2. شما حداقل به صدها دستور نیاز دارید که به تلاش انسانی و تخصص موضوع نیاز دارد.
  3. جداکننده‌های دقیق شروع و پایان اعلان و تکمیل‌هایی که در متن ظاهر نمی‌شوند را علامت‌گذاری می‌کنند. همچنین باید مطمئن شوید که درخواست‌های ورودی بعداً از همان جداکننده‌ها استفاده می‌کنند.
  4. افزایش تعداد نمونه ها باعث بهبود عملکرد مدل می شود.
  5. چیزی به سادگی اضافه کردن یک فاصله قبل از شروع کامل می تواند عملکرد را بهبود بخشد.

انتخاب مدل

OpenAI چندین مدل دارد که می توان آنها را به دقت تنظیم کرد و هر یک از آنها معاوضه هایی دارند که باید در نظر گرفته شوند.

  1. Ada : مدل‌های کوچک‌تر و سریع‌تر به راحتی تنظیم می‌شوند و در تعدادی از وظایف مانند طبقه‌بندی، تولید زبان و پاسخ‌گویی به سؤال به خوبی کار می‌کنند. با توجه به اینکه پارامترهای کمتری دارد، نسبت به سایرین نیز عملکرد کمتری دارد و می تواند دقت را به خطر بیندازد.
  2. کوری : بزرگتر و قدرتمندتر از آدا و همچنین هدف کلی است. تنظیم دقیق در مجموعه داده های کوچکتر به دلیل تعداد زیادی پارامتر دشوارتر می شود.
  3. Babbage : برای کارهای NLP که به دانش تخصصی مانند قانون یا پزشکی نیاز دارند طراحی شده است و می توان آن را به خوبی تنظیم کرد. این هدف عمومی نیست و برای تنظیم دقیق مجموعه داده های بزرگتر یا کارهای پیچیده تر مناسب نیست.
  4. داوینچی : بزرگترین و قدرتمندترین مدل هدف عمومی. آموزش روی سخت افزار کم قدرت بسیار سخت است و باید برای کارهای پیچیده NLP استفاده شود.

توجه: همچنین می‌توانید مدلی که قبلاً تنظیم شده است را به صورت تدریجی تنظیم کنید. به دلیل تغییر APIها، محدودیت‌هایی در چارچوب زمانی وجود دارد که مدل‌ها باید پس از ۲۱ آوریل ۲۰۲۲ به‌طور دقیق تنظیم شده باشند.

انتخاب فراپارامتر

ما سعی کردیم از تنظیم دقیق APIهای OpenAI با پارامترهای پیش‌فرض استفاده کنیم و آن‌ها روی برخی از وظایف بسیار خوب کار می‌کردند، اما می‌توانستیم با تغییر پارامترهای فوق‌العاده تا 40 درصد پیشرفت داشته باشیم.

  1. ضریب نرخ یادگیری: بسته به اندازه دسته نهایی، 0.05، 0.1 یا 0.2 پیش فرض است. نرخ یادگیری تنظیم دقیق، نرخ یادگیری اصلی است که برای پیش‌آموزش استفاده می‌شود ضرب در این ضریب. نرخ یادگیری تعیین می کند که مدل با چه سرعتی وزنه های خود را در طول تمرین تنظیم می کند. نرخ یادگیری بیش از حد بالا می‌تواند باعث همگرا شدن مدل به یک راه‌حل غیربهینه شود، در حالی که نرخ یادگیری بسیار پایین می‌تواند باعث شود که مدل خیلی آهسته همگرا شود یا در حداقل محلی گیر کند. OpenAI استفاده از نرخ‌های یادگیری بزرگ‌تر را برای اندازه‌های دسته‌ای بزرگ‌تر توصیه می‌کند، اما معمولاً بین 00.02 تا 0.2 کار می‌کنند.
  2. اندازه دسته ای: به طور پیش فرض ~ ۰.۲٪ از تعداد نمونه ها در مجموعه آموزشی است که ۲۵۶ عدد محدود شده است. اندازه دسته تعیین می کند که چه تعداد نمونه در هر تکرار آموزشی پردازش می شود. اندازه دسته بزرگتر می‌تواند به زمان‌های آموزش سریع‌تر منجر شود، اما همچنین می‌تواند باعث شود که مدل بیش از حد مناسب شود یا منجر به استفاده بیشتر از حافظه شود. به طور کلی توصیه می شود از اندازه دسته ای استفاده کنید که تا حد امکان بزرگ باشد بدون اینکه باعث استفاده بیش از حد از حافظه شود.
  3. تعداد دوره‌ها: پیش‌فرض ۴ است. تعداد دوره‌ها تعیین می‌کند که مدل چند بار در کل مجموعه داده آموزش داده شود. دوره های بسیار کم می تواند منجر به عدم تناسب شود، در حالی که دوره های بیش از حد می تواند منجر به بیش از حد برازش شود. به طور کلی توصیه می شود که عملکرد مدل را بر روی یک مجموعه اعتبارسنجی نظارت کنید و زمانی که بهبود عملکرد متوقف شد، آموزش را متوقف کنید.
  4. Prompt Loss Weight: پیش فرض 0.01 است. وزنی که برای از دست دادن روی نشانه های سریع استفاده می شود. این میزان تلاش مدل برای یادگیری ایجاد اعلان را کنترل می‌کند (در مقایسه با تکمیل که همیشه وزن آن 1.0 است)، و می‌تواند یک اثر تثبیت‌کننده به تمرینات زمانی که تکمیل‌ها کوتاه هستند اضافه کند. برای اعلان‌های کوتاه، OpenAI توصیه می‌کند این عدد را افزایش دهید و برای اعلان‌های طولانی وزن کم بهترین کار را دارد.
  5. مدل: پیش‌فرض به Curie می‌رسد. جدول انتخاب مدل که در بالا توضیح داده شد نیز یک پارامتر فوق العاده است، اما ما احساس کردیم که با توجه به اهمیت آن در این فرآیند به عنوان نقطه شروع، شایسته ذکر ویژه است.

در نظر گرفتن هزینه

هزینه های تنظیم دقیق بسته به پارامترهایی که تصمیم می گیرید انتخاب کنید بسیار متفاوت است، بنابراین داشتن درک دقیق بسیار مهم است.

برای ۱ میلیون توکن:
– آدا: ۰.۴ دلار
– بابیج: ۰.۶ دلار
– کوری: ۳ دلار
– داوینچی: ۳۰ دلار.

  1. ۱ نشانه تقریباً ۴ کاراکتر یا ۰.۷۵ کلمه است.
  2. داوینچی تقریبا ۱۰۰ برابر گرانتر از آدا است.
  3. کوری 10 برابر گرانتر از ada است و مدل پیش فرض است.
  4. اگر بخواهیم آن را در نظر بگیریم، ویکی‌پدیا تقریباً ۵ میلیارد توکن دارد، بنابراین تنظیم دقیق یک کوری ۱۵۰۰۰ دلار هزینه دارد. این فقط یک بیانیه آکادمیک است زیرا این مدل ها قبلاً در ویکی پدیا آموزش دیده اند. لطفا دلار خود را ذخیره کنید.
  5. تعداد نشانه های آموزشی نیز به دوره های آموزشی شما بستگی دارد. اساسا توکن های آموزشی کل = نشانه های موجود در فایل شما * تعداد دوره ها.

استفاده از مدل‌های تنظیم‌شده به‌طور قابل‌توجهی گران‌تر (~ ۵ برابر) از نمونه‌های از پیش آموزش دیده است.

برای ۱ میلیون توکن،
– آدا: ۱.۶ دلار در مقابل ۰.۴ دلار
– بابیج: ۲.۴ دلار در مقابل ۰.۵ دلار
– کوری ۱۲ دلار در مقابل ۲ دلار
– داوینچی ۱۲۰ دلار در مقابل ۲۰ دلار

هنگامی که از مدل استفاده می کنید، پارامترهایی مانند bestof و n نیز بر هزینه شما تأثیر می گذارند، زیرا در نهایت برای یک درخواست، چندین تکمیل ایجاد می کنید. استفاده از max_response_length را برای صرفه جویی در هزینه یا کاهش استفاده از پارامترهای best_of و n در نظر بگیرید.

مطالعه موردی. تنظیم دقیق با Confluence Docs

ساختن یک مدل دقیق برای مجموعه داده تلاقی خودمان بی اهمیت نبود.

واکشی داده ها

برای فهمیدن خواندن تمام داده‌های Confluence از طریق APIهای آن کمی تلاش کردم، زیرا Confluence داده‌های غنی با جداول، سرفصل‌ها و زیرعنوان‌ها دارد و من مجبور شدم آن را به متن ساده برای سهولت استفاده تبدیل کنم. همچنین، مدیریت مجوزها و سطح دسترسی مناسب، بی اهمیت نبود. در نهایت، ما توانستیم یک فرم بسیار ساده ایجاد کنیم که در آن آدرس، نام کاربری و کلید API را ارسال کنید و ما بتوانیم داده ها را واکشی کنیم.

پیش پردازش داده ها

این سخت ترین قسمت بود. در اینجا ما چندین رویکرد را امتحان کردیم –

  1. تقسیم تصادفی جملات: بر اساس تعداد کلمات در اعلان ها و تکمیل ها
  2. Regex: جدا کردن جملات بر اساس کلمات مانند- و، اما، با این حال و غیره.
  3. ChatGPT: دادن زمینه به ChatGPT و درخواست از آن برای ایجاد سؤال.

ما در نهایت بیشتر جفت‌ها را از شماره ۳ انتخاب کردیم، اما تعدادی نمونه تصادفی از شماره ۱ و ۲ بالا را نیز انتخاب کردیم. برای مجموعه داده خود ما بیش از ۵۰۰۰۰ جفت اعلان و تکمیل با طول متوسط ​​۱۷ کلمه برای درخواست و ۱۳۳ کلمه برای پاسخ ایجاد کردیم که در مجموع ۱۵۰ کلمه در هر جفت است. در حالت ایده آل، این مرحله به آزمایش بسیار بیشتری نیاز دارد.

تنظیم دقیق مدل

ما با مدل‌ها و فراپارامترهای مختلف آزمایش کردیم و متوجه شدیم که کوری نسبت به آدا یا بابیج بهتر عمل می‌کند، اما با توجه به هزینه‌ها احساس می‌کردیم که آدا خوب است. ما داوینچی را امتحان نکردیم. ما مجبور شدیم نرخ یادگیری را تغییر دهیم و روی 0.05 قرار گرفتیم در حالی که مدل را برای 6 دوره اجرا کردیم. هزینه آموزش 1 اجرا کوری حدود 30 دلار و آدا حدود 4 دلار بود. به طور کلی از طریق یک سری آزمایش، ممکن است برای ما 400 دلار اعتبار OpenAI برای تنظیم دقیق هزینه داشته باشد – ما همچنین چند اجرا بد داشتیم.

آزمایش کردن

ما متوجه شدیم که مدل تنظیم شده به شدت بهتر از مدل اصلی در سوالات مربوط به مجموعه داده های داخلی ما عمل می کند. ما از تیم ما خواستیم که حدود ۱۰۰ درخواست عجیب و غریب را امتحان کند و آنها را به صورت دستی رتبه بندی کند. این علمی نیست اما برای این مورد استفاده ساده کار می کند. جالب توجه است، ما متوجه شدیم که در برخی موارد، مدل دقیق تنظیم شده بدتر از مدل اصلی برای پرس و جوهای عمومی عمل می کند. ما هنوز باید آنچه در اینجا اتفاق می افتد را اشکال زدایی کنیم.

این یک تمرین سرگرم‌کننده بود و ما روی مجموعه‌های داده دیگر آزمایش خواهیم کرد.

اگر مجموعه داده خاصی را می خواهید، یا می خواهید من این برنامه را برای استفاده برای Confluence خود باز کنم، با من در [email protected] تماس بگیرید.

TrueFoundry یک PaaS استقرار ML بر روی Kubernetes برای سرعت بخشیدن به گردش کار توسعه دهندگان است و در عین حال به آنها امکان انعطاف کامل در آزمایش و استقرار مدل ها را می دهد و در عین حال امنیت و کنترل کامل را برای تیم Infra تضمین می کند. از طریق پلتفرم خود، تیم‌های یادگیری ماشینی را قادر می‌سازیم تا مدل‌ها را در 15 دقیقه با 100% قابلیت اطمینان، مقیاس‌پذیری، و توانایی بازگشت به عقب در عرض 15 دقیقه استقرار و نظارت کنند – به آن‌ها اجازه می‌دهیم هزینه‌ها را صرفه‌جویی کنند و مدل‌ها را سریع‌تر به تولید برسانند و امکان تحقق ارزش واقعی کسب‌وکار را فراهم کنند. .

۰
۰
آموزش chatgpt و LLM ها
آموزش chatgpt و LLM ها
اینجا جدیدترین تکنیک های مربوط به آموزش chatgpt و LLM ها بهت یاد می دم https://aliayoubi.com
شاید از این پست‌ها خوشتان بیاید