ویرگول
ورودثبت نام
مهران ضیابری
مهران ضیابرییک عاشق الکترونیک دیجیتال که از مسیر رباتیک به هوش‌مصنوعی رسید و آینده را در هوش واقعی می‌بیند. عضوی از تیم ترگمان و هومص
مهران ضیابری
مهران ضیابری
خواندن ۶ دقیقه·۲ ماه پیش

از بقالی تا سازمان. چطور یک LLM مناسب انتخاب کنیم؟

از بقالی تا سازمان. چطور یک LLM مناسب انتخاب کنیم؟

این روزها اگر بقالی سر کوچه هم در کنار «پنیر محلی» به فکر «مدل زبانی محلی» باشد، چندان جای تعجب نیست. شاید بخواهد سفارش‌ها را دسته‌بندی کند یا درباره موجودی کالا به مشتری پاسخ بدهد. در سازمان‌ها هم ترجمه مکاتبات، خلاصه‌سازی گزارش‌ها، پاسخ‌گویی بر اساس اسناد داخلی و کمک به برنامه‌نویسی، هرکدام می‌تواند نقطه شروع باشد.

صاحب فروشگاه و مدیر سازمان، هر دو باید بدانند چه کاری قرار است بهتر انجام شود و چقدر برای آن هزینه کنند. پرسش اصلی هم از همین‌جا شکل می‌گیرد: کدام مدل، با چه زیرساختی، نیاز ما را با هزینه قابل قبول برآورده می‌کند؟

پاسخ از روی نام مدل یا رتبه آن در یک جدول عمومی به دست نمی‌آید. ممکن است مدلی در حل مسائل ریاضی توانمند باشد، اما برای ترجمه متن‌های تخصصی سازمان انتخاب مناسبی نباشد. ممکن است کیفیت خروجی مطلوب باشد، اما زمان پاسخ‌گویی با کار روزمره کارکنان سازگار نباشد. حتی اجرای موفق مدل روی یک رایانه هم هنوز نشان نمی‌دهد که همان ترکیب برای سرویس‌دهی به چند کاربر کافی است.

در ترگمان با این پرسش‌ها در عمل روبه‌رو بوده‌ایم. در تجربه‌ ترگمان که شرح آن را منتشر کرده‌ام، هنگام خارج‌شدن یکی از سرورها از مدار، ترجمه، خلاصه‌سازی و گفت‌وگو با فایل روی سرور باقی‌مانده با یک RTX 4090 ادامه پیدا کرد. زیر فشار، زمان انتظار افزایش می‌یافت و بخشی از درخواست‌ها لغو می‌شدند اما حتی با یک RTX4090 باز هم سرویس ادامه داشت. همین تجربه نشان می‌دهد که برای قضاوت درباره کفایت سخت‌افزار، باید نوع خدمت، کیفیت خروجی و سرعت پاسخ‌گویی را کنار هم دید.

اطلس مدل‌های زبانی و راهنمای انتخاب LLM را برای کمک به همین تصمیم تهیه کرده‌ام؛ مجموعه‌ای که اطلاعات مدل‌ها، کاربردها، نیاز سخت‌افزاری و ابزارهای اجرا را کنار هم قرار می‌دهد تا بتوان گزینه‌ها را با مبنای روشن‌تری مقایسه کرد.

اول بگوییم مدل را برای چه کاری می‌خواهیم

درخواست «یک مدل زبانی برای سازمان» هنوز برای انتخاب کافی نیست. پیش از رسیدن به پرسش «کوچکش را بگیریم یا بزرگش را؟» باید روشن شود چه کاری قرار است به آن سپرده شود و نتیجه قابل قبول چه ویژگی‌هایی دارد.

برای ترجمه، حفظ معنا، اصطلاحات تخصصی، عددها و نام‌ها اهمیت دارد. در خلاصه‌سازی گزارش، باید دید آیا نکات تعیین‌کننده و استثناها باقی مانده‌اند یا فقط متن کوتاه‌تر شده است. این دو کاربرد را هم باید جداگانه سنجید؛ روان‌بودن متن به‌تنهایی معیار کافی نیست.

برای دستیار اسناد، علاوه بر مدل پاسخ‌گو، کیفیت پیدا کردن اطلاعات اهمیت دارد. اگر بند مرتبط آیین‌نامه پیدا نشود یا نسخه قدیمی سند در اختیار مدل قرار بگیرد، پاسخ نهایی هم ممکن است گمراه‌کننده باشد. به همین دلیل، در راهنمای انتخاب اجزای دستیار اسناد سازمانی، انتخاب مدل پاسخ‌گو را همراه با اجزای جست‌وجو و مرتب‌کردن نتایج بررسی کرده‌ام.

در کاربردهای Agent نیز موضوع گسترده‌تر می‌شود. وقتی سامانه باید اطلاعاتی را از نرم‌افزار داخلی بخواند یا تغییری در آن ثبت کند، علاوه بر توان مدل در استفاده از ابزارها، حدود دسترسی و اختیار انجام کار باید مشخص باشد. پاسخ‌دادن درباره یک درخواست با ثبت یا تأیید آن، مسئولیت یکسانی ندارد.

این تفکیک کمک می‌کند برای هر کار، سطح توان و هزینه متناسبی در نظر گرفته شود. یک مدل کوچک یا تخصصی هم می‌تواند نامزد مقایسه باشد؛ کفایت آن را باید با خروجی همان کار سنجید. قرار نیست تعداد پارامترهای مدل با متراژ ساختمان سازمان تناسب داشته باشد.

پیش از انتخاب، چه چیزهایی باید روشن باشد؟

برای شروع، پاسخ به چند پرسش از فهرست بلند نام مدل‌ها مفیدتر است:

  • کیفیت قابل قبول چیست؟ چند نمونه واقعی از کار انتخاب کنید و مشخص کنید چه کسی و با چه معیاری خروجی را می‌سنجد. برای فارسی، ارزیابی باید متن‌ها و اصطلاحات خود سازمان را هم پوشش دهد.

  • داده کجا پردازش می‌شود؟ امکان استفاده از سرویس بیرونی، الزام اجرای داخلی و سطح دسترسی کاربران، دامنه انتخاب را تغییر می‌دهد.

  • بار کاری چقدر است؟ تعداد کارکنان با تعداد درخواست‌های هم‌زمان تفاوت دارد. طول اسناد، تعداد درخواست‌های فعال و زمان انتظار قابل قبول باید معلوم باشد.

  • چه امکاناتی در اختیار است؟ حافظه و توان سخت‌افزار، نرم‌افزارهای قابل استفاده و ظرفیت تیم برای راه‌اندازی و نگهداری را باید با هم در نظر گرفت.

  • هزینه و شرایط استفاده چیست؟ قیمت کارت گرافیک یا API تنها بخشی از هزینه است. آماده‌سازی داده، یکپارچه‌سازی، ارزیابی و پشتیبانی هم هزینه دارند. مجوز مدل نیز باید با نوع استفاده سازگار باشد.

طبیعی است که در شروع، پاسخ بعضی از این پرسش‌ها معلوم نباشد. می‌توان با یک کاربرد محدود، نمونه‌ای آزمایشی ساخت و اطلاعات لازم برای تصمیم بعدی را از همان آزمایش به دست آورد. اگر ترتیب را برعکس کنیم، ممکن است بعد از خرید سرور، تازه جلسه بگذاریم که حالا چه کاری به آن بسپاریم.

اطلس چه کمکی به این مسیر می‌کند؟

اطلاعات انتخاب مدل معمولاً میان صفحه معرفی مدل، مستندات ابزار اجرا و گزارش‌های آزمون پراکنده است. در این مجموعه تلاش کرده‌ام ارتباط میان این اطلاعات روشن باشد. می‌توان از مقایسه مستقیم جدول‌ها شروع کرد یا با پاسخ به پرسش‌های راهنما، چند گزینه متناسب با نیاز را برای بررسی بیشتر در نظر گرفت.

در جدول‌ها می‌توان مشخصات و مجوز مدل‌ها، تناسب با کاربرد، نیاز حافظه، روش‌های دریافت و اجرای مدل و نتایج آزمون‌های منتشرشده را بررسی کرد. دامنه اصلی فهرست، مدل‌هایی است که وزن‌های آن‌ها قابل دریافت است. در کنار مدل‌های عمومی، مدل‌های تخصصی مکمل، مانند مدل‌های جست‌وجوی معنایی، هم در مجموعه جای دارند.

یادداشت‌های همراه به پرسش‌هایی می‌پردازند که جدول به‌تنهایی پاسخ کاملی برایشان ندارد: چه اندازه مدلی کافی است؟ کیفیت فارسی را چگونه بسنجیم؟ روی سخت‌افزار موجود چه می‌توان اجرا کرد؟ نرم‌افزارهای اجرا چه تفاوتی دارند؟ و هزینه خرید، اجاره یا استفاده از API را چگونه مقایسه کنیم؟

منبع و شرایط نتایج منتشرشده نیز اهمیت دارند. امتیاز دو مدل در آزمون‌های متفاوت، لزوماً قابل مقایسه مستقیم نیست. در مواردی که شواهد کافی وجود ندارد، آن بخش از تصمیم همچنان به بررسی و آزمایش نیاز دارد.

یک مثال: دستیار اسناد داخلی

فرض کنید سازمانی می‌خواهد کارکنان بتوانند درباره دستورالعمل‌ها و آیین‌نامه‌های داخلی سؤال بپرسند و همراه پاسخ، بند مرتبط را ببینند. اسناد فارسی‌اند و پردازش هم باید داخل سازمان انجام شود. لازم است نسخه معتبر هر سند هم مشخص باشد؛ هوش مصنوعی با دیدن سه فایل «نهایی»، «نهایی۲» و «نهاییِ آخر» خودبه‌خود از آخرین مصوبه سازمان باخبر نمی‌شود.

در راهنما می‌توان از کاربرد «پاسخ با استناد به اسناد سازمان» شروع کرد و گزینه‌های مرتبط را بررسی کرد. سپس لازم است چند پرسش واقعی همراه با پاسخ و سند معتبر انتخاب شود تا بتوان عملکرد ترکیب‌های مختلف را مقایسه کرد.

اگر سامانه پاسخ اشتباه داد، یک آزمایش مفید این است که بند درست را مستقیماً در اختیار همان مدل قرار دهیم. اگر پاسخ اصلاح شد، مسیر پیدا کردن و انتخاب سند نیاز به بررسی دارد. اگر با وجود شاهد کافی همچنان خطا باقی ماند، باید دستور و توان مدل پاسخ‌گو را دقیق‌تر ارزیابی کرد. نتیجه این بررسی تعیین می‌کند کدام جزء را تغییر دهیم.

پس از رسیدن به کیفیت قابل قبول، نوبت آزمون سرعت و ظرفیت است. باید دید در ساعات شلوغ، کاربران چقدر منتظر می‌مانند و حفظ همان کیفیت به چه منابعی نیاز دارد. این ترتیب، مبنای روشن‌تری برای تصمیم درباره خرید یا ارتقای سخت‌افزار فراهم می‌کند.

از مقایسه به یک آزمایش قابل سنجش

پیشنهاد من این است که استفاده سازمانی از LLM را با یک کار مشخص و معیار پذیرش روشن آغاز کنید. چند گزینه را با ورودی‌های یکسان بسنجید و هزینه هر خروجی قابل قبول را، با احتساب زمان بازبینی و اصلاح انسانی، مقایسه کنید. نتیجه چنین آزمایشی برای تصمیم مدیریتی قابل اتکاتر است.

راهنما می‌تواند به محدودکردن گزینه‌ها و آماده‌شدن برای این آزمایش کمک کند. مدیر سازمان هم می‌تواند از آن برای روشن‌کردن انتظار خود و طرح پرسش‌های دقیق‌تر با تیم فنی یا پیمانکار استفاده کند.

اطلس مدل‌های زبانی و راهنمای انتخاب LLM را اینجا ببینید.

اگر در استفاده از مجموعه، اطلاعات نادرست، مدل جامانده یا مسیری دیدید که تصمیم را روشن‌تر نمی‌کند، اطلاع بدهید. این بازخوردها کمک می‌کند راهنما با نیازهای واقعی کاربران کامل‌تر شود.

مدلllmهوش مصنوعیمدل زبانی بزرگ
۱۰
۰
مهران ضیابری
مهران ضیابری
یک عاشق الکترونیک دیجیتال که از مسیر رباتیک به هوش‌مصنوعی رسید و آینده را در هوش واقعی می‌بیند. عضوی از تیم ترگمان و هومص
شاید از این پست‌ها خوشتان بیاید