
مهندسی سریع به بهبود ورودی ها برای دریافت خروجی های بهتر از LLM ها اشاره دارد.
مهندسی سریع مانند یادگیری نحوه صحبت موثر با هوش مصنوعی است. این در مورد انتخاب کلمات مناسب هنگام درخواست از هوش مصنوعی برای انجام کاری است، خواه نوشتن متن، کدنویسی یا ایجاد تصاویر.
ابزارهای ویژه ای وجود دارد که به ما کمک می کند در این زمینه بهتر شویم، اطمینان حاصل کنیم که هوش مصنوعی ما را به درستی درک می کند و آنچه را که می خواهیم با دقت بیشتری انجام می دهد.
همه چیز در مورد ایجاد ارتباط بین انسان و هوش مصنوعی روانتر و موثرتر است.
📷
ابزارهای مهندسی سریع مانند مترجم بین افراد و مدل های پیشرفته زبان بزرگ هستند.
آنها به ما کمک می کنند تا با این LLM های قدرتمند صحبت کنیم، که می توانند کارهای مختلفی مانند نوشتن، تجزیه و تحلیل داده ها و کدنویسی را انجام دهند. از آنجایی که هوش مصنوعی در بسیاری از زمینه ها اهمیت بیشتری پیدا می کند، توانایی برقراری ارتباط خوب با آن بسیار مهم است.
این ابزارها استفاده از هوش مصنوعی را برای همه آسانتر میکند و فرصتهای جدیدی را برای خلاقیت باز میکند و کارها را بدون کنار گذاشتن نکات فنی کارآمدتر میکند.
هنگام ارزیابی یک ابزار، میتوانیم این معیارهای ساده را برای بررسی سودمندی آن در نظر بگیریم. باید توجه داشته باشید که اینها بسیار کلی هستند و همه معیارهای متریک برای هر ابزاری اعمال نمی شود.
قابلیت استفاده :
اثربخشی:
ادغام:
مقیاس پذیری:
گزینه های سفارشی سازی:
ابزارهای مهندسی سریع منبع باز ابزارهای نرم افزاری هستند که در آن کد منبع آزادانه برای مشاهده، تغییر و توزیع برای همه در دسترس است.
طرفداران:
معایب:
ابزارهای مهندسی سریع منبع بسته ابزارهای نرم افزاری اختصاصی هستند که در آن کد منبع آزادانه در دسترس نیست و توسط شرکت یا سازمانی که آنها را توسعه می دهد کنترل نمی شود.
چند ابزار متن بسته:
طرفداران:
معایب:
این فهرست با ابزارها و کتابخانههای اصلی و اغلب متنباز شروع میشود که برای پشتیبانی از مهندسی سریع طراحی شدهاند، قبل از اینکه به پلتفرمهای پیچیدهتر و اختصاصیتر پیشرفت کنند. این پلتفرمها استفاده از مدلهای زبان بزرگ (LLM) را برای طیف وسیعی از برنامههای کاربردی پردازش زبان طبیعی (NLP) آسانتر میکنند.
این APIها و ابزارهای کاربردی قابل دسترسی را برای دسترسی بی دردسر و آموزش مدل های پیشرفته از پیش آموزش دیده ارائه می دهد. این مدلها طیف گستردهای از وظایف پردازش زبان طبیعی مانند ترجمه، شناسایی موجودیت و طبقهبندی متن را پوشش میدهند. منبع باز بودن، همکاری و نوآوری را در جامعه تشویق می کند.
با وجود نداشتن رابط یا داشبورد مستقل، Hugging Face Transformers بسیار کاربرپسند است. پشتیبانی آن از قابلیت همکاری در چارچوبهایی مانند PyTorch، TensorFlow و JAX، یکپارچهسازی یکپارچه را در مراحل مختلف توسعه مدل ممکن میسازد.
این بدان معنی است که شما می توانید یک مدل را در یک چارچوب تنها با چند خط کد آموزش دهید و سپس از آن برای استنباط در چارچوب دیگری استفاده کنید. به طور کلی، این ابزار به عنوان یکی از ابزارهای برتر برای مهندسی سریع، تسهیل توسعه مدل NLP کارآمد و انعطاف پذیر است.
این قطعه کد برای تنظیم دقیق مدل طبقه بندی دنباله با استفاده از کتابخانه Hugging Face Transformers است.
از واردات ترانسفورماتور AutoModelForSequenceClassification
از واردات ترانسفورماتور TrainingArguments
import numpy به عنوان
واردات np ارزیابی
مدل = AutoModelForSequenceClassification.from_pretrained(“google-bert/bert-base-cased”, num_labels=5)
training_args = TrainingArguments(outputtrain_vlerer.)
test بارگذاری (“دقت”)
training_args = TrainingArguments(
output_dir=”test_trainer”, # Directory برای ذخیره نقاط چک و لاگ مدل
num_train_epochs=3,
warmup_steps=500,
weight_decay=0.01,
logging_steps=100,
save_total_limit=3,
load_best_end=T
AllenNLP یک ابزار قوی و منبع باز است که طیف گسترده ای از کارهای پردازش زبان طبیعی (NLP) را مانند AdaptNLP ساده می کند. اگرچه ممکن است استفاده از آن به اندازه AdaptNLP ساده نباشد، اما AllenNLP مجموعه ای جامع از ابزارها و اجزای آماده برای وظایف مختلف NLP ارائه می دهد که آن را برای محققان و کسانی که در این زمینه کار می کنند بسیار مفید است.
در اینجا یک قطعه کد مثال است که نحوه استفاده از TextClassifierPredictor را در AllenNLP برای طبقه بندی متن نشان می دهد:
from allennlp.predictors import Predictor
# Load the TextClassifierPredictor
predictor = Predictor.from_path(“https://storage.googleapis.com/allennlp-public-models/basic_classifier_model.tar.gz”)
# تعریف تابعی برای انجام طبقه بندی_متن
طبقه بندی def (جمله):
predictions = predictor.predict(sentence)
return predictions
# مثال استفاده
input_sentence = “این یک جمله مثبت است.”
output_predictions = classify_text (input_sentence)
print(output_predictions)
خروجی:
{“label”: “positive”, “probs”: {“positive”: 0.85, “negative”: 0.15}}
AdaptNLP ابزاری است که استفاده از مدل های زبان پیشرفته را برای همه، از مبتدی تا متخصص، آسان می کند. این بر روی ترانسفورماتورهای fastai و HuggingFace ساخته شده است و عملیات سریعتر و انعطاف پذیرتری را ارائه می دهد. این آموزش با تکنیک های مدرن را ساده می کند و سفارشی کردن مدل ها را آسان تر از همیشه می کند.
تنظیم دقیق یک مدل زبان ترانسفورماتور با استفاده از AdaptNLP:
from adaptnlp import LMFineTuner
# Specify Text File Paths
train_data_file = “Path/to/train.csv”
eval_data_file = “Path/to/test.csv”
# Instantiate Finetuner with Desired Language Model
finetuner = LMFineTuner_intae(train _data_file , model_type=”bert”, model_name_or_path=”bert-base-cased”)
finetuner.freeze()
# Find Optimal Learning Rate
Learning_rate = finetuner.find_learning_rate(base_path=”Path/to/base/directory”) finetuner.freeze()
# آموزش و ذخیره مدل های زبان تنظیم شده finetuner.train_one_cycle(output_dir=”Path/to/output/directory”, learning_rate=learning_rate)
بنابراین، شما میتوانید تمام وظایف NLP خود را تنها در یک یا دو خط کد انجام دهید – به کاربرانی از کدنویسهای مبتدی پایتون تا مهندسین باتجربه یادگیری ماشین اجازه میدهد تا از مدلهای پیشرفته NLP و تکنیکهای آموزشی در یک روش ساده استفاده کنند. از بسته پایتون استفاده کنید.
این یک بسته منبع باز است که یک رابط برنامه نویسی ساده برای نمره دادن به جملات با استفاده از مدل های مختلف زبان ML ارائه می دهد. همچنین دارای یک رابط خط فرمان ساده (CLI) است که قابلیت استفاده آن را افزایش می دهد.
LMScorer می تواند اعلان های مختلفی را برای یک مدل بر اساس خروجی تولید شده، تقلید از قابل فهم بودن هوش مصنوعی، امتیاز دهد. بر اساس این امتیاز می توانید درخواست های خود را تغییر دهید و آنها را موثرتر کنید.
مشعل وارداتی
از lm_scorer.models.auto import AutoLMScorer as LMScorer
prompts = [
“به یاد داشته باشید که فعال بمانید! ورزش برای سلامتی شما عالی است.”,
“ورزش منظم سطح خلق و خوی و انرژی شما را افزایش می دهد!”,
“تناسب اندام مهم است. امروز نقل مکان کرد؟”
]
دستگاه = “cuda:0” اگر torch.cuda.is_available() else “cpu” # اگر
امتیاز دهنده موجود باشد از GPU استفاده کنید = LMScorer.from_pretrained(“gpt2”, device=device, batch_size=1)
# تابع امتیاز دهی و نمایش نتایج برای هر فرمان
def score_prompts(prompts):
for prompt in prompts:
# استفاده از میانگین هندسی برای امتیاز جمله
= scorer.sentence_score(prompt, reduce=”gmean”)
print(f”Prompt: ‘{ prompt}’\nامتیاز: {score}\n”)
score_prompts(prompts)
خروجی:
اعلان: به یاد داشته باشید که فعال بمانید! ورزش برای سلامتی شما عالی است.
امتیاز: ۰.۰۱۳۴۸۹
اعلان: “ورزش منظم باعث افزایش خلق و خو و سطح انرژی شما می شود!”
امتیاز: ۰.۰۱۵۶۴۲
اعلان: تناسب اندام مهم است. آیا امروز نقل مکان کردی؟
امتیاز: ۰.۰۱۱۸۹۷
Promptfoo یک ابزار خط فرمان و کتابخانه منبع باز است که برای بهبود تست و توسعه مدل های زبان بزرگ (LLM) طراحی شده است.
این به توسعه دهندگان اجازه می دهد تا به طور سیستماتیک درخواست ها، مدل ها و پیکربندی ها را با موارد از پیش تعریف شده آزمایش کنند، خروجی ها را در کنار یکدیگر مقایسه کنند و به طور خودکار آنها را بر اساس انتظارات تعیین شده امتیاز دهند.
این ابزار از آزمایش همزمان برای ارزیابی های سریعتر پشتیبانی می کند و با انواع API های LLM از جمله OpenAI، Google و غیره کار می کند.
هدف آن جایگزینی رویکرد آزمون و خطا با توسعه مبتنی بر آزمایش است و راه کارآمدتری برای اطمینان از خروجی های LLM با کیفیت بالا ارائه می دهد. Promptfoo را می توان مستقیماً به عنوان یک CLI استفاده کرد یا به عنوان یک کتابخانه در گردش کار ادغام کرد و آن را به گزینه ای همه کاره برای توسعه دهندگانی که با LLM کار می کنند تبدیل می کند.
در اینجا نمونه ای از مقایسه جانبی چند دستور و ورودی آورده شده است:
این دارای یک رابط کاربری ساده و کاربر پسند است که نتایج تولید شده توسط مدل ما را مطابق با سناریوهای آزمایشی ارائه شده و آزمایش های مختلف نشان می دهد. سوال این است که کاربر در واقع یک مورد آزمایشی است در حالی که درخواست مدل با بررسی خروجی آن بر اساس آن موارد آزمایشی مورد قضاوت قرار می گیرد.
بنابراین، Promptfoo فرآیند ارزیابی و بهبود عملکرد مدل زبان را ساده می کند.
PromptHub (نه Prompt Hub) یک پلتفرم منبع بسته است که به طور خاص برای آزمایش و ارزیابی درخواستهای مدلهای مختلف، مشابه Promptfoo طراحی شده است. این به کاربران امکان میدهد اثربخشی یک اعلان واحد را با چندین مدل ارزیابی کنند (یا عملکرد مدلها را در یک اعلان بررسی کنند) یا بررسی کنند که چگونه تنظیمات فراپارامتر متفاوت بر عملکرد همان مدل تأثیر میگذارد.
در اینجا من سه مدل GPT-3.5-TURBO، CLAUDE-INSTANT-1 و GPT-3.5-TURBO-INSTRUCT را در درخواست آزمایش کرده ام:
چه رؤسای جمهور آمریکا در نیویورک متولد شدند
📷توجه: پارامترها برای هر سه مدل یکسان بود، اگرچه می توانید هر پارامتر مدل را جداگانه تغییر دهید.
OpenAI Playground یک ابزار وب منبع بسته است که به شما امکان می دهد با مدل های پیشرفته هوش مصنوعی OpenAI مانند GPT-4 به روشی ساده و کاربرپسند کار کنید.
پلتفرم به عنوان یکی از قدرتمندترین ابزارها برای مهندسی سریع برجسته می شود. شما به راحتی می توانید استراتژی های مختلف سوال، مانند ضربات صفر یا چند ضربه ای را در کنار هم مقایسه کنید. از آنجایی که توسط OpenAI ایجاد شده است، به ویژه اگر قبلاً با مدل های OpenAI کار می کنید مفید است.
این پلتفرم همه کاره است، بازخورد فوری ارائه می دهد و امکان تنظیم دقیق LLM ها را فراهم می کند. میتوانید مدلهای مختلف هوش مصنوعی را انتخاب کنید، تنظیمات را تنظیم کنید و از ویژگیهای ویژه برای کارهای خاص استفاده کنید.
اینجا رابط زمین بازی است.
📷
درخواستهای تست: کاربران میتوانند از طریق اعلانهای ساده انگلیسی با هوش مصنوعی تعامل داشته باشند و مکالمه را برای بررسی پاسخهای مدل شبیهسازی کنند.
کاوش منابع: این پلتفرم منابع، آموزشها و اسناد API فراوانی را ارائه میکند و به کاربران کمک میکند تا این مدلهای زبانی پیشرفته را درک کنند و به طور مؤثر از آن استفاده کنند.
مثالهای پویا: نمونههای پویا، قابلیتهای مدلها را برجسته میکنند و بینشهایی را در مورد نحوه اعمال آنها در کارهای مختلف مانند تولید زبان طبیعی، تکمیل کد و نوشتن خلاق ارائه میدهند.
زمین بازی OpenAI طوری ساخته شده است که با مدل های OpenAI مانند GPT-4 به خوبی کار کند. این بدان معنی است که به طور طبیعی از این مدل های OpenAI حمایت می کند.
Cohere Playground یک پلت فرم آنلاین کاربرپسند است که به افراد امکان می دهد بدون نیاز به نوشتن کد با مدل های بزرگ زبان هوش مصنوعی کار کنند. هم برای مبتدیان و هم برای کسانی که تجربه بیشتری دارند عالی است.
امکان تولید متن زبان طبیعی، تخصیص بردارهای عددی به متن برای تجزیه و تحلیل معنایی، و ایجاد طبقهبندیکننده متن تنها با چند مثال را فراهم میکند.
چهار ویژگی در زمین بازی وجود دارد: Generate، Embed، Classify و Chat. این پلتفرم به نظر می رسد:
اما نکات منفی نیز وجود دارد، مانند نیاز به مجوز ویژه برای آموزش مدل های خود و لیست مدل های موجود در زمین بازی بسیار محدود است. همچنین، نمیتوانید مدلها یا درخواستهای مختلف را در کنار هم مقایسه کنید. Cohere Playground از دیگر ابزارهای پیشرفته موجود در این لیست فاصله دارد.
PromptMetheus یک IDE مهندسی سریع (محیط توسعه یکپارچه) است که برای ایجاد، آزمایش و استقرار درخواستها برای مدلهای زبان بزرگ (LLM) در برنامهها و گردشهای کاری طراحی شده است.
PromptMetheus خود را با ارائه یک IDE تخصصی برای مهندسی سریع متمایز می کند و در مقایسه با پلتفرم های همه منظوره، پلتفرم ساختاریافته و غنی تر را ارائه می دهد.
از ردیابی تاریخچه و برآورد هزینه برای استفاده از هوش مصنوعی پشتیبانی می کند و تجزیه و تحلیل عملکرد سریع را ارائه می دهد. کاربران می توانند در زمان واقعی با یکدیگر همکاری کنند، کار خود را به اشتراک بگذارند، و حتی اعلان ها را در نقاط پایانی هوش مصنوعی مستقر کنند. در اینجا این پلتفرم به نظر می رسد:
زمین بازی TrueFoundry LLM پلتفرمی است که آزمایش با مدل های زبان بزرگ منبع باز (LLM) را ساده می کند. این یک راه آسان برای آزمایش LLM های مختلف از طریق یک API، بدون نیاز به تنظیمات پیچیده شامل GPU یا بارگذاری مدل ارائه می دهد.
این زمین بازی به شما امکان می دهد قبل از تصمیم گیری در مورد راه حل میزبانی، مدل ها را برای یافتن بهترین تناسب مقایسه کنید.
تعامل با دروازه LLM
در اینجا می توانید به راحتی از بین LLM های مختلف از جمله OpenAI برای استنباط انتخاب کنید.
مقایسه مدل های مختلف با LLM Gateway:
در اینجا می توانید حداکثر ۴ مدل را برای یک درخواست خاص مقایسه کنید و تصمیم بگیرید که کدام یک برای یک درخواست خاص بهتر عمل می کند.
📷
LLM Gateway یک API واحد ارائه میکند که با استفاده از آن میتوانید با هر ارائهدهنده LLM تماس بگیرید – از جمله OpenAI، Anthropic، Bedrock، مدل خود میزبان شما و LLMهای منبع باز. این ویژگی های زیر را ارائه می دهد:
در حالی که Truefoundry ابزارهای عالی برای مهندسی سریع ارائه می دهد، قابلیت های TrueFoundry بسیار فراتر است، از جمله ویژگی هایی مانند آموزش مدل بدون درز، استقرار بدون دردسر، بهینه سازی هزینه و یک رابط مدیریت یکپارچه برای منابع ابری.