### خلاصه ویدیو
در این ویدیو، به چالشهای موجود در مدلهای زبان بزرگ (LLM) پرداخته میشود، بهویژه محدودیتهای دانش آنها به دلیل تاریخ قطع آموزش. برای مثال، وقتی از یک LLM مانند Claude در مورد **Pantic AI** سؤال میشود، هیچ اطلاعاتی ندارد. اما اگر تمام مستندات Pantic AI به یک پایگاه دانش اضافه شود، LLM میتواند پاسخ دقیقی ارائه دهد. اینجا مفهوم **RAG** (تولید تقویتشده با بازیابی) معرفی میشود که به LLM این امکان را میدهد که دانش خارجی را بهطور مؤثر جذب کند.
#### معرفی Crawl for AI
**Crawl for AI** یک فریمورک متنباز برای خزیدن وب است که بهطور خاص برای جمعآوری و فرمتگذاری اطلاعات از وبسایتها طراحی شده است. این ابزار بهخوبی مشکلات معمول در خزیدن وب را حل میکند و میتواند اطلاعات را به فرمت Markdown تبدیل کند که برای LLMها قابل فهمتر است.
#### مراحل استفاده از Crawl for AI
1. **نصب و راهاندازی**: با استفاده از `pip` میتوان این ابزار را نصب کرد.
2. **خزیدن و جمعآوری اطلاعات**: با استفاده از Crawl for AI، میتوان به سرعت اطلاعات را از وبسایتها جمعآوری کرد و آنها را به فرمت Markdown تبدیل کرد.
3. **استفاده از نقشه سایت**: برای جمعآوری URLهای موجود در مستندات، میتوان از فایل `sitemap.xml` استفاده کرد.
#### پردازش موازی
ویدیو به اهمیت پردازش موازی اشاره میکند که میتواند سرعت جمعآوری اطلاعات را به طرز چشمگیری افزایش دهد. با استفاده از Crawl for AI، میتوان به طور همزمان چندین صفحه را خزید و اطلاعات را جمعآوری کرد.
#### ایجاد یک عامل هوش مصنوعی
در پایان ویدیو، سازنده یک عامل هوش مصنوعی (AI Agent) را معرفی میکند که بهطور خاص برای Pantic AI طراحی شده است. این عامل میتواند به سؤالات پیچیده پاسخ دهد و اطلاعات مربوط به Pantic AI را به راحتی ارائه کند.
### نتیجهگیری
Crawl for AI ابزاری انقلابی برای جمعآوری دادهها از وبسایتها و ارائه آنها به LLMها است. این روش میتواند بهطور مؤثری به ایجاد عوامل هوش مصنوعی کمک کند و به کاربران این امکان را میدهد که اطلاعات دقیق و بهروز را در اختیار داشته باشند.
اگر به این محتوا علاقهمند هستید، سازنده از شما درخواست میکند که ویدیو را لایک کنید و در کانال او مشترک شوید.
https://www.youtube.com/watch?v=JWfNLF_g_V0