مقدمه
سیستم های هوش مصنوعی برخلاف نرم افزارهای سنتی، ماهیتی احتمالاتی و غیرقطعی دارند و این ویژگی، چالش های تازهای برای معماران نرم افزار ایجاد کرده است. در این پروژه، با مطالعهی کتاب «مهندسی سیستمهای هوش مصنوعی»، مهمترین اصول معماری این سیستم ها را استخراج کردم و در ادامه، خلاصهای از هر فصل این کتاب را با شما به اشتراک میگذارم.
فصل اول: مفاهیم بنیادین
سیستم هوش مصنوعی، سیستمی است که از ورودی ها استنباط کرده و خروجیهایی مثل پیشبینی یا تصمیم تولید میکند. کیفیت چنین سیستمی به سه رکن وابسته است: فرآیندهای چرخهحیات شامل DevOps و MLOps، معماری نرمافزار، و کیفیت مدل هوش مصنوعی. مدلها به سه دستهی سمبلیک (قاعدهمحور)، ML Narrow و مدلهای بنیادین تقسیم میشوند. ماهیت احتمالاتی مدلهای غیرسمبلیک، انجام ارزیابی ریسک را برای سازمان الزامی میکند.
فصل دوم: پیشزمینه مهندسی نرمافزار
محاسبات توزیعشده بر پایه ماشینهای مجازی و کانتینرها استوار است که با ابزارهای ارکستراسیون مدیریت میشوند. معماریهای رایج شامل کلاینت-سرور، SOA و میکروسرویس هستند که میکروسرویسها بهدلیل استقلال در استقرار، برای سیستمهای هوش مصنوعی مناسبترند. سبکهای رابط اصلی شامل REST و GraphQL هستند. DevOps با اتکا به زیرساختبهعنوانکد، اتوماسیون و کنترل نسخه، سرعت تحویل را بدون کاهش کیفیت افزایش میدهد و MLOps نیز بهعنوان توسعهای از DevOps برای مدیریت چرخهحیات مدلهای ML تعریف میشود.
فصل سوم: پیشزمینه هوش مصنوعی
مدلهای سمبلیک برای حوزههای خوشتعریف با قوانین محدود و نیاز به توضیحپذیری بالا مناسبند. مدلهای ML برای مسائل دارای دادههای زیاد و ساختار پیچیده مانند پیشبینی، طبقهبندی و خوشهبندی کاربرد دارند. الگوریتمهای متنوعی مثل KNN، رگرسیون لجستیک، درخت تصمیم، جنگل تصادفی، SVM و شبکههای عصبی در این دسته قرار میگیرند. تنظیم هایپرپارامترها مانند نرخ یادگیری، اندازه دسته و تعداد دورهها، گامی حیاتی پیش از آموزش مدل است.
فصل چهارم: مدلهای بنیادین
مدلهای بنیادین با مقیاس عظیم و دادههای آموزشی گسترده، برای اهداف عمومی طراحی شدهاند و معمولاً بر پایه معماری Transformer کار میکنند. سفارشیسازی این مدلها از چند راه انجام میشود: مهندسی پرامپت، RAG، فاین تیون، کوچک سازی مدل و guardrails. طراحی سیستم با FM نیازمند بررسی هزینههای ابزار، توسعه، نگهداری و عملیات است. چالشهای اصلی FM شامل محدودیت در استناد به واقعیت و توهم یا confabulation است.
فصل پنجم: چرخه حیات مدل AI
مدیریت داده شامل جمعآوری، پاکسازی، تبدیل، نسخهگذاری و ردیابی lineage داده است. مهندسی ویژگی، استخراج و انتخاب ویژگیهای مؤثر را با استفاده از feature stores انجام میدهد. داده به سه مجموعه آموزش، اعتبارسنجی و آزمون تقسیم میشود و مدل با استفاده از فریمورکهایی مانند TensorFlow یا PyTorch آموزش داده میشود. مدل آموزشدیده بهصورت یک سرویس (معمولاً REST و درون کانتینر) بستهبندی شده و تست آن شامل ارزیابی دقت، کیفیت و ریسک است.
فصل ششم: چرخه حیات سیستم
طراحی همزمان مدل و ماژولهای غیرهوش مصنوعی توسط تیمهای بینرشتهای انجام میشود. سرور CI مدل و ماژولها را با هم ادغام کرده و بسته اجرایی و SBOM را تولید میکند. تستهای سیستم شامل کاربری، رگرسیون، کارایی، امنیت و انطباق است. استقرار پیوسته با الگوهای blue/green یا rolling و قابلیت rollback انجام میشود. نسخههای ناهماهنگ با برچسبگذاری نسخه و feature toggles مدیریت میشوند و عملیات شامل نظارت، مدیریت حوادث و تشخیص دادهدرفت است.
فصل هفتم: قابلیت اطمینان
قابلیت اطمینان شامل سه مفهوم مرتبط است: قابلیت اطمینان (عملکرد در شرایط مشخص)، استحکام (در برابر ورودیهای غیرمنتظره) و تابآوری (در برابر تغییرات محیط). تمایز بین نقص، خطا و شکست پایههای تحلیل قابلیت اطمینان را تشکیل میدهد. پیشگیری از نقص با انتخاب مدل مناسب، دادههای متنوع و ensemble انجام میشود. تشخیص نقص از طریق بررسی سلامت و مانیتورینگ data drift صورت میگیرد و بازیابی از نقص با افزونگی، رأیگیری چندمدل و مدیریت خطا امکانپذیر است.
فصل هشتم: کارایی
کارایی در سیستمهای هوش مصنوعی دو وجه متفاوت دارد: کارایی محاسباتی (throughput، latency و مقیاسپذیری) و دقت مدل. بهبود کارایی محاسباتی با انتخاب معماری مناسب، کش کردن، انتخاب مدل سادهتر و تنظیم هایپر پارامترها انجام میشود. بهبود دقت نیز از طریق معماری چندمدلی، تنظیم هایپر پارامترها، دادههای نماینده و بدون سوگیری و ارزیابی مستمر حاصل میشود. معمار باید بین این دو وجه تعادل برقرار کند و SLOهای مشخصی برای نظارت تعریف نماید.
فصل نهم: امنیت
امنیت در سیستمهای هوش مصنوعی علاوه بر اصول سنتی (محرمانگی، یکپارچگی و در دسترس بودن)، با حملات جدیدی مانند حمله فرار، مسمومیت، حمله به حریم خصوصی و سوءاستفاده مواجه است. رویکرد اصلی، Zero Trust با کمترین دسترسی، نظارت مداوم و رمزنگاری است. در سطح معماری، احراز هویت، تفکیک امتیازات و محدودسازی دسترسی توصیه میشود. در آمادهسازی داده، یکپارچگی داده و ردیابی lineage اهمیت دارد و در خطلوله CI/CD، اسکن آسیبپذیری و تست adversarial به کار میروند.
فصل دهم: حریم خصوصی و انصاف
حریم خصوصی با حقوق LOCKED (محدودیت، انصراف، تصحیح، آگاهی، برابری، حذف) تعریف میشود. انصاف نیز شامل اجتناب از سوگیری، رفتار برابر و عدالت گروهی میشود. دستیابی به انصاف با تیمهای بینرشتهای، استفاده از دادههای متنوع و معیارهای آماری امکانپذیر است. در معماری، guardrail و logging برای تشخیص و کاهش نقض انصاف به کار میروند. FMs بهدلیل دادههای آموزشی گسترده و قابلیتهای نوظهور، چالشهای بیشتری در سوگیری و ارزیابی دارند.
فصل یازدهم: مشاهدهپذیری
مشاهدهپذیری به توانایی درک عملکرد سیستم توسط عامل خارجی گفته میشود و شامل شفافیت، قابلیت نظارت، حسابرسی و توضیحپذیری است. تکامل از نظارت به مشاهدهپذیری، حرکت از متریکهای ازپیشتعریفشده به لاگهای ساختاریافته و ردیابی سراسری را نشان میدهد. دستیابی به مشاهدهپذیری نیازمند معماری شامل نظارت و لاگگیری، ابزارهای lineage در آمادهسازی داده، SBOM در ساخت سیستم و نظارت مستمر در عملیات است.
فصل دوازدهم: مطالعه موردی فرانهوفر
در این پروژه، فرآیند تطبیق درخواستهای مناقصه با بیش از 50 هزار محصول با استفاده از مدل زبانی BERT خودکارسازی شد. پروژه در سه فاز PoC، پیادهسازی و تولید انجام گرفت. در فاز پیادهسازی، معماری کامل MLOps شامل GitLab، Docker و MLflow پیادهسازی شد و مدل BERT با قوانین و heuristics تکمیل گردید. مشارکت فعال مشتری و بازخورد مستمر کاربران از عوامل موفقیت این پروژه بودند.
فصل سیزدهم: مطالعه موردی ARM Hub
در این پروژه، سرویس داده و هوش مصنوعی بهعنوان سرویس برای شرکتهای کوچک و متوسط تولیدی با معماری lakehouse ارائه شد. ربات گفتگوی RAG با استفاده از ETL، chunking، embedding، Vector Search و RAG chain طراحی گردید. MLOps پیادهشده شامل EDA، آمادهسازی داده، مهندسی پرامپت، فاین تیون، حاکمیت مدل با MLflow و استقرار با CI/CD بود. معماری lakehouse با قابلیت افزایش تدریجی داده، راهکاری مقیاسپذیر و کمهزینه برای SMEها فراهم کرده است.
فصل چهاردهم: مطالعه موردی بانکداری
در این پروژه، پیشبینی ریزش مشتری با مدل طبقهبندی دودویی بر اساس ویژگیهای جمعیتشناختی و سابقه تراکنش انجام شد. فرآیند MLOps شامل تأمین و اعتبارسنجی داده از EDW، مهندسی و انتخاب ویژگی با Feature Store، آموزش مدل با XGBoost و استقرار در Kubernetes بود. در دامنههای حساس به مقررات مثل بانکها، استفاده از Feature Store برای حفظ ثبات دادهها ضروری است و احتمالات خروجی مدل باید با روشهایی مثل Platt Scaling کالیبره شوند تا خروجی منصفانه و دقیق باشد.
فصل پانزدهم: آینده مهندسی AI
آینده مهندسی AI نیازمند ابزارهای مشاهدهپذیری بهتر، تستهای فراتر از سنتی و مدیریت استقلال با guardrails سطح سیستم است. MLOps آینده بر حاکمیت، نظارت مستمر و استفاده از هوش مصنوعی در خود MLOps تأکید دارد. معماریهای نوظهور مانند RAG و عاملمحور در حال ظهور هستند. بحث AI-as-Software نشان میدهد که مدلهای بزرگ ممکن است جایگزین کدهای سنتی شوند. نقش مهندسان انسانی در تعریف guardrails، طراحی سیستمهای چندعاملی و تخصصیسازی FMs باقی میماند.
جمعبندی
سیستم های هوش مصنوعی با پیچیدگیها و چالشهای منحصر به فردی همراه هستند و موفقیت در ساخت آنها، نیازمند نگاه سیستمی و مهندسی است. در این پروژه، تلاش کردم مهمترین اصول معماری این سیستمها را بهزبانی ساده و کاربردی گردآوری کنم تا برای مهندسان، توسعهدهندگان، معماران و مدیران فنی مفید باشد؛ امیدوارم این مطالب برای شما هم مفید بوده باشد.
«اين مطلب، بخشي از تمرينهاي درس معماري نرمافزار در دانشگاه شهيدبهشتي است.»