
منتشرشده در: towardsdatascience به تاریخ ۱۸ آوریل ۲۰۲۱
لینک منبع: Tasks & Tools List for Building Scalable ML Pipelines
چه چیزی یادگیری ماشینی را در توییتر هدایت میکند که مرتبطترین توییتها را در بالای تایملاین من نشان میدهد؟ چگونه میتوان پلتفرم ML خود را برای بهبود ویژگیهای مورد علاقه کاربر مانند توصیهها و توضیحات هفتگی مقیاسگذاری کرد؟ چگونه ایرباس ناهنجاریهای موجود در جریان داده دورسنجی زمان واقعی را با استفاده از مدل LSTM که بیش از ۵ تریلیون نقطه داده را آموزش داده است، شناسایی میکند؟
این سوالات جذاب هستند زیرا همه این سازمانها (و مانند آنها) کار برجسته ساخت سیستمهای ML هنری را انجام دادهاند. چیزی که در همه این موارد رایج است این است که چگونه آنها زیرساخت ML خود را با اتخاذ گسترش TFX به عنوان هسته پایپلاین ML خود بهینهسازی کردند.
ایجاد یک پایپلاین ML بخش قابلتوجهی از کسبوکار است که نیاز به اجزای مختلف زیادی دارد تا به شیوهای یکپارچه ادغام شوند.
برای کسانی از شما که در ایجاد پایپلاین ML جدید هستند:
ممکن است به مطالعه مقاله ۱۲ کتابخانه برتر پایتون برای علم داده در سال ۲۰۲۱ علاقمند باشید.
هر سازمان داده محور که ML را در محصول / پلتفرم خود ادغام کرده است از پایپلاین ML برای ساده کردن توسعه و بهکارگیری مدلهای در حال تکامل خود در ارتباط با دادههای جدید ورودی استفاده میکند. به بیان ساده، یک پایپلاین ML یک توالی از وظایف است که برای انتقال مدل ML (ها) از یک آزمایش Jupyter Notebook (یا Google Colab) به یک برنامه قوی در تولید اجرا میشود.
هرچه پروژه بزرگتر باشد، ایجاد کل فرآیند برای رسیدگی به مقیاسی که منجر به یک رشته مهندسی جدید به نام MLOps شده است، سختتر میشود. حال، این وظایف چه هستند و چه ابزارهایی را میتوان به منظور ساخت این پایپلاین قوی آماده تولید استفاده کرد، چیزی است که در بخشهای زیر توضیح داده شده است.
روشهای متعددی برای ورود دادهها به پایپلاین یادگیری ماشین وجود دارد. شما میتوانید دادهها را از دیسک محلی یا هر پایگاهداده دیگری را استفاده کنید. TFX رکوردهای دادههای تعقیبشده را به tf.Example (در فایلهای TFRecord-برای ذخیرهسازی رکوردهای باینری) برای مصرف مولفههای پاییندست و این فایلهای باینری تبدیل میکند که کار ما را با مجموعه دادههای بزرگ آسان و فوقالعاده سریع میکند.
ابزارهای مورد استفاده:
یک مزیت اولیه استفاده از TFRecord/ tf.Example پشتیبانی آسان اعتبارسنجی داده tensorflow (TFDV) بود - یکی از اولین اجزای باز که توسط گوگل از مقاله TFX آنها در دسترس قرار میگیرد. TFDV به مهندسان ML ما اجازه داد تا دادههای خود را در طول توسعه مدل بهتر درک کنند و به راحتی مشکلات رایج مانند انحراف، مقادیر اشتباه، یا تعداد زیادی از صفرهای پایپلاین و خدمات تولیدی را تشخیص دهند. /سخنگوی تیم
مراحل اعتبارسنجی دادهها در پایپلاین برای بررسی هرگونه ناهنجاری و تاکید بر هر گونه شکست. شما میتوانید مجموعه دادههای جدید را پس از اجرای آنها از طریق TFDV و سپس به طور جداگانه بررسی کنید.
در اصل TFX کتابخانهای به نام TFDV ارائه میدهد که میتواند به شما در اعتبارسنجی دادهها کمک کند. TFDV در TFRecords (یا پروندههای CSV) قرار میگیرد و سپس به شما اجازه میدهد تا برش داده، مقایسه داده، بررسی skewness و انواع دیگر تحلیلها را انجام دهید.
همچنین میتوانید نتایج اعتبارسنجی را در تسهیلات پروژه Google PAIR مشاهده کنید.
ابزارهای مورد استفاده:
مطالعه مقاله برگه تقلب پایتون برای دانشمندان داده (۲۰۲۱) توصیه میشود.
تبدیلهایی مانند رمزگذاری one-hot، نرمالسازی ویژگیهای کمی، تغییر نام ویژگیها، پیشپردازش دستهای و بسیاری دیگر را اضافه میکند. ابزار TFX کتابخانههایی مانند TFT (تبدیل tensorFlow) را برای پیشپردازش دادهها در اکوسیستم TF ارائه میدهد.
ابزار TFT دادهها را پردازش میکند و دو اثر هنری را برمی گرداند:
ابزارهای مورد استفاده:
آموزش یک مدل در پایپلاین یک وجه مثبت دارد که با صادر کردن تمام مراحل تحول و آموزش مدل به عنوان یک نمودار، هر منبع خطایی را از بین میبرد.
ابزارهای مورد استفاده:
تحلیل مدل تنسورفلو (TFMA) به تجسم عملکرد، انصاف (ابزار What-If)، به دست آوردن معیارهای گروههای متمایز در دادهها، مقایسه با مدلهای قبلا مستقر شده، و تنظیم پارامترهای بیش از حد در خود پایپلاین کمک میکند.
ابزارهای مورد استفاده:
شاید مطالعه مقاله توسعه مبتنی بر ترانک (Trunk) چیست؟ برای شما مفید باشد.
سرویس tensorFlow یک روش ساده و سازگار برای گسترش مدلها از طریق یک مدل سرور ارائه میدهد. علاوه بر این، میتوانید از رابط کاربری وب برای پیکربندی نقاط انتهایی مدل خود بر روی پلتفرم AI استفاده کنید.
سه روش استقرار مدل: مدل سرور، مرورگر کاربر، یا بر روی edge دستگاه. بهترین گزینه برای برنامه کاربردی خود را شناسایی کنید.
ابزارهای مورد استفاده:
ارکسترهای پایپلاین زیربنای اجزای ذکر شده را تشکیل میدهند. ابزار تنظیم زمانی بررسی میشود که یک وظیفه / جز به پایان رسیده باشد، بداند چه زمانی کار بعدی جریان کار را راهاندازی کند، اجرای پایپلاین را زمانبندی کند، و غیره.
تنظیم پایپلاین ML با راهاندازی پایپلاین یا ارکستریتور که زیربنای تمام اجزای بالا را تشکیل میدهد.
ابزاری را که قرار است پایپلاین را اجرا کند انتخاب کنید.
با نوشتن کد پایتون ترتیبی، پایپلاین را تنظیم کنید. برپاسازی و اجرا.
ابزارهای مورد استفاده:
Apache Beam > Apache Airflow > Kubeflow —(به ترتیب پیچیدگی و دسترسی به ویژگی های مهم.)
این متن با استفاده از ربات ترجمه مقالات علوم داده ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه میتواند دارای برخی اشکالات ترجمه باشد.
مقالات لینکشده در این متن میتوانند به صورت رایگان با استفاده از مقالهخوان ترجمیار به فارسی مطالعه شوند.