
منتشرشده در: towardsdatascienceبه تاریخ ۱۲ ژوئن ۲۰۲۱
لینک منبع Air Piano using OpenCV and Python
اخیرا به دیدن پسر خالهام رفته بودم و او مدتی بود که سعی میکرد پیانو یاد بگیرد. با این حال، به دلیل این بیماری همهگیر، معلم او نتوانست به خانه بیاید و آنها از طریق جلسات زوم تمرین میکردند. در آن زمان بود که من به این فکر افتادم که یک پیانو مجازی بسازم که هم معلم او و هم او بتوانند از آن برای یادگیری موسیقی استفاده کنند. وقتی به این موضوع فکر کردم، به این فکر کردم که چرا از صفحهکلید فراتر نروم؟ بیایید سعی کنیم از هوای رقیق موسیقی بسازیم؟ اجازه دهید ذهن خلاق ما جریان پیدا کند و چنین تعاملی ایجاد کند که به فرد اجازه دهد فقط با حرکت دادن دستها در هوا، پیانو بزند؟ در آن زمان بود که تصمیم گرفتم یک «ایر پیانو» بسازم.
ایر پیانو پروژهای است که در محل تلاقی دید کامپیوتر و تعامل انسان و کامپیوتر ساخته شدهاست. برای ساخت ایر پیانو، من از زبان پایتون و یک کتابخانه تخصصی به نام OpenCV استفاده کردهام. این یک دید کامپیوتری منبع باز و کتابخانه نرمافزار یادگیری ماشینی است.
کتابخانه مهم دیگری که به ما کمک میکند تا این پروژه را تکمیل کنیم کتابخانه pyAutoGUI است. رابط کاربری پایتون به اسکریپتهای پایتون شما اجازه میدهد تا موس و صفحهکلید را کنترل کنند تا تعاملات را با دیگر برنامهها به صورت خودکار انجام دهند. رابط کاربری خودکار چندین ویژگی دارد: حرکت دادن موس و کلیک کردن یا تایپ کردن در پنجرههای برنامههای دیگر، گرفتن عکس از صفحه نمایش، و غیره.
حالا بیایید جریان پروژه را درک کنیم:
چرا ما به فضای رنگHSV تبدیل میکنیم؟ پاسخ ساده این است که برخلاف RGB، HSV، لوما یا شدت تصویر را از کروما یا اطلاعات رنگ جدا میکند. در دید کامپیوتری، شما اغلب به دلایل مختلف، مانند مقاومت در برابر تغییرات نورپردازی، یا حذف سایهها، میخواهید مولفههای رنگ را از شدت جدا کنید.
بدنه محدب(Convex Hull) چیست؟ بدنه محدب، چند ضلعی محدب n-وجهی که به طور کامل یک شی را محدود میکند.
نقصهای آزار دهنده چه هستند؟ هر گونه انحراف از کانتور از بدنه محدب آن به عنوان نقص تحدب شناخته میشود.


این توصیف دقیق فنی پروژه«Air Piano» بود، و من امیدوارم که شما چیزهای زیادی از این طریق یاد گرفته باشید. به Github سر بزنید و کد کامل را بررسی کنید تا درک بهتری به دست آورید. موارد زیر منابعی هستند که من از آنها یاد گرفتم و به من کمک کردند تا این پروژه را با موفقیت بسازم -
با توسعه خطوط مشابه، یک مجموعه کامل از ابزارها را میتوان با استفاده از همان اصل بالا، با ایجاد یک محیط تعاملی برای یادگیری موسیقی، به صورت ژستی کنترل کرد. ما میتوانیم امکانات بیشتری را به این پروژه اضافه کنیم و از آخرین پیشرفتهای هنری (مانند کتابخانه MediaPipe) برای جالبتر کردن این پروژه استفاده کنیم.
این متن با استفاده از ربات ترجمه مقاله دیتاساینس ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه میتواند دارای برخی اشکالات ترجمه باشد.
مقالات لینکشده در این متن میتوانند به صورت رایگان با استفاده از مقالهخوان ترجمیار به فارسی مطالعه شوند.