https://virgool.ir/feed/@m_52219302fa2026-11-12 10:42:02https://files.virgool.ir/upload/users/1059736/avatar/IvZJ42.jpeghttps://virgool.ir/@m_52219302https://virgool.ir/@m_52219302/ماژول-crepe-چیست-rtkqrhv8as4pسیگنال شنیداری نمایشی از صدا ست، به‌طور معمول از یک سطح ولتاژ الکتریکی برای سیگنال‌های آنالوگ و یک سری اعداد باینری برای سیگنال‌های دیجیتال استفاده می‌کنند. سیگنال‌های صوتی فرکانس‌هایی در محدوده فرکانس‌های صوتی، تقریباً ۲۰ تا ۲۰٬۰۰۰ هرتز دارند، که مطابق با آستانه پایین و بالای شنوایی انسان است. سیگنال‌های صوتی ممکن است به‌طور مستقیم به‌طور الکترونیکی تولید شوند، یا ممکن است از مبدل مانند میکروفون، پیکاپِ ابزار موسیقی، کارتریج گرامافون یا هد نوار (یا هد ضبط صوت) سرچشمه گرفته باشند. بلندگوها یا هدفون‌ها سیگنال الکتریکی صوتی را به صدا تبدیل می‌کنند.سیگنال به موجی گفته می شود که حاوی اطلاعاتی در شکل امواج آنان باشد. سیگنالهای دیجیتالی به سیگنالهایی گفته میشوند که به صورت دیجیتالی ذخیره یا به نمایش گذاشته میشوند . در این میان برای نمایش اطلاعاتی مانند صوت یا تصویر میتوانیم آنها را به صورت امواج صوتی یا تصویری به نمایش درآوریم. پردازش سیگنال دیجیتال یعنی بررسی دیجیتالی امواج باهدف تشخیص خصوصیات وجودی آنها. برای پردازش سیگنال الگوریتمهای متفاوتی موجود است که ویژگیهای مهم و خاص سیگنالها را برجسته کرده و آنها را آشکار می سازد و بدینوسیله خواهیم توانست ویژگیهای متمایزکننده یک سیگنال از سایر سیگنالها را بررسی کنیم. همانگونه که بیان شد ، سیگنال حاصل از تغییرات موج همواره دارای فرکانس یا ارتعاشات در واحد زمان است. به جهت پی بردن به ماهیت فرکانسی سیگنال باید تغییرات آن در حوزه فرکانسی نیز بررسی شود. به همین جهت تبدیلات ریاضی مختلفی مورد بحث قرار گرفته است . تبدیل موجک نیز یک تبدیل ریاضی است که سیگنال را از حوزه زمانی به حوزه زمان-فرکانس میبرد، ساده ترین نود آن موجک هار است. تبدیل فوریه تبدیل یک تابع انتگرالی است که هر تابع (t(x را به تابع (f(X منعکس میکند. در حوزه پردازش سیگنال میتوان با اعمال تبدیل فوریه، هر سیگنال را به حوزه فرکانسی برد. مقادیر تبدیل فوریه، مقادیر سیگنال در حوزه فرکانسی هستند.در اصل تفاوت در اصوات به تفاوت در تغییرات شدت صدا و همچنین تفاوت فرکانسهای ظاهرشده در سیگنال آن است. شدت صدا درواقع میزان بلندی و کوتاهی صدا و فرکانس آن میزان ارتعاشات امواج صوتی در واحد زمان است. هرکدام از این ویژگیها میتواند به ما در تشخیص ویژگیهای مختلف صوت یاری رساند.در این حوزه اطلاعات مستقیم از فرکانس در دست نیست، اما میتوان با استفاده از تبدیلات ریاضی سیگنال را از حوزه زمان به حوزه فرکانسی انتقال داد. در اصل در تمام حوزه ها اطلاعاتی از صوت وجود دارد که میتوان با تبدیل حوزه ها به یکدیگر آن اطلاعات را استخراج کرد.در حوزه فرکانسی نمودارها به صورت فرکانس و تعداد دفعات ظهور فرکانس در سیگنال بررسی میشوند .شبکه عصبی کانولوشن (CNN) چیست و چه کار متفاوتی انجام می‌دهد؟شبکه عصبی کانولوشن نوع خاصی از شبکه عصبی با چندین لایه است. داده‌هایی را که دارای آرایش شبکه‌ای هستند پردازش می‌کند و سپس ویژگی‌های مهم را استخراج می‌کند. یک مزیت بزرگ استفاده از CNN این است که نیازی به انجام بسیاری از مراحل پردازش روی تصاویر و امواج و ... ندارید.برای دریافت اطلاعات بیشتر می توانید به اینجا مراجعه کنید.ماژول CREPE چیست؟یک ردیاب پیچ مونوفونیک است که بر پایه یک شبکه عصبی کانولوشن عمیق کار می کند و CREPE (از سال 2018) پیشرفته تر از ردیاب های معروف مانند pYIN و SWIPE می باشد و از آنها پیشی گرفته است.مدل CREPEیک نسخه از قبل آموزش دیده برای استفاده آسان برای تخمین میزان صدا است.نمایش همبستگی برای تخمین گام:وظیفه تخمین فرکانس اساسی ضبط صدا مونوفونیک ، که به آن ردیابی گام نیز می گویند ، برای پردازش صدا با چندین کاربرد در پردازش گفتار و بازیابی اطلاعات موسیقی اساسی است. تا به امروز ، بهترین تکنیک های انجام شده ، مانند الگوریتم pYIN ، براساس ترکیبی از خطوط لوله DSP و اکتشافات ابتکاری ساخته شده است. در حالی که چنین تکنیک هایی به طور متوسط عملکرد بسیار خوبی دارند ، اما موارد بسیاری باقی مانده است که در تخمین درست موفق نمی شوند. در اینجا، ما یک الگوریتم ردیابی گام مبتنی بر داده ، CREPE را پیشنهاد می دهیم که مبتنی بر یک شبکه عصبی کانولوشن عمیق است که مستقیماً بر روی شکل موج حوزه زمان کار می کند.ضبط صدا ، به عنوان ردیابی اساسی پردازش صدا با چندین برنامه در پردازش گفتار و بازیابی اطلاعات موسیقی است. تا به امروز ، بهترین تکنیک های اجرا ، مانند الگوریتم pYIN ، بر اساس ترکیبی از DSP ساخته شده اند.مجموعه داده برای ارزیابی عملکرد CREPE:برای ارزیابی عملکرد CREPE و مقایسه آن با الگوریتم های دیگر ، محققان از دو مجموعه داده استفاده می کننداولی شامل 6.16 ساعت صدا ساخته شده از پایگاه داده موسیقیRWC (همان پایگاه داده مورد استفاده برای ارزیابی pYIN) است.دومین مجموعه 230 قطعه با 25 ساز از MedleyDB است که 15.56 ساعت صدا دارد.دقت در دقت گام خام (ՀՀԿ) و دقت کروم خام (RCA) اندازه گیری می شود که در مجموع نسبت فریم های خروجی را که الگوریتم گام را در یک چهارم تن واقعیت تشخیص می دهد ، اندازه گیری می کند.کرپ به طور پیش فرض از مراحل زمان 10 میلی ثانیه استفاده می کند ، که با استفاده از step-size-- گزینه قابل تنظیم است که اندازه گام زمان را بر حسب میلی ثانیه می گیرد. به عنوان مثال ، step-size 50-- برای هر 50 میلی ثانیه محاسبه می شود.پردازش دسته ایبرای پردازش دسته ای پرونده ها ، می توانید به جای مسیر پرونده ، یک مسیر پوشه ارائه دهید:$ python crepe.py audio_folderاسکریپت تمام پرونده های WAV موجود در داخل پوشه را پردازش می کند.برای کسب اطلاعات بیشتر در مورد کاربرد ، به پیام راهنما مراجعه کنید:$ python crepe.py --helpاستفاده از CREPE در داخل پایتونکرپ را می توان به عنوان ماژول وارد کرد تا مستقیماً در پایتون استفاده شود. در اینجا یک مثال وجود دارد:import crepe from scipy.io import wavfile sr, audio = wavfile.read('/path/to/audiofile.wav') time, frequency, confidence, activation = crepe.predict(audio, sr, viterbi=True)میانگین وزنی محلی - Argmaxاین نسخه از CREPE از فرمول میانگین وزنی زیر استفاده می کند که کمی متفاوت با مقاله است. این فقط در محله اطراف حداکثر فعال سازی متمرکز است ، که نشان داده شده است برای بهبود دقت بیشتر است:لطفا توجه داشته باشیدنسخه فعلی فقط از پرونده های WAV به عنوان ورودی پشتیبانی می کند.این مدل با صدای 16 کیلوهرتز آموزش داده شده است ، بنابراین اگر صدای ورودی دارای نرخ نمونه متفاوتی باشد ، ابتدا با استفاده از resampy نمونه برداری مجدد به 16 کیلوهرتز انجام می شود .با توجه به تفاوتهای عددی ظریف بین فریم ورک ها ، Keras باید طوری تنظیم شود که برای بهترین عملکرد از Backend TensorFlow استفاده کند. این مدل با استفاده از Keras 2.1.5 و TensorFlow 1.6.0 آموزش داده شده است و به نظر می رسد نسخه های جدید TensorFlow نیز کار کنند.مدل ارائه شده با استفاده از مجموعه داده های زیر آموزش داده می شود، بنابراین انتظار می رود بهترین عملکرد را در این نوع سیگنال های صوتی داشته باشد.MIR-1K [1]Bach10 [2]RWC-Synth [3]MedleyDB [4]MDB-STEM-Synth [5]NSynth [6]منابع:[1] C.-L. Hsu et al. "On the Improvement of Singing Voice Separation for Monaural Recordings Using the MIR-1K Dataset", IEEE Transactions on Audio, Speech, and Language Processing. 2009.[2] Z. Duan et al. "Multiple Fundamental Frequency Estimation by Modeling Spectral Peaks and Non-Peak Regions", IEEE Transactions on Audio, Speech, and Language Processing. 2010.[3] M. Mauch et al. "pYIN: A fundamental Frequency Estimator Using Probabilistic Threshold Distributions", Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). 2014.[4] R. M. Bittner et al. "MedleyDB: A Multitrack Dataset for Annotation-Intensive MIR Research", Proceedings of the International Society for Music Information Retrieval (ISMIR) Conference. 2014.[5] J. Salamon et al. "An Analysis/Synthesis Framework for Automatic F0 Annotation of Multitrack Datasets", Proceedings of the International Society for Music Information Retrieval (ISMIR) Conference. 2017.[6] J. Engel et al. "Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders", arXiv preprint: 1704.01279. 2017.فاطمه قنبریفاطمه قنبریSat, 24 Jul 2021 10:01:35 +0430