
منتشر شده در towardsdatascience به تاریخ ۲۰ جولای ۲۰۲۱
لینک منبع Ideas for mini projects using WhatsApp chats
یک تاچ شخصیسازی شده
شما هزاران مجموعه داده از کاگل برای تمام انواع تحلیلها و مدل-نمونهسازی پیدا خواهید کرد. با این حال، هیچ یک از آنها به اندازه تجزیه و تحلیل دادههای خود، درک عادات چت کردن، ساخت مدلهایی که بتواند مانند شما متن بنویسد و یا حتی ایموجیهایی که در یک موقعیت خاص استفاده میکنید را پیشبینی کند، جالب نیستند. این واقعیت که شما میتوانید به خوبی با آنچه که تحلیل میکنید ارتباط برقرار کنید، بسیار هیجانانگیز است (حداقل برای من!)
من فهرستی از ایدههایی تهیه میکنم که برای ساخت برخی پروژههای کوچک مفید هستند. من منابع یا لینکهایی به کتابخانهها و ابزارهایی که میتوانید برای هر ایده استفاده کنید، خواهم گذاشت. ایدهها به ترتیب افزایش درجه دشواری (از نظر اجرا) فهرست شدهاند. ما کار خود را با EDA پایه آغاز خواهیم کرد، به تحلیل سریهای زمانی خواهیم پرداخت و با مدلهای ترانسفورماتور به پایان خواهیم رسید. بیایید شروع کنیم!
دانلود هر گپ به عنوان یک فایل متنی
گپ دانلود شده ویژگیهای جداگانهای برای کاربر، زمان، تاریخ، بدنه پیام و غیره نخواهد داشت. شما باید ستونهای جداگانهای برای این ویژگیها ایجاد کنید. این یک دفترچه یادداشت است که به شما در این مورد کمک خواهد کرد. همچنین از آنجا که ما هیچ رسانهای را صادر نکردهایم ، تمام رسانههای موجود در گپها توسط یک مکان نگهدارنده به نام <Media omited> نشان داده میشوند.
در اینجا به چند سوال اشاره میکنیم که میتوانید به آنها پاسخ دهید.
شما میتوانید پیغامها را با نام کاربری دستهبندی کنید و تعداد پیغامها را بررسی کنید.
باز هم برای هر پیام ارسالشده توسط شما میتوانید متن را با یک عامل محدود کننده فضا تقسیم کرده و طول لیست را بشمارید. سپس میتوانید این تعداد را میانگین بگیرید و آن را با میانگین طول پیامهای ارسالی توسط کاربر دیگر مقایسه کنید.
کتابخانه ایموجی یک راه عالی برای رسیدگی به ایموجیها در پایتون است. برای این کار، شما فقط باید متن خود را به درستی توکنایز کنید و از کلاس کانتر از مجموعه برای کمک به پیدا کردن رایجترین ایموجیها استفاده کنید. به طور مشابه، به بیان دیگر، شما میتوانید از یک CountVectorizer از Sklearn استفاده کنید یا فقط دوباره از کلاس کانتر استفاده کنید.
دوباره با استفاده از تاریخها میتوانید تاریخهایی را که بیشترین پیام را با استفاده ازCounter در ستون تاریخها ارسال کردهاید پیدا کنید، زیرا واتساپ تاریخ را برای هر پیامی که ارسال میکنید به طور جداگانه ثبت میکند. با کمی تلاش بیشتر میتوانید این کار را به یافتن بازههای زمانی که در آن بیشترین فعالیت را دارید گسترش دهید. شما میتوانید بازههای زمانی را در طول روز از پیش تعریف کنید و ببینید کدام بازهها حاوی بیشترین پیامها هستند.
بسیاری از مردم ارسال یادداشتهای صوتی را بر ارسال پیامهای طولانی ترجیح میدهند. بسیاری از مردم از طریق میمها و یا گیفها با هم ارتباط برقرار میکنند. شما میتوانید تجزیه و تحلیل کنید که چه درصدی از پیغامهای شما متنی هستند.
این یکی بسیار جالب است زیرا میتواند بسیاری از روندهای تکرار شونده را نشان دهد. به عنوان مثال، قبل از امتحاناتم، من همیشه به تعداد مشخصی از افراد برای درخواست یادداشتها، پیام میدهم: P. همچنین قبل از اینکه گروه فوتبال من در جریان بازیهای آخر هفته دیوانه شود، اما در زمانهای دیگر بسیار بدون فعالیت است. در اینجا به چگونگی ایجاد یک مجموعه داده سری زمانی میپردازیم.
اکنون میتوانید سریهای زمانی را به ترندها، فصلی و باقیمانده تجزیه کنید.
این یکی به ویژه سرگرمکننده است زیرا هر فردی از مجموعه متفاوتی از ایموجیها برای بیان احساسات استفاده میکند. به جای استفاده متفاوت از مجموعه دادههایی که احتمالا از ایموجیها استفاده میکنند، میتوانید مجموعه دادههای خود را ایجاد کرده و مدلی را برای پیشبینی اینکه برای یک جمله از چه ایموجیهایی استفاده میشود، آموزش دهید. با این حال، این یکی کمی سخت است! پیشپردازش کمی تلاش میخواهد. در اینجا مروری بر گامهایی که باید دنبال کنید آورده شدهاست.

ذخیره بهترین چیزها برای پایان کار.
با تقریبا ۴۰ k پیغام برای هر مکالمه، شما اطلاعات کافی برای تنظیم مدل مولد مانندGPT-۲ دارید. HuggingFace، انتزاعهای عالی را برای استفاده از حالت هنری مدلهای از پیش آموزشدیده مانندGPT-۲ فراهم میکند. تنها کافی است آن را با جملات خودتان تنظیم کنید (بعد از برخی از پیشپردازشها) و از آن بخواهید متنی با سبک شما ایجاد کند!
امیدوارم این برای هر کسی که میخواهد پروژههای سریعی با استفاده از دادههای شخصی انجام دهد مفید باشد. امیدوارم که اشارات و مراجع کافی باشند تا به شما در اجرای این ایدهها کمک کنند. لطفا اگر احساس میکنید چیزی کم است، از من بخواهید تا جزئیات پیادهسازی را به شما بگویم.
این متن با استفاده از ربات ترجمه مقالات علم داده ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه میتواند دارای برخی اشکالات ترجمه باشد.
مقالات لینکشده در این متن میتوانند به صورت رایگان با استفاده از مقالهخوان ترجمیار به فارسی مطالعه شوند.