https://virgool.ir/feed/@aliderakhshan381fa2026-11-12 08:44:12https://files.virgool.ir/upload/users/54710/avatar/avatar.pnghttps://virgool.ir/@aliderakhshan381https://virgool.ir/@aliderakhshan381/برنامه-crawler-بر-روی-سایت-imdb-mlnxvrus4sohهمیشه برای خیلی از ماها سوال بوده که گوگل یا موتور های جستجو دیگه چجوری اینهمه اطلاعات از سایتهای مختلف پیدا میکنن و بهمون نشون میدن . یکی از روش های این موتور های جستجو توی بازیابی اطلاعات استفاده از سیستم خزشگر یا Crawler هستش . خزشگر دقیقا چیه ؟ این برنامه میتونه تگ های HTML سایت های مختلف در بیاره و اطلاعات خاص و مفید ازشون پارس کنه و برگردونه . اینکه خزشگر گوگل چجوری کار میکنه محرمانه ست . توی این پست میخوام یه خزشگر خیلی ساده رو روی سایت IMDB بهتون اموزش بدم . سایت IMDB یه قسمت داره که همه فیلم های پخش شده از سال 1972 تا سال 2016 هستش رو گذاشته حالا ما میخوایم یکسری اطلاعات مثل سال انتشار یا اسم یا امتیاز های مختلف اسم کارگردان رو دربیاریم. اول از همه باید یه اطلاعایی از ساختار سایت داشته باشیم . اول یه نگاهی به سایت و تگ هاش بندازین : https://www.imdb.com/list/ls057823854/ همونجوری که میبینین هر اطلاعاتی که میخوایم با یک کلاس خاص مشخص شده . حالا بریم سراغ کد:برای Crawl کردن یه سایت ابزار های مختلفی هستش یکی از اون ابزار های کتابخانه BeatifulSoup هستش import requests import os import re from bs4 import BeautifulSoup حالا که کتابخانه های لازم وارد کردیم باید ادرس سایت مشخص کنیم یه درخواست بهش بفرستیم و تگ های HTML درخواست کنیم . https://gist.github.com/alidrkh/76461f8cbc281697f030a90ddadd3f12 بعد از اینکه HTML سایت رو بدست اوردیم باید الگو اطلاعات که میخوایم رو بدست بیاریم و برای برنامه هم مشخص کنیم . اول لیست div ای که همه فیلما توش هستن رو بدست میاریم. https://gist.github.com/alidrkh/4c9c512dc3578384e86c23703a732b8d حالا میتونیم داخل یک حلقه اطلاعات رو در بیاریم . https://gist.github.com/alidrkh/1b565603058d138fed2139d283d6376e بعد در اوردن اطلاعات میتوانیم این اطلاعات رو درون یک پایگاه داده مثل SQLAlchemy که یک کتابخانه برای پایتون هستش ذخیره کنیم یا توی یک فایل JSON ذخیره کنیم . ali derakhshanali derakhshanWed, 26 Jun 2019 17:43:59 +0430