سلام
قصد scrape کردن از یک سایت خبری رو دارم، بدین صورت که هر خبری که منتشر میشه لینکش برام ایمیل بشه.
$url = "https://www.zoomit.ir/";
$options = [
CURLOPT_TIMEOUT => false,
CURLOPT_CONNECTTIMEOUT => 0,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_SSL_VERIFYPEER => false
];
$pattern = '/پترن مورد نظر/';
$ch = curl_init($url);
curl_setopt_array($ch, $options);
$output = curl_exec($ch);
curl_close($ch);
preg_match_all($pattern, $output, $matches);
// دریافت اولین خبر
foreach($matches as $match){
print_r($match[0]);
}
حالا سوالم اینه که چطور میتونم بررسی کنم که آیا خبری منتشر شده؟
آیا بهتره مقادیر scrape شده رو بریزم درون فایل یا میتوان همین متغیر output رو بررسی کرد؟ (روش درست چیه)
سلام و احترام
یه همچین چیزی رو من قبلا نوشته بودم اما با این تفاوت که میومد همین بخش پرسش و پاسخ رو بررسی می کرد و اگه سوال جدیدی اومده بود به من یه پیامک می داد.
من اینطوری بررسی میکردم که آخرین سوالی که در انجمن موجود بود رو لینکشو بر میداشتم و میریختم داخل یک فایل txt، و هر وقت که scraper من میرفتم سراغ اون سایت بررسی میکرد که آیا لینک آخرین سوال با لینک درون فایل من مطابقت داره یا ن؟ اگه نداشت لینک جدید رو جایگزین میکرد و یه پیامک به من میداد که میگفت " سوال جدید ارسال شده است! "