scrape کردن از سایت با curl

پرسیده شده
فعالیت 1339 روز پیش
دیده شده 622 بار
0

سلام

قصد scrape کردن از یک سایت خبری رو دارم، بدین صورت که هر خبری که منتشر میشه لینکش برام ایمیل بشه.

$url = "https://www.zoomit.ir/";

$options = [
    CURLOPT_TIMEOUT => false,
    CURLOPT_CONNECTTIMEOUT => 0,
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_SSL_VERIFYPEER => false
];

$pattern = '/پترن مورد نظر/';

$ch = curl_init($url);
curl_setopt_array($ch, $options);
$output = curl_exec($ch);
curl_close($ch);

preg_match_all($pattern, $output, $matches);

// دریافت اولین خبر
foreach($matches as $match){
    print_r($match[0]);
}

حالا سوالم اینه که چطور میتونم بررسی کنم که آیا خبری منتشر شده؟

آیا بهتره مقادیر scrape شده رو بریزم درون فایل یا میتوان همین متغیر output رو بررسی کرد؟ (روش درست چیه)

فایل پیوست

محمدرضا رحیمی
محمدرضا رحیمی

27 مرداد 99

2
حذف شده

سلام و احترام

یه همچین چیزی رو من قبلا نوشته بودم اما با این تفاوت که میومد همین بخش پرسش و پاسخ رو بررسی می کرد و اگه سوال جدیدی اومده بود به من یه پیامک می داد. 

من اینطوری بررسی میکردم که آخرین سوالی که در انجمن موجود بود رو لینکشو بر میداشتم و میریختم داخل یک فایل txt، و هر وقت که scraper من میرفتم سراغ اون سایت بررسی میکرد که آیا لینک آخرین سوال با لینک درون فایل من مطابقت داره یا ن؟ اگه نداشت لینک جدید رو جایگزین میکرد و یه پیامک به من میداد که میگفت " سوال جدید ارسال شده است! "

فایل پیوست

امیر صالحی

توسط

امیر صالحی

28 مرداد 99