آیا در وب اسکرپینگ آی پی سرور بلاک می شود؟

پرسیده شده
فعالیت 1291 روز پیش
دیده شده 540 بار
0

سلام وقت بخیر

بنده درمورد وب اسکرپینگ یک سوال دارم

اینکه بفرض من روزانه هزارتا یا بیشتر بازدید صفحه دارم و باید هر بار اطلاعات رو از سایت موردنظر کپی کنم

آیا این امکان هست که با جاوا اسکریپت همچین درخواستی را به سایت مورد نظر زد؟ یا باید همه درخواست ها از سرور من زده بشه؟ تو این روش آی پی سرورم بلاک نمیشه که در طول روز چند هزاربار درخواست زده باشم؟

فایل پیوست

2
حذف شده

سلام و احترام

بله این امکان وجود داره که شما با جاوااسکریپت هم crawling کنید. به طور پیش فرض سایتی شما رو بلاک نمیکنه مگر اینکه سایت مقصد محدودیتی گذاشته باشه.

در خواست های شما زمانی خطر ناک میشود که سایت مقصد رو به قصد تخریب هدف گرفته باشید وگرنه Crawler شما مثل یک مرورگر رفتار میکنه و قصد تخریب به سایت مقصد رو نداره.

فایل پیوست

امیر صالحی

توسط

امیر صالحی

4 آبان 99

حذف شده
بخاطر همین موضوع محدودیت هست که سایت هایی مثل دیوار، در روز محدودیت کلیک بر روی شماره تلفن ها و یا الزام لاگین داخل سایت رو قرار داده؟؟ و اینکه اگر نیاز باشه برای یکسری نتایج داخل سایت لاگین باشیم، این فرایند رو هم میشه برای ربات تعریف کرد؟
امیر ابوئی

21 فروردین 00