نحوه شناسایی ترافیک رباتیک در وب سایت

مهم نیست که وب سایت شما چقدر سنگین است، تقریباً همیشه ترافیک رباتیک برای هر سایتی وجود دارد . این ربات ها اغلب به طیف وسیعی از اعوامل در وب سایت شما از جمله ایندکس صفحات وب  تا محو شدن مطالب شما کمک می کنند. با توجه به وجود ربات های بسیار زیاد ، چگونه می توانید ترافیک رباتیک را در وب سایت خود شناسایی کنید؟ و آیا باید نگران آن ها باشید؟این مقاله به شما در مورد اینکه آیا رباتها وب سایت شما را تحت تاثیر قرار می دهند کمک می کند .اگر در وب سایت شما  زمان بارگذاری صفحه افزایش ، میزان بازدهی بالاتر و یا میانگین زمان حضور کاربر در در صفحه کاهش یافته باشد ، پس وب سایت شما ترافیک رباتیک دارد . با توجه به اینکه  که تمامی  ربات ها نباید مسدود شوند ، تنها ربات های مخرب را می بایست متوقف کرد .

قبل از اینکه به نحوه شناسایی این ربات ها در سایت خود بپردازیم ، بیایید نگاهی به انواع مختلف رباتها بیاندازیم.

انواع مختلف ربات

برای توضیح ساده ربات ها ، آنها را می توان به عنوان نرم افزار نوشته شده برای انجام وظایف تکراری خاص تعریف کرد. وظایف آن ها می تواند هر چیزی از هر دقیقه چک کردن قیمت در وب سایت تا ارسال یک دیدگاه جدید در هر ساعت باشد . هدف کلی ربات این است که یک کار تکراری را به صورت خودکار انجام دهد. نوع کاری که ربات می تواند انجام دهد بسته به خوب و یا بد بودن آن دارد . همانطور که احتمالا متوجه شدید، تمام ربات های آنلاین بد نیستند و بعضی از آنها در حقیقت برای حفظ اینترنت ضروری هستند.

به صورت خلاصه ، ربات های اینترنتی را می توان به 2 گروه، ربات ها خوب و ربات های بد تقسیم کرد.

ربات های خوب کارهایی مانند ایندکس کردن وب سایت در موتورهای جستجو ، مانیتور کردن سلامت وب سایت و ایجاد فید های RSS  را انجام می دهند. از سوی دیگر، رباتهای بد کارهایی همچون از بین بردن لینک ها و محتوا ، ایجاد پیام های اسپم و یا تلاش برای از بین بردن سایت شما را انجام می دهند .

باافزایش روز افزون ربات های جدید ، ردیابی ربات ها به کاری مشکل تبدیل شده است .

تشخیص ترافیک رباتیک و جعلی سایت

در واقع روش های مختلفی برای تشخیص ترافیک رباتیک و بررسی اینکه چه کسی از وب سایت شما بازدید کرده است وجود دارد . بعضی از روش ها آسان هستند و به شما یک گزارش سریع از ورود ربات ها به وب سایت را می دهد ، در حالی که در روش های دیگر تجزیه و تحلیل داده ها زمان بر می باشد . در اینجا برخی از مؤثرترین ابزار ها برای شناسایی ترافیک رباتیک در وب سایت شما شرح داده شده است .

اولین روش برای چک کردن ورودی ها و ترافیک رباتیک وب سایت ، بررسی آمار گوگل آنالیتیکس برای یافتن هر گونه تناقض است. با توجه به تعداد بازدید های صفحه، میانگین مدت حضور کاربر در هر صفحه می باشد اگر روبات ها از وب سایت شما بازدید کرده باشند تعداد صفحه های بازدید شده افزایش و به دلیل سرعت بالای ربات ها میگانین مدت زمان حضور در هر صفحه کاهش چشمگیری می یابد.

یکی از واضح ترین مواردی که شما هنگام بازدید رباتها متوجه خواهید شد، افزایش شدید تعداد دفعات مشاهده صفحه است. اگر یک ربات وارد وب سایت شما شده باشد ، در همان لحظه صفحات بی شماری را بارگذاری می کند. اگر میانگین تعداد صفحه های بازدید شده در هر کاربر 3 باشد پس اگر به طور ناگهان متوجه شدید  که این عدد به 50 تغییر پیدا کرده پس قطعا وب سایت شما توسط ربات ها بازدید شده است .

از آنجا که رباتها فوق العاده سریع هستند، معمولا چند ثانیه بیشتر طول نمی کشد تا سایت شما را بررسی کرده و اطلاعات مورد نیاز خود را به دست آورند. پس در مقایسه با کاربر معمولی ، مدت زمان حضور ربات در صفحه احتمالا خیلی پایین تر از مدت زمان حضور کاربر در وب سایت است. هنگامی که ربات تمام صفحات را بارگذاری کرد، به حالت عادی بر می گردد و به سایت بعدی حرکت می کند. این تاثیر بزرگی بر نرخ میزان بازدید(bounce rate) وب سایت شما خواهد داشت. راه دیگری برای شناسایی ترافیک رباتیک در وب سایت شما این است که از سرعت سایت خود آگاهی داشته باشید. اگر شما در معرض هجوم ربات ها هستید، احتمالا توجه می شوید سرعت بارگذاری سایت شما پایین آمده است. یک ربات ممکن است تاثیر زیادی نداشته باشد، اما وجود چندین ربات در لحظه  می تواند سرور شما را تحت فشار قرار دهد. در حقیقت این احتمال وجود دارد که رباتهای مخرب تلاش کنند سرور را دچار مشکل کرده و آن را آفلاین کنند! که به عنوان یک حمله DDOS شناخته می شود، این حملات می توانند تاثیرات ویران کننده ای بر کسب و کار انلاین شما داشته باشند. به ویژه هنگامی که وب سایت ، منبع اصلی کسب و کار و دریافت سفارشات است.اگر گوگل آنالیتیکس خود را بررسی کرده و متوجه ی کاهش زمان بارگذاری صفحات را شدید ، پس حتما مورد حمله ی رباتها قرار گرفته اید. خوشبختانه برای ممنوع کردن ورود آن ها به وب سایت چندین راه وجود دارد.

چگونه از ورود  ربات ها به وب سایت جلوگیری کنیم؟

برای مسدود کردن ترافیک رباتیک یا بازدید ربات ها از وب سایت ، گزینه های مختلفی وجود دارد. اولین گزینه این است که یک فایل robots.txt ایجاد کنید و روبات هایی را که نمی خواهید وارد وب سایت شوند را مشخص کنید. اگر چه این روش تنها بر  رباتهای خوب تاثیر گذار است. بعضی از رباتها به طور کامل این فایل را نادیده میگیرند و بدون توجه به آن ، از وب سایت شما بازدید می کنند . برای مسدود کردن ربات های بد، شما باید از روش دیگری برای محافظت از وب سایت خود استفاده کنید. بیایید ابتدا یک فایل robots.txt ایجاد کنیم.

مسدود کردن رباتها با Robots.txt 

یک فایل robots.txt اساسا به ربات ها می گوید چه چیزی را می توانند و یا نمی توانند بازدید کنند. اگر فایل robots.txt وجود نداشته باشد، هر رباتی قادر خواهد بود از وب سایت شما و تمایم محتوای آن بازدید کند. اما اگر فایل robots.txt داشته باشید، بسیاری از ربات ها ابتدا  آن را بررسی می کنند تا ببینید اجازه انجام چه کاری را دارند.

اولین دلیل برای داشتن robots.txt این است که به ربات های جستجو بگویید که چه صفحاتی را میخواهید و یا نمیخواهید ایندکس شوند . از آنجا که Googlebot همیشه به دنبال robots.txt برای بررسی میگردد لذا این فایل به این ربات میگوید که به چه صفحاتی میتوانند دسترسی پیدا کنند. اگر نمی خواهید بخش خاصی از وب سایت توسط گوگل بررسی شود ، به سادگی دایرکتوری را از طریق robots.txt غیرفعال کنید.

مسدود کردن ربات ها با ضد DDOS

برای جلوگیری از ترافیک رباتیک و دسترسی ربات های مخرب به وب سایت ، به نوعی از خدمات حفاظت DDOS نیاز خواهید داشت. این سرویس اساسا از وب سایت شما مانند یک فایروال محافظت می کند و هر درخواست ورودی را بررسی می کند. اگر آدرس IP و فعالیت کاربر به صورت ربات شناخته شود، درخواست متوقف خواهد شد. اگر درخواست از یک کاربر واقعی باشد که فعالیت مخرب قبلی ندارد، پس دسترسی آنها مجاز خواهند بود.

یکی از محبوب ترین سرویس های حفاظت DDOS رایگان از CloudFlare.com است. بسته رایگان آنها از سایت شما در مقابل بسیاری از رباتها مزاحم محافظت می کند. علاوه بر این، اگر شما با فایل robots.txt که قبلا ذکر شد ترکیب کنید، بیش از 90 درصد از ربات های بد را مسدود می کنید.