ConfigServer Security & Firewall یک فایروال محبوب برای سرورهایی است که از cPanel استفاده می‌نمایند به اختصار به آن csf نیز گفته می‌شود، این فایروال محبود که تعدادی قانون بسیار خوب نیز برای mod_security دارد از سواستفاده ربات‌های مختلف جلوگیری می‌نماید، اما تمامی ربات‌هایی که به وبسایت شما برای کرال کردن سر می‌زنند ربات‌های بدی نیستند بعضی از این ربات‌ها مربوط به موتورهای جستجو مانند Google, Bing, Yahoo, Yandex, Baidu می‌باشند که بعضی کار بررسی مطالب شما و ایندکس‌کردن آن را برعهده دارند. برای جلوگیری از اینکه csf به صورت اتفاقی IPهای این ربات‌ها را به صورت مقطعی یا دائمی بلاک نکند کافیست تا تغییراتی در CSF اعمال نمایید. برای این منظور نیاز است فایل /etc/csf/csf.rignore را با ادیتور خود باز نمایید که چیزی مانند محتویات زیر را دارد:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
####################### ########################## # Copyright 2006-2017, Way to the Web Limited # URL: http://www.configserver.com # Email: sales@waytotheweb.com ####################### ########################## # The following is a list of domains and partial domain that lfd process # tracking will ignore based on reverse and forward DNS lookups. An example of # its use is to prevent web crawlers from being blocked by lfd, e.g. # .googlebot.com and .crawl.yahoo.net # # You must use either a Fully Qualified Domain Name (FQDN) or a unique ending # subset of the domain name which must begin with a dot (wildcards are NOT # otherwise permitted) # # For example, the following are all valid entries: # www.configserver.com # .configserver.com # .configserver.co.uk # .googlebot.com # .crawl.yahoo.net # .search.msn.com # # The following are NOT valid entries: # *.configserver.com # *google.com # google.com (unless the lookup is EXACTLY google.com with no subdomain # # When a candidate IP address is inspected a reverse DNS lookup is performed on # the IP address. A forward DNS lookup is then performed on the result from the # reverse DNS lookup. The IP address will only be ignored if: # # 1. The results of the final lookup matches the original IP address # AND # 2a. The results of the rDNS lookup matches the FQDN # OR # 2b. The results of the rDNS lookup matches the partial subset of the domain # # Note: If the DNS lookups are too slow or do not return the expected results # the IP address will be counted towards the blocking trigger as normal # |
سپس محتوای زیر را به این فایل /etc/csf/csf.rignore اضافه نمایید:
|
1 2 3 4 5 6 7 8 9 |
.googlebot.com .crawl.yahoo.net .search.msn.com .google.com .yandex.ru .yandex.net .yandex.com .crawl.baidu.com .crawl.baidu.jp |
اکثر اوقات زمانی که یک IP چندبار توسط قوانین mod_security بلاک شود توسط CSF به صورت دائمی بلاک خواهد شد پس برای حل این موضوع ما باید تعدادی از قوانین mod_security را نیز برای ربات‌های مفید تغییر دهیم، برای این منظور ما فایل پیکربندی mod_security را با مختوای زیر تغییر می‌دهیم برای این منظور شما لازم است این فایل را از آدرس انتخاب نمایید و آن را به صورت زیر ویرایش نمایید:
|
1 2 3 4 5 6 7 8 9 10 |
HostnameLookups On SecRule REMOTE_HOST "@endsWith .googlebot.com" "allow,log,id:5000001,msg:'googlebot'" SecRule REMOTE_HOST "@endsWith .google.com" "allow,log,id:5000002,msg:'googlebot'" SecRule REMOTE_HOST "@endsWith .search.msn.com" "allow,log,id:5000003,msg:'msn bot'" SecRule REMOTE_HOST "@endsWith .crawl.yahoo.net" "allow,log,id:5000004,msg:'yahoo bot'" SecRule REMOTE_HOST "@endsWith .yandex.ru" "allow,log,id:5000005,msg:'yandex bot'" SecRule REMOTE_HOST "@endsWith .yandex.net" "allow,log,id:5000006,msg:'yandex bot'" SecRule REMOTE_HOST "@endsWith .yandex.com" "allow,log,id:5000007,msg:'yandex bot'" SecRule REMOTE_HOST "@endsWith .crawl.baidu.com" "allow,log,id:5000008,msg:'baidu bot'" SecRule REMOTE_HOST "@endsWith .crawl.baidu.jp" "allow,log,id:5000009,msg:'baidu bot'" |
زمانی که محتوای بالا را اضافه نمودید لازم است که Apache Web server خود را بار دیگر راه‌اندازی نمایید. بعد از گذشت مدت زمانی مشاهد خواهید کرد که دوباره این ربات‌ا برای بررسی سایت شما وارد سایت شما خواهند شد. برای مشاهده ورود نیز کافیست به آدرس زیر بروید و log ها را مشاهده نمایید.
WHM->Security Center->ModSecurity™ Tools->Hits List
یا دستور زیر را در کامند لاین اجرا نمایید.
|
1 |
root@web [/]# grep "500000" /usr/local/apache/logs/error_log | tail -30</code> <img class="aligncenter size-full wp-image-76367" src="https://www.zagrio.com/kb/wp-content/uploads/2020/10/cpanel-mod-security.png" alt="cpanel-mod-security" width="983" height="579"> |
بدون دیدگاه