====== Cara Memblokir Web Bot di AAPanel ======
Kadang web bot atau spider atau crawler mesin pencari ini sangat mengganggu dan bisa mengakibatkan website down disebabkan trafficnya yang besar, maka terpaksa solusinya adalah memblokir bot yang tidak diperlukan
====== Apache ======
Jika anda menggunakan aapanel dengan apache maka anda bisa menggunakan URL Rewrite seperti ini
{{:control-panel-hosting:aapanel:artikel:aapanel-url-rewrite-apache.png|}}
RewriteCond %{HTTP_USER_AGENT} ^.*(semrush|MJ12bot|amazonbot|SCspider|Textbot|s2bot|seznambot-crawler|petalbot|AhrefsBot|Bytespider|Barkrowler|ClaudeBot|linkfluence|BacklinksExtendedBot).*$ [NC]
RewriteRule .* - [F,L]
kemudian block query string
#block querystring
RewriteCond %{QUERY_STRING} feeds|feed|rss [NC]
RewriteRule ^ - [F]
====== Nginx ======
Jika anda menggunakan webserver nginx
if ($http_user_agent ~ (semrush|opensiteexplorer|ahrefs|seekport|mj12bot)) {
return 403;
}