Kadang web bot atau spider atau crawler mesin pencari ini sangat mengganggu dan bisa mengakibatkan website down disebabkan trafficnya yang besar, maka terpaksa solusinya adalah memblokir bot yang tidak diperlukan

Jika anda menggunakan aapanel dengan apache maka anda bisa menggunakan URL Rewrite seperti ini

RewriteCond %{HTTP_USER_AGENT} ^.*(semrush|MJ12bot|amazonbot|SCspider|Textbot|s2bot|seznambot-crawler|petalbot|AhrefsBot|Bytespider|Barkrowler|ClaudeBot|linkfluence|BacklinksExtendedBot).*$ [NC]
RewriteRule .* - [F,L]

Jika anda menggunakan webserver nginx

if ($http_user_agent ~ (semrush|opensiteexplorer|ahrefs|seekport|mj12bot)) {
return 403;
}