Nginx:ユーザエージェントをブロックする
Nginxでは、特定のユーザエージェント(通常はクローラです)を次のようにブロックすることができます:
/etc/nginx/sites-enabled/default
server { listen 80; server__name mysite.com; root /etc/tomcat7/webapps/mysite; if ($http__user__agent ~** (ahrefs|wget|crawler|majestic) ) { return 403; } location/{ <!-- xxx --> } }
上記の例では、このパターンの1つを含む “user agent”に対して:
`ahrefs | wget | crawler | majestic`では、HTTP 403が返されます。