Nginxでは、特定のユーザエージェント（通常はクローラです）を次のようにブロックすることができます:

/etc/nginx/sites-enabled/default 

server {
  listen          80;
  server__name     mysite.com;
  root           /etc/tomcat7/webapps/mysite;

  if ($http__user__agent ~**  (ahrefs|wget|crawler|majestic) ) {
    return 403;
  }

  location/{
        <!-- xxx -->
  }
}

上記の例では、このパターンの1つを含む “user agent”に対して:

`ahrefs | wget | crawler | majestic`では、HTTP 403が返されます。


nginx


ユーザーエージェント