ウェブのリクエストがGoogleのクローラまたはGoogleのボットから来た場合、リクエストされた「ユーザーエージェント」は次のようになります。
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) or (rarely used): Googlebot/2.1 (+http://www.google.com/bot.html)
出典:https://support.google.com/webmasters/answer/1061943[Googleクローラー]
1. Javaの例
Javaでは、 `HttpServletRequest`から「ユーザエージェント」を取得できます。
例:abcdefg.comでホストされているサービス
@Autowired private HttpServletRequest request; //... String userAgent = request.getHeader("user-agent"); System.out.println("User Agent : " + userAgent); if(!StringUtils.isEmpty(userAgent)){ if(userAgent.toLowerCase().contains("googlebot")){ System.out.println("This is Google bot"); }else{ System.out.println("Not from Google"); } }
2.偽のユーザエージェント
偽の/偽のユーザーエージェント要求を作成するのは簡単です。例えば :
例:abcdefg.comに偽のユーザーエージェントリクエストを送信する
package com.mkyong.web; import org.apache.http.HttpResponse; import org.apache.http.client.HttpClient; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.HttpClientBuilder; public class test { public static void main(String[]args) throws Exception { HttpClient client = HttpClientBuilder.create().build(); HttpGet request = new HttpGet("abcdefg.com"); request.setHeader("user-agent", "fake googlebot"); HttpResponse response = client.execute(request); } }
abcdefg.comで出力します。
User Agent : fake googlebot This is Google bot
3. Googlebotの確認
実際のGooglebotを確認するには、次のように手動で「逆DNS検索」を使用します。
> host 66.249.66.1 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com. > host crawl-66-249-66-1.googlebot.com crawl-66-249-66-1.googlebot.com has address 66.249.66.1
ソース:https://support.google.com/webmasters/answer/80553[Googlebotの確認]
4. Googlebotの確認 – Javaの例
上記の理論に基づいて、 “逆DNSルックアップ”の第1部分をシミュレートすることができます。要求されたIPポイントがどこにあるかを判断するには `host`コマンドを使います。
リクエストがGooglebotからのものである場合、次のパターンが表示されます。
xx ** .googlebot.com.
。
__P.S `host`コマンドは、** nixシステムのみで利用可能です。
例:偽のユーザエージェントを検出する
@Autowired private HttpServletRequest request; //... String requestIp = getRequestIp(); String userAgent = request.getHeader("user-agent"); System.out.println("User Agent : " + userAgent); if(!StringUtils.isEmpty(userAgent)){ if(userAgent.toLowerCase().contains("googlebot")){ //check fake user agent String output = executeCommand("host " + requestIp); System.out.println("Output : " + output); if(output.toLowerCase().contains("googlebot.com")){ System.out.println("This is Google bot"); }else{ System.out.println("This is fake user agent"); } }else{ System.out.println("Not from Google"); } } //get requested IP private String getRequestIp() { String ipAddress = request.getHeader("X-FORWARDED-FOR"); if (ipAddress == null) { ipAddress = request.getRemoteAddr(); } return ipAddress; } //execute external command private String executeCommand(String command) { StringBuffer output = new StringBuffer(); Process p; try { p = Runtime.getRuntime().exec(command); p.waitFor(); BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream())); String line = ""; while ((line = reader.readLine())!= null) { output.append(line + "\n"); } } catch (Exception e) { e.printStackTrace(); } return output.toString(); }
「ステップ2」の偽のユーザーエージェントの例をもう一度試してみてください。さて、あなたはこの出力を得る:
Output : Host 142.1.168.192.in-addr.arpa. not found: 3(NXDOMAIN)//this output may vary. User Agent : fake googlebot This is fake user agent
-
注意** この簡単な解決策は、偽装/偽装ユーザーエージェントを100%停止することはできませんが、この余分なセキュリティレイヤーは基本的なユーザーエージェントのなりすまし攻撃の大半を止めることができます。
あなたがより良い解決策を持っているなら、以下を共有してください、ありがとう。
参考文献
Googlebot]。
https://support.google.com/webmasters/answer/1061943
[Google
クローラー/a>]。リンク://java/how-to-execute-shell-command-from-java/[シェルを実行する
Javaからのコマンド]
リンク://タグ/googlebot/[googlebot]リンク://タグ/ユーザーエージェント/[ユーザーエージェント]