アクセスログに出力されているbot系ユーザーエージェントのまとめ その２
以前に確認したもの以外にもまだまだ沢山ありました。
前回の記事はこちらになります。
目次
- AdsBot-Google
- Google-Site-Verification/1.0
- SMTBot/1.0
- crawler/1.0
- masscan/1.0
- Project 25499
- evc-batch/2.0
- MixrankBot
- nutch-1.4/Nutch-1.4
- Yahoo! Slurp
- CommonCrawler Node
- ZmEu
- 最後に
AdsBot-Google
ページの品質確認。
Google-Site-Verification/1.0
そのサイトが特定の個人のものかどうかチェック。直前にサーチコンソールで新しくサイトの登録を行ったので多分その時のアクセス。
SMTBot/1.0
SimilarTech用。サイトを確認する限りでは使用されている技術（Webサーバや広告、アナリティクス、JSプラグインなどの種類）の収集っぽい。
crawler/1.0
不明
masscan/1.0
Project 25499
研究目的とあるが詳細は不明。
evc-batch/2.0
不明。
MixrankBot
不明。
nutch-1.4/Nutch-1.4
Apache Nutch。オープンソースのWebクローラフレームワーク。
Yahoo! Slurp
Yahoo!の検索システムYSTで使われていたクローラー。
CommonCrawler Node
不明。
ZmEu
phpMyAdminの脆弱性スキャンツール。
最後に
ちゃんとした目的のあるクローラーもあれば、それ以上に何をしに来てるんだか不明で、サーバ負荷の観点から拒否したいアクセスが沢山あります。