MAKIZOU.COM

WEB系SEのホームページ作成&サーバ構築運用メモ

アクセス制限更新 − YodaoBot、ICC-Crawler

Webサイトやブログを長く運営していると、多くのアクセスに困るぐらい見てもらう事が夢になるのですが、ただ単にデータ収集の為に、アグレッシブなアクセスで安定運営を脅かす輩がいます。
効力のある抗議をする事も出来ないので、専守防衛。

で、またアクセス制限をするお仲間としばらく来ていない輩の整理をいたしました。

現在「.htaccess」でのアクセス制限設定値

SetEnvIf User-Agent “Baiduspider” AGENT no_log
SetEnvIf User-Agent “NaverBot” AGENT no_log
SetEnvIf User-Agent “psbot” AGENT no_log
SetEnvIf User-Agent “iaskspider” AGENT no_log
SetEnvIf User-Agent “Accoona-AI-Agent” AGENT no_log
SetEnvIf User-Agent “Shim-Crawler” AGENT no_log
SetEnvIf User-Agent “QihooBot” AGENT no_log
SetEnvIf User-Agent “Twiceler” AGENT no_log
SetEnvIf User-Agent “ICC-Crawler” AGENT no_log
SetEnvIf User-Agent “YodaoBot” AGENT no_log
order allow,deny
allow from all
deny from env=AGENT
deny from 220.181.34.
deny from 124.115.0.

YodaoBot
絨毯爆撃型クローラーです。

どうやら、中国語の検索エンジンの様です。
Baiduspider同様かなりアグレッシブなアクセスで、お国柄の所為なのでしょうか自己主張が強いようですね。

ICC-Crawler
ICC-Crawlerという見慣れないクローラーが目についたので調べてみた。

Information Credibility Criteria Project
http://kc.nict.go.jp/icc/index-ja.html

「情報コンテンツの信頼評価 基盤技術の研究開発」を目的としているそうだ。
独立行政法人 情報通信研究機構(NICT)の活動の一環らしい。

目的は分ったが、詳細を読んでも賛同出来なかった。
今現在あるポータルサイトや検索エンジンがやっている事と何が違うのか理解が出来なかった。

独立行政法人と言うと、「天下り先」「税金の無駄遣い」というイメージが定着しているのは、おいらだけでしょうか…
(;^^)

不連続シリーズ: アクセス制限

  • カテゴリ:Web開発
  • 公開日:
  • 1つ星2つ星3つ星4つ星5つ星
    Loading ... Loading ...
    ↑ 記事評価をお願いします。

コメント&トラックバック

トラックバック用URL

コメント




使用できるXHTMLタグ <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <code> <em> <i> <strike> <strong>