MAKIZOU.COM

グーグルを超える中国の検索サービス「百度」、その強さの秘密とは（CNETより）

2007年中の日本進出を明らかにし、注目を集めている中国の検索サービス事業者の百度（バイドゥ）。中国ではグーグルを超える利用率を誇っているが、その強さの秘密はどこにあるのか、会長兼CEOのRobin Li氏が語った。

いくつかの中国製クローラーはお行儀が悪いです。
以前、「.htaccessでアクセス制限（User-Agent編）」って記事で、アグレッシブなアクセスをする「百度」のクローラーをアクセス制限をする記事を書きました。これ以降しばらくお行儀の悪いクローラーがしばらく来なかったのですが本日、中国より新たにアグレッシブなアクセスをする”hl_ftien_spider_v1.1″いうユーザーエージェントがいらっしゃいました。

おかげさまで、ブラウザでのアクセス不能に陥ったので、いったんApacheを停止させて新たなアクセス制限の追加作業を行いました。

今回は、個別に設定するのは面倒ですのでブロック単位で「221.238.0.0/16」を制限しました。もしかしたら、中国からの友好的な方のアクセスも制限してしまうかもしれませんが…

現在「.htaccess」でのアクセス制限設定値

SetEnvIf User-Agent "Baiduspider" AGENT no_log
SetEnvIf User-Agent "NaverBot" AGENT no_log
SetEnvIf User-Agent "psbot" AGENT no_log
SetEnvIf User-Agent "iaskspider" AGENT no_log
SetEnvIf User-Agent "Accoona-AI-Agent" AGENT no_log
SetEnvIf User-Agent "Shim-Crawler" AGENT no_log
order allow,deny
allow from all
deny from env=AGENT
deny from 58.61.164.139
deny from 58.61.164.140
deny from 58.61.164.141
deny from 58.61.164.142
deny from 209.160.64.236
deny from 221.238.0.0/16