WWW-RobotRules-Parser

ちょっと使えると思ったのでとりあえず書いておいた。WWW::RobotRulesは先にUser-Agentを決めてから実行して、そのAgentにマッチするルール以外は全て捨ててしまうが、これはパースした結果をそのまま返すだけだから後で好きなように使える。

use WWW::RobotRules::Parser;

my $p = WWW::RobotRules::Parser->new;

my %r = $p->parse_uri('http://hoge/robots.txt’);

そのうちコレを使うモジュール書く。