コードの中身はちょっと微妙～なんだけど、そうそう。こういう事のためにWWW::RobotRules::Parserを書いた訳ですよ。
http://search.cpan.org/~apatwa/WWW-RobotRules-MySQLCache-0.02/lib/WWW/RobotRules/MySQLCache.pm
WWW::RobotRules::MySQLCache
Author
Daisuke Maki (a.k.a lestrrat): Perl hacker, Director of Japan Perl Association, YAPC::Asia Tokyo Organizer (2009-2012), Fluent in Japanese, English. Ex-Brazilian (sorta)
#perl #c #ruby #java #mysql #english #japanese #opensource #stf #cooking #scotch #cigar
翔泳社よりモダンPerl入門(2010)を出版させていただいております。できれば内容をアップデートしたいので是非皆様・・・現在の在庫処理にお力をお貸しください！＞＜