Gungho

YAPCに触発されて新しいクローラーフレームワークに着手。まだまだ出来てない部分はあるけど、一応もう動くよ。

http://gungho-crawler.googlecode.com/svn/trunk

あとついでにPlaggerのAggregatorも書いた。Xangoではメモリではなくファイルにデータを書き出すとか、最適化をはかったけど、今回のはとにかく作り込みやすさのほうを念頭に。だから多分今のXangoより遅い＋メモリは食うとは思うけど、こちらのほうがなんか明らかにコードがキレイだ。

  package Plagger::Plugin::Aggregator::Gungho::Handler;

  use strict;

  use base qw(Gungho::Handler::Null);


  __PACKAGE__->mk_accessors($_) for qw(gungho_plugin);

  sub handle_response

  {

    my $self = shift;

    my $c    = shift;

    my $res  = shift;

    $self->next::method($c, $res);

    $self->gungho_plugin->handle_feed($res->request->uri, $res->content_ref);

  }

  package Plagger::Plugin::Aggregator::Gungho;

  use strict;

  use base qw(Plagger::Plugin::Aggregator::Simple);

  use Gungho;

  use Gungho::Request;

  __PACKAGE__->mk_accessors($_) for qw(requests);

  sub register    

  {       

    my ($self, $context) = @_;

    $context->register_hook(

      $self,

      'customfeed.handle'   => \&accumulate,

      'aggregator.finalize' => \&aggregate,

    ); 

    $self->requests([]);

  }   

  sub accumulate

  {   

    my($self, $context, $args) = @_;

    my $url = $args->{feed}->url;

    return unless $url =~ m!^https?://!i;

    $context->log(info => "Fetch $url");

    push @{ $self->requests }, Gungho::Request->new(GET => $url);

  }

  sub aggregate

  {

    my ($self, $context) = @_;

    my $g = Gungho->new({

      provider => {

        module => 'Simple'

      },

      handler  => {

        module => '+Plagger::Plugin::Aggregator::Gungho::Handler'

      }

    });

    $g->provider()->requests( $self->requests );

    $g->provider()->has_requests( 1 );

    $self->requests([]);

    $g->handler()->gungho_plugin( $self );

    $g->run;

  }

  1;