lib/stemmaweb/Controller/Stemweb.pm

   1 package stemmaweb::Controller::Stemweb;
   2 use Moose;
   3 use namespace::autoclean;
   4 use Encode qw/ decode_utf8 /;
   5 use JSON;
   6 use LWP::UserAgent;
   7 use Safe::Isa;
   8 use TryCatch;
   9 use URI;
  10
  11 BEGIN { extends 'Catalyst::Controller' }
  12
  13 ## TODO Move the /algorithms/available function to the Stemweb module
  14 my $STEMWEB_BASE_URL = 'http://slinkola.users.cs.helsinki.fi';
  15
  16 =head1 NAME
  17
  18 stemmaweb::Controller::Stemweb - Client listener for Stemweb results
  19
  20 =head1 DESCRIPTION
  21
  22 This is a client listener for the Stemweb API as implemented by the protocol defined at
  23 L<https://docs.google.com/document/d/1aNYGAo1v1WPDZi6LXZ30FJSMJwF8RQPYbOkKqHdCZEc/pub>.
  24
  25 =head1 METHODS
  26
  27 =head2 result
  28
  29  POST stemweb/result
  30  Content-Type: application/json
  31  (On success):
  32  { jobid: <ID number>
  33    status: 0
  34    format: <format>
  35    result: <data> }
  36  (On failure):
  37  { jobid: <ID number>
  38    status: >1
  39    result: <error message> }
  40
  41 Used by the Stemweb server to notify us that one or more stemma graphs
  42 has been calculated in response to an earlier request.
  43
  44 =cut
  45
  46 sub result :Local :Args(0) {
  47         my( $self, $c ) = @_;
  48         if( $c->request->method eq 'POST' ) {
  49                 # TODO: Verify the sender!
  50                 my $answer;
  51                 if( ref( $c->request->body ) eq 'File::Temp' ) {
  52                         # Read in the file and parse that.
  53                         $c->log->debug( "Request body is in a temp file" );
  54                         open( POSTDATA, $c->request->body )
  55                                 or return _json_error( $c, 500, "Failed to open post data file" );
  56                         binmode( POSTDATA, ':utf8' );
  57                         # JSON should be all one line
  58                         my $pdata = <POSTDATA>;
  59                         chomp $pdata;
  60                         close POSTDATA;
  61                         try {
  62                                 $answer = from_json( $pdata );
  63                         } catch {
  64                                 return _json_error( $c, 400,
  65                                         "Could not parse POST request '' $pdata '' as JSON: $@" );
  66                         }
  67                 } else {
  68                         $answer = from_json( $c->request->body );
  69                 }
  70                 $c->log->debug( "Received push notification from Stemweb: "
  71                         . to_json( $answer ) );
  72                 return _process_stemweb_result( $c, $answer );
  73         } else {
  74                 return _json_error( $c, 403, 'Please use POST!' );
  75         }
  76 }
  77
  78 =head2 available
  79
  80  GET algorithms/available
  81
  82 Queries the Stemweb server for available stemma generation algorithms and their
  83 parameters. Returns the JSON answer as obtained from Stemweb.
  84
  85 =cut
  86
  87 sub available :Local :Args(0) {
  88         my( $self, $c ) = @_;
  89         my $ua = LWP::UserAgent->new();
  90         my $resp = $ua->get( $STEMWEB_BASE_URL . '/algorithms/available' );
  91         if( $resp->is_success ) {
  92                 $c->stash->{'result'} = decode_json( $resp->content );
  93         } else {
  94                 $c->stash->{'result'} = {};
  95         }
  96         $c->forward('View::JSON');
  97 }
  98
  99 =head2 query
 100
 101  GET stemweb/query/<jobid>
 102
 103 A backup method to query the stemweb server to check a particular job status.
 104 Returns a result as in /stemweb/result above, but status can also be -1 to
 105 indicate that the job is still running.
 106
 107 =cut
 108
 109 sub query :Local :Args(1) {
 110         my( $self, $c, $jobid ) = @_;
 111         my $ua = LWP::UserAgent->new();
 112         my $resp = $ua->get( $STEMWEB_BASE_URL . "/algorithms/jobstatus/$jobid" );
 113         if( $resp->is_success ) {
 114                 # Process it
 115                 my $response = decode_utf8( $resp->content );
 116                 $c->log->debug( "Got a response from the server: $response" );
 117                 my $answer;
 118                 try {
 119                         $answer = from_json( $response );
 120                 } catch {
 121                         return _json_error( $c, 500,
 122                                 "Could not parse stemweb response '' $response '' as JSON: $@" );
 123                 }
 124                 return _process_stemweb_result( $c, $answer );
 125         } elsif( $resp->code == 500 && $resp->header('Client-Warning')
 126                 && $resp->header('Client-Warning') eq 'Internal response' ) {
 127                 # The server was unavailable.
 128                 return _json_error( $c, 503, "The Stemweb server is currently unreachable." );
 129         } else {
 130                 return _json_error( $c, 500, "Stemweb error: " . $resp->code . " / "
 131                         . $resp->content );
 132         }
 133 }
 134
 135
 136 ## Helper function for parsing Stemweb result data either by push or by pull
 137 sub _process_stemweb_result {
 138         my( $c, $answer ) = @_;
 139         # Find the specified tradition and check its job ID.
 140         my $m = $c->model('Directory');
 141         my $tradition = $m->tradition( $answer->{textid} );
 142         unless( $tradition ) {
 143                 return _json_error( $c, 400, "No tradition found with ID "
 144                         . $answer->{textid} );
 145         }
 146         if( $answer->{status} == 0 ) {
 147                 my $stemmata;
 148                 if( $tradition->has_stemweb_jobid
 149                         && $tradition->stemweb_jobid eq $answer->{jobid} ) {
 150                         try {
 151                                 $stemmata = $tradition->record_stemweb_result( $answer );
 152                                 $m->save( $tradition );
 153                         } catch( Text::Tradition::Error $e ) {
 154                                 return _json_error( $c, 500, $e->message );
 155                         } catch {
 156                                 return _json_error( $c, 500, $@ );
 157                         }
 158                 } else {
 159                         # It may be that we already received a callback meanwhile.
 160                         # Check all stemmata for the given jobid and return them.
 161                         @$stemmata = grep { $_->came_from_jobid && $_->from_jobid eq $answer->{jobid} } $tradition->stemmata;
 162                 }
 163                 if( @$stemmata ) {
 164                         # If we got here, success!
 165                         my @steminfo = map { {
 166                                         name => $_->identifier,
 167                                         directed => _json_bool( !$_->is_undirected ),
 168                                         svg => $_->as_svg() } }
 169                                 @$stemmata;
 170                         $c->stash->{'result'} = {
 171                                 'status' => 'success',
 172                                 'stemmata' => \@steminfo };
 173                 } else {
 174                         # Hm, no stemmata found on this tradition with this jobid.
 175                         # Clear the tradition jobid so that the user can try again.
 176                         if( $tradition->has_stemweb_jobid ) {
 177                                 $tradition->_clear_stemweb_jobid;
 178                                 $m->save( $tradition );
 179                         }
 180                         $c->stash->{'result'} = { status => 'notfound' };
 181                 }
 182         } elsif( $answer->{status} < 1 ) {
 183                 $c->stash->{'result'} = { 'status' => 'running' };
 184         } else {
 185                 return _json_error( $c, 500,
 186                         "Stemweb failure not handled: " . $answer->{result} );
 187         }
 188         $c->forward('View::JSON');
 189 }
 190
 191 =head2 request
 192
 193  GET stemweb/request/?
 194         tradition=<tradition ID> &
 195         algorithm=<algorithm ID> &
 196         [<algorithm parameters>]
 197
 198 Send a request for the given tradition with the given parameters to Stemweb.
 199 Processes and returns the JSON response given by the Stemweb server.
 200
 201 =cut
 202
 203 sub request :Local :Args(0) {
 204         my( $self, $c ) = @_;
 205         # Look up the relevant tradition and check permissions.
 206         my $reqparams = $c->req->params;
 207         my $tid = delete $reqparams->{tradition};
 208         my $t = $c->model('Directory')->tradition( $tid );
 209         my $ok = _check_permission( $c, $t );
 210         return unless $ok;
 211         return( _json_error( $c, 403,
 212                         'You do not have permission to update stemmata for this tradition' ) )
 213                 unless $ok eq 'full';
 214
 215         # Form the request for Stemweb.
 216         my $algorithm = delete $reqparams->{algorithm};
 217         my $return_uri = URI->new( $c->uri_for( '/stemweb/result' ) );
 218         my $stemweb_request = {
 219                 return_path => $return_uri->path,
 220                 return_host => $return_uri->host_port,
 221                 data => $t->collation->as_tsv({noac => 1}),
 222                 userid => $c->user->get_object->email,
 223                 textid => $tid,
 224                 parameters => $reqparams };
 225
 226         # Call to the appropriate URL with the request parameters.
 227         my $ua = LWP::UserAgent->new();
 228         $c->log->debug( 'Sending request to Stemweb: ' . to_json( $stemweb_request ) );
 229         my $resp = $ua->post( $STEMWEB_BASE_URL . "/algorithms/process/$algorithm/",
 230                 'Content-Type' => 'application/json; charset=utf-8',
 231                 'Content' => encode_json( $stemweb_request ) );
 232         if( $resp->is_success ) {
 233                 # Process it
 234                 $c->log->debug( 'Got a response from the server: '
 235                         . decode_utf8( $resp->content ) );
 236                 my $stemweb_response = decode_json( $resp->content );
 237                 try {
 238                         $t->set_stemweb_jobid( $stemweb_response->{jobid} );
 239                 } catch( Text::Tradition::Error $e ) {
 240                         return _json_error( $c, 429, $e->message );
 241                 }
 242                 $c->model('Directory')->save( $t );
 243                 $c->stash->{'result'} = $stemweb_response;
 244                 $c->forward('View::JSON');
 245         } elsif( $resp->code == 500 && $resp->header('Client-Warning')
 246                 && $resp->header('Client-Warning') eq 'Internal response' ) {
 247                 # The server was unavailable.
 248                 return _json_error( $c, 503, "The Stemweb server is currently unreachable." );
 249         } else {
 250                 return _json_error( $c, 500, "Stemweb error: " . $resp->code . " / "
 251                         . $resp->content );
 252         }
 253 }
 254
 255 # Helper to check what permission, if any, the active user has for
 256 # the given tradition
 257 sub _check_permission {
 258         my( $c, $tradition ) = @_;
 259     my $user = $c->user_exists ? $c->user->get_object : undef;
 260     if( $user ) {
 261         return 'full' if ( $user->is_admin ||
 262                 ( $tradition->has_user && $tradition->user->id eq $user->id ) );
 263     }
 264         # Text doesn't belong to us, so maybe it's public?
 265         return 'readonly' if $tradition->public;
 266
 267         # ...nope. Forbidden!
 268         return _json_error( $c, 403, 'You do not have permission to view this tradition.' );
 269 }
 270
 271 # Helper to throw a JSON exception
 272 sub _json_error {
 273         my( $c, $code, $errmsg ) = @_;
 274         $c->response->status( $code );
 275         $c->stash->{'result'} = { 'error' => $errmsg };
 276         $c->forward('View::JSON');
 277         return 0;
 278 }
 279
 280 sub _json_bool {
 281         return $_[0] ? JSON::true : JSON::false;
 282 }
 283
 284
 285 1;