lib/Catalyst/Engine/HTTP.pm

   1 package Catalyst::Engine::HTTP;
   2
   3 use Moose;
   4 extends 'Catalyst::Engine::CGI';
   5
   6 use Data::Dump qw(dump);
   7 use Errno 'EWOULDBLOCK';
   8 use HTTP::Date ();
   9 use HTTP::Headers;
  10 use HTTP::Status;
  11 use Socket;
  12 use IO::Socket::INET ();
  13 use IO::Select       ();
  14
  15 # For PAR
  16 require Catalyst::Engine::HTTP::Restarter;
  17 require Catalyst::Engine::HTTP::Restarter::Watcher;
  18
  19 use constant CHUNKSIZE => 64 * 1024;
  20 use constant DEBUG     => $ENV{CATALYST_HTTP_DEBUG} || 0;
  21
  22 use namespace::clean -except => 'meta';
  23
  24 has options => ( is => 'rw' );
  25 has _keepalive => ( is => 'rw', predicate => '_is_keepalive', clearer => '_clear_keepalive' );
  26 has _write_error => ( is => 'rw', predicate => '_has_write_error' );
  27
  28 # Refactoring note - could/should Eliminate all instances of $self->{inputbuf},
  29 # which I haven't touched as it is used as an lvalue in a lot of places, and I guess
  30 # doing it differently could be expensive.. Feel free to refactor and NYTProf :)
  31
  32 =head1 NAME
  33
  34 Catalyst::Engine::HTTP - Catalyst HTTP Engine
  35
  36 =head1 SYNOPSIS
  37
  38 A script using the Catalyst::Engine::HTTP module might look like:
  39
  40     #!/usr/bin/perl -w
  41
  42     BEGIN {  $ENV{CATALYST_ENGINE} = 'HTTP' }
  43
  44     use strict;
  45     use lib '/path/to/MyApp/lib';
  46     use MyApp;
  47
  48     MyApp->run;
  49
  50 =head1 DESCRIPTION
  51
  52 This is the Catalyst engine specialized for development and testing.
  53
  54 =head1 METHODS
  55
  56 =head2 $self->finalize_headers($c)
  57
  58 =cut
  59
  60 sub finalize_headers {
  61     my ( $self, $c ) = @_;
  62     my $protocol = $c->request->protocol;
  63     my $status   = $c->response->status;
  64     my $message  = status_message($status);
  65     my $res_headers = $c->response->headers;
  66
  67     my @headers;
  68     push @headers, "$protocol $status $message";
  69
  70     $res_headers->header( Date => HTTP::Date::time2str(time) );
  71     $res_headers->header( Status => $status );
  72
  73     # Should we keep the connection open?
  74     my $connection = $c->request->header('Connection');
  75     if (   $self->options->{keepalive}
  76         && $connection
  77         && $connection =~ /^keep-alive$/i
  78     ) {
  79         $res_headers->header( Connection => 'keep-alive' );
  80         $self->_keepalive(1);
  81     }
  82     else {
  83         $res_headers->header( Connection => 'close' );
  84     }
  85
  86     push @headers, $res_headers->as_string("\x0D\x0A");
  87
  88     # Buffer the headers so they are sent with the first write() call
  89     # This reduces the number of TCP packets we are sending
  90     $self->_header_buf( join("\x0D\x0A", @headers, '') );
  91 }
  92
  93 =head2 $self->finalize_read($c)
  94
  95 =cut
  96
  97 before finalize_read => sub {
  98     # Never ever remove this, it would result in random length output
  99     # streams if STDIN eq STDOUT (like in the HTTP engine)
 100     *STDIN->blocking(1);
 101 };
 102
 103 =head2 $self->prepare_read($c)
 104
 105 =cut
 106
 107 before prepare_read => sub {
 108     # Set the input handle to non-blocking
 109     *STDIN->blocking(0);
 110 };
 111
 112 =head2 $self->read_chunk($c, $buffer, $length)
 113
 114 =cut
 115
 116 sub read_chunk {
 117     my $self = shift;
 118     my $c    = shift;
 119
 120     # If we have any remaining data in the input buffer, send it back first
 121     if ( $_[0] = delete $self->{inputbuf} ) {
 122         my $read = length( $_[0] );
 123         DEBUG && warn "read_chunk: Read $read bytes from previous input buffer\n";
 124         return $read;
 125     }
 126
 127     # support for non-blocking IO
 128     my $rin = '';
 129     vec( $rin, *STDIN->fileno, 1 ) = 1;
 130
 131   READ:
 132     {
 133         select( $rin, undef, undef, undef );
 134         my $rc = *STDIN->sysread(@_);
 135         if ( defined $rc ) {
 136             DEBUG && warn "read_chunk: Read $rc bytes from socket\n";
 137             return $rc;
 138         }
 139         else {
 140             next READ if $! == EWOULDBLOCK;
 141             return;
 142         }
 143     }
 144 }
 145
 146 =head2 $self->write($c, $buffer)
 147
 148 Writes the buffer to the client.
 149
 150 =cut
 151
 152 around write => sub {
 153     my $orig = shift;
 154     my ( $self, $c, $buffer ) = @_;
 155
 156     # Avoid 'print() on closed filehandle Remote' warnings when using IE
 157     return unless *STDOUT->opened();
 158
 159     # Prepend the headers if they have not yet been sent
 160     if ( $self->_has_header_buf ) {
 161         $self->_warn_on_write_error(
 162             $self->$orig($c, $self->_clear_header_buf)
 163         );
 164     }
 165
 166     $self->_warn_on_write_error($self->$orig($c, $buffer));
 167 };
 168
 169 sub _warn_on_write_error {
 170     my ($self, $ret) = @_;
 171     if ( !defined $ret ) {
 172         $self->_write_error($!);
 173         DEBUG && warn "write: Failed to write response ($!)\n";
 174     }
 175     else {
 176         DEBUG && warn "write: Wrote response ($ret bytes)\n";
 177     }
 178     return $ret;
 179 }
 180
 181 =head2 run
 182
 183 =cut
 184
 185 # A very very simple HTTP server that initializes a CGI environment
 186 sub run {
 187     my ( $self, $class, $port, $host, $options ) = @_;
 188
 189     $options ||= {};
 190
 191     $self->options($options);
 192
 193     if ($options->{background}) {
 194         my $child = fork;
 195         die "Can't fork: $!" unless defined($child);
 196         return $child if $child;
 197     }
 198
 199     my $restart = 0;
 200     local $SIG{CHLD} = 'IGNORE';
 201
 202     my $allowed = $options->{allowed} || { '127.0.0.1' => '255.255.255.255' };
 203     my $addr = $host ? inet_aton($host) : INADDR_ANY;
 204     if ( $addr eq INADDR_ANY ) {
 205         require Sys::Hostname;
 206         $host = lc Sys::Hostname::hostname();
 207     }
 208     else {
 209         $host = gethostbyaddr( $addr, AF_INET ) || inet_ntoa($addr);
 210     }
 211
 212     # Handle requests
 213
 214     # Setup socket
 215     my $daemon = IO::Socket::INET->new(
 216         Listen    => SOMAXCONN,
 217         LocalAddr => inet_ntoa($addr),
 218         LocalPort => $port,
 219         Proto     => 'tcp',
 220         ReuseAddr => 1,
 221         Type      => SOCK_STREAM,
 222       )
 223       or die "Couldn't create daemon: $@";
 224
 225     $port = $daemon->sockport();
 226
 227     my $url = "http://$host";
 228     $url .= ":$port" unless $port == 80;
 229
 230     print "You can connect to your server at $url\n";
 231
 232     if ($options->{background}) {
 233         open STDIN,  "+</dev/null" or die $!;
 234         open STDOUT, ">&STDIN"     or die $!;
 235         open STDERR, ">&STDIN"     or die $!;
 236         if ( $^O !~ /MSWin32/ ) {
 237              require POSIX;
 238              POSIX::setsid()
 239                  or die "Can't start a new session: $!";
 240         }
 241     }
 242
 243     if (my $pidfile = $options->{pidfile}) {
 244         if (! open PIDFILE, "> $pidfile") {
 245             warn("Cannot open: $pidfile: $!");
 246         }
 247         print PIDFILE "$$\n";
 248         close PIDFILE;
 249     }
 250
 251     my $pid = undef;
 252
 253     # Ignore broken pipes as an HTTP server should
 254     local $SIG{PIPE} = 'IGNORE';
 255
 256     # Restart on HUP
 257     local $SIG{HUP} = sub {
 258         $restart = 1;
 259         warn "Restarting server on SIGHUP...\n";
 260     };
 261
 262     LISTEN:
 263     while ( !$restart ) {
 264         while ( accept( Remote, $daemon ) ) {
 265             DEBUG && warn "New connection\n";
 266
 267             select Remote;
 268
 269             Remote->blocking(1);
 270
 271             # Read until we see all headers
 272             $self->{inputbuf} = '';
 273
 274             if ( !$self->_read_headers ) {
 275                 # Error reading, give up
 276                 close Remote;
 277                 next LISTEN;
 278             }
 279
 280             my ( $method, $uri, $protocol ) = $self->_parse_request_line;
 281
 282             DEBUG && warn "Parsed request: $method $uri $protocol\n";
 283             next unless $method;
 284
 285             unless ( uc($method) eq 'RESTART' ) {
 286
 287                 # Fork
 288                 if ( $options->{fork} ) {
 289                     if ( $pid = fork ) {
 290                         DEBUG && warn "Forked child $pid\n";
 291                         next;
 292                     }
 293                 }
 294
 295                 $self->_handler( $class, $port, $method, $uri, $protocol );
 296
 297                 if ( $self->_has_write_error ) {
 298                     close Remote;
 299
 300                     if ( !defined $pid ) {
 301                         next LISTEN;
 302                     }
 303                 }
 304
 305                 if ( defined $pid ) {
 306                     # Child process, close connection and exit
 307                     DEBUG && warn "Child process exiting\n";
 308                     $daemon->close;
 309                     exit;
 310                 }
 311             }
 312             else {
 313                 my $sockdata = $self->_socket_data( \*Remote );
 314                 my $ipaddr   = _inet_addr( $sockdata->{peeraddr} );
 315                 my $ready    = 0;
 316                 foreach my $ip ( keys %$allowed ) {
 317                     my $mask = $allowed->{$ip};
 318                     $ready = ( $ipaddr & _inet_addr($mask) ) == _inet_addr($ip);
 319                     last if $ready;
 320                 }
 321                 if ($ready) {
 322                     $restart = 1;
 323                     last;
 324                 }
 325             }
 326         }
 327         continue {
 328             close Remote;
 329         }
 330     }
 331
 332     $daemon->close;
 333
 334     DEBUG && warn "Shutting down\n";
 335
 336     if ($restart) {
 337         $SIG{CHLD} = 'DEFAULT';
 338         wait;
 339
 340         ### if the standalone server was invoked with perl -I .. we will loose
 341         ### those include dirs upon re-exec. So add them to PERL5LIB, so they
 342         ### are available again for the exec'ed process --kane
 343         use Config;
 344         $ENV{PERL5LIB} .= join $Config{path_sep}, @INC;
 345
 346         exec $^X, $0, @{ $options->{argv} };
 347     }
 348
 349     exit;
 350 }
 351
 352 sub _handler {
 353     my ( $self, $class, $port, $method, $uri, $protocol ) = @_;
 354
 355     local *STDIN  = \*Remote;
 356     local *STDOUT = \*Remote;
 357
 358     # We better be careful and just use 1.0
 359     $protocol = '1.0';
 360
 361     my $sockdata    = $self->_socket_data( \*Remote );
 362     my %copy_of_env = %ENV;
 363
 364     my $sel = IO::Select->new;
 365     $sel->add( \*STDIN );
 366
 367     REQUEST:
 368     while (1) {
 369         my ( $path, $query_string ) = split /\?/, $uri, 2;
 370
 371         # URI is not the same as path. Remove scheme, domain name and port from it
 372         $path =~ s{^https?://[^/?#]+}{};
 373
 374         # Initialize CGI environment
 375         local %ENV = (
 376             PATH_INFO       => $path         || '',
 377             QUERY_STRING    => $query_string || '',
 378             REMOTE_ADDR     => $sockdata->{peeraddr},
 379             REQUEST_METHOD  => $method || '',
 380             SERVER_NAME     => $sockdata->{localname},
 381             SERVER_PORT     => $port,
 382             SERVER_PROTOCOL => "HTTP/$protocol",
 383             %copy_of_env,
 384         );
 385
 386         # Parse headers
 387         if ( $protocol >= 1 ) {
 388             $self->_parse_headers;
 389         }
 390
 391         # Pass flow control to Catalyst
 392         {
 393             # FIXME: don't ignore SIGCHLD while handling requests so system()
 394             # et al. work within actions. it might be a little risky to do that
 395             # this far out, but then again it's only the dev server anyway.
 396             local $SIG{CHLD} = 'DEFAULT';
 397
 398             $class->handle_request( env => \%ENV );
 399         }
 400
 401         DEBUG && warn "Request done\n";
 402
 403         # Allow keepalive requests, this is a hack but we'll support it until
 404         # the next major release.
 405         if ( $self->_is_keepalive ) {
 406             $self->_clear_keepalive;
 407
 408             DEBUG && warn "Reusing previous connection for keep-alive request\n";
 409
 410             if ( $sel->can_read(1) ) {
 411                 if ( !$self->_read_headers ) {
 412                     # Error reading, give up
 413                     last REQUEST;
 414                 }
 415
 416                 ( $method, $uri, $protocol ) = $self->_parse_request_line;
 417
 418                 DEBUG && warn "Parsed request: $method $uri $protocol\n";
 419
 420                 # Force HTTP/1.0
 421                 $protocol = '1.0';
 422
 423                 next REQUEST;
 424             }
 425
 426             DEBUG && warn "No keep-alive request within 1 second\n";
 427         }
 428
 429         last REQUEST;
 430     }
 431
 432     DEBUG && warn "Closing connection\n";
 433
 434     close Remote;
 435 }
 436
 437 sub _read_headers {
 438     my $self = shift;
 439
 440     while (1) {
 441         my $read = sysread Remote, my $buf, CHUNKSIZE;
 442
 443         if ( !defined $read ) {
 444             next if $! == EWOULDBLOCK;
 445             DEBUG && warn "Error reading headers: $!\n";
 446             return;
 447         } elsif ( $read == 0 ) {
 448             DEBUG && warn "EOF\n";
 449             return;
 450         }
 451
 452         DEBUG && warn "Read $read bytes\n";
 453         $self->{inputbuf} .= $buf;
 454         last if $self->{inputbuf} =~ /(\x0D\x0A?\x0D\x0A?|\x0A\x0D?\x0A\x0D?)/s;
 455     }
 456
 457     return 1;
 458 }
 459
 460 sub _parse_request_line {
 461     my $self = shift;
 462
 463     # Parse request line
 464     # Leading CRLF sometimes sent by buggy IE versions
 465     if ( $self->{inputbuf} !~ s/^(?:\x0D\x0A)?(\w+)[ \t]+(\S+)(?:[ \t]+(HTTP\/\d+\.\d+))?[^\012]*\012// ) {
 466         return ();
 467     }
 468
 469     my $method = $1;
 470     my $uri    = $2;
 471     my $proto  = $3 || 'HTTP/0.9';
 472
 473     return ( $method, $uri, $proto );
 474 }
 475
 476 sub _parse_headers {
 477     my $self = shift;
 478
 479     # Copy the buffer for header parsing, and remove the header block
 480     # from the content buffer.
 481     my $buf = $self->{inputbuf};
 482     $self->{inputbuf} =~ s/.*?(\x0D\x0A?\x0D\x0A?|\x0A\x0D?\x0A\x0D?)//s;
 483
 484     # Parse headers
 485     my $headers = HTTP::Headers->new;
 486     my ($key, $val);
 487     HEADER:
 488     while ( $buf =~ s/^([^\012]*)\012// ) {
 489         $_ = $1;
 490         s/\015$//;
 491         if ( /^([\w\-~]+)\s*:\s*(.*)/ ) {
 492             $headers->push_header( $key, $val ) if $key;
 493             ($key, $val) = ($1, $2);
 494         }
 495         elsif ( /^\s+(.*)/ ) {
 496             $val .= " $1";
 497         }
 498         else {
 499             last HEADER;
 500         }
 501     }
 502     $headers->push_header( $key, $val ) if $key;
 503
 504     DEBUG && warn "Parsed headers: " . dump($headers) . "\n";
 505
 506     # Convert headers into ENV vars
 507     $headers->scan( sub {
 508         my ( $key, $val ) = @_;
 509
 510         $key = uc $key;
 511         $key = 'COOKIE' if $key eq 'COOKIES';
 512         $key =~ tr/-/_/;
 513         $key = 'HTTP_' . $key
 514             unless $key =~ m/\A(?:CONTENT_(?:LENGTH|TYPE)|COOKIE)\z/;
 515
 516         if ( exists $ENV{$key} ) {
 517             $ENV{$key} .= ", $val";
 518         }
 519         else {
 520             $ENV{$key} = $val;
 521         }
 522     } );
 523 }
 524
 525 sub _socket_data {
 526     my ( $self, $handle ) = @_;
 527
 528     my $remote_sockaddr       = getpeername($handle);
 529     my ( undef, $iaddr )      = $remote_sockaddr
 530         ? sockaddr_in($remote_sockaddr)
 531         : (undef, undef);
 532
 533     my $local_sockaddr        = getsockname($handle);
 534     my ( undef, $localiaddr ) = sockaddr_in($local_sockaddr);
 535
 536     # This mess is necessary to keep IE from crashing the server
 537     my $data = {
 538         peeraddr  => $iaddr
 539             ? ( inet_ntoa($iaddr) || '127.0.0.1' )
 540             : '127.0.0.1',
 541         localname => gethostbyaddr( $localiaddr, AF_INET ) || 'localhost',
 542         localaddr => inet_ntoa($localiaddr) || '127.0.0.1',
 543     };
 544
 545     return $data;
 546 }
 547
 548 sub _inet_addr { unpack "N*", inet_aton( $_[0] ) }
 549
 550 =head2 options
 551
 552 Options hash passed to the http engine to control things like if keepalive
 553 is supported.
 554
 555 =head1 SEE ALSO
 556
 557 L<Catalyst>, L<Catalyst::Engine>
 558
 559 =head1 AUTHORS
 560
 561 Catalyst Contributors, see Catalyst.pm
 562
 563 =head1 THANKS
 564
 565 Many parts are ripped out of C<HTTP::Server::Simple> by Jesse Vincent.
 566
 567 =head1 COPYRIGHT
 568
 569 This library is free software. You can redistribute it and/or modify it under
 570 the same terms as Perl itself.
 571
 572 =cut
 573
 574 1;