lib/Catalyst/Engine/HTTP.pm

   1 package Catalyst::Engine::HTTP;
   2
   3 use Moose;
   4 extends 'Catalyst::Engine::CGI';
   5
   6 use Data::Dump qw(dump);
   7 use Errno 'EWOULDBLOCK';
   8 use HTTP::Date ();
   9 use HTTP::Headers;
  10 use HTTP::Status;
  11 use Socket;
  12 use IO::Socket::INET ();
  13 use IO::Select       ();
  14
  15 use constant CHUNKSIZE => 64 * 1024;
  16 use constant DEBUG     => $ENV{CATALYST_HTTP_DEBUG} || 0;
  17
  18 use namespace::clean -except => 'meta';
  19
  20 has options => ( is => 'rw' );
  21 has _keepalive => ( is => 'rw', predicate => '_is_keepalive', clearer => '_clear_keepalive' );
  22 has _write_error => ( is => 'rw', predicate => '_has_write_error' );
  23
  24 # Refactoring note - could/should Eliminate all instances of $self->{inputbuf},
  25 # which I haven't touched as it is used as an lvalue in a lot of places, and I guess
  26 # doing it differently could be expensive.. Feel free to refactor and NYTProf :)
  27
  28 =head1 NAME
  29
  30 Catalyst::Engine::HTTP - Catalyst HTTP Engine
  31
  32 =head1 SYNOPSIS
  33
  34 A script using the Catalyst::Engine::HTTP module might look like:
  35
  36     #!/usr/bin/perl -w
  37
  38     BEGIN {  $ENV{CATALYST_ENGINE} = 'HTTP' }
  39
  40     use strict;
  41     use lib '/path/to/MyApp/lib';
  42     use MyApp;
  43
  44     MyApp->run;
  45
  46 =head1 DESCRIPTION
  47
  48 This is the Catalyst engine specialized for development and testing.
  49
  50 =head1 METHODS
  51
  52 =head2 $self->finalize_headers($c)
  53
  54 =cut
  55
  56 sub finalize_headers {
  57     my ( $self, $c ) = @_;
  58     my $protocol = $c->request->protocol;
  59     my $status   = $c->response->status;
  60     my $message  = status_message($status);
  61     my $res_headers = $c->response->headers;
  62
  63     my @headers;
  64     push @headers, "$protocol $status $message";
  65
  66     $res_headers->header( Date => HTTP::Date::time2str(time) );
  67     $res_headers->header( Status => $status );
  68
  69     # Should we keep the connection open?
  70     my $connection = $c->request->header('Connection');
  71     if (   $self->options
  72         && $self->options->{keepalive}
  73         && $connection
  74         && $connection =~ /^keep-alive$/i
  75     ) {
  76         $res_headers->header( Connection => 'keep-alive' );
  77         $self->_keepalive(1);
  78     }
  79     else {
  80         $res_headers->header( Connection => 'close' );
  81     }
  82
  83     push @headers, $res_headers->as_string("\x0D\x0A");
  84
  85     # Buffer the headers so they are sent with the first write() call
  86     # This reduces the number of TCP packets we are sending
  87     $self->_header_buf( join("\x0D\x0A", @headers, '') );
  88 }
  89
  90 =head2 $self->finalize_read($c)
  91
  92 =cut
  93
  94 before finalize_read => sub {
  95     # Never ever remove this, it would result in random length output
  96     # streams if STDIN eq STDOUT (like in the HTTP engine)
  97     *STDIN->blocking(1);
  98 };
  99
 100 =head2 $self->prepare_read($c)
 101
 102 =cut
 103
 104 before prepare_read => sub {
 105     # Set the input handle to non-blocking
 106     *STDIN->blocking(0);
 107 };
 108
 109 =head2 $self->read_chunk($c, $buffer, $length)
 110
 111 =cut
 112
 113 sub read_chunk {
 114     my $self = shift;
 115     my $c    = shift;
 116
 117     # If we have any remaining data in the input buffer, send it back first
 118     if ( $_[0] = delete $self->{inputbuf} ) {
 119         my $read = length( $_[0] );
 120         DEBUG && warn "read_chunk: Read $read bytes from previous input buffer\n";
 121         return $read;
 122     }
 123
 124     # support for non-blocking IO
 125     my $rin = '';
 126     vec( $rin, *STDIN->fileno, 1 ) = 1;
 127
 128   READ:
 129     {
 130         select( $rin, undef, undef, undef );
 131         my $rc = *STDIN->sysread(@_);
 132         if ( defined $rc ) {
 133             DEBUG && warn "read_chunk: Read $rc bytes from socket\n";
 134             return $rc;
 135         }
 136         else {
 137             next READ if $! == EWOULDBLOCK;
 138             return;
 139         }
 140     }
 141 }
 142
 143 =head2 $self->write($c, $buffer)
 144
 145 Writes the buffer to the client.
 146
 147 =cut
 148
 149 around write => sub {
 150     my $orig = shift;
 151     my ( $self, $c, $buffer ) = @_;
 152
 153     # Avoid 'print() on closed filehandle Remote' warnings when using IE
 154     return unless *STDOUT->opened();
 155
 156     # Prepend the headers if they have not yet been sent
 157     if ( $self->_has_header_buf ) {
 158         $self->_warn_on_write_error(
 159             $self->$orig($c, $self->_clear_header_buf)
 160         );
 161     }
 162
 163     $self->_warn_on_write_error($self->$orig($c, $buffer));
 164 };
 165
 166 sub _warn_on_write_error {
 167     my ($self, $ret) = @_;
 168     if ( !defined $ret ) {
 169         $self->_write_error($!);
 170         DEBUG && warn "write: Failed to write response ($!)\n";
 171     }
 172     else {
 173         DEBUG && warn "write: Wrote response ($ret bytes)\n";
 174     }
 175     return $ret;
 176 }
 177
 178 =head2 run
 179
 180 =cut
 181
 182 # A very very simple HTTP server that initializes a CGI environment
 183 sub run {
 184     my ( $self, $class, $port, $host, $options ) = @_;
 185
 186     $options ||= {};
 187
 188     $self->options($options);
 189
 190     if ($options->{background}) {
 191         my $child = fork;
 192         die "Can't fork: $!" unless defined($child);
 193         return $child if $child;
 194     }
 195
 196     my $restart = 0;
 197     local $SIG{CHLD} = 'IGNORE';
 198
 199     my $allowed = $options->{allowed} || { '127.0.0.1' => '255.255.255.255' };
 200     my $addr = $host ? inet_aton($host) : INADDR_ANY;
 201     if ( $addr eq INADDR_ANY ) {
 202         require Sys::Hostname;
 203         $host = lc Sys::Hostname::hostname();
 204     }
 205     else {
 206         $host = gethostbyaddr( $addr, AF_INET ) || inet_ntoa($addr);
 207     }
 208
 209     # Handle requests
 210
 211     # Setup socket
 212     my $daemon = IO::Socket::INET->new(
 213         Listen    => SOMAXCONN,
 214         LocalAddr => inet_ntoa($addr),
 215         LocalPort => $port,
 216         Proto     => 'tcp',
 217         ReuseAddr => 1,
 218         Type      => SOCK_STREAM,
 219       )
 220       or die "Couldn't create daemon: $@";
 221
 222     $port = $daemon->sockport();
 223
 224     my $url = "http://$host";
 225     $url .= ":$port" unless $port == 80;
 226
 227     print "You can connect to your server at $url\n";
 228
 229     if ($options->{background}) {
 230         open STDIN,  "+</dev/null" or die $!;
 231         open STDOUT, ">&STDIN"     or die $!;
 232         open STDERR, ">&STDIN"     or die $!;
 233         if ( $^O !~ /MSWin32/ ) {
 234              require POSIX;
 235              POSIX::setsid()
 236                  or die "Can't start a new session: $!";
 237         }
 238     }
 239
 240     if (my $pidfile = $options->{pidfile}) {
 241         if (! open PIDFILE, "> $pidfile") {
 242             warn("Cannot open: $pidfile: $!");
 243         }
 244         print PIDFILE "$$\n";
 245         close PIDFILE;
 246     }
 247
 248     my $pid = undef;
 249
 250     # Ignore broken pipes as an HTTP server should
 251     local $SIG{PIPE} = 'IGNORE';
 252
 253     # Restart on HUP
 254     local $SIG{HUP} = sub {
 255         $restart = 1;
 256         warn "Restarting server on SIGHUP...\n";
 257     };
 258
 259     LISTEN:
 260     while ( !$restart ) {
 261         while ( accept( Remote, $daemon ) ) {
 262             DEBUG && warn "New connection\n";
 263
 264             select Remote;
 265
 266             Remote->blocking(1);
 267
 268             # Read until we see all headers
 269             $self->{inputbuf} = '';
 270
 271             if ( !$self->_read_headers ) {
 272                 # Error reading, give up
 273                 close Remote;
 274                 next LISTEN;
 275             }
 276
 277             my ( $method, $uri, $protocol ) = $self->_parse_request_line;
 278
 279             DEBUG && warn "Parsed request: $method $uri $protocol\n";
 280             next unless $method;
 281
 282             unless ( uc($method) eq 'RESTART' ) {
 283
 284                 # Fork
 285                 if ( $options->{fork} ) {
 286                     if ( $pid = fork ) {
 287                         DEBUG && warn "Forked child $pid\n";
 288                         next;
 289                     }
 290                 }
 291
 292                 $self->_handler( $class, $port, $method, $uri, $protocol );
 293
 294                 if ( $self->_has_write_error ) {
 295                     close Remote;
 296
 297                     if ( !defined $pid ) {
 298                         next LISTEN;
 299                     }
 300                 }
 301
 302                 if ( defined $pid ) {
 303                     # Child process, close connection and exit
 304                     DEBUG && warn "Child process exiting\n";
 305                     $daemon->close;
 306                     exit;
 307                 }
 308             }
 309             else {
 310                 my $sockdata = $self->_socket_data( \*Remote );
 311                 my $ipaddr   = _inet_addr( $sockdata->{peeraddr} );
 312                 my $ready    = 0;
 313                 foreach my $ip ( keys %$allowed ) {
 314                     my $mask = $allowed->{$ip};
 315                     $ready = ( $ipaddr & _inet_addr($mask) ) == _inet_addr($ip);
 316                     last if $ready;
 317                 }
 318                 if ($ready) {
 319                     $restart = 1;
 320                     last;
 321                 }
 322             }
 323         }
 324         continue {
 325             close Remote;
 326         }
 327     }
 328
 329     $daemon->close;
 330
 331     DEBUG && warn "Shutting down\n";
 332
 333     if ($restart) {
 334         $SIG{CHLD} = 'DEFAULT';
 335         wait;
 336
 337         ### if the standalone server was invoked with perl -I .. we will loose
 338         ### those include dirs upon re-exec. So add them to PERL5LIB, so they
 339         ### are available again for the exec'ed process --kane
 340         use Config;
 341         $ENV{PERL5LIB} .= join $Config{path_sep}, @INC;
 342
 343         exec $^X, $0, @{ $options->{argv} || [] };
 344     }
 345
 346     exit;
 347 }
 348
 349 sub _handler {
 350     my ( $self, $class, $port, $method, $uri, $protocol ) = @_;
 351
 352     local *STDIN  = \*Remote;
 353     local *STDOUT = \*Remote;
 354
 355     # We better be careful and just use 1.0
 356     $protocol = '1.0';
 357
 358     my $sockdata    = $self->_socket_data( \*Remote );
 359     my %copy_of_env = %ENV;
 360
 361     my $sel = IO::Select->new;
 362     $sel->add( \*STDIN );
 363
 364     REQUEST:
 365     while (1) {
 366         my ( $path, $query_string ) = split /\?/, $uri, 2;
 367
 368         # URI is not the same as path. Remove scheme, domain name and port from it
 369         $path =~ s{^https?://[^/?#]+}{};
 370
 371         # Initialize CGI environment
 372         local %ENV = (
 373             PATH_INFO       => $path         || '',
 374             QUERY_STRING    => $query_string || '',
 375             REMOTE_ADDR     => $sockdata->{peeraddr},
 376             REQUEST_METHOD  => $method || '',
 377             SERVER_NAME     => $sockdata->{localname},
 378             SERVER_PORT     => $port,
 379             SERVER_PROTOCOL => "HTTP/$protocol",
 380             %copy_of_env,
 381         );
 382
 383         # Parse headers
 384         if ( $protocol >= 1 ) {
 385             $self->_parse_headers;
 386         }
 387
 388         # Pass flow control to Catalyst
 389         {
 390             # FIXME: don't ignore SIGCHLD while handling requests so system()
 391             # et al. work within actions. it might be a little risky to do that
 392             # this far out, but then again it's only the dev server anyway.
 393             local $SIG{CHLD} = 'DEFAULT';
 394
 395             $class->handle_request( env => \%ENV );
 396         }
 397
 398         DEBUG && warn "Request done\n";
 399
 400         # Allow keepalive requests, this is a hack but we'll support it until
 401         # the next major release.
 402         if ( $self->_is_keepalive ) {
 403             $self->_clear_keepalive;
 404
 405             DEBUG && warn "Reusing previous connection for keep-alive request\n";
 406
 407             if ( $sel->can_read(1) ) {
 408                 if ( !$self->_read_headers ) {
 409                     # Error reading, give up
 410                     last REQUEST;
 411                 }
 412
 413                 ( $method, $uri, $protocol ) = $self->_parse_request_line;
 414
 415                 DEBUG && warn "Parsed request: $method $uri $protocol\n";
 416
 417                 # Force HTTP/1.0
 418                 $protocol = '1.0';
 419
 420                 next REQUEST;
 421             }
 422
 423             DEBUG && warn "No keep-alive request within 1 second\n";
 424         }
 425
 426         last REQUEST;
 427     }
 428
 429     DEBUG && warn "Closing connection\n";
 430
 431     close Remote;
 432 }
 433
 434 sub _read_headers {
 435     my $self = shift;
 436
 437     while (1) {
 438         my $read = sysread Remote, my $buf, CHUNKSIZE;
 439
 440         if ( !defined $read ) {
 441             next if $! == EWOULDBLOCK;
 442             DEBUG && warn "Error reading headers: $!\n";
 443             return;
 444         } elsif ( $read == 0 ) {
 445             DEBUG && warn "EOF\n";
 446             return;
 447         }
 448
 449         DEBUG && warn "Read $read bytes\n";
 450         $self->{inputbuf} .= $buf;
 451         last if $self->{inputbuf} =~ /(\x0D\x0A?\x0D\x0A?|\x0A\x0D?\x0A\x0D?)/s;
 452     }
 453
 454     return 1;
 455 }
 456
 457 sub _parse_request_line {
 458     my $self = shift;
 459
 460     # Parse request line
 461     # Leading CRLF sometimes sent by buggy IE versions
 462     if ( $self->{inputbuf} !~ s/^(?:\x0D\x0A)?(\w+)[ \t]+(\S+)(?:[ \t]+(HTTP\/\d+\.\d+))?[^\012]*\012// ) {
 463         return ();
 464     }
 465
 466     my $method = $1;
 467     my $uri    = $2;
 468     my $proto  = $3 || 'HTTP/0.9';
 469
 470     return ( $method, $uri, $proto );
 471 }
 472
 473 sub _parse_headers {
 474     my $self = shift;
 475
 476     # Copy the buffer for header parsing, and remove the header block
 477     # from the content buffer.
 478     my $buf = $self->{inputbuf};
 479     $self->{inputbuf} =~ s/.*?(\x0D\x0A?\x0D\x0A?|\x0A\x0D?\x0A\x0D?)//s;
 480
 481     # Parse headers
 482     my $headers = HTTP::Headers->new;
 483     my ($key, $val);
 484     HEADER:
 485     while ( $buf =~ s/^([^\012]*)\012// ) {
 486         $_ = $1;
 487         s/\015$//;
 488         if ( /^([\w\-~]+)\s*:\s*(.*)/ ) {
 489             $headers->push_header( $key, $val ) if $key;
 490             ($key, $val) = ($1, $2);
 491         }
 492         elsif ( /^\s+(.*)/ ) {
 493             $val .= " $1";
 494         }
 495         else {
 496             last HEADER;
 497         }
 498     }
 499     $headers->push_header( $key, $val ) if $key;
 500
 501     DEBUG && warn "Parsed headers: " . dump($headers) . "\n";
 502
 503     # Convert headers into ENV vars
 504     $headers->scan( sub {
 505         my ( $key, $val ) = @_;
 506
 507         $key = uc $key;
 508         $key = 'COOKIE' if $key eq 'COOKIES';
 509         $key =~ tr/-/_/;
 510         $key = 'HTTP_' . $key
 511             unless $key =~ m/\A(?:CONTENT_(?:LENGTH|TYPE)|COOKIE)\z/;
 512
 513         if ( exists $ENV{$key} ) {
 514             $ENV{$key} .= ", $val";
 515         }
 516         else {
 517             $ENV{$key} = $val;
 518         }
 519     } );
 520 }
 521
 522 sub _socket_data {
 523     my ( $self, $handle ) = @_;
 524
 525     my $remote_sockaddr       = getpeername($handle);
 526     my ( undef, $iaddr )      = $remote_sockaddr
 527         ? sockaddr_in($remote_sockaddr)
 528         : (undef, undef);
 529
 530     my $local_sockaddr        = getsockname($handle);
 531     my ( undef, $localiaddr ) = sockaddr_in($local_sockaddr);
 532
 533     # This mess is necessary to keep IE from crashing the server
 534     my $data = {
 535         peeraddr  => $iaddr
 536             ? ( inet_ntoa($iaddr) || '127.0.0.1' )
 537             : '127.0.0.1',
 538         localname => _gethostbyaddr( $localiaddr ),
 539         localaddr => inet_ntoa($localiaddr) || '127.0.0.1',
 540     };
 541
 542     return $data;
 543 }
 544
 545 {   # If you have a crappy DNS server then these can be slow, so cache 'em
 546     my %hostname_cache;
 547     sub _gethostbyaddr {
 548         my $ip = shift;
 549         $hostname_cache{$ip} ||= gethostbyaddr( $ip, AF_INET ) || 'localhost';
 550     }
 551 }
 552
 553 sub _inet_addr { unpack "N*", inet_aton( $_[0] ) }
 554
 555 =head2 options
 556
 557 Options hash passed to the http engine to control things like if keepalive
 558 is supported.
 559
 560 =head1 SEE ALSO
 561
 562 L<Catalyst>, L<Catalyst::Engine>
 563
 564 =head1 AUTHORS
 565
 566 Catalyst Contributors, see Catalyst.pm
 567
 568 =head1 THANKS
 569
 570 Many parts are ripped out of C<HTTP::Server::Simple> by Jesse Vincent.
 571
 572 =head1 COPYRIGHT
 573
 574 This library is free software. You can redistribute it and/or modify it under
 575 the same terms as Perl itself.
 576
 577 =cut
 578
 579 1;