Fixed run-on sentence in COPYRIGHT and s/program/library/
[catagits/Catalyst-Runtime.git] / lib / Catalyst / Engine / HTTP.pm
index a168977..a41912c 100644 (file)
@@ -1,11 +1,13 @@
 package Catalyst::Engine::HTTP;
 
-use strict;
-use base 'Catalyst::Engine::CGI';
+use Moose;
+extends 'Catalyst::Engine::CGI';
+
+use Data::Dump qw(dump);
 use Errno 'EWOULDBLOCK';
 use HTTP::Date ();
+use HTTP::Headers;
 use HTTP::Status;
-use NEXT;
 use Socket;
 use IO::Socket::INET ();
 use IO::Select       ();
@@ -14,6 +16,19 @@ use IO::Select       ();
 require Catalyst::Engine::HTTP::Restarter;
 require Catalyst::Engine::HTTP::Restarter::Watcher;
 
+use constant CHUNKSIZE => 64 * 1024;
+use constant DEBUG     => $ENV{CATALYST_HTTP_DEBUG} || 0;
+
+use namespace::clean -except => 'meta';
+
+has options => ( is => 'rw' );
+has _keepalive => ( is => 'rw', predicate => '_is_keepalive', clearer => '_clear_keepalive' );
+has _write_error => ( is => 'rw', predicate => '_has_write_error' );
+
+# Refactoring note - could/should Eliminate all instances of $self->{inputbuf},
+# which I haven't touched as it is used as an lvalue in a lot of places, and I guess
+# doing it differently could be expensive.. Feel free to refactor and NYTProf :)
+
 =head1 NAME
 
 Catalyst::Engine::HTTP - Catalyst HTTP Engine
@@ -47,46 +62,52 @@ sub finalize_headers {
     my $protocol = $c->request->protocol;
     my $status   = $c->response->status;
     my $message  = status_message($status);
-    
-    print "$protocol $status $message\015\012";
-    
-    $c->response->headers->header( Date => HTTP::Date::time2str(time) );
-    $c->response->headers->header(
-        Connection => $self->_keep_alive ? 'keep-alive' : 'close' );
-        
-    $c->response->headers->header( Status => $status );
-        
-    # Avoid 'print() on closed filehandle Remote' warnings when using IE
-    print $c->response->headers->as_string("\015\012") if *STDOUT->opened();
-    print "\015\012" if *STDOUT->opened();
+    my $res_headers = $c->response->headers;
+
+    my @headers;
+    push @headers, "$protocol $status $message";
+
+    $res_headers->header( Date => HTTP::Date::time2str(time) );
+    $res_headers->header( Status => $status );
+
+    # Should we keep the connection open?
+    my $connection = $c->request->header('Connection');
+    if (   $self->options->{keepalive} 
+        && $connection 
+        && $connection =~ /^keep-alive$/i
+    ) {
+        $res_headers->header( Connection => 'keep-alive' );
+        $self->_keepalive(1);
+    }
+    else {
+        $res_headers->header( Connection => 'close' );
+    }
+
+    push @headers, $res_headers->as_string("\x0D\x0A");
+
+    # Buffer the headers so they are sent with the first write() call
+    # This reduces the number of TCP packets we are sending
+    $self->_header_buf( join("\x0D\x0A", @headers, '') );
 }
 
 =head2 $self->finalize_read($c)
 
 =cut
 
-sub finalize_read {
-    my ( $self, $c ) = @_;
-
+before finalize_read => sub {
     # Never ever remove this, it would result in random length output
     # streams if STDIN eq STDOUT (like in the HTTP engine)
     *STDIN->blocking(1);
-
-    return $self->NEXT::finalize_read($c);
-}
+};
 
 =head2 $self->prepare_read($c)
 
 =cut
 
-sub prepare_read {
-    my ( $self, $c ) = @_;
-
+before prepare_read => sub {
     # Set the input handle to non-blocking
     *STDIN->blocking(0);
-
-    return $self->NEXT::prepare_read($c);
-}
+};
 
 =head2 $self->read_chunk($c, $buffer, $length)
 
@@ -95,6 +116,13 @@ sub prepare_read {
 sub read_chunk {
     my $self = shift;
     my $c    = shift;
+    
+    # If we have any remaining data in the input buffer, send it back first
+    if ( $_[0] = delete $self->{inputbuf} ) {
+        my $read = length( $_[0] );
+        DEBUG && warn "read_chunk: Read $read bytes from previous input buffer\n";
+        return $read;
+    }
 
     # support for non-blocking IO
     my $rin = '';
@@ -105,6 +133,7 @@ sub read_chunk {
         select( $rin, undef, undef, undef );
         my $rc = *STDIN->sysread(@_);
         if ( defined $rc ) {
+            DEBUG && warn "read_chunk: Read $rc bytes from socket\n";
             return $rc;
         }
         else {
@@ -116,16 +145,34 @@ sub read_chunk {
 
 =head2 $self->write($c, $buffer)
 
-Writes the buffer to the client. Can only be called once for a request.
+Writes the buffer to the client.
 
 =cut
 
-sub write {
-       # Avoid 'print() on closed filehandle Remote' warnings when using IE
-       return unless *STDOUT->opened();
-       
-       shift->NEXT::write( @_ );
-}
+around write => sub {
+    my $orig = shift;
+    my ( $self, $c, $buffer ) = @_;
+
+    # Avoid 'print() on closed filehandle Remote' warnings when using IE
+    return unless *STDOUT->opened();
+
+    # Prepend the headers if they have not yet been sent
+    if ( $self->_has_header_buf ) {
+        $buffer = $self->_clear_header_buf . $buffer;
+    }
+
+    my $ret = $self->$orig($c, $buffer);
+
+    if ( !defined $ret ) {
+        $self->_write_error($!);
+        DEBUG && warn "write: Failed to write response ($!)\n";
+    }
+    else {
+        DEBUG && warn "write: Wrote response ($ret bytes)\n";
+    }
+
+    return $ret;
+};
 
 =head2 run
 
@@ -137,10 +184,12 @@ sub run {
 
     $options ||= {};
 
+    $self->options($options);
+
     if ($options->{background}) {
         my $child = fork;
         die "Can't fork: $!" unless defined($child);
-        exit if $child;
+        return $child if $child;
     }
 
     my $restart = 0;
@@ -167,7 +216,9 @@ sub run {
         ReuseAddr => 1,
         Type      => SOCK_STREAM,
       )
-      or die "Couldn't create daemon: $!";
+      or die "Couldn't create daemon: $@";
+
+    $port = $daemon->sockport();
 
     my $url = "http://$host";
     $url .= ":$port" unless $port == 80;
@@ -193,54 +244,91 @@ sub run {
         close PIDFILE;
     }
 
-    $self->_keep_alive( $options->{keepalive} || 0 );
+    my $pid = undef;
 
-    my $pid    = undef;
-    while ( accept( Remote, $daemon ) )
-    {    # TODO: get while ( my $remote = $daemon->accept ) to work
+    # Ignore broken pipes as an HTTP server should
+    local $SIG{PIPE} = 'IGNORE';
 
-        select Remote;
+    # Restart on HUP
+    local $SIG{HUP} = sub {
+        $restart = 1;
+        warn "Restarting server on SIGHUP...\n";
+    };
 
-        # Request data
+    LISTEN:
+    while ( !$restart ) {
+        while ( accept( Remote, $daemon ) ) {
+            DEBUG && warn "New connection\n";
 
-        Remote->blocking(1);
+            select Remote;
 
-        next
-          unless my ( $method, $uri, $protocol ) =
-          $self->_parse_request_line( \*Remote );
+            Remote->blocking(1);
 
-        unless ( uc($method) eq 'RESTART' ) {
+            # Read until we see all headers
+            $self->{inputbuf} = '';
 
-            # Fork
-            if ( $options->{fork} ) { next if $pid = fork }
+            if ( !$self->_read_headers ) {
+                # Error reading, give up
+                close Remote;
+                next LISTEN;
+            }
 
-            $self->_handler( $class, $port, $method, $uri, $protocol );
+            my ( $method, $uri, $protocol ) = $self->_parse_request_line;
 
-            $daemon->close if defined $pid;
+            DEBUG && warn "Parsed request: $method $uri $protocol\n";
+            next unless $method;
 
-        }
-        else {
-            my $sockdata = $self->_socket_data( \*Remote );
-            my $ipaddr   = _inet_addr( $sockdata->{peeraddr} );
-            my $ready    = 0;
-            foreach my $ip ( keys %$allowed ) {
-                my $mask = $allowed->{$ip};
-                $ready = ( $ipaddr & _inet_addr($mask) ) == _inet_addr($ip);
-                last if $ready;
+            unless ( uc($method) eq 'RESTART' ) {
+
+                # Fork
+                if ( $options->{fork} ) {
+                    if ( $pid = fork ) {
+                        DEBUG && warn "Forked child $pid\n";
+                        next;
+                    }
+                }
+
+                $self->_handler( $class, $port, $method, $uri, $protocol );
+
+                if ( $self->_has_write_error ) {
+                    close Remote;
+
+                    if ( !defined $pid ) {
+                        next LISTEN;
+                    }
+                }
+
+                if ( defined $pid ) {
+                    # Child process, close connection and exit
+                    DEBUG && warn "Child process exiting\n";
+                    $daemon->close;
+                    exit;
+                }
             }
-            if ($ready) {
-                $restart = 1;
-                last;
+            else {
+                my $sockdata = $self->_socket_data( \*Remote );
+                my $ipaddr   = _inet_addr( $sockdata->{peeraddr} );
+                my $ready    = 0;
+                foreach my $ip ( keys %$allowed ) {
+                    my $mask = $allowed->{$ip};
+                    $ready = ( $ipaddr & _inet_addr($mask) ) == _inet_addr($ip);
+                    last if $ready;
+                }
+                if ($ready) {
+                    $restart = 1;
+                    last;
+                }
             }
         }
-
-        exit if defined $pid;
-    }
-    continue {
-        close Remote;
+        continue {
+            close Remote;
+        }
     }
+
     $daemon->close;
 
+    DEBUG && warn "Shutting down\n";
+
     if ($restart) {
         $SIG{CHLD} = 'DEFAULT';
         wait;
@@ -249,9 +337,9 @@ sub run {
         ### those include dirs upon re-exec. So add them to PERL5LIB, so they
         ### are available again for the exec'ed process --kane
         use Config;
-        $ENV{PERL5LIB} .= join $Config{path_sep}, @INC; 
-        
-        exec $^X . ' "' . $0 . '" ' . join( ' ', @{ $options->{argv} } );
+        $ENV{PERL5LIB} .= join $Config{path_sep}, @INC;
+
+        exec $^X, $0, @{ $options->{argv} };
     }
 
     exit;
@@ -260,9 +348,6 @@ sub run {
 sub _handler {
     my ( $self, $class, $port, $method, $uri, $protocol ) = @_;
 
-    # Ignore broken pipes as an HTTP server should
-    local $SIG{PIPE} = sub { close Remote };
-
     local *STDIN  = \*Remote;
     local *STDOUT = \*Remote;
 
@@ -274,16 +359,16 @@ sub _handler {
 
     my $sel = IO::Select->new;
     $sel->add( \*STDIN );
-
+    
+    REQUEST:
     while (1) {
         my ( $path, $query_string ) = split /\?/, $uri, 2;
-
+        
         # Initialize CGI environment
         local %ENV = (
-            PATH_INFO    => $path         || '',
-            QUERY_STRING => $query_string || '',
+            PATH_INFO       => $path         || '',
+            QUERY_STRING    => $query_string || '',
             REMOTE_ADDR     => $sockdata->{peeraddr},
-            REMOTE_HOST     => $sockdata->{peername},
             REQUEST_METHOD  => $method || '',
             SERVER_NAME     => $sockdata->{localname},
             SERVER_PORT     => $port,
@@ -293,64 +378,141 @@ sub _handler {
 
         # Parse headers
         if ( $protocol >= 1 ) {
-            while (1) {
-                my $line = $self->_get_line( \*STDIN );
-                last if $line eq '';
-                next
-                  unless my ( $name, $value ) =
-                  $line =~ m/\A(\w(?:-?\w+)*):\s(.+)\z/;
-
-                $name = uc $name;
-                $name = 'COOKIE' if $name eq 'COOKIES';
-                $name =~ tr/-/_/;
-                $name = 'HTTP_' . $name
-                  unless $name =~ m/\A(?:CONTENT_(?:LENGTH|TYPE)|COOKIE)\z/;
-                if ( exists $ENV{$name} ) {
-                    $ENV{$name} .= ", $value";
-                }
-                else {
-                    $ENV{$name} = $value;
-                }
-            }
+            $self->_parse_headers;
         }
 
         # Pass flow control to Catalyst
-        $class->handle_request;
-
-        my $connection = lc $ENV{HTTP_CONNECTION};
-        last
-          unless $self->_keep_alive()
-          && index( $connection, 'keep-alive' ) > -1
-          && index( $connection, 'te' ) == -1          # opera stuff
-          && $sel->can_read(5);
-
-        last
-          unless ( $method, $uri, $protocol ) =
-          $self->_parse_request_line( \*STDIN );
+        {
+            # FIXME: don't ignore SIGCHLD while handling requests so system()
+            # et al. work within actions. it might be a little risky to do that
+            # this far out, but then again it's only the dev server anyway.
+            local $SIG{CHLD} = 'DEFAULT';
+
+            $class->handle_request( env => \%ENV );
+        }
+    
+        DEBUG && warn "Request done\n";
+    
+        # Allow keepalive requests, this is a hack but we'll support it until
+        # the next major release.
+        if ( $self->_is_keepalive ) {
+            $self->_clear_keepalive;
+            
+            DEBUG && warn "Reusing previous connection for keep-alive request\n";
+            
+            if ( $sel->can_read(1) ) {            
+                if ( !$self->_read_headers ) {
+                    # Error reading, give up
+                    last REQUEST;
+                }
+
+                ( $method, $uri, $protocol ) = $self->_parse_request_line;
+                
+                DEBUG && warn "Parsed request: $method $uri $protocol\n";
+                
+                # Force HTTP/1.0
+                $protocol = '1.0';
+                
+                next REQUEST;
+            }
+            
+            DEBUG && warn "No keep-alive request within 1 second\n";
+        }
+        
+        last REQUEST;
     }
+    
+    DEBUG && warn "Closing connection\n";
 
     close Remote;
 }
 
-sub _keep_alive {
-    my ( $self, $keepalive ) = @_;
+sub _read_headers {
+    my $self = shift;
+
+    while (1) {
+        my $read = sysread Remote, my $buf, CHUNKSIZE;
 
-    my $r = $self->{_keepalive} || 0;
-    $self->{_keepalive} = $keepalive if defined $keepalive;
+        if ( !defined $read ) {
+            next if $! == EWOULDBLOCK;
+            DEBUG && warn "Error reading headers: $!\n";
+            return;
+        } elsif ( $read == 0 ) {
+            DEBUG && warn "EOF\n";
+            return;
+        }
 
-    return $r;
+        DEBUG && warn "Read $read bytes\n";
+        $self->{inputbuf} .= $buf;
+        last if $self->{inputbuf} =~ /(\x0D\x0A?\x0D\x0A?|\x0A\x0D?\x0A\x0D?)/s;
+    }
 
+    return 1;
 }
 
 sub _parse_request_line {
-    my ( $self, $handle ) = @_;
+    my $self = shift;
 
     # Parse request line
-    my $line = $self->_get_line($handle);
-    return ()
-      unless my ( $method, $uri, $protocol ) =
-      $line =~ m/\A(\w+)\s+(\S+)(?:\s+HTTP\/(\d+(?:\.\d+)?))?\z/;
-    return ( $method, $uri, $protocol );
+    # Leading CRLF sometimes sent by buggy IE versions
+    if ( $self->{inputbuf} !~ s/^(?:\x0D\x0A)?(\w+)[ \t]+(\S+)(?:[ \t]+(HTTP\/\d+\.\d+))?[^\012]*\012// ) {
+        return ();
+    }
+
+    my $method = $1;
+    my $uri    = $2;
+    my $proto  = $3 || 'HTTP/0.9';
+
+    return ( $method, $uri, $proto );
+}
+
+sub _parse_headers {
+    my $self = shift;
+
+    # Copy the buffer for header parsing, and remove the header block
+    # from the content buffer.
+    my $buf = $self->{inputbuf};
+    $self->{inputbuf} =~ s/.*?(\x0D\x0A?\x0D\x0A?|\x0A\x0D?\x0A\x0D?)//s;
+
+    # Parse headers
+    my $headers = HTTP::Headers->new;
+    my ($key, $val);
+    HEADER:
+    while ( $buf =~ s/^([^\012]*)\012// ) {
+        $_ = $1;
+        s/\015$//;
+        if ( /^([\w\-~]+)\s*:\s*(.*)/ ) {
+            $headers->push_header( $key, $val ) if $key;
+            ($key, $val) = ($1, $2);
+        }
+        elsif ( /^\s+(.*)/ ) {
+            $val .= " $1";
+        }
+        else {
+            last HEADER;
+        }
+    }
+    $headers->push_header( $key, $val ) if $key;
+    
+    DEBUG && warn "Parsed headers: " . dump($headers) . "\n";
+
+    # Convert headers into ENV vars
+    $headers->scan( sub {
+        my ( $key, $val ) = @_;
+        
+        $key = uc $key;
+        $key = 'COOKIE' if $key eq 'COOKIES';
+        $key =~ tr/-/_/;
+        $key = 'HTTP_' . $key
+            unless $key =~ m/\A(?:CONTENT_(?:LENGTH|TYPE)|COOKIE)\z/;
+            
+        if ( exists $ENV{$key} ) {
+            $ENV{$key} .= ", $val";
+        }
+        else {
+            $ENV{$key} = $val;
+        }
+    } );
 }
 
 sub _socket_data {
@@ -366,9 +528,6 @@ sub _socket_data {
 
     # This mess is necessary to keep IE from crashing the server
     my $data = {
-        peername  => $iaddr 
-            ? ( gethostbyaddr( $iaddr, AF_INET ) || 'localhost' )
-            : 'localhost',
         peeraddr  => $iaddr 
             ? ( inet_ntoa($iaddr) || '127.0.0.1' )
             : '127.0.0.1',
@@ -379,34 +538,20 @@ sub _socket_data {
     return $data;
 }
 
-sub _get_line {
-    my ( $self, $handle ) = @_;
-
-    my $line = '';
-
-    while ( sysread( $handle, my $byte, 1 ) ) {
-        last if $byte eq "\012";    # eol
-        $line .= $byte;
-    }
+sub _inet_addr { unpack "N*", inet_aton( $_[0] ) }
 
-    1 while $line =~ s/\s\z//;
+=head2 options
 
-    return $line;
-}
-
-sub _inet_addr { unpack "N*", inet_aton( $_[0] ) }
+Options hash passed to the http engine to control things like if keepalive
+is supported.
 
 =head1 SEE ALSO
 
-L<Catalyst>, L<Catalyst::Engine>.
+L<Catalyst>, L<Catalyst::Engine>
 
 =head1 AUTHORS
 
-Sebastian Riedel, <sri@cpan.org>
-
-Dan Kubb, <dan.kubb-cpan@onautopilot.com>
-
-Sascha Kiefer, <esskar@cpan.org>
+Catalyst Contributors, see Catalyst.pm
 
 =head1 THANKS
 
@@ -414,7 +559,7 @@ Many parts are ripped out of C<HTTP::Server::Simple> by Jesse Vincent.
 
 =head1 COPYRIGHT
 
-This program is free software, you can redistribute it and/or modify it under
+This library is free software. You can redistribute it and/or modify it under
 the same terms as Perl itself.
 
 =cut