Added failing tests for invalid UTF-8
[catagits/Catalyst-Runtime.git] / t / utf_incoming.t
index dbed329..8b88a0e 100644 (file)
@@ -7,6 +7,8 @@ use HTTP::Message::PSGI ();
 use Encode 2.21 'decode_utf8', 'encode_utf8', 'encode';
 use File::Spec;
 use JSON::MaybeXS;
+use Data::Dumper;
+use Scalar::Util ();
 
 # Test cases for incoming utf8 
 
@@ -32,7 +34,7 @@ use JSON::MaybeXS;
   sub uri_for :Path('uri_for') {
     my ($self, $c) = @_;
     $c->response->content_type('text/html');
-    $c->response->body("${\$c->uri_for($c->controller('Root')->action_for('argend'), ['♥'], '♥', {'♥'=>'♥♥'})}");
+    $c->response->body("${\$c->uri_for($c->controller('Root')->action_for('argend'), ['♥'], '♥#X♥X', {'♥'=>'♥♥'})}");
   }
 
   sub heart_with_arg :Path('a♥') Args(1)  {
@@ -110,8 +112,17 @@ use JSON::MaybeXS;
     $c->response->body($contents);
   }
 
+  sub write_then_body :Local {
+    my ($self, $c) = @_;
+
+    $c->res->content_type('text/html');
+    $c->res->write("<p>This is early_write action ♥</p>");
+    $c->res->body("<p>This is body_write action ♥</p>");
+  }
+
   sub file_upload :POST  Consumes(Multipart) Local {
     my ($self, $c) = @_;
+
     Test::More::is $c->req->body_parameters->{'♥'}, '♥♥';
     Test::More::ok my $upload = $c->req->uploads->{file};
     Test::More::is $upload->charset, 'UTF-8';
@@ -129,6 +140,26 @@ use JSON::MaybeXS;
     $c->response->body($decoded_text);
   }
 
+  sub file_upload_utf8_param :POST  Consumes(Multipart) Local {
+    my ($self, $c) = @_;
+
+    Test::More::is $c->req->body_parameters->{'♥'}, '♥♥';
+    Test::More::ok my $upload = $c->req->uploads->{'♥'};
+    Test::More::is $upload->charset, 'UTF-8';
+
+    my $text = $upload->slurp;
+    Test::More::is Encode::decode_utf8($text), "<p>This is stream_body_fh action ♥</p>\n";
+
+    my $decoded_text = $upload->decoded_slurp;
+    Test::More::is $decoded_text, "<p>This is stream_body_fh action ♥</p>\n";
+
+    Test::More::is $upload->filename, '♥ttachment.txt';
+    Test::More::is $upload->raw_basename, '♥ttachment.txt';
+
+    $c->response->content_type('text/html');
+    $c->response->body($decoded_text);
+  }
+
   sub json :POST Consumes(JSON) Local {
     my ($self, $c) = @_;
     my $post = $c->req->body_data;
@@ -193,6 +224,13 @@ use JSON::MaybeXS;
     $c->response->body($c->req->body_parameters->{arg});
   }
 
+  sub echo_param :Local {
+    my ($self, $c) = @_;
+    $c->response->content_type('text/plain');
+    $c->response->body($c->req->query_parameters->{arg});
+  }
+
+
   package MyApp;
   use Catalyst;
 
@@ -308,12 +346,12 @@ use Catalyst::Test 'MyApp';
 
 {
   my ($res, $c) = ctx_request "/root/uri_for";
-  my $url = $c->uri_for($c->controller('Root')->action_for('argend'), ['♥'], '♥', {'♥'=>'♥♥'});
+  my $url = $c->uri_for($c->controller('Root')->action_for('argend'), ['♥'], '♥#X♥X', {'♥'=>'♥♥'});
 
   is $res->code, 200, 'OK';
   is decode_utf8($res->content), "$url", 'correct body'; #should do nothing
   is $res->content, "$url", 'correct body';
-  is $res->content_length, 90, 'correct length';
+  is $res->content_length, 104, 'correct length';
   is $res->content_charset, 'UTF-8';
 
   {
@@ -364,6 +402,14 @@ use Catalyst::Test 'MyApp';
 }
 
 {
+  my $res = request "/root/write_then_body";
+
+  is $res->code, 200, 'OK';
+  is decode_utf8($res->content), "<p>This is early_write action ♥</p><p>This is body_write action ♥</p>";
+  is $res->content_charset, 'UTF-8';
+}
+
+{
   ok my $path = File::Spec->catfile('t', 'utf8.txt');
   ok my $req = POST '/root/file_upload',
     Content_Type => 'form-data',
@@ -374,6 +420,16 @@ use Catalyst::Test 'MyApp';
 }
 
 {
+  ok my $path = File::Spec->catfile('t', 'utf8.txt');
+  ok my $req = POST '/root/file_upload_utf8_param',
+    Content_Type => 'form-data',
+    Content =>  [encode_utf8('♥')=>encode_utf8('♥♥'), encode_utf8('♥')=>["$path", encode_utf8('♥ttachment.txt'), 'Content-Type' =>'text/html; charset=UTF-8', ]];
+
+  ok my $res = request $req;
+  is decode_utf8($res->content), "<p>This is stream_body_fh action ♥</p>\n";
+}
+
+{
   ok my $req = POST '/root/json',
      Content_Type => 'application/json',
      Content => encode_json +{'♥'=>'♥♥'}; # Note: JSON does the UTF* encoding for us
@@ -441,6 +497,11 @@ SKIP: {
     Content_Type => 'form-data',
       Content =>  [
         arg0 => 'helloworld',
+        Encode::encode('UTF-8','♥') => Encode::encode('UTF-8','♥♥'),  # Long form POST simple does not auto encode...
+        Encode::encode('UTF-8','♥♥♥') => [
+          undef, '',
+          'Content-Type' =>'text/plain; charset=SHIFT_JIS',
+          'Content' => Encode::encode('SHIFT_JIS', $shiftjs)],
         arg1 => [
           undef, '',
           'Content-Type' =>'text/plain; charset=UTF-8',
@@ -458,13 +519,49 @@ SKIP: {
   my ($res, $c) = ctx_request $req;
 
   is $c->req->body_parameters->{'arg0'}, 'helloworld', 'got helloworld value';
-
-  # We expect catalyst to have decoded this
+  is $c->req->body_parameters->{'♥'}, '♥♥';
   is $c->req->body_parameters->{'arg1'}, $utf8, 'decoded utf8 param';
-  is $c->req->body_parameters->{'arg2'}[0], $shiftjs, 'decoded shiftjis param';
+  is $c->req->body_parameters->{'arg2'}[0], $shiftjs, 'decoded shiftjs param';
+  is $c->req->body_parameters->{'arg2'}[1], $shiftjs, 'decoded shiftjs param';
+  is $c->req->body_parameters->{'♥♥♥'}, $shiftjs, 'decoded shiftjs param';
 
 }
 
+{
+  my $shiftjs = 'test テスト';
+  my $encoded = Encode::encode('UTF-8', $shiftjs);
+
+  ok my $req = GET "/root/echo_arg?a=$encoded";
+  my ($res, $c) = ctx_request $req;
+
+  is $c->req->query_parameters->{'a'}, $shiftjs, 'got expected value';
+}
+
+{
+    my $invalid = '%e2';
+    # in url
+    {
+        my $req = GET "/$invalid";
+        my $res = request $req;
+        is ($res->code, '400', "Invalid url param is 400");
+    }
+    # in body
+    {
+        my $req = POST "/root/echo_arg", Content => "arg0=$invalid";
+        my $res = request $req;
+        is ($res->code, '400', "Invalid post param is 400");
+    }
+    # in query
+    {
+        # failing since 5.90080
+        my $req = GET "/root/echo_param?arg=$invalid";
+        my $res = request $req;
+        is ($res->code, '400', "Invalid get param is 400") or diag Dumper($res->decoded_content);
+    }
+
+}
+
+
 ## should we use binmode on filehandles to force the encoding...?
 ## Not sure what else to do with multipart here, if docs are enough...