Make some casts explicit to keep VC++ 7 happy
[p5sagit/p5-mst-13.2.git] / t / op / pack.t
index 7f6bbed..57c6a64 100755 (executable)
@@ -12,10 +12,10 @@ my $no_endianness = $] > 5.009 ? '' :
 my $no_signedness = $] > 5.009 ? '' :
   "Signed/unsigned pack modifiers not available on this perl";
 
-plan tests => 14604;
+plan tests => 14697;
 
 use strict;
-use warnings;
+use warnings qw(FATAL all);
 use Config;
 
 my $Is_EBCDIC = (defined $Config{ebcdic} && $Config{ebcdic} eq 'define');
@@ -43,7 +43,7 @@ if ($no_signedness) {
 }
 
 for my $size ( 16, 32, 64 ) {
-  if (exists $Config{"u${size}size"} and $Config{"u${size}size"} != ($size >> 3)) {
+  if (defined $Config{"u${size}size"} and $Config{"u${size}size"} != ($size >> 3)) {
     push @valid_errors, qr/^Perl_my_$maybe_not_avail$size\(\) not available/;
   }
 }
@@ -129,6 +129,7 @@ sub list_eq ($$) {
 
     my $foo;
     open(BIN, $Perl) || die "Can't open $Perl: $!\n";
+    binmode BIN;
     sysread BIN, $foo, 8192;
     close BIN;
 
@@ -368,7 +369,7 @@ SKIP: {
 # temps
 sub foo { my $a = "a"; return $a . $a++ . $a++ }
 {
-  use warnings;
+  use warnings qw(NONFATAL all);;
   my $warning;
   local $SIG{__WARN__} = sub {
       $warning = $_[0];
@@ -507,7 +508,7 @@ foreach (
 ['p', 'Z3',  "foo",         "fo\0"],
 ['u', 'Z*',  "foo\0bar \0", "foo"],
 ['u', 'Z8',  "foo\0bar \0", "foo"],
-) 
+)
 {
     my ($what, $template, $in, $out) = @$_;
     my $got = $what eq 'u' ? (unpack $template, $in) : (pack $template, $in);
@@ -612,7 +613,7 @@ sub numbers_with_total {
         }
         if ($calc_sum == $calc_sum - 1 && $calc_sum == $max_p1) {
             # we're into floating point (either by getting out of the range of
-            # UV arithmetic, or because we're doing a floating point checksum) 
+            # UV arithmetic, or because we're doing a floating point checksum)
             # and our calculation of the checksum has become rounded up to
             # max_checksum + 1
             $calc_sum = 0;
@@ -858,13 +859,13 @@ SKIP: {
            ['a/a*/a*', '212ab345678901234567','ab3456789012'],
            ['a/a*/a*', '3012ab345678901234567', 'ab3456789012'],
            ['a/a*/b*', '212ab', $Is_EBCDIC ? '100000010100' : '100001100100'],
-  ) 
+  )
   {
     my ($pat, $in, $expect) = @$_;
     undef $x;
     eval { ($x) = unpack $pat, $in };
     is($@, '');
-    is($x, $expect) || 
+    is($x, $expect) ||
       printf "# list unpack ('$pat', '$in') gave %s, expected '$expect'\n",
              encode_list ($x);
 
@@ -943,6 +944,8 @@ SKIP: {
 
     # does unpack U0U on byte data warn?
     {
+       use warnings qw(NONFATAL all);;
+
         my $bad = pack("U0C", 255);
         local $SIG{__WARN__} = sub { $@ = "@_" };
         my @null = unpack('U0U', $bad);
@@ -1000,7 +1003,7 @@ foreach (
          ['@4', 'N', "\0"x4],
          ['a*@8a*', 'Camel', 'Dromedary', "Camel\0\0\0Dromedary"],
          ['a*@4a', 'Perl rules', '!', 'Perl!'],
-) 
+)
 {
   my ($template, @in) = @$_;
   my $out = pop @in;
@@ -1020,7 +1023,7 @@ foreach (
          ['@3', "ice"],
          ['@2a2', "water", "te"],
          ['a*@1a3', "steam", "steam", "tea"],
-) 
+)
 {
   my ($template, $in, @out) = @$_;
   my @got = eval {unpack $template, $in};
@@ -1191,11 +1194,6 @@ SKIP: {
 }
 
 {  # more on grouping (W.Laun)
-  use warnings;
-  my $warning;
-  local $SIG{__WARN__} = sub {
-      $warning = $_[0];
-  };
   # @ absolute within ()-group
   my $badc = pack( '(a)*', unpack( '(@1a @0a @2)*', 'abcd' ) );
   is( $badc, 'badc' );
@@ -1205,7 +1203,7 @@ SKIP: {
   my @a = unpack( '(@1c)((@2c)@3c)', $buf );
   is( "@a", "@b" );
 
-  # various unpack count/code scenarios 
+  # various unpack count/code scenarios
   my @Env = ( a => 'AAA', b => 'BBB' );
   my $env = pack( 'S(S/A*S/A*)*', @Env/2, @Env );
 
@@ -1218,7 +1216,7 @@ SKIP: {
   #     2     4 5     7  10    1213
   eval { @pup = unpack( 'S/(S/A* S/A*)', substr( $env, 0, 13 ) ) };
   like( $@, qr{length/code after end of string} );
-  
+
   # postfix repeat count
   $env = pack( '(S/A* S/A*)' . @Env/2, @Env );
 
@@ -1234,7 +1232,7 @@ SKIP: {
 }
 
 { # syntax checks (W.Laun)
-  use warnings;
+  use warnings qw(NONFATAL all);;
   my @warning;
   local $SIG{__WARN__} = sub {
       push( @warning, $_[0] );
@@ -1251,7 +1249,7 @@ SKIP: {
   eval { my @inf = unpack( 'c/*a', "\x03AAA\x02BB" ); };
   like( $@, qr{'/' does not take a repeat count} );
 
-  # white space where possible 
+  # white space where possible
   my @Env = ( a => 'AAA', b => 'BBB' );
   my $env = pack( ' S ( S / A*   S / A* )* ', @Env/2, @Env );
   my @pup = unpack( ' S / ( S / A*   S / A* ) ', $env );
@@ -1280,8 +1278,8 @@ SKIP: {
   # @ repeat default 1
   my $s = pack( 'AA@A', 'A', 'B', 'C' );
   my @c = unpack( 'AA@A', $s );
-  is( $s, 'AC' ); 
-  is( "@c", "A C C" ); 
+  is( $s, 'AC' );
+  is( "@c", "A C C" );
 
   # no unpack code after /
   eval { my @a = unpack( "C/", "\3" ); };
@@ -1355,6 +1353,7 @@ SKIP: {
             my $p = eval { pack $junk1, @list2 };
              skip "cannot pack '$type' on this perl", 12
                if is_valid_error($@);
+            die "pack $junk1 failed: $@" if $@;
 
             my $half = int( (length $p)/2 );
             for my $move ('', "X$half", "X!$half", 'x1', 'x!8', "x$half") {
@@ -1405,6 +1404,7 @@ is(scalar unpack('A /A /A Z20', '3004bcde'), 'bcde');
   $b =~ s/(?:17000+|16999+)\d+(e-45) /17$1 /gi; # stringification is gamble
   is($b, "@a @a");
 
+  use warnings qw(NONFATAL all);;
   my $warning;
   local $SIG{__WARN__} = sub {
       $warning = $_[0];
@@ -1495,6 +1495,19 @@ is(unpack('c'), 65, "one-arg unpack (change #18751)"); # defaulting to $_
     is($a[-2], "X",          "[perl #15288]");
 }
 
+{
+    use warnings qw(NONFATAL all);;
+    my $warning;
+    local $SIG{__WARN__} = sub {
+        $warning = $_[0];
+    };
+    my $out = pack("u99", "foo" x 99);
+    like($warning, qr/Field too wide in 'u' format in pack at /,
+         "Warn about too wide uuencode");
+    is($out, ("_" . "9F]O" x 21 . "\n") x 4 . "M" . "9F]O" x 15 . "\n",
+       "Use max width in case of too wide uuencode");
+}
+
 # checksums
 {
     # verify that unpack advances correctly wrt a checksum
@@ -1689,11 +1702,11 @@ is(unpack('c'), 65, "one-arg unpack (change #18751)"); # defaulting to $_
     is(unpack('@5X!8W', $up),   0xf8, "X! moving on upgraded string");
 
     is(pack("W2x", 0xfa, 0xe3), "\xfa\xe3\x00", "x on downgraded string");
-    is(pack("W2x!4", 0xfa, 0xe3), "\xfa\xe3\x00\x00", 
+    is(pack("W2x!4", 0xfa, 0xe3), "\xfa\xe3\x00\x00",
        "x! on downgraded string");
     is(pack("W2x!2", 0xfa, 0xe3), "\xfa\xe3", "x! on downgraded string");
     is(pack("U0C0W2x", 0xfa, 0xe3), "\xfa\xe3\x00", "x on upgraded string");
-    is(pack("U0C0W2x!4", 0xfa, 0xe3), "\xfa\xe3\x00\x00", 
+    is(pack("U0C0W2x!4", 0xfa, 0xe3), "\xfa\xe3\x00\x00",
        "x! on upgraded string");
     is(pack("U0C0W2x!2", 0xfa, 0xe3), "\xfa\xe3", "x! on upgraded string");
     is(pack("W2X", 0xfa, 0xe3), "\xfa", "X on downgraded string");
@@ -1701,13 +1714,13 @@ is(unpack('c'), 65, "one-arg unpack (change #18751)"); # defaulting to $_
     is(pack("W2X!2", 0xfa, 0xe3), "\xfa\xe3", "X! on downgraded string");
     is(pack("U0C0W2X!2", 0xfa, 0xe3), "\xfa\xe3", "X! on upgraded string");
     is(pack("W3X!2", 0xfa, 0xe3, 0xa6), "\xfa\xe3", "X! on downgraded string");
-    is(pack("U0C0W3X!2", 0xfa, 0xe3, 0xa6), "\xfa\xe3", 
+    is(pack("U0C0W3X!2", 0xfa, 0xe3, 0xa6), "\xfa\xe3",
        "X! on upgraded string");
 
     # backward eating through a ( moves the group starting point backwards
-    is(pack("a*(Xa)", "abc", "q"), "abq", 
+    is(pack("a*(Xa)", "abc", "q"), "abq",
        "eating before strbeg moves it back");
-    is(pack("a*(Xa)", "ab" . chr(512), "q"), "abq", 
+    is(pack("a*(Xa)", "ab" . chr(512), "q"), "abq",
        "eating before strbeg moves it back");
 
     # Check marked_upgrade
@@ -1718,7 +1731,7 @@ is(unpack('c'), 65, "one-arg unpack (change #18751)"); # defaulting to $_
     is(pack('W(W(Wa@3W)@6W)@9W', 0xa1, 0xa2, 0xa3, $up, 0xa4, 0xa5, 0xa6),
        "\xa1\xa2\xa3a\x00\xa4\x00\xa5\x00\xa6", "marked upgrade caused by a");
     is(pack('W(W(WW@3W)@6W)@9W', 0xa1, 0xa2, 0xa3, 256, 0xa4, 0xa5, 0xa6),
-       "\xa1\xa2\xa3\x{100}\x00\xa4\x00\xa5\x00\xa6", 
+       "\xa1\xa2\xa3\x{100}\x00\xa4\x00\xa5\x00\xa6",
        "marked upgrade caused by W");
     is(pack('W(W(WU0aC0@3W)@6W)@9W', 0xa1, 0xa2, 0xa3, "a", 0xa4, 0xa5, 0xa6),
        "\xa1\xa2\xa3a\x00\xa4\x00\xa5\x00\xa6", "marked upgrade caused by U0");
@@ -1730,11 +1743,11 @@ is(unpack('c'), 65, "one-arg unpack (change #18751)"); # defaulting to $_
     utf8::upgrade(my $high = "\xfeb");
 
     for my $format ("a0", "A0", "Z0", "U0a0C0", "U0A0C0", "U0Z0C0") {
-        is(pack("a* $format a*", "ab", $down, "cd"), "abcd", 
+        is(pack("a* $format a*", "ab", $down, "cd"), "abcd",
            "$format format on plain string");
         is(pack("a* $format a*", "ab", $up,   "cd"), "abcd",
            "$format format on upgraded string");
-        is(pack("a* $format a*", $high, $down, "cd"), "\xfebcd", 
+        is(pack("a* $format a*", $high, $down, "cd"), "\xfebcd",
            "$format format on plain string");
         is(pack("a* $format a*", $high, $up,   "cd"), "\xfebcd",
            "$format format on upgraded string");
@@ -1770,3 +1783,191 @@ is(unpack('c'), 65, "one-arg unpack (change #18751)"); # defaulting to $_
     is(pack("U0A*", $high), "\xfeb");
     is(pack("U0Z*", $high), "\xfeb\x00");
 }
+{
+    # pack /
+    my @array = 1..14;
+    my @out = unpack("N/S", pack("N/S", @array) . "abcd");
+    is("@out", "@array", "pack N/S works");
+    @out = unpack("N/S*", pack("N/S*", @array) . "abcd");
+    is("@out", "@array", "pack N/S* works");
+    @out = unpack("N/S*", pack("N/S14", @array) . "abcd");
+    is("@out", "@array", "pack N/S14 works");
+    @out = unpack("N/S*", pack("N/S15", @array) . "abcd");
+    is("@out", "@array", "pack N/S15 works");
+    @out = unpack("N/S*", pack("N/S13", @array) . "abcd");
+    is("@out", "@array[0..12]", "pack N/S13 works");
+    @out = unpack("N/S*", pack("N/S0", @array) . "abcd");
+    is("@out", "", "pack N/S0 works");
+    is(pack("Z*/a0", "abc"), "0\0", "pack Z*/a0 makes a short string");
+    is(pack("Z*/Z0", "abc"), "0\0", "pack Z*/Z0 makes a short string");
+    is(pack("Z*/a3", "abc"), "3\0abc", "pack Z*/a3 makes a full string");
+    is(pack("Z*/Z3", "abc"), "3\0ab\0", "pack Z*/Z3 makes a short string");
+    is(pack("Z*/a5", "abc"), "5\0abc\0\0", "pack Z*/a5 makes a long string");
+    is(pack("Z*/Z5", "abc"), "5\0abc\0\0", "pack Z*/Z5 makes a long string");
+    is(pack("Z*/Z"), "1\0\0", "pack Z*/Z makes an extended string");
+    is(pack("Z*/Z", ""), "1\0\0", "pack Z*/Z makes an extended string");
+    is(pack("Z*/a", ""), "0\0", "pack Z*/a makes an extended string");
+}
+{
+    # unpack("A*", $unicode) strips general unicode spaces
+    is(unpack("A*", "ab \n\xa0 \0"), "ab \n\xa0",
+       'normal A* strip leaves \xa0');
+    is(unpack("U0C0A*", "ab \n\xa0 \0"), "ab \n\xa0",
+       'normal A* strip leaves \xa0 even if it got upgraded for technical reasons');
+    is(unpack("A*", pack("a*(U0U)a*", "ab \n", 0xa0, " \0")), "ab",
+       'upgraded strings A* removes \xa0');
+    is(unpack("A*", pack("a*(U0UU)a*", "ab \n", 0xa0, 0x1680, " \0")), "ab",
+       'upgraded strings A* removes all unicode whitespace');
+    is(unpack("A5", pack("a*(U0U)a*", "ab \n", 0x1680, "def", "ab")), "ab",
+       'upgraded strings A5 removes all unicode whitespace');
+    is(unpack("A*", pack("U", 0x1680)), "",
+       'upgraded strings A* with nothing left');
+}
+{
+    # Testing unpack . and .!
+    is(unpack(".", "ABCD"), 0, "offset at start of string is 0");
+    is(unpack(".", ""), 0, "offset at start of empty string is 0");
+    is(unpack("x3.", "ABCDEF"), 3, "simple offset works");
+    is(unpack("x3.", "ABC"), 3, "simple offset at end of string works");
+    is(unpack("x3.0", "ABC"), 0, "self offset is 0");
+    is(unpack("x3(x2.)", "ABCDEF"), 2, "offset is relative to inner group");
+    is(unpack("x3(X2.)", "ABCDEF"), -2,
+       "negative offset relative to inner group");
+    is(unpack("x3(X2.2)", "ABCDEF"), 1, "offset is relative to inner group");
+    is(unpack("x3(x2.0)", "ABCDEF"), 0, "self offset in group is still 0");
+    is(unpack("x3(x2.2)", "ABCDEF"), 5, "offset counts groups");
+    is(unpack("x3(x2.*)", "ABCDEF"), 5, "star offset is relative to start");
+
+    my $high = chr(8188) x 6;
+    is(unpack("x3(x2.)", $high), 2, "utf8 offset is relative to inner group");
+    is(unpack("x3(X2.)", $high), -2,
+       "utf8 negative offset relative to inner group");
+    is(unpack("x3(X2.2)", $high), 1, "utf8 offset counts groups");
+    is(unpack("x3(x2.0)", $high), 0, "utf8 self offset in group is still 0");
+    is(unpack("x3(x2.2)", $high), 5, "utf8 offset counts groups");
+    is(unpack("x3(x2.*)", $high), 5, "utf8 star offset is relative to start");
+
+    is(unpack("U0x3(x2.)", $high), 2,
+       "U0 mode utf8 offset is relative to inner group");
+    is(unpack("U0x3(X2.)", $high), -2,
+       "U0 mode utf8 negative offset relative to inner group");
+    is(unpack("U0x3(X2.2)", $high), 1,
+       "U0 mode utf8 offset counts groups");
+    is(unpack("U0x3(x2.0)", $high), 0,
+       "U0 mode utf8 self offset in group is still 0");
+    is(unpack("U0x3(x2.2)", $high), 5,
+       "U0 mode utf8 offset counts groups");
+    is(unpack("U0x3(x2.*)", $high), 5,
+       "U0 mode utf8 star offset is relative to start");
+
+    is(unpack("x3(x2.!)", $high), 2*3,
+       "utf8 offset is relative to inner group");
+    is(unpack("x3(X2.!)", $high), -2*3,
+       "utf8 negative offset relative to inner group");
+    is(unpack("x3(X2.!2)", $high), 1*3,
+       "utf8 offset counts groups");
+    is(unpack("x3(x2.!0)", $high), 0,
+       "utf8 self offset in group is still 0");
+    is(unpack("x3(x2.!2)", $high), 5*3,
+       "utf8 offset counts groups");
+    is(unpack("x3(x2.!*)", $high), 5*3,
+       "utf8 star offset is relative to start");
+
+    is(unpack("U0x3(x2.!)", $high), 2,
+       "U0 mode utf8 offset is relative to inner group");
+    is(unpack("U0x3(X2.!)", $high), -2,
+       "U0 mode utf8 negative offset relative to inner group");
+    is(unpack("U0x3(X2.!2)", $high), 1,
+       "U0 mode utf8 offset counts groups");
+    is(unpack("U0x3(x2.!0)", $high), 0,
+       "U0 mode utf8 self offset in group is still 0");
+    is(unpack("U0x3(x2.!2)", $high), 5,
+       "U0 mode utf8 offset counts groups");
+    is(unpack("U0x3(x2.!*)", $high), 5,
+       "U0 mode utf8 star offset is relative to start");
+}
+{
+    # Testing pack . and .!
+    is(pack("(a)5 .", 1..5, 3), "123", ". relative to string start, shorten");
+    eval { () = pack("(a)5 .", 1..5, -3) };
+    like($@, qr{'\.' outside of string in pack}, "Proper error message");
+    is(pack("(a)5 .", 1..5, 8), "12345\x00\x00\x00",
+       ". relative to string start, extend");
+    is(pack("(a)5 .", 1..5, 5), "12345", ". relative to string start, keep");
+
+    is(pack("(a)5 .0", 1..5, -3), "12",
+       ". relative to string current, shorten");
+    is(pack("(a)5 .0", 1..5, 2), "12345\x00\x00",
+       ". relative to string current, extend");
+    is(pack("(a)5 .0", 1..5, 0), "12345",
+       ". relative to string current, keep");
+
+    is(pack("(a)5 (.)", 1..5, -3), "12",
+       ". relative to group, shorten");
+    is(pack("(a)5 (.)", 1..5, 2), "12345\x00\x00",
+       ". relative to group, extend");
+    is(pack("(a)5 (.)", 1..5, 0), "12345",
+       ". relative to group, keep");
+
+    is(pack("(a)3 ((a)2 .)", 1..5, -2), "1",
+       ". relative to group, shorten");
+    is(pack("(a)3 ((a)2 .)", 1..5, 2), "12345",
+       ". relative to group, keep");
+    is(pack("(a)3 ((a)2 .)", 1..5, 4), "12345\x00\x00",
+       ". relative to group, extend");
+
+    is(pack("(a)3 ((a)2 .2)", 1..5, 2), "12",
+       ". relative to counted group, shorten");
+    is(pack("(a)3 ((a)2 .2)", 1..5, 7), "12345\x00\x00",
+       ". relative to counted group, extend");
+    is(pack("(a)3 ((a)2 .2)", 1..5, 5), "12345",
+       ". relative to counted group, keep");
+
+    is(pack("(a)3 ((a)2 .*)", 1..5, 2), "12",
+       ". relative to start, shorten");
+    is(pack("(a)3 ((a)2 .*)", 1..5, 7), "12345\x00\x00",
+       ". relative to start, extend");
+    is(pack("(a)3 ((a)2 .*)", 1..5, 5), "12345",
+       ". relative to start, keep");
+
+    is(pack('(a)5 (. @2 a)', 1..5, -3, "a"), "12\x00\x00a",
+       ". based shrink properly updates group starts");
+
+    is(pack("(W)3 ((W)2 .)", 0x301..0x305, -2), "\x{301}",
+       "utf8 . relative to group, shorten");
+    is(pack("(W)3 ((W)2 .)", 0x301..0x305, 2),
+       "\x{301}\x{302}\x{303}\x{304}\x{305}",
+       "utf8 . relative to group, keep");
+    is(pack("(W)3 ((W)2 .)", 0x301..0x305, 4),
+       "\x{301}\x{302}\x{303}\x{304}\x{305}\x00\x00",
+       "utf8 . relative to group, extend");
+
+    is(pack("(W)3 ((W)2 .!)", 0x301..0x305, -2), "\x{301}\x{302}",
+       "utf8 . relative to group, shorten");
+    is(pack("(W)3 ((W)2 .!)", 0x301..0x305, 4),
+       "\x{301}\x{302}\x{303}\x{304}\x{305}",
+       "utf8 . relative to group, keep");
+    is(pack("(W)3 ((W)2 .!)", 0x301..0x305, 6),
+       "\x{301}\x{302}\x{303}\x{304}\x{305}\x00\x00",
+       "utf8 . relative to group, extend");
+
+    is(pack('(W)5 (. @2 a)', 0x301..0x305, -3, "a"),
+       "\x{301}\x{302}\x00\x00a",
+       "utf8 . based shrink properly updates group starts");
+}
+{
+    # Testing @!
+    is(pack('a* @3',  "abcde"), "abc", 'Test basic @');
+    is(pack('a* @!3', "abcde"), "abc", 'Test basic @!');
+    is(pack('a* @2', "\x{301}\x{302}\x{303}\x{304}\x{305}"), "\x{301}\x{302}",
+       'Test basic utf8 @');
+    is(pack('a* @!2', "\x{301}\x{302}\x{303}\x{304}\x{305}"), "\x{301}",
+       'Test basic utf8 @!');
+
+    is(unpack('@4 a*',  "abcde"), "e", 'Test basic @');
+    is(unpack('@!4 a*', "abcde"), "e", 'Test basic @!');
+    is(unpack('@4 a*',  "\x{301}\x{302}\x{303}\x{304}\x{305}"), "\x{305}",
+       'Test basic utf8 @');
+    is(unpack('@!4 a*', "\x{301}\x{302}\x{303}\x{304}\x{305}"),
+       "\x{303}\x{304}\x{305}", 'Test basic utf8 @!');
+}