t/op/regexp.t

   1 #!./perl
   2
   3 # The tests are in a separate file 't/op/re_tests'.
   4 # Each line in that file is a separate test.
   5 # There are five columns, separated by tabs.
   6 #
   7 # Column 1 contains the pattern, optionally enclosed in C<''>.
   8 # Modifiers can be put after the closing C<'>.
   9 #
  10 # Column 2 contains the string to be matched.
  11 #
  12 # Column 3 contains the expected result:
  13 #       y       expect a match
  14 #       n       expect no match
  15 #       c       expect an error
  16 #       B       test exposes a known bug in Perl, should be skipped
  17 #       b       test exposes a known bug in Perl, should be skipped if noamp
  18 #       t       test exposes a bug with threading, TODO if qr_embed_thr
  19 #
  20 # Columns 4 and 5 are used only if column 3 contains C<y> or C<c>.
  21 #
  22 # Column 4 contains a string, usually C<$&>.
  23 #
  24 # Column 5 contains the expected result of double-quote
  25 # interpolating that string after the match, or start of error message.
  26 #
  27 # Column 6, if present, contains a reason why the test is skipped.
  28 # This is printed with "skipped", for harness to pick up.
  29 #
  30 # \n in the tests are interpolated, as are variables of the form ${\w+}.
  31 #
  32 # Blanks lines are treated as PASSING tests to keep the line numbers
  33 # linked to the test number.
  34 #
  35 # If you want to add a regular expression test that can't be expressed
  36 # in this format, don't add it here: put it in op/pat.t instead.
  37 #
  38 # Note that columns 2,3 and 5 are all enclosed in double quotes and then
  39 # evalled; so something like a\"\x{100}$1 has length 3+length($1).
  40
  41 my $file;
  42 BEGIN {
  43     $iters = shift || 1;        # Poor man performance suite, 10000 is OK.
  44
  45     # Do this open before any chdir
  46     $file = shift;
  47     if (defined $file) {
  48         open TESTS, $file or die "Can't open $file";
  49     }
  50
  51     chdir 't' if -d 't';
  52     @INC = '../lib';
  53
  54     if ($qr_embed_thr) {
  55         require Config;
  56         if (!$Config::Config{useithreads}) {
  57             print "1..0 # Skip: no ithreads\n";
  58                 exit 0;
  59         }
  60         if ($ENV{PERL_CORE_MINITEST}) {
  61             print "1..0 # Skip: no dynamic loading on miniperl, no threads\n";
  62                 exit 0;
  63         }
  64         require threads;
  65     }
  66 }
  67
  68 use strict;
  69 use warnings FATAL=>"all";
  70 use vars qw($iters $numtests $bang $ffff $nulnul $OP);
  71 use vars qw($qr $skip_amp $qr_embed $qr_embed_thr); # set by our callers
  72
  73
  74 if (!defined $file) {
  75     open(TESTS,'op/re_tests') || open(TESTS,'t/op/re_tests')
  76         || open(TESTS,':op:re_tests') || die "Can't open re_tests";
  77 }
  78
  79 my @tests = <TESTS>;
  80
  81 close TESTS;
  82
  83 $bang = sprintf "\\%03o", ord "!"; # \41 would not be portable.
  84 $ffff  = chr(0xff) x 2;
  85 $nulnul = "\0" x 2;
  86 $OP = $qr ? 'qr' : 'm';
  87
  88 $| = 1;
  89 printf "1..%d\n# $iters iterations\n", scalar @tests;
  90
  91 my $test;
  92 TEST:
  93 foreach (@tests) {
  94     $test++;
  95     if (!/\S/ || /^\s*#/ || /^__END__$/) {
  96         print "ok $test # (Blank line or comment)\n";
  97         if (/#/) { print $_ };
  98         next;
  99     }
 100     chomp;
 101     s/\\n/\n/g;
 102     my ($pat, $subject, $result, $repl, $expect, $reason) = split(/\t/,$_,6);
 103     $reason = '' unless defined $reason;
 104     my $input = join(':',$pat,$subject,$result,$repl,$expect);
 105     $pat = "'$pat'" unless $pat =~ /^[:'\/]/;
 106     $pat =~ s/(\$\{\w+\})/$1/eeg;
 107     $pat =~ s/\\n/\n/g;
 108     $subject = eval qq("$subject"); die $@ if $@;
 109     $expect  = eval qq("$expect"); die $@ if $@;
 110     $expect = $repl = '-' if $skip_amp and $input =~ /\$[&\`\']/;
 111     my $todo = $qr_embed_thr && ($result =~ s/t//);
 112     my $skip = ($skip_amp ? ($result =~ s/B//i) : ($result =~ s/B//));
 113     $reason = 'skipping $&' if $reason eq  '' && $skip_amp;
 114     $result =~ s/B//i unless $skip;
 115
 116     for my $study ('', 'study $subject', 'utf8::upgrade($subject)',
 117                    'utf8::upgrade($subject); study $subject') {
 118         # Need to make a copy, else the utf8::upgrade of an alreay studied
 119         # scalar confuses things.
 120         my $subject = $subject;
 121         my $c = $iters;
 122         my ($code, $match, $got);
 123         if ($repl eq 'pos') {
 124             $code= <<EOFCODE;
 125                 $study;
 126                 pos(\$subject)=0;
 127                 \$match = ( \$subject =~ m${pat}g );
 128                 \$got = pos(\$subject);
 129 EOFCODE
 130         }
 131         elsif ($qr_embed) {
 132             $code= <<EOFCODE;
 133                 my \$RE = qr$pat;
 134                 $study;
 135                 \$match = (\$subject =~ /(?:)\$RE(?:)/) while \$c--;
 136                 \$got = "$repl";
 137 EOFCODE
 138         }
 139         elsif ($qr_embed_thr) {
 140             $code= <<EOFCODE;
 141                 # Can't run the match in a subthread, but can do this and
 142                 # clone the pattern the other way.
 143                 my \$RE = threads->new(sub {qr$pat})->join();
 144                 $study;
 145                 \$match = (\$subject =~ /(?:)\$RE(?:)/) while \$c--;
 146                 \$got = "$repl";
 147 EOFCODE
 148         }
 149         else {
 150             $code= <<EOFCODE;
 151                 $study;
 152                 \$match = (\$subject =~ $OP$pat) while \$c--;
 153                 \$got = "$repl";
 154 EOFCODE
 155         }
 156         #$code.=qq[\n\$expect="$expect";\n];
 157         #use Devel::Peek;
 158         #die Dump($code) if $pat=~/\\h/ and $subject=~/\x{A0}/;
 159         {
 160             # Probably we should annotate specific tests with which warnings
 161             # categories they're known to trigger, and hence should be
 162             # disabled just for that test
 163             no warnings qw(uninitialized regexp);
 164             eval $code;
 165         }
 166         chomp( my $err = $@ );
 167         if ($result eq 'c') {
 168             if ($err !~ m!^\Q$expect!) { print "not ok $test (compile) $input => `$err'\n"; next TEST }
 169             last;  # no need to study a syntax error
 170         }
 171         elsif ( $skip ) {
 172             print "ok $test # skipped", length($reason) ? " $reason" : '', "\n";
 173             next TEST;
 174         }
 175         elsif ( $todo ) {
 176             print "not ok $test # todo", length($reason) ? " - $reason" : '', "\n";
 177             next TEST;
 178         }
 179         elsif ($@) {
 180             print "not ok $test $input => error `$err'\n$code\n$@\n"; next TEST;
 181         }
 182         elsif ($result =~ /^n/) {
 183             if ($match) { print "not ok $test ($study) $input => false positive\n"; next TEST }
 184         }
 185         else {
 186             if (!$match || $got ne $expect) {
 187                 eval { require Data::Dumper };
 188                 if ($@) {
 189                     print "not ok $test ($study) $input => `$got', match=$match\n$code\n";
 190                 }
 191                 else { # better diagnostics
 192                     my $s = Data::Dumper->new([$subject],['subject'])->Useqq(1)->Dump;
 193                     my $g = Data::Dumper->new([$got],['got'])->Useqq(1)->Dump;
 194                     print "not ok $test ($study) $input => `$got', match=$match\n$s\n$g\n$code\n";
 195                 }
 196                 next TEST;
 197             }
 198         }
 199     }
 200     print "ok $test\n";
 201 }
 202
 203 1;