t/test.pl

   1 #
   2 # t/test.pl - most of Test::More functionality without the fuss
   3 #
   4
   5 $Level = 1;
   6 my $test = 1;
   7 my $planned;
   8 my $noplan;
   9
  10 $TODO = 0;
  11 $NO_ENDING = 0;
  12
  13 sub plan {
  14     my $n;
  15     if (@_ == 1) {
  16         $n = shift;
  17         if ($n eq 'no_plan') {
  18           undef $n;
  19           $noplan = 1;
  20         }
  21     } else {
  22         my %plan = @_;
  23         $n = $plan{tests};
  24     }
  25     print STDOUT "1..$n\n" unless $noplan;
  26     $planned = $n;
  27 }
  28
  29 END {
  30     my $ran = $test - 1;
  31     if (!$NO_ENDING) {
  32         if (defined $planned && $planned != $ran) {
  33             print STDERR
  34                 "# Looks like you planned $planned tests but ran $ran.\n";
  35         } elsif ($noplan) {
  36             print "1..$ran\n";
  37         }
  38     }
  39 }
  40
  41 # Use this instead of "print STDERR" when outputing failure diagnostic
  42 # messages
  43 sub _diag {
  44     return unless @_;
  45     my @mess = map { /^#/ ? "$_\n" : "# $_\n" }
  46                map { split /\n/ } @_;
  47     my $fh = $TODO ? *STDOUT : *STDERR;
  48     print $fh @mess;
  49
  50 }
  51
  52 sub skip_all {
  53     if (@_) {
  54         print STDOUT "1..0 # Skipped: @_\n";
  55     } else {
  56         print STDOUT "1..0\n";
  57     }
  58     exit(0);
  59 }
  60
  61 sub _ok {
  62     my ($pass, $where, $name, @mess) = @_;
  63     # Do not try to microoptimize by factoring out the "not ".
  64     # VMS will avenge.
  65     my $out;
  66     if ($name) {
  67         # escape out '#' or it will interfere with '# skip' and such
  68         $name =~ s/#/\\#/g;
  69         $out = $pass ? "ok $test - $name" : "not ok $test - $name";
  70     } else {
  71         $out = $pass ? "ok $test" : "not ok $test";
  72     }
  73
  74     $out .= " # TODO $TODO" if $TODO;
  75     print STDOUT "$out\n";
  76
  77     unless ($pass) {
  78         _diag "# Failed $where\n";
  79     }
  80
  81     # Ensure that the message is properly escaped.
  82     _diag @mess;
  83
  84     $test++;
  85
  86     return $pass;
  87 }
  88
  89 sub _where {
  90     my @caller = caller($Level);
  91     return "at $caller[1] line $caller[2]";
  92 }
  93
  94 # DON'T use this for matches. Use like() instead.
  95 sub ok ($@) {
  96     my ($pass, $name, @mess) = @_;
  97     _ok($pass, _where(), $name, @mess);
  98 }
  99
 100 sub _q {
 101     my $x = shift;
 102     return 'undef' unless defined $x;
 103     my $q = $x;
 104     $q =~ s/\\/\\\\/;
 105     $q =~ s/'/\\'/;
 106     return "'$q'";
 107 }
 108
 109 sub _qq {
 110     my $x = shift;
 111     return defined $x ? '"' . display ($x) . '"' : 'undef';
 112 };
 113
 114 # keys are the codes \n etc map to, values are 2 char strings such as \n
 115 my %backslash_escape;
 116 foreach my $x (split //, 'nrtfa\\\'"') {
 117     $backslash_escape{ord eval "\"\\$x\""} = "\\$x";
 118 }
 119 # A way to display scalars containing control characters and Unicode.
 120 # Trying to avoid setting $_, or relying on local $_ to work.
 121 sub display {
 122     my @result;
 123     foreach my $x (@_) {
 124         if (defined $x and not ref $x) {
 125             my $y = '';
 126             foreach my $c (unpack("U*", $x)) {
 127                 if ($c > 255) {
 128                     $y .= sprintf "\\x{%x}", $c;
 129                 } elsif ($backslash_escape{$c}) {
 130                     $y .= $backslash_escape{$c};
 131                 } else {
 132                     my $z = chr $c; # Maybe we can get away with a literal...
 133                     $z = sprintf "\\%03o", $c if $z =~ /[[:^print:]]/;
 134                     $y .= $z;
 135                 }
 136             }
 137             $x = $y;
 138         }
 139         return $x unless wantarray;
 140         push @result, $x;
 141     }
 142     return @result;
 143 }
 144
 145 sub is ($$@) {
 146     my ($got, $expected, $name, @mess) = @_;
 147
 148     my $pass;
 149     if( !defined $got || !defined $expected ) {
 150         # undef only matches undef
 151         $pass = !defined $got && !defined $expected;
 152     }
 153     else {
 154         $pass = $got eq $expected;
 155     }
 156
 157     unless ($pass) {
 158         unshift(@mess, "#      got "._q($got)."\n",
 159                        "# expected "._q($expected)."\n");
 160     }
 161     _ok($pass, _where(), $name, @mess);
 162 }
 163
 164 sub isnt ($$@) {
 165     my ($got, $isnt, $name, @mess) = @_;
 166
 167     my $pass;
 168     if( !defined $got || !defined $isnt ) {
 169         # undef only matches undef
 170         $pass = defined $got || defined $isnt;
 171     }
 172     else {
 173         $pass = $got ne $isnt;
 174     }
 175
 176     unless( $pass ) {
 177         unshift(@mess, "# it should not be "._q($got)."\n",
 178                        "# but it is.\n");
 179     }
 180     _ok($pass, _where(), $name, @mess);
 181 }
 182
 183 sub cmp_ok ($$$@) {
 184     my($got, $type, $expected, $name, @mess) = @_;
 185
 186     my $pass;
 187     {
 188         local $^W = 0;
 189         local($@,$!);   # don't interfere with $@
 190                         # eval() sometimes resets $!
 191         $pass = eval "\$got $type \$expected";
 192     }
 193     unless ($pass) {
 194         # It seems Irix long doubles can have 2147483648 and 2147483648
 195         # that stringify to the same thing but are acutally numerically
 196         # different. Display the numbers if $type isn't a string operator,
 197         # and the numbers are stringwise the same.
 198         # (all string operators have alphabetic names, so tr/a-z// is true)
 199         # This will also show numbers for some uneeded cases, but will
 200         # definately be helpful for things such as == and <= that fail
 201         if ($got eq $expected and $type !~ tr/a-z//) {
 202             unshift @mess, "# $got - $expected = " . ($got - $expected) . "\n";
 203         }
 204         unshift(@mess, "#      got "._q($got)."\n",
 205                        "# expected $type "._q($expected)."\n");
 206     }
 207     _ok($pass, _where(), $name, @mess);
 208 }
 209
 210 # Check that $got is within $range of $expected
 211 # if $range is 0, then check it's exact
 212 # else if $expected is 0, then $range is an absolute value
 213 # otherwise $range is a fractional error.
 214 # Here $range must be numeric, >= 0
 215 # Non numeric ranges might be a useful future extension. (eg %)
 216 sub within ($$$@) {
 217     my ($got, $expected, $range, $name, @mess) = @_;
 218     my $pass;
 219     if (!defined $got or !defined $expected or !defined $range) {
 220         # This is a fail, but doesn't need extra diagnostics
 221     } elsif ($got !~ tr/0-9// or $expected !~ tr/0-9// or $range !~ tr/0-9//) {
 222         # This is a fail
 223         unshift @mess, "# got, expected and range must be numeric\n";
 224     } elsif ($range < 0) {
 225         # This is also a fail
 226         unshift @mess, "# range must not be negative\n";
 227     } elsif ($range == 0) {
 228         # Within 0 is ==
 229         $pass = $got == $expected;
 230     } elsif ($expected == 0) {
 231         # If expected is 0, treat range as absolute
 232         $pass = ($got <= $range) && ($got >= - $range);
 233     } else {
 234         my $diff = $got - $expected;
 235         $pass = abs ($diff / $expected) < $range;
 236     }
 237     unless ($pass) {
 238         if ($got eq $expected) {
 239             unshift @mess, "# $got - $expected = " . ($got - $expected) . "\n";
 240         }
 241         unshift@mess, "#      got "._q($got)."\n",
 242                       "# expected "._q($expected)." (within "._q($range).")\n";
 243     }
 244     _ok($pass, _where(), $name, @mess);
 245 }
 246
 247 # Note: this isn't quite as fancy as Test::More::like().
 248
 249 sub like   ($$@) { like_yn (0,@_) }; # 0 for -
 250 sub unlike ($$@) { like_yn (1,@_) }; # 1 for un-
 251
 252 sub like_yn ($$$@) {
 253     my ($flip, $got, $expected, $name, @mess) = @_;
 254     my $pass;
 255     $pass = $got =~ /$expected/ if !$flip;
 256     $pass = $got !~ /$expected/ if $flip;
 257     unless ($pass) {
 258         unshift(@mess, "#      got '$got'\n",
 259                 "# expected /$expected/\n");
 260     }
 261     _ok($pass, _where(), $name, @mess);
 262 }
 263
 264 sub pass {
 265     _ok(1, '', @_);
 266 }
 267
 268 sub fail {
 269     _ok(0, _where(), @_);
 270 }
 271
 272 sub curr_test {
 273     $test = shift if @_;
 274     return $test;
 275 }
 276
 277 sub next_test {
 278   $test++;
 279 }
 280
 281 # Note: can't pass multipart messages since we try to
 282 # be compatible with Test::More::skip().
 283 sub skip {
 284     my $why = shift;
 285     my $n    = @_ ? shift : 1;
 286     for (1..$n) {
 287         print STDOUT "ok $test # skip: $why\n";
 288         $test++;
 289     }
 290     local $^W = 0;
 291     last SKIP;
 292 }
 293
 294 sub todo_skip {
 295     my $why = shift;
 296     my $n   = @_ ? shift : 1;
 297
 298     for (1..$n) {
 299         print STDOUT "ok $test # TODO & SKIP: $why\n";
 300         $test++;
 301     }
 302     local $^W = 0;
 303     last TODO;
 304 }
 305
 306 sub eq_array {
 307     my ($ra, $rb) = @_;
 308     return 0 unless $#$ra == $#$rb;
 309     for my $i (0..$#$ra) {
 310         next     if !defined $ra->[$i] && !defined $rb->[$i];
 311         return 0 if !defined $ra->[$i];
 312         return 0 if !defined $rb->[$i];
 313         return 0 unless $ra->[$i] eq $rb->[$i];
 314     }
 315     return 1;
 316 }
 317
 318 sub eq_hash {
 319   my ($orig, $suspect) = @_;
 320   my $fail;
 321   while (my ($key, $value) = each %$suspect) {
 322     # Force a hash recompute if this perl's internals can cache the hash key.
 323     $key = "" . $key;
 324     if (exists $orig->{$key}) {
 325       if ($orig->{$key} ne $value) {
 326         print STDOUT "# key ", _qq($key), " was ", _qq($orig->{$key}),
 327                      " now ", _qq($value), "\n";
 328         $fail = 1;
 329       }
 330     } else {
 331       print STDOUT "# key ", _qq($key), " is ", _qq($value),
 332                    ", not in original.\n";
 333       $fail = 1;
 334     }
 335   }
 336   foreach (keys %$orig) {
 337     # Force a hash recompute if this perl's internals can cache the hash key.
 338     $_ = "" . $_;
 339     next if (exists $suspect->{$_});
 340     print STDOUT "# key ", _qq($_), " was ", _qq($orig->{$_}), " now missing.\n";
 341     $fail = 1;
 342   }
 343   !$fail;
 344 }
 345
 346 sub require_ok ($) {
 347     my ($require) = @_;
 348     eval <<REQUIRE_OK;
 349 require $require;
 350 REQUIRE_OK
 351     _ok(!$@, _where(), "require $require");
 352 }
 353
 354 sub use_ok ($) {
 355     my ($use) = @_;
 356     eval <<USE_OK;
 357 use $use;
 358 USE_OK
 359     _ok(!$@, _where(), "use $use");
 360 }
 361
 362 # runperl - Runs a separate perl interpreter.
 363 # Arguments :
 364 #   switches => [ command-line switches ]
 365 #   nolib    => 1 # don't use -I../lib (included by default)
 366 #   prog     => one-liner (avoid quotes)
 367 #   progs    => [ multi-liner (avoid quotes) ]
 368 #   progfile => perl script
 369 #   stdin    => string to feed the stdin
 370 #   stderr   => redirect stderr to stdout
 371 #   args     => [ command-line arguments to the perl program ]
 372 #   verbose  => print the command line
 373
 374 my $is_mswin    = $^O eq 'MSWin32';
 375 my $is_netware  = $^O eq 'NetWare';
 376 my $is_macos    = $^O eq 'MacOS';
 377 my $is_vms      = $^O eq 'VMS';
 378
 379 sub _quote_args {
 380     my ($runperl, $args) = @_;
 381
 382     foreach (@$args) {
 383         # In VMS protect with doublequotes because otherwise
 384         # DCL will lowercase -- unless already doublequoted.
 385        $_ = q(").$_.q(") if $is_vms && !/^\"/ && length($_) > 0;
 386         $$runperl .= ' ' . $_;
 387     }
 388 }
 389
 390 sub _create_runperl { # Create the string to qx in runperl().
 391     my %args = @_;
 392     my $runperl = $^X =~ m/\s/ ? qq{"$^X"} : $^X;
 393     unless ($args{nolib}) {
 394         if ($is_macos) {
 395             $runperl .= ' -I::lib';
 396             # Use UNIX style error messages instead of MPW style.
 397             $runperl .= ' -MMac::err=unix' if $args{stderr};
 398         }
 399         else {
 400             $runperl .= ' "-I../lib"'; # doublequotes because of VMS
 401         }
 402     }
 403     if ($args{switches}) {
 404         local $Level = 2;
 405         die "test.pl:runperl(): 'switches' must be an ARRAYREF " . _where()
 406             unless ref $args{switches} eq "ARRAY";
 407         _quote_args(\$runperl, $args{switches});
 408     }
 409     if (defined $args{prog}) {
 410         die "test.pl:runperl(): both 'prog' and 'progs' cannot be used " . _where()
 411             if defined $args{progs};
 412         $args{progs} = [$args{prog}]
 413     }
 414     if (defined $args{progs}) {
 415         die "test.pl:runperl(): 'progs' must be an ARRAYREF " . _where()
 416             unless ref $args{progs} eq "ARRAY";
 417         foreach my $prog (@{$args{progs}}) {
 418             if ($is_mswin || $is_netware || $is_vms) {
 419                 $runperl .= qq ( -e "$prog" );
 420             }
 421             else {
 422                 $runperl .= qq ( -e '$prog' );
 423             }
 424         }
 425     } elsif (defined $args{progfile}) {
 426         $runperl .= qq( "$args{progfile}");
 427     } else {
 428         # You probaby didn't want to be sucking in from the upstream stdin
 429         die "test.pl:runperl(): none of prog, progs, progfile, args, "
 430             . " switches or stdin specified"
 431             unless defined $args{args} or defined $args{switches}
 432                 or defined $args{stdin};
 433     }
 434     if (defined $args{stdin}) {
 435         # so we don't try to put literal newlines and crs onto the
 436         # command line.
 437         $args{stdin} =~ s/\n/\\n/g;
 438         $args{stdin} =~ s/\r/\\r/g;
 439
 440         if ($is_mswin || $is_netware || $is_vms) {
 441             $runperl = qq{$^X -e "print qq(} .
 442                 $args{stdin} . q{)" | } . $runperl;
 443         }
 444         elsif ($is_macos) {
 445             # MacOS can only do two processes under MPW at once;
 446             # the test itself is one; we can't do two more, so
 447             # write to temp file
 448             my $stdin = qq{$^X -e 'print qq(} . $args{stdin} . qq{)' > teststdin; };
 449             if ($args{verbose}) {
 450                 my $stdindisplay = $stdin;
 451                 $stdindisplay =~ s/\n/\n\#/g;
 452                 print STDERR "# $stdindisplay\n";
 453             }
 454             `$stdin`;
 455             $runperl .= q{ < teststdin };
 456         }
 457         else {
 458             $runperl = qq{$^X -e 'print qq(} .
 459                 $args{stdin} . q{)' | } . $runperl;
 460         }
 461     }
 462     if (defined $args{args}) {
 463         _quote_args(\$runperl, $args{args});
 464     }
 465     $runperl .= ' 2>&1'          if  $args{stderr} && !$is_macos;
 466     $runperl .= " \xB3 Dev:Null" if !$args{stderr} &&  $is_macos;
 467     if ($args{verbose}) {
 468         my $runperldisplay = $runperl;
 469         $runperldisplay =~ s/\n/\n\#/g;
 470         print STDERR "# $runperldisplay\n";
 471     }
 472     return $runperl;
 473 }
 474
 475 sub runperl {
 476     die "test.pl:runperl() does not take a hashref"
 477         if ref $_[0] and ref $_[0] eq 'HASH';
 478     my $runperl = &_create_runperl;
 479     my $result = `$runperl`;
 480     $result =~ s/\n\n/\n/ if $is_vms; # XXX pipes sometimes double these
 481     return $result;
 482 }
 483
 484 *run_perl = \&runperl; # Nice alias.
 485
 486 sub DIE {
 487     print STDERR "# @_\n";
 488     exit 1;
 489 }
 490
 491 # A somewhat safer version of the sometimes wrong $^X.
 492 my $Perl;
 493 sub which_perl {
 494     unless (defined $Perl) {
 495         $Perl = $^X;
 496
 497         # VMS should have 'perl' aliased properly
 498         return $Perl if $^O eq 'VMS';
 499
 500         my $exe;
 501         eval "require Config; Config->import";
 502         if ($@) {
 503             warn "test.pl had problems loading Config: $@";
 504             $exe = '';
 505         } else {
 506             $exe = $Config{_exe};
 507         }
 508        $exe = '' unless defined $exe;
 509
 510         # This doesn't absolutize the path: beware of future chdirs().
 511         # We could do File::Spec->abs2rel() but that does getcwd()s,
 512         # which is a bit heavyweight to do here.
 513
 514         if ($Perl =~ /^perl\Q$exe\E$/i) {
 515             my $perl = "perl$exe";
 516             eval "require File::Spec";
 517             if ($@) {
 518                 warn "test.pl had problems loading File::Spec: $@";
 519                 $Perl = "./$perl";
 520             } else {
 521                 $Perl = File::Spec->catfile(File::Spec->curdir(), $perl);
 522             }
 523         }
 524
 525         # Build up the name of the executable file from the name of
 526         # the command.
 527
 528         if ($Perl !~ /\Q$exe\E$/i) {
 529             $Perl .= $exe;
 530         }
 531
 532         warn "which_perl: cannot find $Perl from $^X" unless -f $Perl;
 533
 534         # For subcommands to use.
 535         $ENV{PERLEXE} = $Perl;
 536     }
 537     return $Perl;
 538 }
 539
 540 sub unlink_all {
 541     foreach my $file (@_) {
 542         1 while unlink $file;
 543         print STDERR "# Couldn't unlink '$file': $!\n" if -f $file;
 544     }
 545 }
 546
 547
 548 my $tmpfile = "misctmp000";
 549 1 while -f ++$tmpfile;
 550 END { unlink_all $tmpfile }
 551
 552 #
 553 # _fresh_perl
 554 #
 555 # The $resolve must be a subref that tests the first argument
 556 # for success, or returns the definition of success (e.g. the
 557 # expected scalar) if given no arguments.
 558 #
 559
 560 sub _fresh_perl {
 561     my($prog, $resolve, $runperl_args, $name) = @_;
 562
 563     $runperl_args ||= {};
 564     $runperl_args->{progfile} = $tmpfile;
 565     $runperl_args->{stderr} = 1;
 566
 567     open TEST, ">$tmpfile" or die "Cannot open $tmpfile: $!";
 568
 569     # VMS adjustments
 570     if( $^O eq 'VMS' ) {
 571         $prog =~ s#/dev/null#NL:#;
 572
 573         # VMS file locking
 574         $prog =~ s{if \(-e _ and -f _ and -r _\)}
 575                   {if (-e _ and -f _)}
 576     }
 577
 578     print TEST $prog, "\n";
 579     close TEST or die "Cannot close $tmpfile: $!";
 580
 581     my $results = runperl(%$runperl_args);
 582     my $status = $?;
 583
 584     # Clean up the results into something a bit more predictable.
 585     $results =~ s/\n+$//;
 586     $results =~ s/at\s+misctmp\d+\s+line/at - line/g;
 587     $results =~ s/of\s+misctmp\d+\s+aborted/of - aborted/g;
 588
 589     # bison says 'parse error' instead of 'syntax error',
 590     # various yaccs may or may not capitalize 'syntax'.
 591     $results =~ s/^(syntax|parse) error/syntax error/mig;
 592
 593     if ($^O eq 'VMS') {
 594         # some tests will trigger VMS messages that won't be expected
 595         $results =~ s/\n?%[A-Z]+-[SIWEF]-[A-Z]+,.*//;
 596
 597         # pipes double these sometimes
 598         $results =~ s/\n\n/\n/g;
 599     }
 600
 601     my $pass = $resolve->($results);
 602     unless ($pass) {
 603         _diag "# PROG: \n$prog\n";
 604         _diag "# EXPECTED:\n", $resolve->(), "\n";
 605         _diag "# GOT:\n$results\n";
 606         _diag "# STATUS: $status\n";
 607     }
 608
 609     # Use the first line of the program as a name if none was given
 610     unless( $name ) {
 611         ($first_line, $name) = $prog =~ /^((.{1,50}).*)/;
 612         $name .= '...' if length $first_line > length $name;
 613     }
 614
 615     _ok($pass, _where(), "fresh_perl - $name");
 616 }
 617
 618 #
 619 # fresh_perl_is
 620 #
 621 # Combination of run_perl() and is().
 622 #
 623
 624 sub fresh_perl_is {
 625     my($prog, $expected, $runperl_args, $name) = @_;
 626     local $Level = 2;
 627     _fresh_perl($prog,
 628                 sub { @_ ? $_[0] eq $expected : $expected },
 629                 $runperl_args, $name);
 630 }
 631
 632 #
 633 # fresh_perl_like
 634 #
 635 # Combination of run_perl() and like().
 636 #
 637
 638 sub fresh_perl_like {
 639     my($prog, $expected, $runperl_args, $name) = @_;
 640     local $Level = 2;
 641     _fresh_perl($prog,
 642                 sub { @_ ?
 643                           $_[0] =~ (ref $expected ? $expected : /$expected/) :
 644                           $expected },
 645                 $runperl_args, $name);
 646 }
 647
 648 1;