t/lib/DBICTest.pm

   1 package # hide from PAUSE
   2     DBICTest;
   3
   4 use strict;
   5 use warnings;
   6
   7 # Needs to load 1st so that the correct SQLA::Test is picked up
   8 use DBIx::Class::_TempExtlib;
   9
  10 # this noop trick initializes the STDOUT, so that the TAP::Harness
  11 # issued IO::Select->can_read calls (which are blocking wtf wtf wtf)
  12 # keep spinning and scheduling jobs
  13 # This results in an overall much smoother job-queue drainage, since
  14 # the Harness blocks less
  15 # (ideally this needs to be addressed in T::H, but a quick patchjob
  16 # broke everything so tabling it for now)
  17 BEGIN {
  18   if ($INC{'Test/Builder.pm'}) {
  19     local $| = 1;
  20     print "#\n";
  21   }
  22 }
  23
  24 # This is a pretty good candidate for a standalone extraction (Test::AutoSkip?)
  25 BEGIN {
  26   if (
  27     ! $ENV{RELEASE_TESTING}
  28       and
  29     ! $ENV{AUTHOR_TESTING}
  30       and
  31     $0 =~ /^ (.*) x?t [\/\\] .+ \.t $/x
  32       and
  33     -f ( my $fn = "$1.auto_todo")
  34   ) {
  35     # fuck you win32
  36     require File::Spec;
  37     my $canonical_dollarzero = File::Spec::Unix->catpath(File::Spec->splitpath($0));
  38
  39     for my $t ( map {
  40       ( $_ =~ /^ \s* ( [^\#\n]+ ) /x ) ? $1 : ()
  41     } do { local @ARGV = $fn; <> } ) {
  42       if ( $canonical_dollarzero =~ m! (?: \A | / ) \Q$t\E \z !x ) {
  43         require Test::Builder;
  44         Test::Builder->new->todo_start("Global todoification of '$t' specified in $fn");
  45       }
  46     }
  47   }
  48 }
  49
  50 use Module::Runtime 'module_notional_filename';
  51 BEGIN {
  52   for my $mod (qw( DBIC::SqlMakerTest SQL::Abstract )) {
  53     if ( $INC{ module_notional_filename($mod) } ) {
  54       # FIXME this does not seem to work in BEGIN - why?!
  55       #require Carp;
  56       #$Carp::Internal{ (__PACKAGE__) }++;
  57       #Carp::croak( __PACKAGE__ . " must be loaded before $mod" );
  58
  59       my ($fr, @frame) = 1;
  60       while (@frame = caller($fr++)) {
  61         last if $frame[1] !~ m|^t/lib/DBICTest|;
  62       }
  63
  64       die __PACKAGE__ . " must be loaded before $mod (or modules using $mod) at $frame[1] line $frame[2]\n";
  65     }
  66   }
  67 }
  68
  69 use DBICTest::RunMode;
  70 use DBICTest::Schema;
  71 use DBICTest::Util::LeakTracer qw/populate_weakregistry assert_empty_weakregistry/;
  72 use DBICTest::Util 'local_umask';
  73 use Carp;
  74 use Path::Class::File ();
  75 use File::Spec;
  76 use Fcntl qw/:DEFAULT :flock/;
  77
  78 =head1 NAME
  79
  80 DBICTest - Library to be used by DBIx::Class test scripts.
  81
  82 =head1 SYNOPSIS
  83
  84   use lib qw(t/lib);
  85   use DBICTest;
  86   use Test::More;
  87
  88   my $schema = DBICTest->init_schema();
  89
  90 =head1 DESCRIPTION
  91
  92 This module provides the basic utilities to write tests against
  93 DBIx::Class.
  94
  95 =head1 METHODS
  96
  97 =head2 init_schema
  98
  99   my $schema = DBICTest->init_schema(
 100     no_deploy=>1,
 101     no_populate=>1,
 102     storage_type=>'::DBI::Replicated',
 103     storage_type_args=>{
 104       balancer_type=>'DBIx::Class::Storage::DBI::Replicated::Balancer::Random'
 105     },
 106   );
 107
 108 This method removes the test SQLite database in t/var/DBIxClass.db
 109 and then creates a new, empty database.
 110
 111 This method will call deploy_schema() by default, unless the
 112 no_deploy flag is set.
 113
 114 Also, by default, this method will call populate_schema() by
 115 default, unless the no_deploy or no_populate flags are set.
 116
 117 =cut
 118
 119 # some tests are very time sensitive and need to run on their own, without
 120 # being disturbed by anything else grabbing CPU or disk IO. Hence why everything
 121 # using DBICTest grabs a shared lock, and the few tests that request a :GlobalLock
 122 # will ask for an exclusive one and block until they can get it
 123 our ($global_lock_fh, $global_exclusive_lock);
 124 sub import {
 125     my $self = shift;
 126
 127     my $tmpdir = DBICTest::RunMode->tmpdir;
 128     my $lockpath = $tmpdir->file('.dbictest_global.lock');
 129
 130     {
 131       my $u = local_umask(0); # so that the file opens as 666, and any user can lock
 132       sysopen ($global_lock_fh, $lockpath, O_RDWR|O_CREAT) or do {
 133         my $err = $!;
 134
 135         my @x_tests = map { (defined $_) ? ( $_ ? 1 : 0 ) : 'U' } map {(-e, -d, -f, -r, -w, -x, -o)} ($tmpdir, $lockpath);
 136
 137         die sprintf <<"EOE", $lockpath, $err, scalar $>, scalar $), (stat($tmpdir))[4,5,2], @x_tests;
 138 Unable to open %s: %s
 139 Process EUID/EGID: %s / %s
 140 TmpDir UID/GID:    %s / %s
 141 TmpDir StatMode:   %o
 142 TmpDir X-tests:    -e:%s -d:%s -f:%s -r:%s -w:%s -x:%s -o:%s
 143 TmpFile X-tests:   -e:%s -d:%s -f:%s -r:%s -w:%s -x:%s -o:%s
 144 EOE
 145       };
 146     }
 147
 148     for (@_) {
 149         if ($_ eq ':GlobalLock') {
 150             flock ($global_lock_fh, LOCK_EX) or die "Unable to lock $lockpath: $!";
 151             $global_exclusive_lock = 1;
 152         }
 153         else {
 154             croak "Unknown export $_ requested from $self";
 155         }
 156     }
 157
 158     unless ($global_exclusive_lock) {
 159         flock ($global_lock_fh, LOCK_SH) or die "Unable to lock $lockpath: $!";
 160     }
 161 }
 162
 163 END {
 164     if ($global_lock_fh) {
 165         # delay destruction even more
 166     }
 167 }
 168
 169 {
 170     my $dir = Path::Class::File->new(__FILE__)->dir->parent->subdir('var');
 171     $dir->mkpath unless -d "$dir";
 172     $dir = "$dir";
 173
 174     sub _sqlite_dbfilename {
 175         my $holder = $ENV{DBICTEST_LOCK_HOLDER} || $$;
 176         $holder = $$ if $holder == -1;
 177
 178         # useful for missing cleanup debugging
 179         #if ( $holder == $$) {
 180         #  my $x = $0;
 181         #  $x =~ s/\//#/g;
 182         #  $holder .= "-$x";
 183         #}
 184
 185         return "$dir/DBIxClass-$holder.db";
 186     }
 187
 188     END {
 189         _cleanup_dbfile();
 190     }
 191 }
 192
 193 $SIG{INT} = sub { _cleanup_dbfile(); exit 1 };
 194
 195 sub _cleanup_dbfile {
 196     # cleanup if this is us
 197     if (
 198       ! $ENV{DBICTEST_LOCK_HOLDER}
 199         or
 200       $ENV{DBICTEST_LOCK_HOLDER} == -1
 201         or
 202       $ENV{DBICTEST_LOCK_HOLDER} == $$
 203     ) {
 204         my $db_file = _sqlite_dbfilename();
 205         unlink $_ for ($db_file, "${db_file}-journal");
 206     }
 207 }
 208
 209 sub has_custom_dsn {
 210     return $ENV{"DBICTEST_DSN"} ? 1:0;
 211 }
 212
 213 sub _sqlite_dbname {
 214     my $self = shift;
 215     my %args = @_;
 216     return $self->_sqlite_dbfilename if (
 217       defined $args{sqlite_use_file} ? $args{sqlite_use_file} : $ENV{'DBICTEST_SQLITE_USE_FILE'}
 218     );
 219     return ":memory:";
 220 }
 221
 222 sub _database {
 223     my $self = shift;
 224     my %args = @_;
 225
 226     if ($ENV{DBICTEST_DSN}) {
 227       return (
 228         (map { $ENV{"DBICTEST_${_}"} || '' } qw/DSN DBUSER DBPASS/),
 229         { AutoCommit => 1, %args },
 230       );
 231     }
 232     my $db_file = $self->_sqlite_dbname(%args);
 233
 234     for ($db_file, "${db_file}-journal") {
 235       next unless -e $_;
 236       unlink ($_) or carp (
 237         "Unable to unlink existing test database file $_ ($!), creation of fresh database / further tests may fail!"
 238       );
 239     }
 240
 241     return ("dbi:SQLite:${db_file}", '', '', {
 242       AutoCommit => 1,
 243
 244       # this is executed on every connect, and thus installs a disconnect/DESTROY
 245       # guard for every new $dbh
 246       on_connect_do => sub {
 247         my $storage = shift;
 248         my $dbh = $storage->_get_dbh;
 249
 250         # no fsync on commit
 251         $dbh->do ('PRAGMA synchronous = OFF');
 252
 253         if ($ENV{DBICTEST_SQLITE_REVERSE_DEFAULT_ORDER}) {
 254
 255           $storage->throw_exception(
 256             'PRAGMA reverse_unordered_selects does not work correctly before libsqlite 3.7.9'
 257           ) if $storage->_server_info->{normalized_dbms_version} < 3.007009;
 258
 259           $dbh->do ('PRAGMA reverse_unordered_selects = ON');
 260         }
 261
 262         # set a *DBI* disconnect callback, to make sure the physical SQLite
 263         # file is still there (i.e. the test does not attempt to delete
 264         # an open database, which fails on Win32)
 265         if (my $guard_cb = __mk_disconnect_guard($db_file)) {
 266           $dbh->{Callbacks} = {
 267             connect => sub { $guard_cb->('connect') },
 268             disconnect => sub { $guard_cb->('disconnect') },
 269             DESTROY => sub { $guard_cb->('DESTROY') },
 270           };
 271         }
 272       },
 273       %args,
 274     });
 275 }
 276
 277 sub __mk_disconnect_guard {
 278   return if DBIx::Class::_ENV_::PEEPEENESS; # leaks handles, delaying DESTROY, can't work right
 279
 280   my $db_file = shift;
 281   return unless -f $db_file;
 282
 283   my $orig_inode = (stat($db_file))[1]
 284     or return;
 285
 286   my $clan_connect_caller = '*UNKNOWN*';
 287   my $i;
 288   while ( my ($pack, $file, $line) = caller(++$i) ) {
 289     next if $file eq __FILE__;
 290     next if $pack =~ /^DBIx::Class|^Try::Tiny/;
 291     $clan_connect_caller = "$file line $line";
 292   }
 293
 294   my $failed_once = 0;
 295   my $connected = 1;
 296
 297   return sub {
 298     return if $failed_once;
 299
 300     my $event = shift;
 301     if ($event eq 'connect') {
 302       # this is necessary in case we are disconnected and connected again, all within the same $dbh object
 303       $connected = 1;
 304       return;
 305     }
 306     elsif ($event eq 'disconnect') {
 307       $connected = 0;
 308     }
 309     elsif ($event eq 'DESTROY' and ! $connected ) {
 310       return;
 311     }
 312
 313     my $fail_reason;
 314     if (! -e $db_file) {
 315       $fail_reason = 'is missing';
 316     }
 317     else {
 318       my $cur_inode = (stat($db_file))[1];
 319
 320       if ($orig_inode != $cur_inode) {
 321         # pack/unpack to match the unsigned longs returned by `stat`
 322         $fail_reason = sprintf 'was recreated (initially inode %s, now %s)', (
 323           map { unpack ('L', pack ('l', $_) ) } ($orig_inode, $cur_inode )
 324         );
 325       }
 326     }
 327
 328     if ($fail_reason) {
 329       $failed_once++;
 330
 331       require Test::Builder;
 332       my $t = Test::Builder->new;
 333       local $Test::Builder::Level = $Test::Builder::Level + 3;
 334       $t->ok (0,
 335         "$db_file originally created at $clan_connect_caller $fail_reason before $event "
 336       . 'of DBI handle - a strong indicator that the database file was tampered with while '
 337       . 'still being open. This action would fail massively if running under Win32, hence '
 338       . 'we make sure it fails on any OS :)'
 339       );
 340     }
 341
 342     return; # this empty return is a DBI requirement
 343   };
 344 }
 345
 346 my $weak_registry = {};
 347
 348 sub init_schema {
 349     my $self = shift;
 350     my %args = @_;
 351
 352     my $schema;
 353
 354     if ($args{compose_connection}) {
 355       $schema = DBICTest::Schema->compose_connection(
 356                   'DBICTest', $self->_database(%args)
 357                 );
 358     } else {
 359       $schema = DBICTest::Schema->compose_namespace('DBICTest');
 360     }
 361
 362     if( $args{storage_type}) {
 363       $schema->storage_type($args{storage_type});
 364     }
 365
 366     if ( !$args{no_connect} ) {
 367       $schema = $schema->connect($self->_database(%args));
 368     }
 369
 370     if ( !$args{no_deploy} ) {
 371         __PACKAGE__->deploy_schema( $schema, $args{deploy_args} );
 372         __PACKAGE__->populate_schema( $schema )
 373          if( !$args{no_populate} );
 374     }
 375
 376     populate_weakregistry ( $weak_registry, $schema->storage )
 377       if $INC{'Test/Builder.pm'} and $schema->storage;
 378
 379     return $schema;
 380 }
 381
 382 END {
 383     assert_empty_weakregistry($weak_registry, 'quiet');
 384 }
 385
 386 =head2 deploy_schema
 387
 388   DBICTest->deploy_schema( $schema );
 389
 390 This method does one of two things to the schema.  It can either call
 391 the experimental $schema->deploy() if the DBICTEST_SQLT_DEPLOY environment
 392 variable is set, otherwise the default is to read in the t/lib/sqlite.sql
 393 file and execute the SQL within. Either way you end up with a fresh set
 394 of tables for testing.
 395
 396 =cut
 397
 398 sub deploy_schema {
 399     my $self = shift;
 400     my $schema = shift;
 401     my $args = shift || {};
 402
 403     local $schema->storage->{debug}
 404       if ($ENV{TRAVIS}||'') eq 'true';
 405
 406     if ($ENV{"DBICTEST_SQLT_DEPLOY"}) {
 407         $schema->deploy($args);
 408     } else {
 409         my $filename = Path::Class::File->new(__FILE__)->dir
 410           ->file('sqlite.sql')->stringify;
 411         my $sql = do { local (@ARGV, $/) = $filename ; <> };
 412         for my $chunk ( split (/;\s*\n+/, $sql) ) {
 413           if ( $chunk =~ / ^ (?! --\s* ) \S /xm ) {  # there is some real sql in the chunk - a non-space at the start of the string which is not a comment
 414             $schema->storage->dbh_do(sub { $_[1]->do($chunk) }) or print "Error on SQL: $chunk\n";
 415           }
 416         }
 417     }
 418     return;
 419 }
 420
 421 =head2 populate_schema
 422
 423   DBICTest->populate_schema( $schema );
 424
 425 After you deploy your schema you can use this method to populate
 426 the tables with test data.
 427
 428 =cut
 429
 430 sub populate_schema {
 431     my $self = shift;
 432     my $schema = shift;
 433
 434     local $schema->storage->{debug}
 435       if ($ENV{TRAVIS}||'') eq 'true';
 436
 437     $schema->populate('Genre', [
 438       [qw/genreid name/],
 439       [qw/1       emo  /],
 440     ]);
 441
 442     $schema->populate('Artist', [
 443         [ qw/artistid name/ ],
 444         [ 1, 'Caterwauler McCrae' ],
 445         [ 2, 'Random Boy Band' ],
 446         [ 3, 'We Are Goth' ],
 447     ]);
 448
 449     $schema->populate('CD', [
 450         [ qw/cdid artist title year genreid/ ],
 451         [ 1, 1, "Spoonful of bees", 1999, 1 ],
 452         [ 2, 1, "Forkful of bees", 2001 ],
 453         [ 3, 1, "Caterwaulin' Blues", 1997 ],
 454         [ 4, 2, "Generic Manufactured Singles", 2001 ],
 455         [ 5, 3, "Come Be Depressed With Us", 1998 ],
 456     ]);
 457
 458     $schema->populate('LinerNotes', [
 459         [ qw/liner_id notes/ ],
 460         [ 2, "Buy Whiskey!" ],
 461         [ 4, "Buy Merch!" ],
 462         [ 5, "Kill Yourself!" ],
 463     ]);
 464
 465     $schema->populate('Tag', [
 466         [ qw/tagid cd tag/ ],
 467         [ 1, 1, "Blue" ],
 468         [ 2, 2, "Blue" ],
 469         [ 3, 3, "Blue" ],
 470         [ 4, 5, "Blue" ],
 471         [ 5, 2, "Cheesy" ],
 472         [ 6, 4, "Cheesy" ],
 473         [ 7, 5, "Cheesy" ],
 474         [ 8, 2, "Shiny" ],
 475         [ 9, 4, "Shiny" ],
 476     ]);
 477
 478     $schema->populate('TwoKeys', [
 479         [ qw/artist cd/ ],
 480         [ 1, 1 ],
 481         [ 1, 2 ],
 482         [ 2, 2 ],
 483     ]);
 484
 485     $schema->populate('FourKeys', [
 486         [ qw/foo bar hello goodbye sensors/ ],
 487         [ 1, 2, 3, 4, 'online' ],
 488         [ 5, 4, 3, 6, 'offline' ],
 489     ]);
 490
 491     $schema->populate('OneKey', [
 492         [ qw/id artist cd/ ],
 493         [ 1, 1, 1 ],
 494         [ 2, 1, 2 ],
 495         [ 3, 2, 2 ],
 496     ]);
 497
 498     $schema->populate('SelfRef', [
 499         [ qw/id name/ ],
 500         [ 1, 'First' ],
 501         [ 2, 'Second' ],
 502     ]);
 503
 504     $schema->populate('SelfRefAlias', [
 505         [ qw/self_ref alias/ ],
 506         [ 1, 2 ]
 507     ]);
 508
 509     $schema->populate('ArtistUndirectedMap', [
 510         [ qw/id1 id2/ ],
 511         [ 1, 2 ]
 512     ]);
 513
 514     $schema->populate('Producer', [
 515         [ qw/producerid name/ ],
 516         [ 1, 'Matt S Trout' ],
 517         [ 2, 'Bob The Builder' ],
 518         [ 3, 'Fred The Phenotype' ],
 519     ]);
 520
 521     $schema->populate('CD_to_Producer', [
 522         [ qw/cd producer/ ],
 523         [ 1, 1 ],
 524         [ 1, 2 ],
 525         [ 1, 3 ],
 526     ]);
 527
 528     $schema->populate('TreeLike', [
 529         [ qw/id parent name/ ],
 530         [ 1, undef, 'root' ],
 531         [ 2, 1, 'foo'  ],
 532         [ 3, 2, 'bar'  ],
 533         [ 6, 2, 'blop' ],
 534         [ 4, 3, 'baz'  ],
 535         [ 5, 4, 'quux' ],
 536         [ 7, 3, 'fong'  ],
 537     ]);
 538
 539     $schema->populate('Track', [
 540         [ qw/trackid cd  position title/ ],
 541         [ 4, 2, 1, "Stung with Success"],
 542         [ 5, 2, 2, "Stripy"],
 543         [ 6, 2, 3, "Sticky Honey"],
 544         [ 7, 3, 1, "Yowlin"],
 545         [ 8, 3, 2, "Howlin"],
 546         [ 9, 3, 3, "Fowlin"],
 547         [ 10, 4, 1, "Boring Name"],
 548         [ 11, 4, 2, "Boring Song"],
 549         [ 12, 4, 3, "No More Ideas"],
 550         [ 13, 5, 1, "Sad"],
 551         [ 14, 5, 2, "Under The Weather"],
 552         [ 15, 5, 3, "Suicidal"],
 553         [ 16, 1, 1, "The Bees Knees"],
 554         [ 17, 1, 2, "Apiary"],
 555         [ 18, 1, 3, "Beehind You"],
 556     ]);
 557
 558     $schema->populate('Event', [
 559         [ qw/id starts_at created_on varchar_date varchar_datetime skip_inflation/ ],
 560         [ 1, '2006-04-25 22:24:33', '2006-06-22 21:00:05', '2006-07-23', '2006-05-22 19:05:07', '2006-04-21 18:04:06'],
 561     ]);
 562
 563     $schema->populate('Link', [
 564         [ qw/id url title/ ],
 565         [ 1, '', 'aaa' ]
 566     ]);
 567
 568     $schema->populate('Bookmark', [
 569         [ qw/id link/ ],
 570         [ 1, 1 ]
 571     ]);
 572
 573     $schema->populate('Collection', [
 574         [ qw/collectionid name/ ],
 575         [ 1, "Tools" ],
 576         [ 2, "Body Parts" ],
 577     ]);
 578
 579     $schema->populate('TypedObject', [
 580         [ qw/objectid type value/ ],
 581         [ 1, "pointy", "Awl" ],
 582         [ 2, "round", "Bearing" ],
 583         [ 3, "pointy", "Knife" ],
 584         [ 4, "pointy", "Tooth" ],
 585         [ 5, "round", "Head" ],
 586     ]);
 587     $schema->populate('CollectionObject', [
 588         [ qw/collection object/ ],
 589         [ 1, 1 ],
 590         [ 1, 2 ],
 591         [ 1, 3 ],
 592         [ 2, 4 ],
 593         [ 2, 5 ],
 594     ]);
 595
 596     $schema->populate('Owners', [
 597         [ qw/id name/ ],
 598         [ 1, "Newton" ],
 599         [ 2, "Waltham" ],
 600     ]);
 601
 602     $schema->populate('BooksInLibrary', [
 603         [ qw/id owner title source price/ ],
 604         [ 1, 1, "Programming Perl", "Library", 23 ],
 605         [ 2, 1, "Dynamical Systems", "Library",  37 ],
 606         [ 3, 2, "Best Recipe Cookbook", "Library", 65 ],
 607     ]);
 608 }
 609
 610 1;