t/prefetch/manual.t

   1 use strict;
   2 use warnings;
   3
   4 use Test::More;
   5 use Test::Deep;
   6 use Test::Warn;
   7 use Test::Exception;
   8 use lib qw(t/lib);
   9 use DBICTest;
  10
  11 delete $ENV{DBIC_COLUMNS_INCLUDE_FILTER_RELS};
  12
  13 my $schema = DBICTest->init_schema(no_populate => 1);
  14
  15 $schema->resultset('Artist')->create({ name => 'JMJ', cds => [{
  16   title => 'Magnetic Fields',
  17   year => 1981,
  18   genre => { name => 'electro' },
  19   tracks => [
  20     { title => 'm1' },
  21     { title => 'm2' },
  22     { title => 'm3' },
  23     { title => 'm4' },
  24   ],
  25 } ] });
  26
  27 $schema->resultset('CD')->create({
  28   title => 'Equinoxe',
  29   year => 1978,
  30   artist => { name => 'JMJ' },
  31   genre => { name => 'electro' },
  32   tracks => [
  33     { title => 'e1' },
  34     { title => 'e2' },
  35     { title => 'e3' },
  36   ],
  37   single_track => {
  38     title => 'o1',
  39     cd => {
  40       title => 'Oxygene',
  41       year => 1976,
  42       artist => { name => 'JMJ' },
  43       tracks => [
  44         { title => 'o2', position => 2},  # the position should not be here, bug in MC
  45       ],
  46     },
  47   },
  48 });
  49
  50 my $rs = $schema->resultset ('CD')->search ({}, {
  51   join => [ 'tracks', { single_track => { cd => { artist => { cds => 'tracks' } } } }  ],
  52   collapse => 1,
  53   columns => [
  54     { 'year'                                    => 'me.year' },               # non-unique
  55     { 'genreid'                                 => 'me.genreid' },            # nullable
  56     { 'tracks.title'                            => 'tracks.title' },          # non-unique (no me.id)
  57     { 'single_track.cd.artist.cds.cdid'         => 'cds.cdid' },              # to give uniquiness to ...tracks.title below
  58     { 'single_track.cd.artist.artistid'         => 'artist.artistid' },       # uniqufies entire parental chain
  59     { 'single_track.cd.artist.cds.year'         => 'cds.year' },              # non-unique
  60     { 'single_track.cd.artist.cds.genreid'      => 'cds.genreid' },           # nullable
  61     { 'single_track.cd.artist.cds.tracks.title' => 'tracks_2.title' },        # unique when combined with ...cds.cdid above
  62     { 'latest_cd'                     => \ "(SELECT MAX(year) FROM cd)" },    # random function
  63     { 'title'                                   => 'me.title' },              # uniquiness for me
  64     { 'artist'                                  => 'me.artist' },             # uniquiness for me
  65   ],
  66   order_by => [{ -desc => 'cds.year' }, { -desc => 'me.title'} ],
  67 });
  68
  69 my $hri_rs = $rs->search({}, { result_class => 'DBIx::Class::ResultClass::HashRefInflator' });
  70
  71 cmp_deeply (
  72   [$hri_rs->all],
  73   [
  74     { artist => 1, genreid => 1, latest_cd => 1981, title => "Equinoxe", year => 1978,
  75       single_track => {
  76         cd => {
  77           artist => { artistid => 1, cds => [
  78             { cdid => 1, genreid => 1, year => 1981, tracks => [
  79               { title => "m1" },
  80               { title => "m2" },
  81               { title => "m3" },
  82               { title => "m4" },
  83             ]},
  84             { cdid => 3, genreid => 1, year => 1978, tracks => [
  85               { title => "e1" },
  86               { title => "e2" },
  87               { title => "e3" },
  88             ]},
  89             { cdid => 2, genreid => undef, year => 1976, tracks => [
  90               { title => "o1" },
  91               { title => "o2" },
  92             ]},
  93           ]},
  94         },
  95       },
  96       tracks => [
  97         { title => "e1" },
  98         { title => "e2" },
  99         { title => "e3" },
 100       ],
 101     },
 102     {
 103       artist => 1, genreid => undef, latest_cd => 1981, title => "Oxygene", year => 1976, single_track => undef,
 104       tracks => [
 105         { title => "o1" },
 106         { title => "o2" },
 107       ],
 108     },
 109     {
 110       artist => 1, genreid => 1, latest_cd => 1981, title => "Magnetic Fields", year => 1981, single_track => undef,
 111       tracks => [
 112         { title => "m1" },
 113         { title => "m2" },
 114         { title => "m3" },
 115         { title => "m4" },
 116       ],
 117     },
 118   ],
 119   'W00T, manual prefetch with collapse works'
 120 );
 121
 122 lives_ok { my $dummy = $rs;  warnings_exist {
 123
 124 ##############
 125 ### This is a bunch of workarounds for deprecated behavior - delete entire block when fixed
 126   my $cd_obj = ($rs->all)[0]->single_track->cd;
 127   my $art_obj = $cd_obj->artist;
 128
 129   my $empty_single_columns = {
 130     cd => undef
 131   };
 132   my $empty_single_inflated_columns = {
 133     cd => $cd_obj
 134   };
 135   my $empty_cd_columns = {
 136     artist => $art_obj->artistid
 137   };
 138   my $empty_cd_inflated_columns = {
 139     artist => $art_obj
 140   };
 141
 142   {
 143     local $TODO = "Returning prefetched 'filter' rels as part of get_columns/get_inflated_columns is deprecated";
 144     is_deeply($_, {}) for (
 145       $empty_single_columns, $empty_single_inflated_columns, $empty_cd_columns, $empty_cd_inflated_columns
 146     );
 147   }
 148 ##############
 149
 150
 151 ### this tests the standard root -> single -> filter ->filter
 152   my ($row) = $rs->all; # don't trigger order warnings
 153
 154   is_deeply(
 155     { $row->single_track->get_columns },
 156     $empty_single_columns,
 157     "No unexpected columns available on intermediate 'single' rel with a chained 'filter' prefetch",
 158   );
 159
 160   is_deeply(
 161     { $row->single_track->get_inflated_columns },
 162     $empty_single_inflated_columns,
 163     "No unexpected inflated columns available on intermediate 'single' rel with a chained 'filter' prefetch",
 164   );
 165
 166   is_deeply(
 167     { $row->single_track->cd->get_columns },
 168     $empty_cd_columns,
 169     "No unexpected columns available on intermediate 'single' rel with 2x chained 'filter' prefetch",
 170   );
 171
 172   is_deeply(
 173     { $row->single_track->cd->get_inflated_columns },
 174     $empty_cd_inflated_columns,
 175     "No unexpected inflated columns available on intermediate 'single' rel with 2x chained 'filter' prefetch",
 176   );
 177
 178 ### also try a different arangement root -> single -> single ->filter
 179   ($row) = $rs->result_source->resultset->search({ 'artist.artistid' => 1 }, {
 180     join => { single_track => { disc => { artist => 'cds' } } },
 181     '+columns' => {
 182       'single_track.disc.artist.artistid' => 'artist.artistid',
 183       'single_track.disc.artist.cds.cdid' => 'cds.cdid',
 184     },
 185     collapse => 1,
 186   })->all;
 187
 188   is_deeply(
 189     { $row->single_track->get_columns },
 190     {},
 191     "No unexpected columns available on intermediate 'single' rel with a chained 'single' prefetch",
 192   );
 193
 194   is_deeply(
 195     { $row->single_track->get_inflated_columns },
 196     {},
 197     "No unexpected inflated columns available on intermediate 'single' rel with a chained 'single' prefetch",
 198   );
 199
 200   is_deeply(
 201     { $row->single_track->disc->get_columns },
 202     $empty_cd_columns,
 203     "No unexpected columns available on intermediate 'single' rel with chained 'single' and chained 'filter' prefetch",
 204   );
 205
 206   is_deeply(
 207     { $row->single_track->disc->get_inflated_columns },
 208     $empty_cd_inflated_columns,
 209     "No unexpected inflated columns available on intermediate 'single' rel with chained 'single' and chained 'filter' prefetch",
 210   );
 211
 212 } [
 213   qr/\QReturning primary keys of prefetched 'filter' rels as part of get_columns()/,
 214   qr/\QUnable to deflate 'filter'-type relationship 'cd' (related object primary key not retrieved)/,
 215   qr/\QReturning prefetched 'filter' rels as part of get_inflated_columns()/,
 216   qr/\QReturning primary keys of prefetched 'filter' rels as part of get_columns()/,
 217   qr/\QReturning prefetched 'filter' rels as part of get_inflated_columns()/,
 218   qr/\QReturning primary keys of prefetched 'filter' rels as part of get_columns()/,
 219   qr/\QReturning prefetched 'filter' rels as part of get_inflated_columns()/,
 220 ], 'expected_warnings'
 221 } 'traversing prefetch chain with empty intermediates works';
 222
 223 TODO: {
 224 local $TODO = 'this does not work at all, need to promote rsattrs to an object on its own';
 225 # make sure has_many column redirection does not do weird stuff when collapse is requested
 226 for my $pref_args (
 227   { prefetch => 'cds'},
 228   { collapse => 1 }
 229 ) {
 230   for my $col_and_join_args (
 231     { '+columns' => { 'cd_title' => 'cds_2.title' }, join => [ 'cds', 'cds' ] },
 232     { '+columns' => { 'cd_title' => 'cds.title' }, join => 'cds', }
 233   ) {
 234
 235     my $weird_rs = $schema->resultset('Artist')->search({}, {
 236       %$col_and_join_args, %$pref_args,
 237     });
 238
 239     for (qw/next all first/) {
 240       throws_ok { $weird_rs->$_ } qr/not yet determined exception text/;
 241     }
 242   }
 243 }
 244 }
 245
 246 # multi-has_many with underdefined root, with rather random order
 247 $rs = $schema->resultset ('CD')->search ({}, {
 248   join => [ 'tracks', { single_track => { cd => { artist => { cds => 'tracks' } } } }  ],
 249   collapse => 1,
 250   columns => [
 251     { 'single_track.trackid'                    => 'single_track.trackid' },  # definitive link to root from 1:1:1:1:M:M chain
 252     { 'year'                                    => 'me.year' },               # non-unique
 253     { 'tracks.cd'                               => 'tracks.cd' },             # \ together both uniqueness for second multirel
 254     { 'tracks.title'                            => 'tracks.title' },          # / and definitive link back to root
 255     { 'single_track.cd.artist.cds.cdid'         => 'cds.cdid' },              # to give uniquiness to ...tracks.title below
 256     { 'single_track.cd.artist.cds.year'         => 'cds.year' },              # non-unique
 257     { 'single_track.cd.artist.artistid'         => 'artist.artistid' },       # uniqufies entire parental chain
 258     { 'single_track.cd.artist.cds.genreid'      => 'cds.genreid' },           # nullable
 259     { 'single_track.cd.artist.cds.tracks.title' => 'tracks_2.title' },        # unique when combined with ...cds.cdid above
 260   ],
 261 });
 262
 263 for (1..3) {
 264   $rs->create({ artist => 1, year => 1977, title => "fuzzy_$_" });
 265 }
 266
 267 my $rs_random = $rs->search({}, { order_by => \ 'RANDOM()' });
 268 is ($rs_random->count, 6, 'row count matches');
 269
 270 if ($ENV{TEST_VERBOSE}) {
 271  my @lines = (
 272     [ "What are we actually trying to collapse (Select/As, tests below will see a *DIFFERENT* random order):" ],
 273     [ map { my $s = $_; $s =~ s/single_track\./sngl_tr./; $s } @{$rs_random->{_attrs}{select} } ],
 274     $rs_random->{_attrs}{as},
 275     [ "-" x 159 ],
 276     $rs_random->cursor->all,
 277   );
 278
 279   diag join ' # ', map { sprintf '% 15s', (defined $_ ? $_ : 'NULL') } @$_
 280     for @lines;
 281 }
 282
 283 {
 284   my $queries = 0;
 285   $schema->storage->debugcb(sub { $queries++ });
 286   my $orig_debug = $schema->storage->debug;
 287   $schema->storage->debug (1);
 288
 289   for my $use_next (0, 1) {
 290     my @random_cds;
 291     if ($use_next) {
 292       warnings_exist {
 293         while (my $o = $rs_random->next) {
 294           push @random_cds, $o;
 295         }
 296       } qr/performed an eager cursor slurp underneath/,
 297       'Warned on auto-eager cursor';
 298     }
 299     else {
 300       @random_cds = $rs_random->all;
 301     }
 302
 303     is (@random_cds, 6, 'object count matches');
 304
 305     for my $cd (@random_cds) {
 306       if ($cd->year == 1977) {
 307         is( scalar $cd->tracks, 0, 'no tracks on 1977 cd' );
 308         is( $cd->single_track, undef, 'no single_track on 1977 cd' );
 309       }
 310       elsif ($cd->year == 1976) {
 311         is( scalar $cd->tracks, 2, 'Two tracks on 1976 cd' );
 312         like( $_->title, qr/^o\d/, "correct title" )
 313           for $cd->tracks;
 314         is( $cd->single_track, undef, 'no single_track on 1976 cd' );
 315       }
 316       elsif ($cd->year == 1981) {
 317         is( scalar $cd->tracks, 4, 'Four tracks on 1981 cd' );
 318         like( $_->title, qr/^m\d/, "correct title" )
 319           for $cd->tracks;
 320         is( $cd->single_track, undef, 'no single_track on 1981 cd' );
 321       }
 322       elsif ($cd->year == 1978) {
 323         is( scalar $cd->tracks, 3, 'Three tracks on 1978 cd' );
 324         like( $_->title, qr/^e\d/, "correct title" )
 325           for $cd->tracks;
 326         ok( defined $cd->single_track, 'single track prefetched on 1987 cd' );
 327         is( $cd->single_track->cd->artist->id, 1, 'Single_track->cd->artist prefetched on 1978 cd' );
 328         is( scalar $cd->single_track->cd->artist->cds, 6, '6 cds prefetched on artist' );
 329       }
 330     }
 331   }
 332
 333   $schema->storage->debugcb(undef);
 334   $schema->storage->debug($orig_debug);
 335   is ($queries, 2, "Only two queries for two prefetch calls total");
 336 }
 337
 338 # can't cmp_deeply a random set - need *some* order
 339 my $ord_rs = $rs->search({}, {
 340   order_by => [ 'tracks_2.title', 'tracks.title', 'cds.cdid', \ 'RANDOM()' ],
 341   result_class => 'DBIx::Class::ResultClass::HashRefInflator',
 342 });
 343 my @hris_all = sort { $a->{year} cmp $b->{year} } $ord_rs->all;
 344 is (@hris_all, 6, 'hri count matches' );
 345
 346 my $iter_rs = $rs->search({}, {
 347   order_by => [ 'me.year', 'me.cdid', 'tracks_2.title', 'tracks.title', 'cds.cdid', \ 'RANDOM()' ],
 348   result_class => 'DBIx::Class::ResultClass::HashRefInflator',
 349 });
 350 my @hris_iter;
 351 while (my $r = $iter_rs->next) {
 352   push @hris_iter, $r;
 353 }
 354
 355 cmp_deeply(
 356   \@hris_iter,
 357   \@hris_all,
 358   'Iteration works correctly',
 359 );
 360
 361 my @hri_contents = (
 362   { year => 1976, single_track => undef, tracks => [
 363     { cd => 2, title => "o1" },
 364     { cd => 2, title => "o2" },
 365   ]},
 366   { year => 1977, single_track => undef, tracks => [] },
 367   { year => 1977, single_track => undef, tracks => [] },
 368   { year => 1977, single_track => undef, tracks => [] },
 369   {
 370     year => 1978,
 371     single_track => {
 372       trackid => 6,
 373       cd => {
 374         artist => {
 375           artistid => 1, cds => [
 376             { cdid => 4, genreid => undef, year => 1977, tracks => [] },
 377             { cdid => 5, genreid => undef, year => 1977, tracks => [] },
 378             { cdid => 6, genreid => undef, year => 1977, tracks => [] },
 379             { cdid => 3, genreid => 1, year => 1978, tracks => [
 380               { title => "e1" },
 381               { title => "e2" },
 382               { title => "e3" },
 383             ]},
 384             { cdid => 1, genreid => 1, year => 1981, tracks => [
 385               { title => "m1" },
 386               { title => "m2" },
 387               { title => "m3" },
 388               { title => "m4" },
 389             ]},
 390             { cdid => 2, genreid => undef, year => 1976, tracks => [
 391               { title => "o1" },
 392               { title => "o2" },
 393             ]},
 394           ]
 395         },
 396       },
 397     },
 398     tracks => [
 399       { cd => 3, title => "e1" },
 400       { cd => 3, title => "e2" },
 401       { cd => 3, title => "e3" },
 402     ],
 403   },
 404   { year => 1981, single_track => undef, tracks => [
 405     { cd => 1, title => "m1" },
 406     { cd => 1, title => "m2" },
 407     { cd => 1, title => "m3" },
 408     { cd => 1, title => "m4" },
 409   ]},
 410 );
 411
 412 cmp_deeply (\@hris_all, \@hri_contents, 'W00T, multi-has_many manual underdefined root prefetch with collapse works');
 413
 414 cmp_deeply(
 415   $rs->search({}, {
 416     order_by => [ 'me.year', 'tracks_2.title', 'tracks.title', 'cds.cdid', { -desc => 'name' } ],
 417     rows => 4,
 418     offset => 2,
 419   })->all_hri,
 420   [ @hri_contents[2..5] ],
 421   'multi-has_many prefetch with limit works too',
 422 );
 423
 424 # left-ordered real iterator
 425 $rs = $rs->search({}, { order_by => [ 'me.year', 'me.cdid', \ 'RANDOM()' ] });
 426 my @objs_iter;
 427 while (my $r = $rs->next) {
 428   push @objs_iter, $r;
 429 }
 430
 431 for my $i (0 .. $#objs_iter) {
 432   is ($objs_iter[$i]->year, $hris_all[$i]{year}, "Expected year on object $i" );
 433   is (
 434     (defined $objs_iter[$i]->single_track),
 435     (defined $hris_all[$i]{single_track}),
 436     "Expected single relation on object $i"
 437   );
 438 }
 439
 440 $rs = $schema->resultset('Artist')->search({}, {
 441   join => 'cds',
 442   columns => ['cds.title', 'cds.artist' ],
 443   collapse => 1,
 444   order_by => [qw( me.name cds.title )],
 445 });
 446
 447 $rs->create({ name => "${_}_cdless" })
 448   for (qw( Z A ));
 449
 450 cmp_deeply (
 451   $rs->all_hri,
 452   [
 453     { cds => [] },
 454     { cds => [
 455       { artist => 1, title => "Equinoxe" },
 456       { artist => 1, title => "Magnetic Fields" },
 457       { artist => 1, title => "Oxygene" },
 458       { artist => 1, title => "fuzzy_1" },
 459       { artist => 1, title => "fuzzy_2" },
 460       { artist => 1, title => "fuzzy_3" },
 461     ] },
 462     { cds => [] },
 463   ],
 464   'Expected HRI of 1:M with empty root selection',
 465 );
 466
 467 done_testing;