Merge 'trunk' into 'sqla_1.50_compat'
[dbsrgits/DBIx-Class-Historic.git] / t / 77prefetch.t
1 use strict;
2 use warnings;  
3
4 use Test::More;
5 use lib qw(t/lib);
6 use DBICTest;
7 use Data::Dumper;
8
9 my $schema = DBICTest->init_schema();
10
11 my $orig_debug = $schema->storage->debug;
12
13 use IO::File;
14
15 BEGIN {
16     eval "use DBD::SQLite";
17     plan $@
18         ? ( skip_all => 'needs DBD::SQLite for testing' )
19         : ( tests => 58 );
20 }
21
22 # figure out if we've got a version of sqlite that is older than 3.2.6, in
23 # which case COUNT(DISTINCT()) doesn't work
24 my $is_broken_sqlite = 0;
25 my ($sqlite_major_ver,$sqlite_minor_ver,$sqlite_patch_ver) =
26     split /\./, $schema->storage->dbh->get_info(18);
27 if( $schema->storage->dbh->get_info(17) eq 'SQLite' &&
28     ( ($sqlite_major_ver < 3) ||
29       ($sqlite_major_ver == 3 && $sqlite_minor_ver < 2) ||
30       ($sqlite_major_ver == 3 && $sqlite_minor_ver == 2 && $sqlite_patch_ver < 6) ) ) {
31     $is_broken_sqlite = 1;
32 }
33
34 # bug in 0.07000 caused attr (join/prefetch) to be modifed by search
35 # so we check the search & attr arrays are not modified
36 my $search = { 'artist.name' => 'Caterwauler McCrae' };
37 my $attr = { prefetch => [ qw/artist liner_notes/ ],
38              order_by => 'me.cdid' };
39 my $search_str = Dumper($search);
40 my $attr_str = Dumper($attr);
41
42 my $rs = $schema->resultset("CD")->search($search, $attr);
43
44 is(Dumper($search), $search_str, 'Search hash untouched after search()');
45 is(Dumper($attr), $attr_str, 'Attribute hash untouched after search()');
46 cmp_ok($rs + 0, '==', 3, 'Correct number of records returned');
47
48 my $queries = 0;
49 $schema->storage->debugcb(sub { $queries++; });
50 $schema->storage->debug(1);
51
52 my @cd = $rs->all;
53
54 is($cd[0]->title, 'Spoonful of bees', 'First record returned ok');
55
56 ok(!defined $cd[0]->liner_notes, 'No prefetch for NULL LEFT join');
57
58 is($cd[1]->{_relationship_data}{liner_notes}->notes, 'Buy Whiskey!', 'Prefetch for present LEFT JOIN');
59
60 is(ref $cd[1]->liner_notes, 'DBICTest::LinerNotes', 'Prefetch returns correct class');
61
62 is($cd[2]->{_inflated_column}{artist}->name, 'Caterwauler McCrae', 'Prefetch on parent object ok');
63
64 is($queries, 1, 'prefetch ran only 1 select statement');
65
66 $schema->storage->debug($orig_debug);
67 $schema->storage->debugobj->callback(undef);
68
69 # test for partial prefetch via columns attr
70 my $cd = $schema->resultset('CD')->find(1,
71     {
72       columns => [qw/title artist artist.name/], 
73       join => { 'artist' => {} }
74     }
75 );
76 ok(eval { $cd->artist->name eq 'Caterwauler McCrae' }, 'single related column prefetched');
77
78 # start test for nested prefetch SELECT count
79 $queries = 0;
80 $schema->storage->debugcb(sub { $queries++ });
81 $schema->storage->debug(1);
82
83 $rs = $schema->resultset('Tag')->search(
84   {},
85   {
86     prefetch => { cd => 'artist' }
87   }
88 );
89
90 my $tag = $rs->first;
91
92 is( $tag->cd->title, 'Spoonful of bees', 'step 1 ok for nested prefetch' );
93
94 is( $tag->cd->artist->name, 'Caterwauler McCrae', 'step 2 ok for nested prefetch');
95
96 # count the SELECTs
97 #$selects++ if /SELECT(?!.*WHERE 1=0.*)/;
98 is($queries, 1, 'nested prefetch ran exactly 1 select statement (excluding column_info)');
99
100 $queries = 0;
101
102 is($tag->search_related('cd')->search_related('artist')->first->name,
103    'Caterwauler McCrae',
104    'chained belongs_to->belongs_to search_related ok');
105
106 is($queries, 0, 'chained search_related after belontgs_to->belongs_to prefetch ran no queries');
107
108 $queries = 0;
109
110 $cd = $schema->resultset('CD')->find(1, { prefetch => 'artist' });
111
112 is($cd->{_inflated_column}{artist}->name, 'Caterwauler McCrae', 'artist prefetched correctly on find');
113
114 is($queries, 1, 'find with prefetch ran exactly 1 select statement (excluding column_info)');
115
116 $queries = 0;
117
118 $schema->storage->debugcb(sub { $queries++; });
119
120 $cd = $schema->resultset('CD')->find(1, { prefetch => { cd_to_producer => 'producer' } });
121
122 is($cd->producers->first->name, 'Matt S Trout', 'many_to_many accessor ok');
123
124 is($queries, 1, 'many_to_many accessor with nested prefetch ran exactly 1 query');
125
126 $queries = 0;
127
128 my $producers = $cd->search_related('cd_to_producer')->search_related('producer');
129
130 is($producers->first->name, 'Matt S Trout', 'chained many_to_many search_related ok');
131
132 is($queries, 0, 'chained search_related after many_to_many prefetch ran no queries');
133
134 $schema->storage->debug($orig_debug);
135 $schema->storage->debugobj->callback(undef);
136
137 $rs = $schema->resultset('Tag')->search(
138   {},
139   {
140     join => { cd => 'artist' },
141     prefetch => { cd => 'artist' }
142   }
143 );
144
145 cmp_ok( $rs->count, '>=', 0, 'nested prefetch does not duplicate joins' );
146
147 my ($artist) = $schema->resultset("Artist")->search({ 'cds.year' => 2001 },
148                  { order_by => 'artistid DESC', join => 'cds' });
149
150 is($artist->name, 'Random Boy Band', "Join search by object ok");
151
152 my @cds = $schema->resultset("CD")->search({ 'liner_notes.notes' => 'Buy Merch!' },
153                                { join => 'liner_notes' });
154
155 cmp_ok(scalar @cds, '==', 1, "Single CD retrieved via might_have");
156
157 is($cds[0]->title, "Generic Manufactured Singles", "Correct CD retrieved");
158
159 my @artists = $schema->resultset("Artist")->search({ 'tags.tag' => 'Shiny' },
160                                        { join => { 'cds' => 'tags' } });
161
162 cmp_ok( @artists, '==', 2, "two-join search ok" );
163
164 $rs = $schema->resultset("CD")->search(
165   {},
166   { group_by => [qw/ title me.cdid /] }
167 );
168
169 SKIP: {
170     skip "SQLite < 3.2.6 doesn't understand COUNT(DISTINCT())", 1
171         if $is_broken_sqlite;
172     cmp_ok( $rs->count, '==', 5, "count() ok after group_by on main pk" );
173 }
174
175 cmp_ok( scalar $rs->all, '==', 5, "all() returns same count as count() after group_by on main pk" );
176
177 $rs = $schema->resultset("CD")->search(
178   {},
179   { join => [qw/ artist /], group_by => [qw/ artist.name /] }
180 );
181
182 SKIP: {
183     skip "SQLite < 3.2.6 doesn't understand COUNT(DISTINCT())", 1
184         if $is_broken_sqlite;
185     cmp_ok( $rs->count, '==', 3, "count() ok after group_by on related column" );
186 }
187
188 $rs = $schema->resultset("Artist")->search(
189   {},
190       { join => [qw/ cds /], group_by => [qw/ me.name /], having =>{ 'MAX(cds.cdid)'=> \'< 5' } }
191 );
192
193 cmp_ok( $rs->all, '==', 2, "results ok after group_by on related column with a having" );
194
195 $rs = $rs->search( undef, {  having =>{ 'count(*)'=> \'> 2' }});
196
197 cmp_ok( $rs->all, '==', 1, "count() ok after group_by on related column with a having" );
198
199 $rs = $schema->resultset("Artist")->search(
200         { 'cds.title' => 'Spoonful of bees',
201           'cds_2.title' => 'Forkful of bees' },
202         { join => [ 'cds', 'cds' ] });
203
204 SKIP: {
205     skip "SQLite < 3.2.6 doesn't understand COUNT(DISTINCT())", 1
206         if $is_broken_sqlite;
207     cmp_ok($rs->count, '==', 1, "single artist returned from multi-join");
208 }
209
210 is($rs->next->name, 'Caterwauler McCrae', "Correct artist returned");
211
212 $cd = $schema->resultset('Artist')->first->create_related('cds',
213     {
214     title   => 'Unproduced Single',
215     year    => 2007
216 });
217
218 my $left_join = $schema->resultset('CD')->search(
219     { 'me.cdid' => $cd->cdid },
220     { prefetch => { cd_to_producer => 'producer' } }
221 );
222
223 cmp_ok($left_join, '==', 1, 'prefetch with no join record present');
224
225 $queries = 0;
226 $schema->storage->debugcb(sub { $queries++ });
227 $schema->storage->debug(1);
228
229 my $tree_like =
230      $schema->resultset('TreeLike')->find(5,
231        { join     => { parent => { parent => 'parent' } },
232          prefetch => { parent => { parent => 'parent' } } });
233
234 is($tree_like->name, 'quux', 'Bottom of tree ok');
235 $tree_like = $tree_like->parent;
236 is($tree_like->name, 'baz', 'First level up ok');
237 $tree_like = $tree_like->parent;
238 is($tree_like->name, 'bar', 'Second level up ok');
239 $tree_like = $tree_like->parent;
240 is($tree_like->name, 'foo', 'Third level up ok');
241
242 $schema->storage->debug($orig_debug);
243 $schema->storage->debugobj->callback(undef);
244
245 cmp_ok($queries, '==', 1, 'Only one query run');
246
247 $tree_like = $schema->resultset('TreeLike')->search({'me.id' => 2});
248 $tree_like = $tree_like->search_related('children')->search_related('children')->search_related('children')->first;
249 is($tree_like->name, 'quux', 'Tree search_related ok');
250
251 $tree_like = $schema->resultset('TreeLike')->search_related('children',
252     { 'children.id' => 3, 'children_2.id' => 4 },
253     { prefetch => { children => 'children' } }
254   )->first;
255 is(eval { $tree_like->children->first->children->first->name }, 'quux',
256    'Tree search_related with prefetch ok');
257
258 $tree_like = eval { $schema->resultset('TreeLike')->search(
259     { 'children.id' => 3, 'children_2.id' => 6 }, 
260     { join => [qw/children children/] }
261   )->search_related('children', { 'children_4.id' => 7 }, { prefetch => 'children' }
262   )->first->children->first; };
263 is(eval { $tree_like->name }, 'fong', 'Tree with multiple has_many joins ok');
264
265 # test that collapsed joins don't get a _2 appended to the alias
266
267 my $sql = '';
268 $schema->storage->debugcb(sub { $sql = $_[1] });
269 $schema->storage->debug(1);
270
271 eval {
272   my $row = $schema->resultset('Artist')->search_related('cds', undef, {
273     join => 'tracks',
274     prefetch => 'tracks',
275   })->search_related('tracks')->first;
276 };
277
278 like( $sql, qr/^SELECT tracks_2\.trackid/, "join not collapsed for search_related" );
279
280 $schema->storage->debug($orig_debug);
281 $schema->storage->debugobj->callback(undef);
282
283 $rs = $schema->resultset('Artist');
284 $rs->create({ artistid => 4, name => 'Unknown singer-songwriter' });
285 $rs->create({ artistid => 5, name => 'Emo 4ever' });
286 @artists = $rs->search(undef, { prefetch => 'cds', order_by => 'artistid' });
287 is(scalar @artists, 5, 'has_many prefetch with adjacent empty rows ok');
288
289 # -------------
290 #
291 # Tests for multilevel has_many prefetch
292
293 # artist resultsets - with and without prefetch
294 my $art_rs = $schema->resultset('Artist');
295 my $art_rs_pr = $art_rs->search(
296     {},
297     {
298         join     => [ { cds => ['tracks'] } ],
299         prefetch => [ { cds => ['tracks'] } ],
300         cache    => 1 # last test needs this
301     }
302 );
303
304 # This test does the same operation twice - once on a
305 # set of items fetched from the db with no prefetch of has_many rels
306 # The second prefetches 2 levels of has_many
307 # We check things are the same by comparing the name or title
308 # we build everything into a hash structure and compare the one
309 # from each rs to see what differs
310
311 sub make_hash_struc {
312     my $rs = shift;
313
314     my $struc = {};
315     foreach my $art ( $rs->all ) {
316         foreach my $cd ( $art->cds ) {
317             foreach my $track ( $cd->tracks ) {
318                 $struc->{ $art->name }{ $cd->title }{ $track->title }++;
319             }
320         }
321     }
322     return $struc;
323 }
324
325 $queries = 0;
326 $schema->storage->debugcb(sub { $queries++ });
327 $schema->storage->debug(1);
328
329 my $prefetch_result = make_hash_struc($art_rs_pr);
330
331 is($queries, 1, 'nested prefetch across has_many->has_many ran exactly 1 query');
332
333 my $nonpre_result   = make_hash_struc($art_rs);
334
335 is_deeply( $prefetch_result, $nonpre_result,
336     'Compare 2 level prefetch result to non-prefetch result' );
337
338 $queries = 0;
339
340 is($art_rs_pr->search_related('cds')->search_related('tracks')->first->title,
341    'Fowlin',
342    'chained has_many->has_many search_related ok'
343   );
344
345 is($queries, 0, 'chained search_related after has_many->has_many prefetch ran no queries');
346
347 # once the following TODO is complete, remove the 2 warning tests immediately after the TODO block
348 # (the TODO block itself contains tests ensuring that the warns are removed)
349 TODO: {
350     local $TODO = 'Prefetch of multiple has_many rels at the same level (currently warn to protect the clueless git)';
351
352     #( 1 -> M + M )
353     my $cd_rs = $schema->resultset('CD')->search ({ 'me.title' => 'Forkful of bees' });
354     my $pr_cd_rs = $cd_rs->search ({}, {
355         prefetch => [qw/tracks tags/],
356     });
357
358     my $tracks_rs = $cd_rs->first->tracks;
359     my $tracks_count = $tracks_rs->count;
360
361     my ($pr_tracks_rs, $pr_tracks_count);
362
363     $queries = 0;
364     $schema->storage->debugcb(sub { $queries++ });
365     $schema->storage->debug(1);
366
367     my $o_mm_warn;
368     {
369         local $SIG{__WARN__} = sub { $o_mm_warn = shift };
370         $pr_tracks_rs = $pr_cd_rs->first->tracks;
371     };
372     $pr_tracks_count = $pr_tracks_rs->count;
373
374     ok(! $o_mm_warn, 'no warning on attempt to prefetch several same level has_many\'s (1 -> M + M)');
375
376     is($queries, 1, 'prefetch one->(has_many,has_many) ran exactly 1 query');
377     is($pr_tracks_count, $tracks_count, 'equal count of prefetched relations over several same level has_many\'s (1 -> M + M)');
378
379     for ($pr_tracks_rs, $tracks_rs) {
380         $_->result_class ('DBIx::Class::ResultClass::HashRefInflator');
381     }
382
383     is_deeply ([$pr_tracks_rs->all], [$tracks_rs->all], 'same structure returned with and without prefetch over several same level has_many\'s (1 -> M + M)');
384
385     #( M -> 1 -> M + M )
386     my $note_rs = $schema->resultset('LinerNotes')->search ({ notes => 'Buy Whiskey!' });
387     my $pr_note_rs = $note_rs->search ({}, {
388         prefetch => {
389             cd => [qw/tags tracks/]
390         },
391     });
392
393     my $tags_rs = $note_rs->first->cd->tags;
394     my $tags_count = $tags_rs->count;
395
396     my ($pr_tags_rs, $pr_tags_count);
397
398     $queries = 0;
399     $schema->storage->debugcb(sub { $queries++ });
400     $schema->storage->debug(1);
401
402     my $m_o_mm_warn;
403     {
404         local $SIG{__WARN__} = sub { $m_o_mm_warn = shift };
405         $pr_tags_rs = $pr_note_rs->first->cd->tags;
406     };
407     $pr_tags_count = $pr_tags_rs->count;
408
409     ok(! $m_o_mm_warn, 'no warning on attempt to prefetch several same level has_many\'s (M -> 1 -> M + M)');
410
411     is($queries, 1, 'prefetch one->(has_many,has_many) ran exactly 1 query');
412
413     is($pr_tags_count, $tags_count, 'equal count of prefetched relations over several same level has_many\'s (M -> 1 -> M + M)');
414
415     for ($pr_tags_rs, $tags_rs) {
416         $_->result_class ('DBIx::Class::ResultClass::HashRefInflator');
417     }
418
419     is_deeply ([$pr_tags_rs->all], [$tags_rs->all], 'same structure returned with and without prefetch over several same level has_many\'s (M -> 1 -> M + M)');
420 };
421
422 # remove this closure once the TODO above is working
423 my $w;
424 {
425     local $SIG{__WARN__} = sub { $w = shift };
426
427     my $track = $schema->resultset('CD')->search ({ 'me.title' => 'Forkful of bees' }, { prefetch => [qw/tracks tags/] })->first->tracks->first;
428     like ($w, qr/will currently disrupt both the functionality of .rs->count\(\), and the amount of objects retrievable via .rs->next\(\)/,
429         'warning on attempt to prefetch several same level has_many\'s (1 -> M + M)');
430     my $tag = $schema->resultset('LinerNotes')->search ({ notes => 'Buy Whiskey!' }, { prefetch => { cd => [qw/tags tracks/] } })->first->cd->tags->first;
431     like ($w, qr/will currently disrupt both the functionality of .rs->count\(\), and the amount of objects retrievable via .rs->next\(\)/,
432         'warning on attempt to prefetch several same level has_many\'s (M -> 1 -> M + M)');
433 }