Merge 'trunk' into 'mssql_limit_regression'
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / SQLAHacks.pm
1 package # Hide from PAUSE
2   DBIx::Class::SQLAHacks;
3
4 # This module is a subclass of SQL::Abstract::Limit and includes a number
5 # of DBIC-specific workarounds, not yet suitable for inclusion into the
6 # SQLA core
7
8 use base qw/SQL::Abstract::Limit/;
9 use strict;
10 use warnings;
11 use Carp::Clan qw/^DBIx::Class|^SQL::Abstract/;
12 use Sub::Name();
13
14 BEGIN {
15   # reinstall the carp()/croak() functions imported into SQL::Abstract
16   # as Carp and Carp::Clan do not like each other much
17   no warnings qw/redefine/;
18   no strict qw/refs/;
19   for my $f (qw/carp croak/) {
20
21     my $orig = \&{"SQL::Abstract::$f"};
22     *{"SQL::Abstract::$f"} = Sub::Name::subname "SQL::Abstract::$f" =>
23       sub {
24         if (Carp::longmess() =~ /DBIx::Class::SQLAHacks::[\w]+ .+? called \s at/x) {
25           __PACKAGE__->can($f)->(@_);
26         }
27         else {
28           goto $orig;
29         }
30       };
31   }
32 }
33
34
35 # Tries to determine limit dialect.
36 #
37 sub new {
38   my $self = shift->SUPER::new(@_);
39
40   # This prevents the caching of $dbh in S::A::L, I believe
41   # If limit_dialect is a ref (like a $dbh), go ahead and replace
42   #   it with what it resolves to:
43   $self->{limit_dialect} = $self->_find_syntax($self->{limit_dialect})
44     if ref $self->{limit_dialect};
45
46   $self;
47 }
48
49
50 # ANSI standard Limit/Offset implementation. DB2 and MSSQL use this
51 sub _RowNumberOver {
52   my ($self, $sql, $order, $rows, $offset ) = @_;
53
54   # get the order_by only (or make up an order if none exists)
55   my $order_by = $self->_order_by(
56     (delete $order->{order_by}) || $self->_rno_default_order
57   );
58
59   # whatever is left
60   my $group_having = $self->_order_by($order);
61
62   my $qalias = $self->_quote ($self->{_dbic_rs_attrs}{alias});
63
64   $sql = sprintf (<<'EOS', $qalias, $order_by, $sql, $group_having, $qalias, $offset + 1, $offset + $rows, );
65
66 SELECT * FROM (
67   SELECT %s.*, ROW_NUMBER() OVER(%s ) AS rno__row__index FROM (%s%s) %s
68 ) rno_subq WHERE rno__row__index BETWEEN %d AND %d
69
70 EOS
71
72   $sql =~ s/\s*\n\s*/ /g;   # easier to read in the debugger
73   return $sql;
74 }
75
76 # some databases are happy with OVER (), some need OVER (ORDER BY (SELECT (1)) )
77 sub _rno_default_order {
78   return undef;
79 }
80
81 # Crappy Top based Limit/Offset support. Legacy from MSSQL.
82 sub _Top {
83   my ( $self, $sql, $order, $rows, $offset ) = @_;
84
85   # mangle the input sql so it can be properly aliased in the outer queries
86   $sql =~ s/^ \s* SELECT \s+ (.+?) \s+ (?=FROM)//ix
87     or croak "Unrecognizable SELECT: $sql";
88   my $sql_select = $1;
89   my @sql_select = split (/\s*,\s*/, $sql_select);
90
91   # we can't support subqueries (in fact MSSQL can't) - croak
92   if (@sql_select != @{$self->{_dbic_rs_attrs}{select}}) {
93     croak (sprintf (
94       'SQL SELECT did not parse cleanly - retrieved %d comma separated elements, while '
95     . 'the resultset select attribure contains %d elements: %s',
96       scalar @sql_select,
97       scalar @{$self->{_dbic_rs_attrs}{select}},
98       $sql_select,
99     ));
100   }
101
102   my $name_sep = $self->name_sep || '.';
103   my $esc_name_sep = "\Q$name_sep\E";
104   my $col_re = qr/ ^ (?: (.+) $esc_name_sep )? ([^$esc_name_sep]+) $ /x;
105
106   my $rs_alias = $self->{_dbic_rs_attrs}{alias};
107   my $quoted_rs_alias = $self->_quote ($rs_alias);
108
109   # construct the new select lists, rename(alias) some columns if necessary
110   my (@outer_select, @inner_select, %seen_names, %col_aliases, %outer_col_aliases);
111
112   for (@{$self->{_dbic_rs_attrs}{select}}) {
113     next if ref $_;
114     my ($table, $orig_colname) = ( $_ =~ $col_re );
115     next unless $table;
116     $seen_names{$orig_colname}++;
117   }
118
119   for my $i (0 .. $#sql_select) {
120
121     my $colsel_arg = $self->{_dbic_rs_attrs}{select}[$i];
122     my $colsel_sql = $sql_select[$i];
123
124     # this may or may not work (in case of a scalarref or something)
125     my ($table, $orig_colname) = ( $colsel_arg =~ $col_re );
126
127     my $quoted_alias;
128     # do not attempt to understand non-scalar selects - alias numerically
129     if (ref $colsel_arg) {
130       $quoted_alias = $self->_quote ('column_' . (@inner_select + 1) );
131     }
132     # column name seen more than once - alias it
133     elsif ($orig_colname &&
134           ($seen_names{$orig_colname} && $seen_names{$orig_colname} > 1) ) {
135       $quoted_alias = $self->_quote ("${table}__${orig_colname}");
136     }
137
138     # we did rename - make a record and adjust
139     if ($quoted_alias) {
140       # alias inner
141       push @inner_select, "$colsel_sql AS $quoted_alias";
142
143       # push alias to outer
144       push @outer_select, $quoted_alias;
145
146       # Any aliasing accumulated here will be considered
147       # both for inner and outer adjustments of ORDER BY
148       $self->__record_alias (
149         \%col_aliases,
150         $quoted_alias,
151         $colsel_arg,
152         $table ? $orig_colname : undef,
153       );
154     }
155
156     # otherwise just leave things intact inside, and use the abbreviated one outside
157     # (as we do not have table names anymore)
158     else {
159       push @inner_select, $colsel_sql;
160
161       my $outer_quoted = $self->_quote ($orig_colname);  # it was not a duplicate so should just work
162       push @outer_select, $outer_quoted;
163       $self->__record_alias (
164         \%outer_col_aliases,
165         $outer_quoted,
166         $colsel_arg,
167         $table ? $orig_colname : undef,
168       );
169     }
170   }
171
172   my $outer_select = join (', ', @outer_select );
173   my $inner_select = join (', ', @inner_select );
174
175   %outer_col_aliases = (%outer_col_aliases, %col_aliases);
176
177   # deal with order
178   croak '$order supplied to SQLAHacks limit emulators must be a hash'
179     if (ref $order ne 'HASH');
180
181   $order = { %$order }; #copy
182
183   my $req_order = $order->{order_by};
184
185   # examine normalized version, collapses nesting
186   my $limit_order;
187   if (scalar $self->_order_by_chunks ($req_order)) {
188     $limit_order = $req_order;
189   }
190   else {
191     $limit_order = [ map
192       { join ('', $rs_alias, $name_sep, $_ ) }
193       ( $self->{_dbic_rs_attrs}{_source_handle}->resolve->primary_columns )
194     ];
195   }
196
197   my ( $order_by_inner, $order_by_outer ) = $self->_order_directions($limit_order);
198   my $order_by_requested = $self->_order_by ($req_order);
199
200   # generate the rest
201   delete $order->{order_by};
202   my $grpby_having = $self->_order_by ($order);
203
204   # short circuit for counts - the ordering complexity is needless
205   if ($self->{_dbic_rs_attrs}{-for_count_only}) {
206     return "SELECT TOP $rows $inner_select $sql $grpby_having $order_by_outer";
207   }
208
209   # we can't really adjust the order_by columns, as introspection is lacking
210   # resort to simple substitution
211   for my $col (keys %outer_col_aliases) {
212     for ($order_by_requested, $order_by_outer) {
213       $_ =~ s/\s+$col\s+/ $outer_col_aliases{$col} /g;
214     }
215   }
216   for my $col (keys %col_aliases) {
217     $order_by_inner =~ s/\s+$col\s+/ $col_aliases{$col} /g;
218   }
219
220
221   my $inner_lim = $rows + $offset;
222
223   $sql = "SELECT TOP $inner_lim $inner_select $sql $grpby_having $order_by_inner";
224
225   if ($offset) {
226     $sql = <<"SQL";
227
228     SELECT TOP $rows $outer_select FROM
229     (
230       $sql
231     ) $quoted_rs_alias
232     $order_by_outer
233 SQL
234
235   }
236
237   if ($order_by_requested) {
238     $sql = <<"SQL";
239
240     SELECT $outer_select FROM
241       ( $sql ) $quoted_rs_alias
242     $order_by_requested
243 SQL
244
245   }
246
247   $sql =~ s/\s*\n\s*/ /g; # parsing out multiline statements is harder than a single line
248   return $sql;
249 }
250
251 # action at a distance to shorten Top code above
252 sub __record_alias {
253   my ($self, $register, $alias, $fqcol, $col) = @_;
254
255   # record qualified name
256   $register->{$fqcol} = $alias;
257   $register->{$self->_quote($fqcol)} = $alias;
258
259   return unless $col;
260
261   # record unqualified name, undef (no adjustment) if a duplicate is found
262   if (exists $register->{$col}) {
263     $register->{$col} = undef;
264   }
265   else {
266     $register->{$col} = $alias;
267   }
268
269   $register->{$self->_quote($col)} = $register->{$col};
270 }
271
272
273
274 # While we're at it, this should make LIMIT queries more efficient,
275 #  without digging into things too deeply
276 sub _find_syntax {
277   my ($self, $syntax) = @_;
278   return $self->{_cached_syntax} ||= $self->SUPER::_find_syntax($syntax);
279 }
280
281 my $for_syntax = {
282   update => 'FOR UPDATE',
283   shared => 'FOR SHARE',
284 };
285 # Quotes table names, handles "limit" dialects (e.g. where rownum between x and
286 # y), supports SELECT ... FOR UPDATE and SELECT ... FOR SHARE.
287 sub select {
288   my ($self, $table, $fields, $where, $order, @rest) = @_;
289
290   $self->{"${_}_bind"} = [] for (qw/having from order/);
291
292   if (not ref($table) or ref($table) eq 'SCALAR') {
293     $table = $self->_quote($table);
294   }
295
296   local $self->{rownum_hack_count} = 1
297     if (defined $rest[0] && $self->{limit_dialect} eq 'RowNum');
298   @rest = (-1) unless defined $rest[0];
299   croak "LIMIT 0 Does Not Compute" if $rest[0] == 0;
300     # and anyway, SQL::Abstract::Limit will cause a barf if we don't first
301   my ($sql, @where_bind) = $self->SUPER::select(
302     $table, $self->_recurse_fields($fields), $where, $order, @rest
303   );
304   if (my $for = delete $self->{_dbic_rs_attrs}{for}) {
305     $sql .= " $for_syntax->{$for}" if $for_syntax->{$for};
306   }
307
308   return wantarray ? ($sql, @{$self->{from_bind}}, @where_bind, @{$self->{having_bind}}, @{$self->{order_bind}} ) : $sql;
309 }
310
311 # Quotes table names, and handles default inserts
312 sub insert {
313   my $self = shift;
314   my $table = shift;
315   $table = $self->_quote($table);
316
317   # SQLA will emit INSERT INTO $table ( ) VALUES ( )
318   # which is sadly understood only by MySQL. Change default behavior here,
319   # until SQLA2 comes with proper dialect support
320   if (! $_[0] or (ref $_[0] eq 'HASH' and !keys %{$_[0]} ) ) {
321     return "INSERT INTO ${table} DEFAULT VALUES"
322   }
323
324   $self->SUPER::insert($table, @_);
325 }
326
327 # Just quotes table names.
328 sub update {
329   my $self = shift;
330   my $table = shift;
331   $table = $self->_quote($table);
332   $self->SUPER::update($table, @_);
333 }
334
335 # Just quotes table names.
336 sub delete {
337   my $self = shift;
338   my $table = shift;
339   $table = $self->_quote($table);
340   $self->SUPER::delete($table, @_);
341 }
342
343 sub _emulate_limit {
344   my $self = shift;
345   if ($_[3] == -1) {
346     return $_[1].$self->_order_by($_[2]);
347   } else {
348     return $self->SUPER::_emulate_limit(@_);
349   }
350 }
351
352 sub _recurse_fields {
353   my ($self, $fields, $params) = @_;
354   my $ref = ref $fields;
355   return $self->_quote($fields) unless $ref;
356   return $$fields if $ref eq 'SCALAR';
357
358   if ($ref eq 'ARRAY') {
359     return join(', ', map {
360       $self->_recurse_fields($_)
361         .(exists $self->{rownum_hack_count} && !($params && $params->{no_rownum_hack})
362           ? ' AS col'.$self->{rownum_hack_count}++
363           : '')
364       } @$fields);
365   }
366   elsif ($ref eq 'HASH') {
367     my %hash = %$fields;
368
369     my $as = delete $hash{-as};   # if supplied
370
371     my ($func, $args) = each %hash;
372     delete $hash{$func};
373
374     if (lc ($func) eq 'distinct' && ref $args eq 'ARRAY' && @$args > 1) {
375       croak (
376         'The select => { distinct => ... } syntax is not supported for multiple columns.'
377        .' Instead please use { group_by => [ qw/' . (join ' ', @$args) . '/ ] }'
378        .' or { select => [ qw/' . (join ' ', @$args) . '/ ], distinct => 1 }'
379       );
380     }
381
382     my $select = sprintf ('%s( %s )%s',
383       $self->_sqlcase($func),
384       $self->_recurse_fields($args),
385       $as
386         ? sprintf (' %s %s', $self->_sqlcase('as'), $as)
387         : ''
388     );
389
390     # there should be nothing left
391     if (keys %hash) {
392       croak "Malformed select argument - too many keys in hash: " . join (',', keys %$fields );
393     }
394
395     return $select;
396   }
397   # Is the second check absolutely necessary?
398   elsif ( $ref eq 'REF' and ref($$fields) eq 'ARRAY' ) {
399     return $self->_fold_sqlbind( $fields );
400   }
401   else {
402     croak($ref . qq{ unexpected in _recurse_fields()})
403   }
404 }
405
406 sub _order_by {
407   my ($self, $arg) = @_;
408
409   if (ref $arg eq 'HASH' and keys %$arg and not grep { $_ =~ /^-(?:desc|asc)/i } keys %$arg ) {
410
411     my $ret = '';
412
413     if (my $g = $self->_recurse_fields($arg->{group_by}, { no_rownum_hack => 1 }) ) {
414       $ret = $self->_sqlcase(' group by ') . $g;
415     }
416
417     if (defined $arg->{having}) {
418       my ($frag, @bind) = $self->_recurse_where($arg->{having});
419       push(@{$self->{having_bind}}, @bind);
420       $ret .= $self->_sqlcase(' having ').$frag;
421     }
422
423     if (defined $arg->{order_by}) {
424       my ($frag, @bind) = $self->SUPER::_order_by($arg->{order_by});
425       push(@{$self->{order_bind}}, @bind);
426       $ret .= $frag;
427     }
428
429     return $ret;
430   }
431   else {
432     my ($sql, @bind) = $self->SUPER::_order_by ($arg);
433     push(@{$self->{order_bind}}, @bind);
434     return $sql;
435   }
436 }
437
438 sub _order_directions {
439   my ($self, $order) = @_;
440
441   # strip bind values - none of the current _order_directions users support them
442   return $self->SUPER::_order_directions( [ map
443     { ref $_ ? $_->[0] : $_ }
444     $self->_order_by_chunks ($order)
445   ]);
446 }
447
448 sub _table {
449   my ($self, $from) = @_;
450   if (ref $from eq 'ARRAY') {
451     return $self->_recurse_from(@$from);
452   } elsif (ref $from eq 'HASH') {
453     return $self->_make_as($from);
454   } else {
455     return $from; # would love to quote here but _table ends up getting called
456                   # twice during an ->select without a limit clause due to
457                   # the way S::A::Limit->select works. should maybe consider
458                   # bypassing this and doing S::A::select($self, ...) in
459                   # our select method above. meantime, quoting shims have
460                   # been added to select/insert/update/delete here
461   }
462 }
463
464 sub _recurse_from {
465   my ($self, $from, @join) = @_;
466   my @sqlf;
467   push(@sqlf, $self->_make_as($from));
468   foreach my $j (@join) {
469     my ($to, $on) = @$j;
470
471
472     # check whether a join type exists
473     my $to_jt = ref($to) eq 'ARRAY' ? $to->[0] : $to;
474     my $join_type;
475     if (ref($to_jt) eq 'HASH' and defined($to_jt->{-join_type})) {
476       $join_type = $to_jt->{-join_type};
477       $join_type =~ s/^\s+ | \s+$//xg;
478     }
479
480     $join_type = $self->{_default_jointype} if not defined $join_type;
481
482     my $join_clause = sprintf ('%s JOIN ',
483       $join_type ?  ' ' . uc($join_type) : ''
484     );
485     push @sqlf, $join_clause;
486
487     if (ref $to eq 'ARRAY') {
488       push(@sqlf, '(', $self->_recurse_from(@$to), ')');
489     } else {
490       push(@sqlf, $self->_make_as($to));
491     }
492     push(@sqlf, ' ON ', $self->_join_condition($on));
493   }
494   return join('', @sqlf);
495 }
496
497 sub _fold_sqlbind {
498   my ($self, $sqlbind) = @_;
499
500   my @sqlbind = @$$sqlbind; # copy
501   my $sql = shift @sqlbind;
502   push @{$self->{from_bind}}, @sqlbind;
503
504   return $sql;
505 }
506
507 sub _make_as {
508   my ($self, $from) = @_;
509   return join(' ', map { (ref $_ eq 'SCALAR' ? $$_
510                         : ref $_ eq 'REF'    ? $self->_fold_sqlbind($_)
511                         : $self->_quote($_))
512                        } reverse each %{$self->_skip_options($from)});
513 }
514
515 sub _skip_options {
516   my ($self, $hash) = @_;
517   my $clean_hash = {};
518   $clean_hash->{$_} = $hash->{$_}
519     for grep {!/^-/} keys %$hash;
520   return $clean_hash;
521 }
522
523 sub _join_condition {
524   my ($self, $cond) = @_;
525   if (ref $cond eq 'HASH') {
526     my %j;
527     for (keys %$cond) {
528       my $v = $cond->{$_};
529       if (ref $v) {
530         croak (ref($v) . qq{ reference arguments are not supported in JOINS - try using \"..." instead'})
531             if ref($v) ne 'SCALAR';
532         $j{$_} = $v;
533       }
534       else {
535         my $x = '= '.$self->_quote($v); $j{$_} = \$x;
536       }
537     };
538     return scalar($self->_recurse_where(\%j));
539   } elsif (ref $cond eq 'ARRAY') {
540     return join(' OR ', map { $self->_join_condition($_) } @$cond);
541   } else {
542     die "Can't handle this yet!";
543   }
544 }
545
546 sub _quote {
547   my ($self, $label) = @_;
548   return '' unless defined $label;
549   return $$label if ref($label) eq 'SCALAR';
550   return "*" if $label eq '*';
551   return $label unless $self->{quote_char};
552   if(ref $self->{quote_char} eq "ARRAY"){
553     return $self->{quote_char}->[0] . $label . $self->{quote_char}->[1]
554       if !defined $self->{name_sep};
555     my $sep = $self->{name_sep};
556     return join($self->{name_sep},
557         map { $self->{quote_char}->[0] . $_ . $self->{quote_char}->[1]  }
558        split(/\Q$sep\E/,$label));
559   }
560   return $self->SUPER::_quote($label);
561 }
562
563 sub limit_dialect {
564     my $self = shift;
565     $self->{limit_dialect} = shift if @_;
566     return $self->{limit_dialect};
567 }
568
569 # Set to an array-ref to specify separate left and right quotes for table names.
570 # A single scalar is equivalen to [ $char, $char ]
571 sub quote_char {
572     my $self = shift;
573     $self->{quote_char} = shift if @_;
574     return $self->{quote_char};
575 }
576
577 # Character separating quoted table names.
578 sub name_sep {
579     my $self = shift;
580     $self->{name_sep} = shift if @_;
581     return $self->{name_sep};
582 }
583
584 1;