take more care in mangling SELECT when applying subquery limits
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / SQLMaker.pm
1 package DBIx::Class::SQLMaker;
2
3 use strict;
4 use warnings;
5
6 =head1 NAME
7
8 DBIx::Class::SQLMaker - An SQL::Abstract-based SQL maker class
9
10 =head1 DESCRIPTION
11
12 This module is a subclass of L<SQL::Abstract> and includes a number of
13 DBIC-specific workarounds, not yet suitable for inclusion into the
14 L<SQL::Abstract> core. It also provides all (and more than) the functionality
15 of L<SQL::Abstract::Limit>, see L<DBIx::Class::SQLMaker::LimitDialects> for
16 more info.
17
18 Currently the enhancements to L<SQL::Abstract> are:
19
20 =over
21
22 =item * Support for C<JOIN> statements (via extended C<table/from> support)
23
24 =item * Support of functions in C<SELECT> lists
25
26 =item * C<GROUP BY>/C<HAVING> support (via extensions to the order_by parameter)
27
28 =item * Support of C<...FOR UPDATE> type of select statement modifiers
29
30 =item * The L</-ident> operator
31
32 =item * The L</-value> operator
33
34 =back
35
36 =cut
37
38 use base qw/
39   DBIx::Class::SQLMaker::LimitDialects
40   SQL::Abstract
41   DBIx::Class
42 /;
43 use mro 'c3';
44
45 use Sub::Name 'subname';
46 use DBIx::Class::Carp;
47 use DBIx::Class::Exception;
48 use namespace::clean;
49
50 __PACKAGE__->mk_group_accessors (simple => qw/quote_char name_sep limit_dialect/);
51
52 # for when I need a normalized l/r pair
53 sub _quote_chars {
54   map
55     { defined $_ ? $_ : '' }
56     ( ref $_[0]->{quote_char} ? (@{$_[0]->{quote_char}}) : ( ($_[0]->{quote_char}) x 2 ) )
57   ;
58 }
59
60 # FIXME when we bring in the storage weaklink, check its schema
61 # weaklink and channel through $schema->throw_exception
62 sub throw_exception { DBIx::Class::Exception->throw($_[1]) }
63
64 BEGIN {
65   # reinstall the belch()/puke() functions of SQL::Abstract with custom versions
66   # that use DBIx::Class::Carp/DBIx::Class::Exception instead of plain Carp
67   no warnings qw/redefine/;
68
69   *SQL::Abstract::belch = subname 'SQL::Abstract::belch' => sub (@) {
70     my($func) = (caller(1))[3];
71     carp "[$func] Warning: ", @_;
72   };
73
74   *SQL::Abstract::puke = subname 'SQL::Abstract::puke' => sub (@) {
75     my($func) = (caller(1))[3];
76     __PACKAGE__->throw_exception("[$func] Fatal: " . join ('',  @_));
77   };
78
79   # Current SQLA pollutes its namespace - clean for the time being
80   namespace::clean->clean_subroutines(qw/SQL::Abstract carp croak confess/);
81 }
82
83 # the "oh noes offset/top without limit" constant
84 # limited to 31 bits for sanity (and consistency,
85 # since it may be handed to the like of sprintf %u)
86 #
87 # Also *some* builds of SQLite fail the test
88 #   some_column BETWEEN ? AND ?: 1, 4294967295
89 # with the proper integer bind attrs
90 #
91 # Implemented as a method, since ::Storage::DBI also
92 # refers to it (i.e. for the case of software_limit or
93 # as the value to abuse with MSSQL ordered subqueries)
94 sub __max_int () { 0x7FFFFFFF };
95
96 # poor man's de-qualifier
97 sub _quote {
98   $_[0]->next::method( ( $_[0]{_dequalify_idents} and ! ref $_[1] )
99     ? $_[1] =~ / ([^\.]+) $ /x
100     : $_[1]
101   );
102 }
103
104 sub new {
105   my $self = shift->next::method(@_);
106
107   # use the same coderefs, they are prepared to handle both cases
108   my @extra_dbic_syntax = (
109     { regex => qr/^ ident $/xi, handler => '_where_op_IDENT' },
110     { regex => qr/^ value $/xi, handler => '_where_op_VALUE' },
111   );
112
113   push @{$self->{special_ops}}, @extra_dbic_syntax;
114   push @{$self->{unary_ops}}, @extra_dbic_syntax;
115
116   $self;
117 }
118
119 sub _where_op_IDENT {
120   my $self = shift;
121   my ($op, $rhs) = splice @_, -2;
122   if (ref $rhs) {
123     $self->throw_exception("-$op takes a single scalar argument (a quotable identifier)");
124   }
125
126   # in case we are called as a top level special op (no '=')
127   my $lhs = shift;
128
129   $_ = $self->_convert($self->_quote($_)) for ($lhs, $rhs);
130
131   return $lhs
132     ? "$lhs = $rhs"
133     : $rhs
134   ;
135 }
136
137 sub _where_op_VALUE {
138   my $self = shift;
139   my ($op, $rhs) = splice @_, -2;
140
141   # in case we are called as a top level special op (no '=')
142   my $lhs = shift;
143
144   my @bind = [
145     ($lhs || $self->{_nested_func_lhs} || $self->throw_exception("Unable to find bindtype for -value $rhs") ),
146     $rhs
147   ];
148
149   return $lhs
150     ? (
151       $self->_convert($self->_quote($lhs)) . ' = ' . $self->_convert('?'),
152       @bind
153     )
154     : (
155       $self->_convert('?'),
156       @bind,
157     )
158   ;
159 }
160
161 sub _where_op_NEST {
162   carp_unique ("-nest in search conditions is deprecated, you most probably wanted:\n"
163       .q|{..., -and => [ \%cond0, \@cond1, \'cond2', \[ 'cond3', [ col => bind ] ], etc. ], ... }|
164   );
165
166   shift->next::method(@_);
167 }
168
169 # Handle limit-dialect selection
170 sub select {
171   my ($self, $table, $fields, $where, $rs_attrs, $limit, $offset) = @_;
172
173
174   $fields = $self->_recurse_fields($fields);
175
176   if (defined $offset) {
177     $self->throw_exception('A supplied offset must be a non-negative integer')
178       if ( $offset =~ /\D/ or $offset < 0 );
179   }
180   $offset ||= 0;
181
182   if (defined $limit) {
183     $self->throw_exception('A supplied limit must be a positive integer')
184       if ( $limit =~ /\D/ or $limit <= 0 );
185   }
186   elsif ($offset) {
187     $limit = $self->__max_int;
188   }
189
190
191   my ($sql, @bind);
192   if ($limit) {
193     # this is legacy code-flow from SQLA::Limit, it is not set in stone
194
195     ($sql, @bind) = $self->next::method ($table, $fields, $where);
196
197     my $limiter =
198       $self->can ('emulate_limit')  # also backcompat hook from SQLA::Limit
199         ||
200       do {
201         my $dialect = $self->limit_dialect
202           or $self->throw_exception( "Unable to generate SQL-limit - no limit dialect specified on $self, and no emulate_limit method found" );
203         $self->can ("_$dialect")
204           or $self->throw_exception(__PACKAGE__ . " does not implement the requested dialect '$dialect'");
205       }
206     ;
207
208     $sql = $self->$limiter (
209       $sql,
210       { %{$rs_attrs||{}}, _selector_sql => $fields },
211       $limit,
212       $offset
213     );
214   }
215   else {
216     ($sql, @bind) = $self->next::method ($table, $fields, $where, $rs_attrs);
217   }
218
219   push @{$self->{where_bind}}, @bind;
220
221 # this *must* be called, otherwise extra binds will remain in the sql-maker
222   my @all_bind = $self->_assemble_binds;
223
224   $sql .= $self->_lock_select ($rs_attrs->{for})
225     if $rs_attrs->{for};
226
227   return wantarray ? ($sql, @all_bind) : $sql;
228 }
229
230 sub _assemble_binds {
231   my $self = shift;
232   return map { @{ (delete $self->{"${_}_bind"}) || [] } } (qw/select from where group having order limit/);
233 }
234
235 my $for_syntax = {
236   update => 'FOR UPDATE',
237   shared => 'FOR SHARE',
238 };
239 sub _lock_select {
240   my ($self, $type) = @_;
241   my $sql = $for_syntax->{$type} || $self->throw_exception( "Unknown SELECT .. FOR type '$type' requested" );
242   return " $sql";
243 }
244
245 # Handle default inserts
246 sub insert {
247 # optimized due to hotttnesss
248 #  my ($self, $table, $data, $options) = @_;
249
250   # SQLA will emit INSERT INTO $table ( ) VALUES ( )
251   # which is sadly understood only by MySQL. Change default behavior here,
252   # until SQLA2 comes with proper dialect support
253   if (! $_[2] or (ref $_[2] eq 'HASH' and !keys %{$_[2]} ) ) {
254     my @bind;
255     my $sql = sprintf(
256       'INSERT INTO %s DEFAULT VALUES', $_[0]->_quote($_[1])
257     );
258
259     if ( ($_[3]||{})->{returning} ) {
260       my $s;
261       ($s, @bind) = $_[0]->_insert_returning ($_[3]);
262       $sql .= $s;
263     }
264
265     return ($sql, @bind);
266   }
267
268   next::method(@_);
269 }
270
271 sub _recurse_fields {
272   my ($self, $fields) = @_;
273   my $ref = ref $fields;
274   return $self->_quote($fields) unless $ref;
275   return $$fields if $ref eq 'SCALAR';
276
277   if ($ref eq 'ARRAY') {
278     return join(', ', map { $self->_recurse_fields($_) } @$fields);
279   }
280   elsif ($ref eq 'HASH') {
281     my %hash = %$fields;  # shallow copy
282
283     my $as = delete $hash{-as};   # if supplied
284
285     my ($func, $args, @toomany) = %hash;
286
287     # there should be only one pair
288     if (@toomany) {
289       $self->throw_exception( "Malformed select argument - too many keys in hash: " . join (',', keys %$fields ) );
290     }
291
292     if (lc ($func) eq 'distinct' && ref $args eq 'ARRAY' && @$args > 1) {
293       $self->throw_exception (
294         'The select => { distinct => ... } syntax is not supported for multiple columns.'
295        .' Instead please use { group_by => [ qw/' . (join ' ', @$args) . '/ ] }'
296        .' or { select => [ qw/' . (join ' ', @$args) . '/ ], distinct => 1 }'
297       );
298     }
299
300     my $select = sprintf ('%s( %s )%s',
301       $self->_sqlcase($func),
302       $self->_recurse_fields($args),
303       $as
304         ? sprintf (' %s %s', $self->_sqlcase('as'), $self->_quote ($as) )
305         : ''
306     );
307
308     return $select;
309   }
310   # Is the second check absolutely necessary?
311   elsif ( $ref eq 'REF' and ref($$fields) eq 'ARRAY' ) {
312     push @{$self->{select_bind}}, @{$$fields}[1..$#$$fields];
313     return $$fields->[0];
314   }
315   else {
316     $self->throw_exception( $ref . qq{ unexpected in _recurse_fields()} );
317   }
318 }
319
320
321 # this used to be a part of _order_by but is broken out for clarity.
322 # What we have been doing forever is hijacking the $order arg of
323 # SQLA::select to pass in arbitrary pieces of data (first the group_by,
324 # then pretty much the entire resultset attr-hash, as more and more
325 # things in the SQLA space need to have mopre info about the $rs they
326 # create SQL for. The alternative would be to keep expanding the
327 # signature of _select with more and more positional parameters, which
328 # is just gross. All hail SQLA2!
329 sub _parse_rs_attrs {
330   my ($self, $arg) = @_;
331
332   my $sql = '';
333
334   if ($arg->{group_by}) {
335     # horible horrible, waiting for refactor
336     local $self->{select_bind};
337     if (my $g = $self->_recurse_fields($arg->{group_by}) ) {
338       $sql .= $self->_sqlcase(' group by ') . $g;
339       push @{$self->{group_bind} ||= []}, @{$self->{select_bind}||[]};
340     }
341   }
342
343   if (defined $arg->{having}) {
344     my ($frag, @bind) = $self->_recurse_where($arg->{having});
345     push(@{$self->{having_bind}}, @bind);
346     $sql .= $self->_sqlcase(' having ') . $frag;
347   }
348
349   if (defined $arg->{order_by}) {
350     $sql .= $self->_order_by ($arg->{order_by});
351   }
352
353   return $sql;
354 }
355
356 sub _order_by {
357   my ($self, $arg) = @_;
358
359   # check that we are not called in legacy mode (order_by as 4th argument)
360   if (ref $arg eq 'HASH' and not grep { $_ =~ /^-(?:desc|asc)/i } keys %$arg ) {
361     return $self->_parse_rs_attrs ($arg);
362   }
363   else {
364     my ($sql, @bind) = $self->next::method($arg);
365     push @{$self->{order_bind}}, @bind;
366     return $sql;
367   }
368 }
369
370 sub _table {
371 # optimized due to hotttnesss
372 #  my ($self, $from) = @_;
373   if (my $ref = ref $_[1] ) {
374     if ($ref eq 'ARRAY') {
375       return $_[0]->_recurse_from(@{$_[1]});
376     }
377     elsif ($ref eq 'HASH') {
378       return $_[0]->_recurse_from($_[1]);
379     }
380     elsif ($ref eq 'REF' && ref ${$_[1]} eq 'ARRAY') {
381       my ($sql, @bind) = @{ ${$_[1]} };
382       push @{$_[0]->{from_bind}}, @bind;
383       return $sql
384     }
385   }
386   return $_[0]->next::method ($_[1]);
387 }
388
389 sub _generate_join_clause {
390     my ($self, $join_type) = @_;
391
392     $join_type = $self->{_default_jointype}
393       if ! defined $join_type;
394
395     return sprintf ('%s JOIN ',
396       $join_type ?  $self->_sqlcase($join_type) : ''
397     );
398 }
399
400 sub _recurse_from {
401   my $self = shift;
402
403   return join (' ', $self->_gen_from_blocks(@_) );
404 }
405
406 sub _gen_from_blocks {
407   my ($self, $from, @joins) = @_;
408
409   my @fchunks = $self->_from_chunk_to_sql($from);
410
411   for (@joins) {
412     my ($to, $on) = @$_;
413
414     # check whether a join type exists
415     my $to_jt = ref($to) eq 'ARRAY' ? $to->[0] : $to;
416     my $join_type;
417     if (ref($to_jt) eq 'HASH' and defined($to_jt->{-join_type})) {
418       $join_type = $to_jt->{-join_type};
419       $join_type =~ s/^\s+ | \s+$//xg;
420     }
421
422     my @j = $self->_generate_join_clause( $join_type );
423
424     if (ref $to eq 'ARRAY') {
425       push(@j, '(', $self->_recurse_from(@$to), ')');
426     }
427     else {
428       push(@j, $self->_from_chunk_to_sql($to));
429     }
430
431     my ($sql, @bind) = $self->_join_condition($on);
432     push(@j, ' ON ', $sql);
433     push @{$self->{from_bind}}, @bind;
434
435     push @fchunks, join '', @j;
436   }
437
438   return @fchunks;
439 }
440
441 sub _from_chunk_to_sql {
442   my ($self, $fromspec) = @_;
443
444   return join (' ', $self->_SWITCH_refkind($fromspec, {
445     SCALARREF => sub {
446       $$fromspec;
447     },
448     ARRAYREFREF => sub {
449       push @{$self->{from_bind}}, @{$$fromspec}[1..$#$$fromspec];
450       $$fromspec->[0];
451     },
452     HASHREF => sub {
453       my ($as, $table, $toomuch) = ( map
454         { $_ => $fromspec->{$_} }
455         ( grep { $_ !~ /^\-/ } keys %$fromspec )
456       );
457
458       $self->throw_exception( "Only one table/as pair expected in from-spec but an exra '$toomuch' key present" )
459         if defined $toomuch;
460
461       ($self->_from_chunk_to_sql($table), $self->_quote($as) );
462     },
463     SCALAR => sub {
464       $self->_quote($fromspec);
465     },
466   }));
467 }
468
469 sub _join_condition {
470   my ($self, $cond) = @_;
471
472   # Backcompat for the old days when a plain hashref
473   # { 't1.col1' => 't2.col2' } meant ON t1.col1 = t2.col2
474   # Once things settle we should start warning here so that
475   # folks unroll their hacks
476   if (
477     ref $cond eq 'HASH'
478       and
479     keys %$cond == 1
480       and
481     (keys %$cond)[0] =~ /\./
482       and
483     ! ref ( (values %$cond)[0] )
484   ) {
485     $cond = { keys %$cond => { -ident => values %$cond } }
486   }
487   elsif ( ref $cond eq 'ARRAY' ) {
488     # do our own ORing so that the hashref-shim above is invoked
489     my @parts;
490     my @binds;
491     foreach my $c (@$cond) {
492       my ($sql, @bind) = $self->_join_condition($c);
493       push @binds, @bind;
494       push @parts, $sql;
495     }
496     return join(' OR ', @parts), @binds;
497   }
498
499   return $self->_recurse_where($cond);
500 }
501
502 1;
503
504 =head1 OPERATORS
505
506 =head2 -ident
507
508 Used to explicitly specify an SQL identifier. Takes a plain string as value
509 which is then invariably treated as a column name (and is being properly
510 quoted if quoting has been requested). Most useful for comparison of two
511 columns:
512
513     my %where = (
514         priority => { '<', 2 },
515         requestor => { -ident => 'submitter' }
516     );
517
518 which results in:
519
520     $stmt = 'WHERE "priority" < ? AND "requestor" = "submitter"';
521     @bind = ('2');
522
523 =head2 -value
524
525 The -value operator signals that the argument to the right is a raw bind value.
526 It will be passed straight to DBI, without invoking any of the SQL::Abstract
527 condition-parsing logic. This allows you to, for example, pass an array as a
528 column value for databases that support array datatypes, e.g.:
529
530     my %where = (
531         array => { -value => [1, 2, 3] }
532     );
533
534 which results in:
535
536     $stmt = 'WHERE array = ?';
537     @bind = ([1, 2, 3]);
538
539 =head1 AUTHORS
540
541 See L<DBIx::Class/CONTRIBUTORS>.
542
543 =head1 LICENSE
544
545 You may distribute this code under the same terms as Perl itself.
546
547 =cut