Do not import Carp functions into the namespace
[dbsrgits/SQL-Abstract.git] / lib / SQL / Abstract.pm
1 package SQL::Abstract; # see doc at end of file
2
3 # LDNOTE : this code is heavy refactoring from original SQLA.
4 # Several design decisions will need discussion during
5 # the test / diffusion / acceptance phase; those are marked with flag
6 # 'LDNOTE' (note by laurent.dami AT free.fr)
7
8 use strict;
9 use warnings;
10 use Carp ();
11 use List::Util ();
12 use Scalar::Util ();
13
14 #======================================================================
15 # GLOBALS
16 #======================================================================
17
18 our $VERSION  = '1.72';
19
20 # This would confuse some packagers
21 $VERSION = eval $VERSION if $VERSION =~ /_/; # numify for warning-free dev releases
22
23 our $AUTOLOAD;
24
25 # special operators (-in, -between). May be extended/overridden by user.
26 # See section WHERE: BUILTIN SPECIAL OPERATORS below for implementation
27 my @BUILTIN_SPECIAL_OPS = (
28   {regex => qr/^ (?: not \s )? between $/ix, handler => '_where_field_BETWEEN'},
29   {regex => qr/^ (?: not \s )? in      $/ix, handler => '_where_field_IN'},
30 );
31
32 # unaryish operators - key maps to handler
33 my @BUILTIN_UNARY_OPS = (
34   # the digits are backcompat stuff
35   { regex => qr/^ and  (?: [_\s]? \d+ )? $/xi, handler => '_where_op_ANDOR' },
36   { regex => qr/^ or   (?: [_\s]? \d+ )? $/xi, handler => '_where_op_ANDOR' },
37   { regex => qr/^ nest (?: [_\s]? \d+ )? $/xi, handler => '_where_op_NEST' },
38   { regex => qr/^ (?: not \s )? bool     $/xi, handler => '_where_op_BOOL' },
39 );
40
41 #======================================================================
42 # DEBUGGING AND ERROR REPORTING
43 #======================================================================
44
45 sub _debug {
46   return unless $_[0]->{debug}; shift; # a little faster
47   my $func = (caller(1))[3];
48   warn "[$func] ", @_, "\n";
49 }
50
51 sub belch (@) {
52   my($func) = (caller(1))[3];
53   Carp::carp "[$func] Warning: ", @_;
54 }
55
56 sub puke (@) {
57   my($func) = (caller(1))[3];
58   Carp::croak "[$func] Fatal: ", @_;
59 }
60
61
62 #======================================================================
63 # NEW
64 #======================================================================
65
66 sub new {
67   my $self = shift;
68   my $class = ref($self) || $self;
69   my %opt = (ref $_[0] eq 'HASH') ? %{$_[0]} : @_;
70
71   # choose our case by keeping an option around
72   delete $opt{case} if $opt{case} && $opt{case} ne 'lower';
73
74   # default logic for interpreting arrayrefs
75   $opt{logic} = $opt{logic} ? uc $opt{logic} : 'OR';
76
77   # how to return bind vars
78   # LDNOTE: changed nwiger code : why this 'delete' ??
79   # $opt{bindtype} ||= delete($opt{bind_type}) || 'normal';
80   $opt{bindtype} ||= 'normal';
81
82   # default comparison is "=", but can be overridden
83   $opt{cmp} ||= '=';
84
85   # try to recognize which are the 'equality' and 'unequality' ops
86   # (temporary quickfix, should go through a more seasoned API)
87   $opt{equality_op}   = qr/^(\Q$opt{cmp}\E|is|(is\s+)?like)$/i;
88   $opt{inequality_op} = qr/^(!=|<>|(is\s+)?not(\s+like)?)$/i;
89
90   # SQL booleans
91   $opt{sqltrue}  ||= '1=1';
92   $opt{sqlfalse} ||= '0=1';
93
94   # special operators
95   $opt{special_ops} ||= [];
96   # regexes are applied in order, thus push after user-defines
97   push @{$opt{special_ops}}, @BUILTIN_SPECIAL_OPS;
98
99   # unary operators
100   $opt{unary_ops} ||= [];
101   push @{$opt{unary_ops}}, @BUILTIN_UNARY_OPS;
102
103   # rudimentary saniy-check for user supplied bits treated as functions/operators
104   # If a purported  function matches this regular expression, an exception is thrown.
105   # Literal SQL is *NOT* subject to this check, only functions (and column names
106   # when quoting is not in effect)
107
108   # FIXME
109   # need to guard against ()'s in column names too, but this will break tons of
110   # hacks... ideas anyone?
111   $opt{injection_guard} ||= qr/
112     \;
113       |
114     ^ \s* go \s
115   /xmi;
116
117   return bless \%opt, $class;
118 }
119
120
121 sub _assert_pass_injection_guard {
122   if ($_[1] =~ $_[0]->{injection_guard}) {
123     my $class = ref $_[0];
124     puke "Possible SQL injection attempt '$_[1]'. If this is indeed a part of the "
125      . "desired SQL use literal SQL ( \'...' or \[ '...' ] ) or supply your own "
126      . "{injection_guard} attribute to ${class}->new()"
127   }
128 }
129
130
131 #======================================================================
132 # INSERT methods
133 #======================================================================
134
135 sub insert {
136   my $self    = shift;
137   my $table   = $self->_table(shift);
138   my $data    = shift || return;
139   my $options = shift;
140
141   my $method       = $self->_METHOD_FOR_refkind("_insert", $data);
142   my ($sql, @bind) = $self->$method($data);
143   $sql = join " ", $self->_sqlcase('insert into'), $table, $sql;
144
145   if ($options->{returning}) {
146     my ($s, @b) = $self->_insert_returning ($options);
147     $sql .= $s;
148     push @bind, @b;
149   }
150
151   return wantarray ? ($sql, @bind) : $sql;
152 }
153
154 sub _insert_returning {
155   my ($self, $options) = @_;
156
157   my $f = $options->{returning};
158
159   my $fieldlist = $self->_SWITCH_refkind($f, {
160     ARRAYREF     => sub {join ', ', map { $self->_quote($_) } @$f;},
161     SCALAR       => sub {$self->_quote($f)},
162     SCALARREF    => sub {$$f},
163   });
164   return $self->_sqlcase(' returning ') . $fieldlist;
165 }
166
167 sub _insert_HASHREF { # explicit list of fields and then values
168   my ($self, $data) = @_;
169
170   my @fields = sort keys %$data;
171
172   my ($sql, @bind) = $self->_insert_values($data);
173
174   # assemble SQL
175   $_ = $self->_quote($_) foreach @fields;
176   $sql = "( ".join(", ", @fields).") ".$sql;
177
178   return ($sql, @bind);
179 }
180
181 sub _insert_ARRAYREF { # just generate values(?,?) part (no list of fields)
182   my ($self, $data) = @_;
183
184   # no names (arrayref) so can't generate bindtype
185   $self->{bindtype} ne 'columns'
186     or belch "can't do 'columns' bindtype when called with arrayref";
187
188   # fold the list of values into a hash of column name - value pairs
189   # (where the column names are artificially generated, and their
190   # lexicographical ordering keep the ordering of the original list)
191   my $i = "a";  # incremented values will be in lexicographical order
192   my $data_in_hash = { map { ($i++ => $_) } @$data };
193
194   return $self->_insert_values($data_in_hash);
195 }
196
197 sub _insert_ARRAYREFREF { # literal SQL with bind
198   my ($self, $data) = @_;
199
200   my ($sql, @bind) = @${$data};
201   $self->_assert_bindval_matches_bindtype(@bind);
202
203   return ($sql, @bind);
204 }
205
206
207 sub _insert_SCALARREF { # literal SQL without bind
208   my ($self, $data) = @_;
209
210   return ($$data);
211 }
212
213 sub _insert_values {
214   my ($self, $data) = @_;
215
216   my (@values, @all_bind);
217   foreach my $column (sort keys %$data) {
218     my $v = $data->{$column};
219
220     $self->_SWITCH_refkind($v, {
221
222       ARRAYREF => sub {
223         if ($self->{array_datatypes}) { # if array datatype are activated
224           push @values, '?';
225           push @all_bind, $self->_bindtype($column, $v);
226         }
227         else {                          # else literal SQL with bind
228           my ($sql, @bind) = @$v;
229           $self->_assert_bindval_matches_bindtype(@bind);
230           push @values, $sql;
231           push @all_bind, @bind;
232         }
233       },
234
235       ARRAYREFREF => sub { # literal SQL with bind
236         my ($sql, @bind) = @${$v};
237         $self->_assert_bindval_matches_bindtype(@bind);
238         push @values, $sql;
239         push @all_bind, @bind;
240       },
241
242       # THINK : anything useful to do with a HASHREF ?
243       HASHREF => sub {  # (nothing, but old SQLA passed it through)
244         #TODO in SQLA >= 2.0 it will die instead
245         belch "HASH ref as bind value in insert is not supported";
246         push @values, '?';
247         push @all_bind, $self->_bindtype($column, $v);
248       },
249
250       SCALARREF => sub {  # literal SQL without bind
251         push @values, $$v;
252       },
253
254       SCALAR_or_UNDEF => sub {
255         push @values, '?';
256         push @all_bind, $self->_bindtype($column, $v);
257       },
258
259      });
260
261   }
262
263   my $sql = $self->_sqlcase('values')." ( ".join(", ", @values)." )";
264   return ($sql, @all_bind);
265 }
266
267
268
269 #======================================================================
270 # UPDATE methods
271 #======================================================================
272
273
274 sub update {
275   my $self  = shift;
276   my $table = $self->_table(shift);
277   my $data  = shift || return;
278   my $where = shift;
279
280   # first build the 'SET' part of the sql statement
281   my (@set, @all_bind);
282   puke "Unsupported data type specified to \$sql->update"
283     unless ref $data eq 'HASH';
284
285   for my $k (sort keys %$data) {
286     my $v = $data->{$k};
287     my $r = ref $v;
288     my $label = $self->_quote($k);
289
290     $self->_SWITCH_refkind($v, {
291       ARRAYREF => sub {
292         if ($self->{array_datatypes}) { # array datatype
293           push @set, "$label = ?";
294           push @all_bind, $self->_bindtype($k, $v);
295         }
296         else {                          # literal SQL with bind
297           my ($sql, @bind) = @$v;
298           $self->_assert_bindval_matches_bindtype(@bind);
299           push @set, "$label = $sql";
300           push @all_bind, @bind;
301         }
302       },
303       ARRAYREFREF => sub { # literal SQL with bind
304         my ($sql, @bind) = @${$v};
305         $self->_assert_bindval_matches_bindtype(@bind);
306         push @set, "$label = $sql";
307         push @all_bind, @bind;
308       },
309       SCALARREF => sub {  # literal SQL without bind
310         push @set, "$label = $$v";
311       },
312       HASHREF => sub {
313         my ($op, $arg, @rest) = %$v;
314
315         puke 'Operator calls in update must be in the form { -op => $arg }'
316           if (@rest or not $op =~ /^\-(.+)/);
317
318         local $self->{_nested_func_lhs} = $k;
319         my ($sql, @bind) = $self->_where_unary_op ($1, $arg);
320
321         push @set, "$label = $sql";
322         push @all_bind, @bind;
323       },
324       SCALAR_or_UNDEF => sub {
325         push @set, "$label = ?";
326         push @all_bind, $self->_bindtype($k, $v);
327       },
328     });
329   }
330
331   # generate sql
332   my $sql = $self->_sqlcase('update') . " $table " . $self->_sqlcase('set ')
333           . join ', ', @set;
334
335   if ($where) {
336     my($where_sql, @where_bind) = $self->where($where);
337     $sql .= $where_sql;
338     push @all_bind, @where_bind;
339   }
340
341   return wantarray ? ($sql, @all_bind) : $sql;
342 }
343
344
345
346
347 #======================================================================
348 # SELECT
349 #======================================================================
350
351
352 sub select {
353   my $self   = shift;
354   my $table  = $self->_table(shift);
355   my $fields = shift || '*';
356   my $where  = shift;
357   my $order  = shift;
358
359   my($where_sql, @bind) = $self->where($where, $order);
360
361   my $f = (ref $fields eq 'ARRAY') ? join ', ', map { $self->_quote($_) } @$fields
362                                    : $fields;
363   my $sql = join(' ', $self->_sqlcase('select'), $f,
364                       $self->_sqlcase('from'),   $table)
365           . $where_sql;
366
367   return wantarray ? ($sql, @bind) : $sql;
368 }
369
370 #======================================================================
371 # DELETE
372 #======================================================================
373
374
375 sub delete {
376   my $self  = shift;
377   my $table = $self->_table(shift);
378   my $where = shift;
379
380
381   my($where_sql, @bind) = $self->where($where);
382   my $sql = $self->_sqlcase('delete from') . " $table" . $where_sql;
383
384   return wantarray ? ($sql, @bind) : $sql;
385 }
386
387
388 #======================================================================
389 # WHERE: entry point
390 #======================================================================
391
392
393
394 # Finally, a separate routine just to handle WHERE clauses
395 sub where {
396   my ($self, $where, $order) = @_;
397
398   # where ?
399   my ($sql, @bind) = $self->_recurse_where($where);
400   $sql = $sql ? $self->_sqlcase(' where ') . "( $sql )" : '';
401
402   # order by?
403   if ($order) {
404     $sql .= $self->_order_by($order);
405   }
406
407   return wantarray ? ($sql, @bind) : $sql;
408 }
409
410
411 sub _recurse_where {
412   my ($self, $where, $logic) = @_;
413
414   # dispatch on appropriate method according to refkind of $where
415   my $method = $self->_METHOD_FOR_refkind("_where", $where);
416
417   my ($sql, @bind) =  $self->$method($where, $logic);
418
419   # DBIx::Class directly calls _recurse_where in scalar context, so
420   # we must implement it, even if not in the official API
421   return wantarray ? ($sql, @bind) : $sql;
422 }
423
424
425
426 #======================================================================
427 # WHERE: top-level ARRAYREF
428 #======================================================================
429
430
431 sub _where_ARRAYREF {
432   my ($self, $where, $logic) = @_;
433
434   $logic = uc($logic || $self->{logic});
435   $logic eq 'AND' or $logic eq 'OR' or puke "unknown logic: $logic";
436
437   my @clauses = @$where;
438
439   my (@sql_clauses, @all_bind);
440   # need to use while() so can shift() for pairs
441   while (my $el = shift @clauses) {
442
443     # switch according to kind of $el and get corresponding ($sql, @bind)
444     my ($sql, @bind) = $self->_SWITCH_refkind($el, {
445
446       # skip empty elements, otherwise get invalid trailing AND stuff
447       ARRAYREF  => sub {$self->_recurse_where($el)        if @$el},
448
449       ARRAYREFREF => sub {
450         my ($s, @b) = @$$el;
451         $self->_assert_bindval_matches_bindtype(@b);
452         ($s, @b);
453       },
454
455       HASHREF   => sub {$self->_recurse_where($el, 'and') if %$el},
456            # LDNOTE : previous SQLA code for hashrefs was creating a dirty
457            # side-effect: the first hashref within an array would change
458            # the global logic to 'AND'. So [ {cond1, cond2}, [cond3, cond4] ]
459            # was interpreted as "(cond1 AND cond2) OR (cond3 AND cond4)",
460            # whereas it should be "(cond1 AND cond2) OR (cond3 OR cond4)".
461
462       SCALARREF => sub { ($$el);                                 },
463
464       SCALAR    => sub {# top-level arrayref with scalars, recurse in pairs
465                         $self->_recurse_where({$el => shift(@clauses)})},
466
467       UNDEF     => sub {puke "not supported : UNDEF in arrayref" },
468     });
469
470     if ($sql) {
471       push @sql_clauses, $sql;
472       push @all_bind, @bind;
473     }
474   }
475
476   return $self->_join_sql_clauses($logic, \@sql_clauses, \@all_bind);
477 }
478
479 #======================================================================
480 # WHERE: top-level ARRAYREFREF
481 #======================================================================
482
483 sub _where_ARRAYREFREF {
484     my ($self, $where) = @_;
485     my ($sql, @bind) = @$$where;
486     $self->_assert_bindval_matches_bindtype(@bind);
487     return ($sql, @bind);
488 }
489
490 #======================================================================
491 # WHERE: top-level HASHREF
492 #======================================================================
493
494 sub _where_HASHREF {
495   my ($self, $where) = @_;
496   my (@sql_clauses, @all_bind);
497
498   for my $k (sort keys %$where) {
499     my $v = $where->{$k};
500
501     # ($k => $v) is either a special unary op or a regular hashpair
502     my ($sql, @bind) = do {
503       if ($k =~ /^-./) {
504         # put the operator in canonical form
505         my $op = $k;
506         $op = substr $op, 1;  # remove initial dash
507         $op =~ s/^\s+|\s+$//g;# remove leading/trailing space
508         $op =~ s/\s+/ /g;     # compress whitespace
509
510         # so that -not_foo works correctly
511         $op =~ s/^not_/NOT /i;
512
513         $self->_debug("Unary OP(-$op) within hashref, recursing...");
514         my ($s, @b) = $self->_where_unary_op ($op, $v);
515
516         # top level vs nested
517         # we assume that handled unary ops will take care of their ()s
518         $s = "($s)" unless (
519           List::Util::first {$op =~ $_->{regex}} @{$self->{unary_ops}}
520             or
521           defined($self->{_nested_func_lhs}) && ($self->{_nested_func_lhs} eq $k)
522         );
523         ($s, @b);
524       }
525       else {
526         my $method = $self->_METHOD_FOR_refkind("_where_hashpair", $v);
527         $self->$method($k, $v);
528       }
529     };
530
531     push @sql_clauses, $sql;
532     push @all_bind, @bind;
533   }
534
535   return $self->_join_sql_clauses('and', \@sql_clauses, \@all_bind);
536 }
537
538 sub _where_unary_op {
539   my ($self, $op, $rhs) = @_;
540
541   if (my $op_entry = List::Util::first {$op =~ $_->{regex}} @{$self->{unary_ops}}) {
542     my $handler = $op_entry->{handler};
543
544     if (not ref $handler) {
545       if ($op =~ s/ [_\s]? \d+ $//x ) {
546         belch 'Use of [and|or|nest]_N modifiers is deprecated and will be removed in SQLA v2.0. '
547             . "You probably wanted ...-and => [ -$op => COND1, -$op => COND2 ... ]";
548       }
549       return $self->$handler ($op, $rhs);
550     }
551     elsif (ref $handler eq 'CODE') {
552       return $handler->($self, $op, $rhs);
553     }
554     else {
555       puke "Illegal handler for operator $op - expecting a method name or a coderef";
556     }
557   }
558
559   $self->_debug("Generic unary OP: $op - recursing as function");
560
561   $self->_assert_pass_injection_guard($op);
562
563   my ($sql, @bind) = $self->_SWITCH_refkind ($rhs, {
564     SCALAR =>   sub {
565       puke "Illegal use of top-level '$op'"
566         unless $self->{_nested_func_lhs};
567
568       return (
569         $self->_convert('?'),
570         $self->_bindtype($self->{_nested_func_lhs}, $rhs)
571       );
572     },
573     FALLBACK => sub {
574       $self->_recurse_where ($rhs)
575     },
576   });
577
578   $sql = sprintf ('%s %s',
579     $self->_sqlcase($op),
580     $sql,
581   );
582
583   return ($sql, @bind);
584 }
585
586 sub _where_op_ANDOR {
587   my ($self, $op, $v) = @_;
588
589   $self->_SWITCH_refkind($v, {
590     ARRAYREF => sub {
591       return $self->_where_ARRAYREF($v, $op);
592     },
593
594     HASHREF => sub {
595       return ( $op =~ /^or/i )
596         ? $self->_where_ARRAYREF( [ map { $_ => $v->{$_} } ( sort keys %$v ) ], $op )
597         : $self->_where_HASHREF($v);
598     },
599
600     SCALARREF  => sub {
601       puke "-$op => \\\$scalar makes little sense, use " .
602         ($op =~ /^or/i
603           ? '[ \$scalar, \%rest_of_conditions ] instead'
604           : '-and => [ \$scalar, \%rest_of_conditions ] instead'
605         );
606     },
607
608     ARRAYREFREF => sub {
609       puke "-$op => \\[...] makes little sense, use " .
610         ($op =~ /^or/i
611           ? '[ \[...], \%rest_of_conditions ] instead'
612           : '-and => [ \[...], \%rest_of_conditions ] instead'
613         );
614     },
615
616     SCALAR => sub { # permissively interpreted as SQL
617       puke "-$op => \$value makes little sense, use -bool => \$value instead";
618     },
619
620     UNDEF => sub {
621       puke "-$op => undef not supported";
622     },
623    });
624 }
625
626 sub _where_op_NEST {
627   my ($self, $op, $v) = @_;
628
629   $self->_SWITCH_refkind($v, {
630
631     SCALAR => sub { # permissively interpreted as SQL
632       belch "literal SQL should be -nest => \\'scalar' "
633           . "instead of -nest => 'scalar' ";
634       return ($v);
635     },
636
637     UNDEF => sub {
638       puke "-$op => undef not supported";
639     },
640
641     FALLBACK => sub {
642       $self->_recurse_where ($v);
643     },
644
645    });
646 }
647
648
649 sub _where_op_BOOL {
650   my ($self, $op, $v) = @_;
651
652   my ($s, @b) = $self->_SWITCH_refkind($v, {
653     SCALAR => sub { # interpreted as SQL column
654       $self->_convert($self->_quote($v));
655     },
656
657     UNDEF => sub {
658       puke "-$op => undef not supported";
659     },
660
661     FALLBACK => sub {
662       $self->_recurse_where ($v);
663     },
664   });
665
666   $s = "(NOT $s)" if $op =~ /^not/i;
667   ($s, @b);
668 }
669
670
671 sub _where_hashpair_ARRAYREF {
672   my ($self, $k, $v) = @_;
673
674   if( @$v ) {
675     my @v = @$v; # need copy because of shift below
676     $self->_debug("ARRAY($k) means distribute over elements");
677
678     # put apart first element if it is an operator (-and, -or)
679     my $op = (
680        (defined $v[0] && $v[0] =~ /^ - (?: AND|OR ) $/ix)
681          ? shift @v
682          : ''
683     );
684     my @distributed = map { {$k =>  $_} } @v;
685
686     if ($op) {
687       $self->_debug("OP($op) reinjected into the distributed array");
688       unshift @distributed, $op;
689     }
690
691     my $logic = $op ? substr($op, 1) : '';
692
693     return $self->_recurse_where(\@distributed, $logic);
694   }
695   else {
696     # LDNOTE : not sure of this one. What does "distribute over nothing" mean?
697     $self->_debug("empty ARRAY($k) means 0=1");
698     return ($self->{sqlfalse});
699   }
700 }
701
702 sub _where_hashpair_HASHREF {
703   my ($self, $k, $v, $logic) = @_;
704   $logic ||= 'and';
705
706   local $self->{_nested_func_lhs} = $self->{_nested_func_lhs};
707
708   my ($all_sql, @all_bind);
709
710   for my $orig_op (sort keys %$v) {
711     my $val = $v->{$orig_op};
712
713     # put the operator in canonical form
714     my $op = $orig_op;
715
716     # FIXME - we need to phase out dash-less ops
717     $op =~ s/^-//;        # remove possible initial dash
718     $op =~ s/^\s+|\s+$//g;# remove leading/trailing space
719     $op =~ s/\s+/ /g;     # compress whitespace
720
721     $self->_assert_pass_injection_guard($op);
722
723     # so that -not_foo works correctly
724     $op =~ s/^not_/NOT /i;
725
726     my ($sql, @bind);
727
728     # CASE: col-value logic modifiers
729     if ( $orig_op =~ /^ \- (and|or) $/xi ) {
730       ($sql, @bind) = $self->_where_hashpair_HASHREF($k, $val, $1);
731     }
732     # CASE: special operators like -in or -between
733     elsif ( my $special_op = List::Util::first {$op =~ $_->{regex}} @{$self->{special_ops}} ) {
734       my $handler = $special_op->{handler};
735       if (! $handler) {
736         puke "No handler supplied for special operator $orig_op";
737       }
738       elsif (not ref $handler) {
739         ($sql, @bind) = $self->$handler ($k, $op, $val);
740       }
741       elsif (ref $handler eq 'CODE') {
742         ($sql, @bind) = $handler->($self, $k, $op, $val);
743       }
744       else {
745         puke "Illegal handler for special operator $orig_op - expecting a method name or a coderef";
746       }
747     }
748     else {
749       $self->_SWITCH_refkind($val, {
750
751         ARRAYREF => sub {       # CASE: col => {op => \@vals}
752           ($sql, @bind) = $self->_where_field_op_ARRAYREF($k, $op, $val);
753         },
754
755         ARRAYREFREF => sub {    # CASE: col => {op => \[$sql, @bind]} (literal SQL with bind)
756           my ($sub_sql, @sub_bind) = @$$val;
757           $self->_assert_bindval_matches_bindtype(@sub_bind);
758           $sql  = join ' ', $self->_convert($self->_quote($k)),
759                             $self->_sqlcase($op),
760                             $sub_sql;
761           @bind = @sub_bind;
762         },
763
764         UNDEF => sub {          # CASE: col => {op => undef} : sql "IS (NOT)? NULL"
765           my $is = ($op =~ $self->{equality_op})   ? 'is'     :
766                    ($op =~ $self->{inequality_op}) ? 'is not' :
767                puke "unexpected operator '$orig_op' with undef operand";
768           $sql = $self->_quote($k) . $self->_sqlcase(" $is null");
769         },
770
771         FALLBACK => sub {       # CASE: col => {op/func => $stuff}
772
773           # retain for proper column type bind
774           $self->{_nested_func_lhs} ||= $k;
775
776           ($sql, @bind) = $self->_where_unary_op ($op, $val);
777
778           $sql = join (' ',
779             $self->_convert($self->_quote($k)),
780             $self->{_nested_func_lhs} eq $k ? $sql : "($sql)",  # top level vs nested
781           );
782         },
783       });
784     }
785
786     ($all_sql) = (defined $all_sql and $all_sql) ? $self->_join_sql_clauses($logic, [$all_sql, $sql], []) : $sql;
787     push @all_bind, @bind;
788   }
789   return ($all_sql, @all_bind);
790 }
791
792
793
794 sub _where_field_op_ARRAYREF {
795   my ($self, $k, $op, $vals) = @_;
796
797   my @vals = @$vals;  #always work on a copy
798
799   if(@vals) {
800     $self->_debug(sprintf '%s means multiple elements: [ %s ]',
801       $vals,
802       join (', ', map { defined $_ ? "'$_'" : 'NULL' } @vals ),
803     );
804
805     # see if the first element is an -and/-or op
806     my $logic;
807     if (defined $vals[0] && $vals[0] =~ /^ - ( AND|OR ) $/ix) {
808       $logic = uc $1;
809       shift @vals;
810     }
811
812     # distribute $op over each remaining member of @vals, append logic if exists
813     return $self->_recurse_where([map { {$k => {$op, $_}} } @vals], $logic);
814
815     # LDNOTE : had planned to change the distribution logic when
816     # $op =~ $self->{inequality_op}, because of Morgan laws :
817     # with {field => {'!=' => [22, 33]}}, it would be ridiculous to generate
818     # WHERE field != 22 OR  field != 33 : the user probably means
819     # WHERE field != 22 AND field != 33.
820     # To do this, replace the above to roughly :
821     # my $logic = ($op =~ $self->{inequality_op}) ? 'AND' : 'OR';
822     # return $self->_recurse_where([map { {$k => {$op, $_}} } @vals], $logic);
823
824   }
825   else {
826     # try to DWIM on equality operators
827     # LDNOTE : not 100% sure this is the correct thing to do ...
828     return ($self->{sqlfalse}) if $op =~ $self->{equality_op};
829     return ($self->{sqltrue})  if $op =~ $self->{inequality_op};
830
831     # otherwise
832     puke "operator '$op' applied on an empty array (field '$k')";
833   }
834 }
835
836
837 sub _where_hashpair_SCALARREF {
838   my ($self, $k, $v) = @_;
839   $self->_debug("SCALAR($k) means literal SQL: $$v");
840   my $sql = $self->_quote($k) . " " . $$v;
841   return ($sql);
842 }
843
844 # literal SQL with bind
845 sub _where_hashpair_ARRAYREFREF {
846   my ($self, $k, $v) = @_;
847   $self->_debug("REF($k) means literal SQL: @${$v}");
848   my ($sql, @bind) = @$$v;
849   $self->_assert_bindval_matches_bindtype(@bind);
850   $sql  = $self->_quote($k) . " " . $sql;
851   return ($sql, @bind );
852 }
853
854 # literal SQL without bind
855 sub _where_hashpair_SCALAR {
856   my ($self, $k, $v) = @_;
857   $self->_debug("NOREF($k) means simple key=val: $k $self->{cmp} $v");
858   my $sql = join ' ', $self->_convert($self->_quote($k)),
859                       $self->_sqlcase($self->{cmp}),
860                       $self->_convert('?');
861   my @bind =  $self->_bindtype($k, $v);
862   return ( $sql, @bind);
863 }
864
865
866 sub _where_hashpair_UNDEF {
867   my ($self, $k, $v) = @_;
868   $self->_debug("UNDEF($k) means IS NULL");
869   my $sql = $self->_quote($k) . $self->_sqlcase(' is null');
870   return ($sql);
871 }
872
873 #======================================================================
874 # WHERE: TOP-LEVEL OTHERS (SCALARREF, SCALAR, UNDEF)
875 #======================================================================
876
877
878 sub _where_SCALARREF {
879   my ($self, $where) = @_;
880
881   # literal sql
882   $self->_debug("SCALAR(*top) means literal SQL: $$where");
883   return ($$where);
884 }
885
886
887 sub _where_SCALAR {
888   my ($self, $where) = @_;
889
890   # literal sql
891   $self->_debug("NOREF(*top) means literal SQL: $where");
892   return ($where);
893 }
894
895
896 sub _where_UNDEF {
897   my ($self) = @_;
898   return ();
899 }
900
901
902 #======================================================================
903 # WHERE: BUILTIN SPECIAL OPERATORS (-in, -between)
904 #======================================================================
905
906
907 sub _where_field_BETWEEN {
908   my ($self, $k, $op, $vals) = @_;
909
910   my ($label, $and, $placeholder);
911   $label       = $self->_convert($self->_quote($k));
912   $and         = ' ' . $self->_sqlcase('and') . ' ';
913   $placeholder = $self->_convert('?');
914   $op               = $self->_sqlcase($op);
915
916   my ($clause, @bind) = $self->_SWITCH_refkind($vals, {
917     ARRAYREFREF => sub {
918       my ($s, @b) = @$$vals;
919       $self->_assert_bindval_matches_bindtype(@b);
920       ($s, @b);
921     },
922     SCALARREF => sub {
923       return $$vals;
924     },
925     ARRAYREF => sub {
926       puke "special op 'between' accepts an arrayref with exactly two values"
927         if @$vals != 2;
928
929       my (@all_sql, @all_bind);
930       foreach my $val (@$vals) {
931         my ($sql, @bind) = $self->_SWITCH_refkind($val, {
932            SCALAR => sub {
933              return ($placeholder, $self->_bindtype($k, $val) );
934            },
935            SCALARREF => sub {
936              return $$val;
937            },
938            ARRAYREFREF => sub {
939              my ($sql, @bind) = @$$val;
940              $self->_assert_bindval_matches_bindtype(@bind);
941              return ($sql, @bind);
942            },
943            HASHREF => sub {
944              my ($func, $arg, @rest) = %$val;
945              puke ("Only simple { -func => arg } functions accepted as sub-arguments to BETWEEN")
946                if (@rest or $func !~ /^ \- (.+)/x);
947              local $self->{_nested_func_lhs} = $k;
948              $self->_where_unary_op ($1 => $arg);
949            }
950         });
951         push @all_sql, $sql;
952         push @all_bind, @bind;
953       }
954
955       return (
956         (join $and, @all_sql),
957         @all_bind
958       );
959     },
960     FALLBACK => sub {
961       puke "special op 'between' accepts an arrayref with two values, or a single literal scalarref/arrayref-ref";
962     },
963   });
964
965   my $sql = "( $label $op $clause )";
966   return ($sql, @bind)
967 }
968
969
970 sub _where_field_IN {
971   my ($self, $k, $op, $vals) = @_;
972
973   # backwards compatibility : if scalar, force into an arrayref
974   $vals = [$vals] if defined $vals && ! ref $vals;
975
976   my ($label)       = $self->_convert($self->_quote($k));
977   my ($placeholder) = $self->_convert('?');
978   $op               = $self->_sqlcase($op);
979
980   my ($sql, @bind) = $self->_SWITCH_refkind($vals, {
981     ARRAYREF => sub {     # list of choices
982       if (@$vals) { # nonempty list
983         my (@all_sql, @all_bind);
984
985         for my $val (@$vals) {
986           my ($sql, @bind) = $self->_SWITCH_refkind($val, {
987             SCALAR => sub {
988               return ($placeholder, $val);
989             },
990             SCALARREF => sub {
991               return $$val;
992             },
993             ARRAYREFREF => sub {
994               my ($sql, @bind) = @$$val;
995               $self->_assert_bindval_matches_bindtype(@bind);
996               return ($sql, @bind);
997             },
998             HASHREF => sub {
999               my ($func, $arg, @rest) = %$val;
1000               puke ("Only simple { -func => arg } functions accepted as sub-arguments to IN")
1001                 if (@rest or $func !~ /^ \- (.+)/x);
1002               local $self->{_nested_func_lhs} = $k;
1003               $self->_where_unary_op ($1 => $arg);
1004             },
1005             UNDEF => sub {
1006               return $self->_sqlcase('null');
1007             },
1008           });
1009           push @all_sql, $sql;
1010           push @all_bind, @bind;
1011         }
1012
1013         return (
1014           sprintf ('%s %s ( %s )',
1015             $label,
1016             $op,
1017             join (', ', @all_sql)
1018           ),
1019           $self->_bindtype($k, @all_bind),
1020         );
1021       }
1022       else { # empty list : some databases won't understand "IN ()", so DWIM
1023         my $sql = ($op =~ /\bnot\b/i) ? $self->{sqltrue} : $self->{sqlfalse};
1024         return ($sql);
1025       }
1026     },
1027
1028     SCALARREF => sub {  # literal SQL
1029       my $sql = $self->_open_outer_paren ($$vals);
1030       return ("$label $op ( $sql )");
1031     },
1032     ARRAYREFREF => sub {  # literal SQL with bind
1033       my ($sql, @bind) = @$$vals;
1034       $self->_assert_bindval_matches_bindtype(@bind);
1035       $sql = $self->_open_outer_paren ($sql);
1036       return ("$label $op ( $sql )", @bind);
1037     },
1038
1039     FALLBACK => sub {
1040       puke "special op 'in' requires an arrayref (or scalarref/arrayref-ref)";
1041     },
1042   });
1043
1044   return ($sql, @bind);
1045 }
1046
1047 # Some databases (SQLite) treat col IN (1, 2) different from
1048 # col IN ( (1, 2) ). Use this to strip all outer parens while
1049 # adding them back in the corresponding method
1050 sub _open_outer_paren {
1051   my ($self, $sql) = @_;
1052   $sql = $1 while $sql =~ /^ \s* \( (.*) \) \s* $/xs;
1053   return $sql;
1054 }
1055
1056
1057 #======================================================================
1058 # ORDER BY
1059 #======================================================================
1060
1061 sub _order_by {
1062   my ($self, $arg) = @_;
1063
1064   my (@sql, @bind);
1065   for my $c ($self->_order_by_chunks ($arg) ) {
1066     $self->_SWITCH_refkind ($c, {
1067       SCALAR => sub { push @sql, $c },
1068       ARRAYREF => sub { push @sql, shift @$c; push @bind, @$c },
1069     });
1070   }
1071
1072   my $sql = @sql
1073     ? sprintf ('%s %s',
1074         $self->_sqlcase(' order by'),
1075         join (', ', @sql)
1076       )
1077     : ''
1078   ;
1079
1080   return wantarray ? ($sql, @bind) : $sql;
1081 }
1082
1083 sub _order_by_chunks {
1084   my ($self, $arg) = @_;
1085
1086   return $self->_SWITCH_refkind($arg, {
1087
1088     ARRAYREF => sub {
1089       map { $self->_order_by_chunks ($_ ) } @$arg;
1090     },
1091
1092     ARRAYREFREF => sub {
1093       my ($s, @b) = @$$arg;
1094       $self->_assert_bindval_matches_bindtype(@b);
1095       [ $s, @b ];
1096     },
1097
1098     SCALAR    => sub {$self->_quote($arg)},
1099
1100     UNDEF     => sub {return () },
1101
1102     SCALARREF => sub {$$arg}, # literal SQL, no quoting
1103
1104     HASHREF   => sub {
1105       # get first pair in hash
1106       my ($key, $val, @rest) = %$arg;
1107
1108       return () unless $key;
1109
1110       if ( @rest or not $key =~ /^-(desc|asc)/i ) {
1111         puke "hash passed to _order_by must have exactly one key (-desc or -asc)";
1112       }
1113
1114       my $direction = $1;
1115
1116       my @ret;
1117       for my $c ($self->_order_by_chunks ($val)) {
1118         my ($sql, @bind);
1119
1120         $self->_SWITCH_refkind ($c, {
1121           SCALAR => sub {
1122             $sql = $c;
1123           },
1124           ARRAYREF => sub {
1125             ($sql, @bind) = @$c;
1126           },
1127         });
1128
1129         $sql = $sql . ' ' . $self->_sqlcase($direction);
1130
1131         push @ret, [ $sql, @bind];
1132       }
1133
1134       return @ret;
1135     },
1136   });
1137 }
1138
1139
1140 #======================================================================
1141 # DATASOURCE (FOR NOW, JUST PLAIN TABLE OR LIST OF TABLES)
1142 #======================================================================
1143
1144 sub _table  {
1145   my $self = shift;
1146   my $from = shift;
1147   $self->_SWITCH_refkind($from, {
1148     ARRAYREF     => sub {join ', ', map { $self->_quote($_) } @$from;},
1149     SCALAR       => sub {$self->_quote($from)},
1150     SCALARREF    => sub {$$from},
1151   });
1152 }
1153
1154
1155 #======================================================================
1156 # UTILITY FUNCTIONS
1157 #======================================================================
1158
1159 # highly optimized, as it's called way too often
1160 sub _quote {
1161   # my ($self, $label) = @_;
1162
1163   return '' unless defined $_[1];
1164   return ${$_[1]} if ref($_[1]) eq 'SCALAR';
1165
1166   unless ($_[0]->{quote_char}) {
1167     $_[0]->_assert_pass_injection_guard($_[1]);
1168     return $_[1];
1169   }
1170
1171   my $qref = ref $_[0]->{quote_char};
1172   my ($l, $r);
1173   if (!$qref) {
1174     ($l, $r) = ( $_[0]->{quote_char}, $_[0]->{quote_char} );
1175   }
1176   elsif ($qref eq 'ARRAY') {
1177     ($l, $r) = @{$_[0]->{quote_char}};
1178   }
1179   else {
1180     puke "Unsupported quote_char format: $_[0]->{quote_char}";
1181   }
1182
1183   # parts containing * are naturally unquoted
1184   return join( $_[0]->{name_sep}||'', map
1185     { $_ eq '*' ? $_ : $l . $_ . $r }
1186     ( $_[0]->{name_sep} ? split (/\Q$_[0]->{name_sep}\E/, $_[1] ) : $_[1] )
1187   );
1188 }
1189
1190
1191 # Conversion, if applicable
1192 sub _convert ($) {
1193   #my ($self, $arg) = @_;
1194
1195 # LDNOTE : modified the previous implementation below because
1196 # it was not consistent : the first "return" is always an array,
1197 # the second "return" is context-dependent. Anyway, _convert
1198 # seems always used with just a single argument, so make it a
1199 # scalar function.
1200 #     return @_ unless $self->{convert};
1201 #     my $conv = $self->_sqlcase($self->{convert});
1202 #     my @ret = map { $conv.'('.$_.')' } @_;
1203 #     return wantarray ? @ret : $ret[0];
1204   if ($_[0]->{convert}) {
1205     return $_[0]->_sqlcase($_[0]->{convert}) .'(' . $_[1] . ')';
1206   }
1207   return $_[1];
1208 }
1209
1210 # And bindtype
1211 sub _bindtype (@) {
1212   #my ($self, $col, @vals) = @_;
1213
1214   #LDNOTE : changed original implementation below because it did not make
1215   # sense when bindtype eq 'columns' and @vals > 1.
1216 #  return $self->{bindtype} eq 'columns' ? [ $col, @vals ] : @vals;
1217
1218   # called often - tighten code
1219   return $_[0]->{bindtype} eq 'columns'
1220     ? map {[$_[1], $_]} @_[2 .. $#_]
1221     : @_[2 .. $#_]
1222   ;
1223 }
1224
1225 # Dies if any element of @bind is not in [colname => value] format
1226 # if bindtype is 'columns'.
1227 sub _assert_bindval_matches_bindtype {
1228 #  my ($self, @bind) = @_;
1229   my $self = shift;
1230   if ($self->{bindtype} eq 'columns') {
1231     for (@_) {
1232       if (!defined $_ || ref($_) ne 'ARRAY' || @$_ != 2) {
1233         puke "bindtype 'columns' selected, you need to pass: [column_name => bind_value]"
1234       }
1235     }
1236   }
1237 }
1238
1239 sub _join_sql_clauses {
1240   my ($self, $logic, $clauses_aref, $bind_aref) = @_;
1241
1242   if (@$clauses_aref > 1) {
1243     my $join  = " " . $self->_sqlcase($logic) . " ";
1244     my $sql = '( ' . join($join, @$clauses_aref) . ' )';
1245     return ($sql, @$bind_aref);
1246   }
1247   elsif (@$clauses_aref) {
1248     return ($clauses_aref->[0], @$bind_aref); # no parentheses
1249   }
1250   else {
1251     return (); # if no SQL, ignore @$bind_aref
1252   }
1253 }
1254
1255
1256 # Fix SQL case, if so requested
1257 sub _sqlcase {
1258   # LDNOTE: if $self->{case} is true, then it contains 'lower', so we
1259   # don't touch the argument ... crooked logic, but let's not change it!
1260   return $_[0]->{case} ? $_[1] : uc($_[1]);
1261 }
1262
1263
1264 #======================================================================
1265 # DISPATCHING FROM REFKIND
1266 #======================================================================
1267
1268 sub _refkind {
1269   my ($self, $data) = @_;
1270
1271   return 'UNDEF' unless defined $data;
1272
1273   # blessed objects are treated like scalars
1274   my $ref = (Scalar::Util::blessed $data) ? '' : ref $data;
1275
1276   return 'SCALAR' unless $ref;
1277
1278   my $n_steps = 1;
1279   while ($ref eq 'REF') {
1280     $data = $$data;
1281     $ref = (Scalar::Util::blessed $data) ? '' : ref $data;
1282     $n_steps++ if $ref;
1283   }
1284
1285   return ($ref||'SCALAR') . ('REF' x $n_steps);
1286 }
1287
1288 sub _try_refkind {
1289   my ($self, $data) = @_;
1290   my @try = ($self->_refkind($data));
1291   push @try, 'SCALAR_or_UNDEF' if $try[0] eq 'SCALAR' || $try[0] eq 'UNDEF';
1292   push @try, 'FALLBACK';
1293   return \@try;
1294 }
1295
1296 sub _METHOD_FOR_refkind {
1297   my ($self, $meth_prefix, $data) = @_;
1298
1299   my $method;
1300   for (@{$self->_try_refkind($data)}) {
1301     $method = $self->can($meth_prefix."_".$_)
1302       and last;
1303   }
1304
1305   return $method || puke "cannot dispatch on '$meth_prefix' for ".$self->_refkind($data);
1306 }
1307
1308
1309 sub _SWITCH_refkind {
1310   my ($self, $data, $dispatch_table) = @_;
1311
1312   my $coderef;
1313   for (@{$self->_try_refkind($data)}) {
1314     $coderef = $dispatch_table->{$_}
1315       and last;
1316   }
1317
1318   puke "no dispatch entry for ".$self->_refkind($data)
1319     unless $coderef;
1320
1321   $coderef->();
1322 }
1323
1324
1325
1326
1327 #======================================================================
1328 # VALUES, GENERATE, AUTOLOAD
1329 #======================================================================
1330
1331 # LDNOTE: original code from nwiger, didn't touch code in that section
1332 # I feel the AUTOLOAD stuff should not be the default, it should
1333 # only be activated on explicit demand by user.
1334
1335 sub values {
1336     my $self = shift;
1337     my $data = shift || return;
1338     puke "Argument to ", __PACKAGE__, "->values must be a \\%hash"
1339         unless ref $data eq 'HASH';
1340
1341     my @all_bind;
1342     foreach my $k ( sort keys %$data ) {
1343         my $v = $data->{$k};
1344         $self->_SWITCH_refkind($v, {
1345           ARRAYREF => sub {
1346             if ($self->{array_datatypes}) { # array datatype
1347               push @all_bind, $self->_bindtype($k, $v);
1348             }
1349             else {                          # literal SQL with bind
1350               my ($sql, @bind) = @$v;
1351               $self->_assert_bindval_matches_bindtype(@bind);
1352               push @all_bind, @bind;
1353             }
1354           },
1355           ARRAYREFREF => sub { # literal SQL with bind
1356             my ($sql, @bind) = @${$v};
1357             $self->_assert_bindval_matches_bindtype(@bind);
1358             push @all_bind, @bind;
1359           },
1360           SCALARREF => sub {  # literal SQL without bind
1361           },
1362           SCALAR_or_UNDEF => sub {
1363             push @all_bind, $self->_bindtype($k, $v);
1364           },
1365         });
1366     }
1367
1368     return @all_bind;
1369 }
1370
1371 sub generate {
1372     my $self  = shift;
1373
1374     my(@sql, @sqlq, @sqlv);
1375
1376     for (@_) {
1377         my $ref = ref $_;
1378         if ($ref eq 'HASH') {
1379             for my $k (sort keys %$_) {
1380                 my $v = $_->{$k};
1381                 my $r = ref $v;
1382                 my $label = $self->_quote($k);
1383                 if ($r eq 'ARRAY') {
1384                     # literal SQL with bind
1385                     my ($sql, @bind) = @$v;
1386                     $self->_assert_bindval_matches_bindtype(@bind);
1387                     push @sqlq, "$label = $sql";
1388                     push @sqlv, @bind;
1389                 } elsif ($r eq 'SCALAR') {
1390                     # literal SQL without bind
1391                     push @sqlq, "$label = $$v";
1392                 } else {
1393                     push @sqlq, "$label = ?";
1394                     push @sqlv, $self->_bindtype($k, $v);
1395                 }
1396             }
1397             push @sql, $self->_sqlcase('set'), join ', ', @sqlq;
1398         } elsif ($ref eq 'ARRAY') {
1399             # unlike insert(), assume these are ONLY the column names, i.e. for SQL
1400             for my $v (@$_) {
1401                 my $r = ref $v;
1402                 if ($r eq 'ARRAY') {   # literal SQL with bind
1403                     my ($sql, @bind) = @$v;
1404                     $self->_assert_bindval_matches_bindtype(@bind);
1405                     push @sqlq, $sql;
1406                     push @sqlv, @bind;
1407                 } elsif ($r eq 'SCALAR') {  # literal SQL without bind
1408                     # embedded literal SQL
1409                     push @sqlq, $$v;
1410                 } else {
1411                     push @sqlq, '?';
1412                     push @sqlv, $v;
1413                 }
1414             }
1415             push @sql, '(' . join(', ', @sqlq) . ')';
1416         } elsif ($ref eq 'SCALAR') {
1417             # literal SQL
1418             push @sql, $$_;
1419         } else {
1420             # strings get case twiddled
1421             push @sql, $self->_sqlcase($_);
1422         }
1423     }
1424
1425     my $sql = join ' ', @sql;
1426
1427     # this is pretty tricky
1428     # if ask for an array, return ($stmt, @bind)
1429     # otherwise, s/?/shift @sqlv/ to put it inline
1430     if (wantarray) {
1431         return ($sql, @sqlv);
1432     } else {
1433         1 while $sql =~ s/\?/my $d = shift(@sqlv);
1434                              ref $d ? $d->[1] : $d/e;
1435         return $sql;
1436     }
1437 }
1438
1439
1440 sub DESTROY { 1 }
1441
1442 sub AUTOLOAD {
1443     # This allows us to check for a local, then _form, attr
1444     my $self = shift;
1445     my($name) = $AUTOLOAD =~ /.*::(.+)/;
1446     return $self->generate($name, @_);
1447 }
1448
1449 1;
1450
1451
1452
1453 __END__
1454
1455 =head1 NAME
1456
1457 SQL::Abstract - Generate SQL from Perl data structures
1458
1459 =head1 SYNOPSIS
1460
1461     use SQL::Abstract;
1462
1463     my $sql = SQL::Abstract->new;
1464
1465     my($stmt, @bind) = $sql->select($table, \@fields, \%where, \@order);
1466
1467     my($stmt, @bind) = $sql->insert($table, \%fieldvals || \@values);
1468
1469     my($stmt, @bind) = $sql->update($table, \%fieldvals, \%where);
1470
1471     my($stmt, @bind) = $sql->delete($table, \%where);
1472
1473     # Then, use these in your DBI statements
1474     my $sth = $dbh->prepare($stmt);
1475     $sth->execute(@bind);
1476
1477     # Just generate the WHERE clause
1478     my($stmt, @bind) = $sql->where(\%where, \@order);
1479
1480     # Return values in the same order, for hashed queries
1481     # See PERFORMANCE section for more details
1482     my @bind = $sql->values(\%fieldvals);
1483
1484 =head1 DESCRIPTION
1485
1486 This module was inspired by the excellent L<DBIx::Abstract>.
1487 However, in using that module I found that what I really wanted
1488 to do was generate SQL, but still retain complete control over my
1489 statement handles and use the DBI interface. So, I set out to
1490 create an abstract SQL generation module.
1491
1492 While based on the concepts used by L<DBIx::Abstract>, there are
1493 several important differences, especially when it comes to WHERE
1494 clauses. I have modified the concepts used to make the SQL easier
1495 to generate from Perl data structures and, IMO, more intuitive.
1496 The underlying idea is for this module to do what you mean, based
1497 on the data structures you provide it. The big advantage is that
1498 you don't have to modify your code every time your data changes,
1499 as this module figures it out.
1500
1501 To begin with, an SQL INSERT is as easy as just specifying a hash
1502 of C<key=value> pairs:
1503
1504     my %data = (
1505         name => 'Jimbo Bobson',
1506         phone => '123-456-7890',
1507         address => '42 Sister Lane',
1508         city => 'St. Louis',
1509         state => 'Louisiana',
1510     );
1511
1512 The SQL can then be generated with this:
1513
1514     my($stmt, @bind) = $sql->insert('people', \%data);
1515
1516 Which would give you something like this:
1517
1518     $stmt = "INSERT INTO people
1519                     (address, city, name, phone, state)
1520                     VALUES (?, ?, ?, ?, ?)";
1521     @bind = ('42 Sister Lane', 'St. Louis', 'Jimbo Bobson',
1522              '123-456-7890', 'Louisiana');
1523
1524 These are then used directly in your DBI code:
1525
1526     my $sth = $dbh->prepare($stmt);
1527     $sth->execute(@bind);
1528
1529 =head2 Inserting and Updating Arrays
1530
1531 If your database has array types (like for example Postgres),
1532 activate the special option C<< array_datatypes => 1 >>
1533 when creating the C<SQL::Abstract> object.
1534 Then you may use an arrayref to insert and update database array types:
1535
1536     my $sql = SQL::Abstract->new(array_datatypes => 1);
1537     my %data = (
1538         planets => [qw/Mercury Venus Earth Mars/]
1539     );
1540
1541     my($stmt, @bind) = $sql->insert('solar_system', \%data);
1542
1543 This results in:
1544
1545     $stmt = "INSERT INTO solar_system (planets) VALUES (?)"
1546
1547     @bind = (['Mercury', 'Venus', 'Earth', 'Mars']);
1548
1549
1550 =head2 Inserting and Updating SQL
1551
1552 In order to apply SQL functions to elements of your C<%data> you may
1553 specify a reference to an arrayref for the given hash value. For example,
1554 if you need to execute the Oracle C<to_date> function on a value, you can
1555 say something like this:
1556
1557     my %data = (
1558         name => 'Bill',
1559         date_entered => \["to_date(?,'MM/DD/YYYY')", "03/02/2003"],
1560     );
1561
1562 The first value in the array is the actual SQL. Any other values are
1563 optional and would be included in the bind values array. This gives
1564 you:
1565
1566     my($stmt, @bind) = $sql->insert('people', \%data);
1567
1568     $stmt = "INSERT INTO people (name, date_entered)
1569                 VALUES (?, to_date(?,'MM/DD/YYYY'))";
1570     @bind = ('Bill', '03/02/2003');
1571
1572 An UPDATE is just as easy, all you change is the name of the function:
1573
1574     my($stmt, @bind) = $sql->update('people', \%data);
1575
1576 Notice that your C<%data> isn't touched; the module will generate
1577 the appropriately quirky SQL for you automatically. Usually you'll
1578 want to specify a WHERE clause for your UPDATE, though, which is
1579 where handling C<%where> hashes comes in handy...
1580
1581 =head2 Complex where statements
1582
1583 This module can generate pretty complicated WHERE statements
1584 easily. For example, simple C<key=value> pairs are taken to mean
1585 equality, and if you want to see if a field is within a set
1586 of values, you can use an arrayref. Let's say we wanted to
1587 SELECT some data based on this criteria:
1588
1589     my %where = (
1590        requestor => 'inna',
1591        worker => ['nwiger', 'rcwe', 'sfz'],
1592        status => { '!=', 'completed' }
1593     );
1594
1595     my($stmt, @bind) = $sql->select('tickets', '*', \%where);
1596
1597 The above would give you something like this:
1598
1599     $stmt = "SELECT * FROM tickets WHERE
1600                 ( requestor = ? ) AND ( status != ? )
1601                 AND ( worker = ? OR worker = ? OR worker = ? )";
1602     @bind = ('inna', 'completed', 'nwiger', 'rcwe', 'sfz');
1603
1604 Which you could then use in DBI code like so:
1605
1606     my $sth = $dbh->prepare($stmt);
1607     $sth->execute(@bind);
1608
1609 Easy, eh?
1610
1611 =head1 FUNCTIONS
1612
1613 The functions are simple. There's one for each major SQL operation,
1614 and a constructor you use first. The arguments are specified in a
1615 similar order to each function (table, then fields, then a where
1616 clause) to try and simplify things.
1617
1618
1619
1620
1621 =head2 new(option => 'value')
1622
1623 The C<new()> function takes a list of options and values, and returns
1624 a new B<SQL::Abstract> object which can then be used to generate SQL
1625 through the methods below. The options accepted are:
1626
1627 =over
1628
1629 =item case
1630
1631 If set to 'lower', then SQL will be generated in all lowercase. By
1632 default SQL is generated in "textbook" case meaning something like:
1633
1634     SELECT a_field FROM a_table WHERE some_field LIKE '%someval%'
1635
1636 Any setting other than 'lower' is ignored.
1637
1638 =item cmp
1639
1640 This determines what the default comparison operator is. By default
1641 it is C<=>, meaning that a hash like this:
1642
1643     %where = (name => 'nwiger', email => 'nate@wiger.org');
1644
1645 Will generate SQL like this:
1646
1647     WHERE name = 'nwiger' AND email = 'nate@wiger.org'
1648
1649 However, you may want loose comparisons by default, so if you set
1650 C<cmp> to C<like> you would get SQL such as:
1651
1652     WHERE name like 'nwiger' AND email like 'nate@wiger.org'
1653
1654 You can also override the comparsion on an individual basis - see
1655 the huge section on L</"WHERE CLAUSES"> at the bottom.
1656
1657 =item sqltrue, sqlfalse
1658
1659 Expressions for inserting boolean values within SQL statements.
1660 By default these are C<1=1> and C<1=0>. They are used
1661 by the special operators C<-in> and C<-not_in> for generating
1662 correct SQL even when the argument is an empty array (see below).
1663
1664 =item logic
1665
1666 This determines the default logical operator for multiple WHERE
1667 statements in arrays or hashes. If absent, the default logic is "or"
1668 for arrays, and "and" for hashes. This means that a WHERE
1669 array of the form:
1670
1671     @where = (
1672         event_date => {'>=', '2/13/99'},
1673         event_date => {'<=', '4/24/03'},
1674     );
1675
1676 will generate SQL like this:
1677
1678     WHERE event_date >= '2/13/99' OR event_date <= '4/24/03'
1679
1680 This is probably not what you want given this query, though (look
1681 at the dates). To change the "OR" to an "AND", simply specify:
1682
1683     my $sql = SQL::Abstract->new(logic => 'and');
1684
1685 Which will change the above C<WHERE> to:
1686
1687     WHERE event_date >= '2/13/99' AND event_date <= '4/24/03'
1688
1689 The logic can also be changed locally by inserting
1690 a modifier in front of an arrayref :
1691
1692     @where = (-and => [event_date => {'>=', '2/13/99'},
1693                        event_date => {'<=', '4/24/03'} ]);
1694
1695 See the L</"WHERE CLAUSES"> section for explanations.
1696
1697 =item convert
1698
1699 This will automatically convert comparisons using the specified SQL
1700 function for both column and value. This is mostly used with an argument
1701 of C<upper> or C<lower>, so that the SQL will have the effect of
1702 case-insensitive "searches". For example, this:
1703
1704     $sql = SQL::Abstract->new(convert => 'upper');
1705     %where = (keywords => 'MaKe iT CAse inSeNSItive');
1706
1707 Will turn out the following SQL:
1708
1709     WHERE upper(keywords) like upper('MaKe iT CAse inSeNSItive')
1710
1711 The conversion can be C<upper()>, C<lower()>, or any other SQL function
1712 that can be applied symmetrically to fields (actually B<SQL::Abstract> does
1713 not validate this option; it will just pass through what you specify verbatim).
1714
1715 =item bindtype
1716
1717 This is a kludge because many databases suck. For example, you can't
1718 just bind values using DBI's C<execute()> for Oracle C<CLOB> or C<BLOB> fields.
1719 Instead, you have to use C<bind_param()>:
1720
1721     $sth->bind_param(1, 'reg data');
1722     $sth->bind_param(2, $lots, {ora_type => ORA_CLOB});
1723
1724 The problem is, B<SQL::Abstract> will normally just return a C<@bind> array,
1725 which loses track of which field each slot refers to. Fear not.
1726
1727 If you specify C<bindtype> in new, you can determine how C<@bind> is returned.
1728 Currently, you can specify either C<normal> (default) or C<columns>. If you
1729 specify C<columns>, you will get an array that looks like this:
1730
1731     my $sql = SQL::Abstract->new(bindtype => 'columns');
1732     my($stmt, @bind) = $sql->insert(...);
1733
1734     @bind = (
1735         [ 'column1', 'value1' ],
1736         [ 'column2', 'value2' ],
1737         [ 'column3', 'value3' ],
1738     );
1739
1740 You can then iterate through this manually, using DBI's C<bind_param()>.
1741
1742     $sth->prepare($stmt);
1743     my $i = 1;
1744     for (@bind) {
1745         my($col, $data) = @$_;
1746         if ($col eq 'details' || $col eq 'comments') {
1747             $sth->bind_param($i, $data, {ora_type => ORA_CLOB});
1748         } elsif ($col eq 'image') {
1749             $sth->bind_param($i, $data, {ora_type => ORA_BLOB});
1750         } else {
1751             $sth->bind_param($i, $data);
1752         }
1753         $i++;
1754     }
1755     $sth->execute;      # execute without @bind now
1756
1757 Now, why would you still use B<SQL::Abstract> if you have to do this crap?
1758 Basically, the advantage is still that you don't have to care which fields
1759 are or are not included. You could wrap that above C<for> loop in a simple
1760 sub called C<bind_fields()> or something and reuse it repeatedly. You still
1761 get a layer of abstraction over manual SQL specification.
1762
1763 Note that if you set L</bindtype> to C<columns>, the C<\[$sql, @bind]>
1764 construct (see L</Literal SQL with placeholders and bind values (subqueries)>)
1765 will expect the bind values in this format.
1766
1767 =item quote_char
1768
1769 This is the character that a table or column name will be quoted
1770 with.  By default this is an empty string, but you could set it to
1771 the character C<`>, to generate SQL like this:
1772
1773   SELECT `a_field` FROM `a_table` WHERE `some_field` LIKE '%someval%'
1774
1775 Alternatively, you can supply an array ref of two items, the first being the left
1776 hand quote character, and the second the right hand quote character. For
1777 example, you could supply C<['[',']']> for SQL Server 2000 compliant quotes
1778 that generates SQL like this:
1779
1780   SELECT [a_field] FROM [a_table] WHERE [some_field] LIKE '%someval%'
1781
1782 Quoting is useful if you have tables or columns names that are reserved
1783 words in your database's SQL dialect.
1784
1785 =item name_sep
1786
1787 This is the character that separates a table and column name.  It is
1788 necessary to specify this when the C<quote_char> option is selected,
1789 so that tables and column names can be individually quoted like this:
1790
1791   SELECT `table`.`one_field` FROM `table` WHERE `table`.`other_field` = 1
1792
1793 =item injection_guard
1794
1795 A regular expression C<qr/.../> that is applied to any C<-function> and unquoted
1796 column name specified in a query structure. This is a safety mechanism to avoid
1797 injection attacks when mishandling user input e.g.:
1798
1799   my %condition_as_column_value_pairs = get_values_from_user();
1800   $sqla->select( ... , \%condition_as_column_value_pairs );
1801
1802 If the expression matches an exception is thrown. Note that literal SQL
1803 supplied via C<\'...'> or C<\['...']> is B<not> checked in any way.
1804
1805 Defaults to checking for C<;> and the C<GO> keyword (TransactSQL)
1806
1807 =item array_datatypes
1808
1809 When this option is true, arrayrefs in INSERT or UPDATE are
1810 interpreted as array datatypes and are passed directly
1811 to the DBI layer.
1812 When this option is false, arrayrefs are interpreted
1813 as literal SQL, just like refs to arrayrefs
1814 (but this behavior is for backwards compatibility; when writing
1815 new queries, use the "reference to arrayref" syntax
1816 for literal SQL).
1817
1818
1819 =item special_ops
1820
1821 Takes a reference to a list of "special operators"
1822 to extend the syntax understood by L<SQL::Abstract>.
1823 See section L</"SPECIAL OPERATORS"> for details.
1824
1825 =item unary_ops
1826
1827 Takes a reference to a list of "unary operators"
1828 to extend the syntax understood by L<SQL::Abstract>.
1829 See section L</"UNARY OPERATORS"> for details.
1830
1831
1832
1833 =back
1834
1835 =head2 insert($table, \@values || \%fieldvals, \%options)
1836
1837 This is the simplest function. You simply give it a table name
1838 and either an arrayref of values or hashref of field/value pairs.
1839 It returns an SQL INSERT statement and a list of bind values.
1840 See the sections on L</"Inserting and Updating Arrays"> and
1841 L</"Inserting and Updating SQL"> for information on how to insert
1842 with those data types.
1843
1844 The optional C<\%options> hash reference may contain additional
1845 options to generate the insert SQL. Currently supported options
1846 are:
1847
1848 =over 4
1849
1850 =item returning
1851
1852 Takes either a scalar of raw SQL fields, or an array reference of
1853 field names, and adds on an SQL C<RETURNING> statement at the end.
1854 This allows you to return data generated by the insert statement
1855 (such as row IDs) without performing another C<SELECT> statement.
1856 Note, however, this is not part of the SQL standard and may not
1857 be supported by all database engines.
1858
1859 =back
1860
1861 =head2 update($table, \%fieldvals, \%where)
1862
1863 This takes a table, hashref of field/value pairs, and an optional
1864 hashref L<WHERE clause|/WHERE CLAUSES>. It returns an SQL UPDATE function and a list
1865 of bind values.
1866 See the sections on L</"Inserting and Updating Arrays"> and
1867 L</"Inserting and Updating SQL"> for information on how to insert
1868 with those data types.
1869
1870 =head2 select($source, $fields, $where, $order)
1871
1872 This returns a SQL SELECT statement and associated list of bind values, as
1873 specified by the arguments  :
1874
1875 =over
1876
1877 =item $source
1878
1879 Specification of the 'FROM' part of the statement.
1880 The argument can be either a plain scalar (interpreted as a table
1881 name, will be quoted), or an arrayref (interpreted as a list
1882 of table names, joined by commas, quoted), or a scalarref
1883 (literal table name, not quoted), or a ref to an arrayref
1884 (list of literal table names, joined by commas, not quoted).
1885
1886 =item $fields
1887
1888 Specification of the list of fields to retrieve from
1889 the source.
1890 The argument can be either an arrayref (interpreted as a list
1891 of field names, will be joined by commas and quoted), or a
1892 plain scalar (literal SQL, not quoted).
1893 Please observe that this API is not as flexible as for
1894 the first argument C<$table>, for backwards compatibility reasons.
1895
1896 =item $where
1897
1898 Optional argument to specify the WHERE part of the query.
1899 The argument is most often a hashref, but can also be
1900 an arrayref or plain scalar --
1901 see section L<WHERE clause|/"WHERE CLAUSES"> for details.
1902
1903 =item $order
1904
1905 Optional argument to specify the ORDER BY part of the query.
1906 The argument can be a scalar, a hashref or an arrayref
1907 -- see section L<ORDER BY clause|/"ORDER BY CLAUSES">
1908 for details.
1909
1910 =back
1911
1912
1913 =head2 delete($table, \%where)
1914
1915 This takes a table name and optional hashref L<WHERE clause|/WHERE CLAUSES>.
1916 It returns an SQL DELETE statement and list of bind values.
1917
1918 =head2 where(\%where, \@order)
1919
1920 This is used to generate just the WHERE clause. For example,
1921 if you have an arbitrary data structure and know what the
1922 rest of your SQL is going to look like, but want an easy way
1923 to produce a WHERE clause, use this. It returns an SQL WHERE
1924 clause and list of bind values.
1925
1926
1927 =head2 values(\%data)
1928
1929 This just returns the values from the hash C<%data>, in the same
1930 order that would be returned from any of the other above queries.
1931 Using this allows you to markedly speed up your queries if you
1932 are affecting lots of rows. See below under the L</"PERFORMANCE"> section.
1933
1934 =head2 generate($any, 'number', $of, \@data, $struct, \%types)
1935
1936 Warning: This is an experimental method and subject to change.
1937
1938 This returns arbitrarily generated SQL. It's a really basic shortcut.
1939 It will return two different things, depending on return context:
1940
1941     my($stmt, @bind) = $sql->generate('create table', \$table, \@fields);
1942     my $stmt_and_val = $sql->generate('create table', \$table, \@fields);
1943
1944 These would return the following:
1945
1946     # First calling form
1947     $stmt = "CREATE TABLE test (?, ?)";
1948     @bind = (field1, field2);
1949
1950     # Second calling form
1951     $stmt_and_val = "CREATE TABLE test (field1, field2)";
1952
1953 Depending on what you're trying to do, it's up to you to choose the correct
1954 format. In this example, the second form is what you would want.
1955
1956 By the same token:
1957
1958     $sql->generate('alter session', { nls_date_format => 'MM/YY' });
1959
1960 Might give you:
1961
1962     ALTER SESSION SET nls_date_format = 'MM/YY'
1963
1964 You get the idea. Strings get their case twiddled, but everything
1965 else remains verbatim.
1966
1967
1968
1969
1970 =head1 WHERE CLAUSES
1971
1972 =head2 Introduction
1973
1974 This module uses a variation on the idea from L<DBIx::Abstract>. It
1975 is B<NOT>, repeat I<not> 100% compatible. B<The main logic of this
1976 module is that things in arrays are OR'ed, and things in hashes
1977 are AND'ed.>
1978
1979 The easiest way to explain is to show lots of examples. After
1980 each C<%where> hash shown, it is assumed you used:
1981
1982     my($stmt, @bind) = $sql->where(\%where);
1983
1984 However, note that the C<%where> hash can be used directly in any
1985 of the other functions as well, as described above.
1986
1987 =head2 Key-value pairs
1988
1989 So, let's get started. To begin, a simple hash:
1990
1991     my %where  = (
1992         user   => 'nwiger',
1993         status => 'completed'
1994     );
1995
1996 Is converted to SQL C<key = val> statements:
1997
1998     $stmt = "WHERE user = ? AND status = ?";
1999     @bind = ('nwiger', 'completed');
2000
2001 One common thing I end up doing is having a list of values that
2002 a field can be in. To do this, simply specify a list inside of
2003 an arrayref:
2004
2005     my %where  = (
2006         user   => 'nwiger',
2007         status => ['assigned', 'in-progress', 'pending'];
2008     );
2009
2010 This simple code will create the following:
2011
2012     $stmt = "WHERE user = ? AND ( status = ? OR status = ? OR status = ? )";
2013     @bind = ('nwiger', 'assigned', 'in-progress', 'pending');
2014
2015 A field associated to an empty arrayref will be considered a
2016 logical false and will generate 0=1.
2017
2018 =head2 Tests for NULL values
2019
2020 If the value part is C<undef> then this is converted to SQL <IS NULL>
2021
2022     my %where  = (
2023         user   => 'nwiger',
2024         status => undef,
2025     );
2026
2027 becomes:
2028
2029     $stmt = "WHERE user = ? AND status IS NULL";
2030     @bind = ('nwiger');
2031
2032 =head2 Specific comparison operators
2033
2034 If you want to specify a different type of operator for your comparison,
2035 you can use a hashref for a given column:
2036
2037     my %where  = (
2038         user   => 'nwiger',
2039         status => { '!=', 'completed' }
2040     );
2041
2042 Which would generate:
2043
2044     $stmt = "WHERE user = ? AND status != ?";
2045     @bind = ('nwiger', 'completed');
2046
2047 To test against multiple values, just enclose the values in an arrayref:
2048
2049     status => { '=', ['assigned', 'in-progress', 'pending'] };
2050
2051 Which would give you:
2052
2053     "WHERE status = ? OR status = ? OR status = ?"
2054
2055
2056 The hashref can also contain multiple pairs, in which case it is expanded
2057 into an C<AND> of its elements:
2058
2059     my %where  = (
2060         user   => 'nwiger',
2061         status => { '!=', 'completed', -not_like => 'pending%' }
2062     );
2063
2064     # Or more dynamically, like from a form
2065     $where{user} = 'nwiger';
2066     $where{status}{'!='} = 'completed';
2067     $where{status}{'-not_like'} = 'pending%';
2068
2069     # Both generate this
2070     $stmt = "WHERE user = ? AND status != ? AND status NOT LIKE ?";
2071     @bind = ('nwiger', 'completed', 'pending%');
2072
2073
2074 To get an OR instead, you can combine it with the arrayref idea:
2075
2076     my %where => (
2077          user => 'nwiger',
2078          priority => [ { '=', 2 }, { '>', 5 } ]
2079     );
2080
2081 Which would generate:
2082
2083     $stmt = "WHERE ( priority = ? OR priority > ? ) AND user = ?";
2084     @bind = ('2', '5', 'nwiger');
2085
2086 If you want to include literal SQL (with or without bind values), just use a
2087 scalar reference or array reference as the value:
2088
2089     my %where  = (
2090         date_entered => { '>' => \["to_date(?, 'MM/DD/YYYY')", "11/26/2008"] },
2091         date_expires => { '<' => \"now()" }
2092     );
2093
2094 Which would generate:
2095
2096     $stmt = "WHERE date_entered > "to_date(?, 'MM/DD/YYYY') AND date_expires < now()";
2097     @bind = ('11/26/2008');
2098
2099
2100 =head2 Logic and nesting operators
2101
2102 In the example above,
2103 there is a subtle trap if you want to say something like
2104 this (notice the C<AND>):
2105
2106     WHERE priority != ? AND priority != ?
2107
2108 Because, in Perl you I<can't> do this:
2109
2110     priority => { '!=', 2, '!=', 1 }
2111
2112 As the second C<!=> key will obliterate the first. The solution
2113 is to use the special C<-modifier> form inside an arrayref:
2114
2115     priority => [ -and => {'!=', 2},
2116                           {'!=', 1} ]
2117
2118
2119 Normally, these would be joined by C<OR>, but the modifier tells it
2120 to use C<AND> instead. (Hint: You can use this in conjunction with the
2121 C<logic> option to C<new()> in order to change the way your queries
2122 work by default.) B<Important:> Note that the C<-modifier> goes
2123 B<INSIDE> the arrayref, as an extra first element. This will
2124 B<NOT> do what you think it might:
2125
2126     priority => -and => [{'!=', 2}, {'!=', 1}]   # WRONG!
2127
2128 Here is a quick list of equivalencies, since there is some overlap:
2129
2130     # Same
2131     status => {'!=', 'completed', 'not like', 'pending%' }
2132     status => [ -and => {'!=', 'completed'}, {'not like', 'pending%'}]
2133
2134     # Same
2135     status => {'=', ['assigned', 'in-progress']}
2136     status => [ -or => {'=', 'assigned'}, {'=', 'in-progress'}]
2137     status => [ {'=', 'assigned'}, {'=', 'in-progress'} ]
2138
2139
2140
2141 =head2 Special operators : IN, BETWEEN, etc.
2142
2143 You can also use the hashref format to compare a list of fields using the
2144 C<IN> comparison operator, by specifying the list as an arrayref:
2145
2146     my %where  = (
2147         status   => 'completed',
2148         reportid => { -in => [567, 2335, 2] }
2149     );
2150
2151 Which would generate:
2152
2153     $stmt = "WHERE status = ? AND reportid IN (?,?,?)";
2154     @bind = ('completed', '567', '2335', '2');
2155
2156 The reverse operator C<-not_in> generates SQL C<NOT IN> and is used in
2157 the same way.
2158
2159 If the argument to C<-in> is an empty array, 'sqlfalse' is generated
2160 (by default : C<1=0>). Similarly, C<< -not_in => [] >> generates
2161 'sqltrue' (by default : C<1=1>).
2162
2163 In addition to the array you can supply a chunk of literal sql or
2164 literal sql with bind:
2165
2166     my %where = {
2167       customer => { -in => \[
2168         'SELECT cust_id FROM cust WHERE balance > ?',
2169         2000,
2170       ],
2171       status => { -in => \'SELECT status_codes FROM states' },
2172     };
2173
2174 would generate:
2175
2176     $stmt = "WHERE (
2177           customer IN ( SELECT cust_id FROM cust WHERE balance > ? )
2178       AND status IN ( SELECT status_codes FROM states )
2179     )";
2180     @bind = ('2000');
2181
2182
2183
2184 Another pair of operators is C<-between> and C<-not_between>,
2185 used with an arrayref of two values:
2186
2187     my %where  = (
2188         user   => 'nwiger',
2189         completion_date => {
2190            -not_between => ['2002-10-01', '2003-02-06']
2191         }
2192     );
2193
2194 Would give you:
2195
2196     WHERE user = ? AND completion_date NOT BETWEEN ( ? AND ? )
2197
2198 Just like with C<-in> all plausible combinations of literal SQL
2199 are possible:
2200
2201     my %where = {
2202       start0 => { -between => [ 1, 2 ] },
2203       start1 => { -between => \["? AND ?", 1, 2] },
2204       start2 => { -between => \"lower(x) AND upper(y)" },
2205       start3 => { -between => [
2206         \"lower(x)",
2207         \["upper(?)", 'stuff' ],
2208       ] },
2209     };
2210
2211 Would give you:
2212
2213     $stmt = "WHERE (
2214           ( start0 BETWEEN ? AND ?                )
2215       AND ( start1 BETWEEN ? AND ?                )
2216       AND ( start2 BETWEEN lower(x) AND upper(y)  )
2217       AND ( start3 BETWEEN lower(x) AND upper(?)  )
2218     )";
2219     @bind = (1, 2, 1, 2, 'stuff');
2220
2221
2222 These are the two builtin "special operators"; but the
2223 list can be expanded : see section L</"SPECIAL OPERATORS"> below.
2224
2225 =head2 Unary operators: bool
2226
2227 If you wish to test against boolean columns or functions within your
2228 database you can use the C<-bool> and C<-not_bool> operators. For
2229 example to test the column C<is_user> being true and the column
2230 C<is_enabled> being false you would use:-
2231
2232     my %where  = (
2233         -bool       => 'is_user',
2234         -not_bool   => 'is_enabled',
2235     );
2236
2237 Would give you:
2238
2239     WHERE is_user AND NOT is_enabled
2240
2241 If a more complex combination is required, testing more conditions,
2242 then you should use the and/or operators:-
2243
2244     my %where  = (
2245         -and           => [
2246             -bool      => 'one',
2247             -bool      => 'two',
2248             -bool      => 'three',
2249             -not_bool  => 'four',
2250         ],
2251     );
2252
2253 Would give you:
2254
2255     WHERE one AND two AND three AND NOT four
2256
2257
2258 =head2 Nested conditions, -and/-or prefixes
2259
2260 So far, we've seen how multiple conditions are joined with a top-level
2261 C<AND>.  We can change this by putting the different conditions we want in
2262 hashes and then putting those hashes in an array. For example:
2263
2264     my @where = (
2265         {
2266             user   => 'nwiger',
2267             status => { -like => ['pending%', 'dispatched'] },
2268         },
2269         {
2270             user   => 'robot',
2271             status => 'unassigned',
2272         }
2273     );
2274
2275 This data structure would create the following:
2276
2277     $stmt = "WHERE ( user = ? AND ( status LIKE ? OR status LIKE ? ) )
2278                 OR ( user = ? AND status = ? ) )";
2279     @bind = ('nwiger', 'pending', 'dispatched', 'robot', 'unassigned');
2280
2281
2282 Clauses in hashrefs or arrayrefs can be prefixed with an C<-and> or C<-or>
2283 to change the logic inside :
2284
2285     my @where = (
2286          -and => [
2287             user => 'nwiger',
2288             [
2289                 -and => [ workhrs => {'>', 20}, geo => 'ASIA' ],
2290                 -or => { workhrs => {'<', 50}, geo => 'EURO' },
2291             ],
2292         ],
2293     );
2294
2295 That would yield:
2296
2297     WHERE ( user = ? AND (
2298                ( workhrs > ? AND geo = ? )
2299             OR ( workhrs < ? OR geo = ? )
2300           ) )
2301
2302 =head2 Algebraic inconsistency, for historical reasons
2303
2304 C<Important note>: when connecting several conditions, the C<-and->|C<-or>
2305 operator goes C<outside> of the nested structure; whereas when connecting
2306 several constraints on one column, the C<-and> operator goes
2307 C<inside> the arrayref. Here is an example combining both features :
2308
2309    my @where = (
2310      -and => [a => 1, b => 2],
2311      -or  => [c => 3, d => 4],
2312       e   => [-and => {-like => 'foo%'}, {-like => '%bar'} ]
2313    )
2314
2315 yielding
2316
2317   WHERE ( (    ( a = ? AND b = ? )
2318             OR ( c = ? OR d = ? )
2319             OR ( e LIKE ? AND e LIKE ? ) ) )
2320
2321 This difference in syntax is unfortunate but must be preserved for
2322 historical reasons. So be careful : the two examples below would
2323 seem algebraically equivalent, but they are not
2324
2325   {col => [-and => {-like => 'foo%'}, {-like => '%bar'}]}
2326   # yields : WHERE ( ( col LIKE ? AND col LIKE ? ) )
2327
2328   [-and => {col => {-like => 'foo%'}, {col => {-like => '%bar'}}]]
2329   # yields : WHERE ( ( col LIKE ? OR col LIKE ? ) )
2330
2331
2332 =head2 Literal SQL
2333
2334 Finally, sometimes only literal SQL will do. If you want to include
2335 literal SQL verbatim, you can specify it as a scalar reference, namely:
2336
2337     my $inn = 'is Not Null';
2338     my %where = (
2339         priority => { '<', 2 },
2340         requestor => \$inn
2341     );
2342
2343 This would create:
2344
2345     $stmt = "WHERE priority < ? AND requestor is Not Null";
2346     @bind = ('2');
2347
2348 Note that in this example, you only get one bind parameter back, since
2349 the verbatim SQL is passed as part of the statement.
2350
2351 Of course, just to prove a point, the above can also be accomplished
2352 with this:
2353
2354     my %where = (
2355         priority  => { '<', 2 },
2356         requestor => { '!=', undef },
2357     );
2358
2359
2360 TMTOWTDI
2361
2362 Conditions on boolean columns can be expressed in the same way, passing
2363 a reference to an empty string, however using liternal SQL in this way
2364 is deprecated - the preferred method is to use the boolean operators -
2365 see L</"Unary operators: bool"> :
2366
2367     my %where = (
2368         priority  => { '<', 2 },
2369         is_ready  => \"";
2370     );
2371
2372 which yields
2373
2374     $stmt = "WHERE priority < ? AND is_ready";
2375     @bind = ('2');
2376
2377 Literal SQL is also the only way to compare 2 columns to one another:
2378
2379     my %where = (
2380         priority => { '<', 2 },
2381         requestor => \'= submittor'
2382     );
2383
2384 which creates:
2385
2386     $stmt = "WHERE priority < ? AND requestor = submitter";
2387     @bind = ('2');
2388
2389 =head2 Literal SQL with placeholders and bind values (subqueries)
2390
2391 If the literal SQL to be inserted has placeholders and bind values,
2392 use a reference to an arrayref (yes this is a double reference --
2393 not so common, but perfectly legal Perl). For example, to find a date
2394 in Postgres you can use something like this:
2395
2396     my %where = (
2397        date_column => \[q/= date '2008-09-30' - ?::integer/, 10/]
2398     )
2399
2400 This would create:
2401
2402     $stmt = "WHERE ( date_column = date '2008-09-30' - ?::integer )"
2403     @bind = ('10');
2404
2405 Note that you must pass the bind values in the same format as they are returned
2406 by L</where>. That means that if you set L</bindtype> to C<columns>, you must
2407 provide the bind values in the C<< [ column_meta => value ] >> format, where
2408 C<column_meta> is an opaque scalar value; most commonly the column name, but
2409 you can use any scalar value (including references and blessed references),
2410 L<SQL::Abstract> will simply pass it through intact. So if C<bindtype> is set
2411 to C<columns> the above example will look like:
2412
2413     my %where = (
2414        date_column => \[q/= date '2008-09-30' - ?::integer/, [ dummy => 10 ]/]
2415     )
2416
2417 Literal SQL is especially useful for nesting parenthesized clauses in the
2418 main SQL query. Here is a first example :
2419
2420   my ($sub_stmt, @sub_bind) = ("SELECT c1 FROM t1 WHERE c2 < ? AND c3 LIKE ?",
2421                                100, "foo%");
2422   my %where = (
2423     foo => 1234,
2424     bar => \["IN ($sub_stmt)" => @sub_bind],
2425   );
2426
2427 This yields :
2428
2429   $stmt = "WHERE (foo = ? AND bar IN (SELECT c1 FROM t1
2430                                              WHERE c2 < ? AND c3 LIKE ?))";
2431   @bind = (1234, 100, "foo%");
2432
2433 Other subquery operators, like for example C<"E<gt> ALL"> or C<"NOT IN">,
2434 are expressed in the same way. Of course the C<$sub_stmt> and
2435 its associated bind values can be generated through a former call
2436 to C<select()> :
2437
2438   my ($sub_stmt, @sub_bind)
2439      = $sql->select("t1", "c1", {c2 => {"<" => 100},
2440                                  c3 => {-like => "foo%"}});
2441   my %where = (
2442     foo => 1234,
2443     bar => \["> ALL ($sub_stmt)" => @sub_bind],
2444   );
2445
2446 In the examples above, the subquery was used as an operator on a column;
2447 but the same principle also applies for a clause within the main C<%where>
2448 hash, like an EXISTS subquery :
2449
2450   my ($sub_stmt, @sub_bind)
2451      = $sql->select("t1", "*", {c1 => 1, c2 => \"> t0.c0"});
2452   my %where = ( -and => [
2453     foo   => 1234,
2454     \["EXISTS ($sub_stmt)" => @sub_bind],
2455   ]);
2456
2457 which yields
2458
2459   $stmt = "WHERE (foo = ? AND EXISTS (SELECT * FROM t1
2460                                         WHERE c1 = ? AND c2 > t0.c0))";
2461   @bind = (1234, 1);
2462
2463
2464 Observe that the condition on C<c2> in the subquery refers to
2465 column C<t0.c0> of the main query : this is I<not> a bind
2466 value, so we have to express it through a scalar ref.
2467 Writing C<< c2 => {">" => "t0.c0"} >> would have generated
2468 C<< c2 > ? >> with bind value C<"t0.c0"> ... not exactly
2469 what we wanted here.
2470
2471 Finally, here is an example where a subquery is used
2472 for expressing unary negation:
2473
2474   my ($sub_stmt, @sub_bind)
2475      = $sql->where({age => [{"<" => 10}, {">" => 20}]});
2476   $sub_stmt =~ s/^ where //i; # don't want "WHERE" in the subclause
2477   my %where = (
2478         lname  => {like => '%son%'},
2479         \["NOT ($sub_stmt)" => @sub_bind],
2480     );
2481
2482 This yields
2483
2484   $stmt = "lname LIKE ? AND NOT ( age < ? OR age > ? )"
2485   @bind = ('%son%', 10, 20)
2486
2487
2488
2489 =head2 Conclusion
2490
2491 These pages could go on for a while, since the nesting of the data
2492 structures this module can handle are pretty much unlimited (the
2493 module implements the C<WHERE> expansion as a recursive function
2494 internally). Your best bet is to "play around" with the module a
2495 little to see how the data structures behave, and choose the best
2496 format for your data based on that.
2497
2498 And of course, all the values above will probably be replaced with
2499 variables gotten from forms or the command line. After all, if you
2500 knew everything ahead of time, you wouldn't have to worry about
2501 dynamically-generating SQL and could just hardwire it into your
2502 script.
2503
2504
2505
2506
2507 =head1 ORDER BY CLAUSES
2508
2509 Some functions take an order by clause. This can either be a scalar (just a
2510 column name,) a hash of C<< { -desc => 'col' } >> or C<< { -asc => 'col' } >>,
2511 or an array of either of the two previous forms. Examples:
2512
2513                Given            |         Will Generate
2514     ----------------------------------------------------------
2515                                 |
2516     \'colA DESC'                | ORDER BY colA DESC
2517                                 |
2518     'colA'                      | ORDER BY colA
2519                                 |
2520     [qw/colA colB/]             | ORDER BY colA, colB
2521                                 |
2522     {-asc  => 'colA'}           | ORDER BY colA ASC
2523                                 |
2524     {-desc => 'colB'}           | ORDER BY colB DESC
2525                                 |
2526     ['colA', {-asc => 'colB'}]  | ORDER BY colA, colB ASC
2527                                 |
2528     { -asc => [qw/colA colB/] } | ORDER BY colA ASC, colB ASC
2529                                 |
2530     [                           |
2531       { -asc => 'colA' },       | ORDER BY colA ASC, colB DESC,
2532       { -desc => [qw/colB/],    |          colC ASC, colD ASC
2533       { -asc => [qw/colC colD/],|
2534     ]                           |
2535     ===========================================================
2536
2537
2538
2539 =head1 SPECIAL OPERATORS
2540
2541   my $sqlmaker = SQL::Abstract->new(special_ops => [
2542      {
2543       regex => qr/.../,
2544       handler => sub {
2545         my ($self, $field, $op, $arg) = @_;
2546         ...
2547       },
2548      },
2549      {
2550       regex => qr/.../,
2551       handler => 'method_name',
2552      },
2553    ]);
2554
2555 A "special operator" is a SQL syntactic clause that can be
2556 applied to a field, instead of a usual binary operator.
2557 For example :
2558
2559    WHERE field IN (?, ?, ?)
2560    WHERE field BETWEEN ? AND ?
2561    WHERE MATCH(field) AGAINST (?, ?)
2562
2563 Special operators IN and BETWEEN are fairly standard and therefore
2564 are builtin within C<SQL::Abstract> (as the overridable methods
2565 C<_where_field_IN> and C<_where_field_BETWEEN>). For other operators,
2566 like the MATCH .. AGAINST example above which is specific to MySQL,
2567 you can write your own operator handlers - supply a C<special_ops>
2568 argument to the C<new> method. That argument takes an arrayref of
2569 operator definitions; each operator definition is a hashref with two
2570 entries:
2571
2572 =over
2573
2574 =item regex
2575
2576 the regular expression to match the operator
2577
2578 =item handler
2579
2580 Either a coderef or a plain scalar method name. In both cases
2581 the expected return is C<< ($sql, @bind) >>.
2582
2583 When supplied with a method name, it is simply called on the
2584 L<SQL::Abstract/> object as:
2585
2586  $self->$method_name ($field, $op, $arg)
2587
2588  Where:
2589
2590   $op is the part that matched the handler regex
2591   $field is the LHS of the operator
2592   $arg is the RHS
2593
2594 When supplied with a coderef, it is called as:
2595
2596  $coderef->($self, $field, $op, $arg)
2597
2598
2599 =back
2600
2601 For example, here is an implementation
2602 of the MATCH .. AGAINST syntax for MySQL
2603
2604   my $sqlmaker = SQL::Abstract->new(special_ops => [
2605
2606     # special op for MySql MATCH (field) AGAINST(word1, word2, ...)
2607     {regex => qr/^match$/i,
2608      handler => sub {
2609        my ($self, $field, $op, $arg) = @_;
2610        $arg = [$arg] if not ref $arg;
2611        my $label         = $self->_quote($field);
2612        my ($placeholder) = $self->_convert('?');
2613        my $placeholders  = join ", ", (($placeholder) x @$arg);
2614        my $sql           = $self->_sqlcase('match') . " ($label) "
2615                          . $self->_sqlcase('against') . " ($placeholders) ";
2616        my @bind = $self->_bindtype($field, @$arg);
2617        return ($sql, @bind);
2618        }
2619      },
2620
2621   ]);
2622
2623
2624 =head1 UNARY OPERATORS
2625
2626   my $sqlmaker = SQL::Abstract->new(unary_ops => [
2627      {
2628       regex => qr/.../,
2629       handler => sub {
2630         my ($self, $op, $arg) = @_;
2631         ...
2632       },
2633      },
2634      {
2635       regex => qr/.../,
2636       handler => 'method_name',
2637      },
2638    ]);
2639
2640 A "unary operator" is a SQL syntactic clause that can be
2641 applied to a field - the operator goes before the field
2642
2643 You can write your own operator handlers - supply a C<unary_ops>
2644 argument to the C<new> method. That argument takes an arrayref of
2645 operator definitions; each operator definition is a hashref with two
2646 entries:
2647
2648 =over
2649
2650 =item regex
2651
2652 the regular expression to match the operator
2653
2654 =item handler
2655
2656 Either a coderef or a plain scalar method name. In both cases
2657 the expected return is C<< $sql >>.
2658
2659 When supplied with a method name, it is simply called on the
2660 L<SQL::Abstract/> object as:
2661
2662  $self->$method_name ($op, $arg)
2663
2664  Where:
2665
2666   $op is the part that matched the handler regex
2667   $arg is the RHS or argument of the operator
2668
2669 When supplied with a coderef, it is called as:
2670
2671  $coderef->($self, $op, $arg)
2672
2673
2674 =back
2675
2676
2677 =head1 PERFORMANCE
2678
2679 Thanks to some benchmarking by Mark Stosberg, it turns out that
2680 this module is many orders of magnitude faster than using C<DBIx::Abstract>.
2681 I must admit this wasn't an intentional design issue, but it's a
2682 byproduct of the fact that you get to control your C<DBI> handles
2683 yourself.
2684
2685 To maximize performance, use a code snippet like the following:
2686
2687     # prepare a statement handle using the first row
2688     # and then reuse it for the rest of the rows
2689     my($sth, $stmt);
2690     for my $href (@array_of_hashrefs) {
2691         $stmt ||= $sql->insert('table', $href);
2692         $sth  ||= $dbh->prepare($stmt);
2693         $sth->execute($sql->values($href));
2694     }
2695
2696 The reason this works is because the keys in your C<$href> are sorted
2697 internally by B<SQL::Abstract>. Thus, as long as your data retains
2698 the same structure, you only have to generate the SQL the first time
2699 around. On subsequent queries, simply use the C<values> function provided
2700 by this module to return your values in the correct order.
2701
2702 However this depends on the values having the same type - if, for
2703 example, the values of a where clause may either have values
2704 (resulting in sql of the form C<column = ?> with a single bind
2705 value), or alternatively the values might be C<undef> (resulting in
2706 sql of the form C<column IS NULL> with no bind value) then the
2707 caching technique suggested will not work.
2708
2709 =head1 FORMBUILDER
2710
2711 If you use my C<CGI::FormBuilder> module at all, you'll hopefully
2712 really like this part (I do, at least). Building up a complex query
2713 can be as simple as the following:
2714
2715     #!/usr/bin/perl
2716
2717     use CGI::FormBuilder;
2718     use SQL::Abstract;
2719
2720     my $form = CGI::FormBuilder->new(...);
2721     my $sql  = SQL::Abstract->new;
2722
2723     if ($form->submitted) {
2724         my $field = $form->field;
2725         my $id = delete $field->{id};
2726         my($stmt, @bind) = $sql->update('table', $field, {id => $id});
2727     }
2728
2729 Of course, you would still have to connect using C<DBI> to run the
2730 query, but the point is that if you make your form look like your
2731 table, the actual query script can be extremely simplistic.
2732
2733 If you're B<REALLY> lazy (I am), check out C<HTML::QuickTable> for
2734 a fast interface to returning and formatting data. I frequently
2735 use these three modules together to write complex database query
2736 apps in under 50 lines.
2737
2738 =head1 REPO
2739
2740 =over
2741
2742 =item * gitweb: L<http://git.shadowcat.co.uk/gitweb/gitweb.cgi?p=dbsrgits/SQL-Abstract.git>
2743
2744 =item * git: L<git://git.shadowcat.co.uk/dbsrgits/SQL-Abstract.git>
2745
2746 =back
2747
2748 =head1 CHANGES
2749
2750 Version 1.50 was a major internal refactoring of C<SQL::Abstract>.
2751 Great care has been taken to preserve the I<published> behavior
2752 documented in previous versions in the 1.* family; however,
2753 some features that were previously undocumented, or behaved
2754 differently from the documentation, had to be changed in order
2755 to clarify the semantics. Hence, client code that was relying
2756 on some dark areas of C<SQL::Abstract> v1.*
2757 B<might behave differently> in v1.50.
2758
2759 The main changes are :
2760
2761 =over
2762
2763 =item *
2764
2765 support for literal SQL through the C<< \ [$sql, bind] >> syntax.
2766
2767 =item *
2768
2769 support for the { operator => \"..." } construct (to embed literal SQL)
2770
2771 =item *
2772
2773 support for the { operator => \["...", @bind] } construct (to embed literal SQL with bind values)
2774
2775 =item *
2776
2777 optional support for L<array datatypes|/"Inserting and Updating Arrays">
2778
2779 =item *
2780
2781 defensive programming : check arguments
2782
2783 =item *
2784
2785 fixed bug with global logic, which was previously implemented
2786 through global variables yielding side-effects. Prior versions would
2787 interpret C<< [ {cond1, cond2}, [cond3, cond4] ] >>
2788 as C<< "(cond1 AND cond2) OR (cond3 AND cond4)" >>.
2789 Now this is interpreted
2790 as C<< "(cond1 AND cond2) OR (cond3 OR cond4)" >>.
2791
2792
2793 =item *
2794
2795 fixed semantics of  _bindtype on array args
2796
2797 =item *
2798
2799 dropped the C<_anoncopy> of the %where tree. No longer necessary,
2800 we just avoid shifting arrays within that tree.
2801
2802 =item *
2803
2804 dropped the C<_modlogic> function
2805
2806 =back
2807
2808
2809
2810 =head1 ACKNOWLEDGEMENTS
2811
2812 There are a number of individuals that have really helped out with
2813 this module. Unfortunately, most of them submitted bugs via CPAN
2814 so I have no idea who they are! But the people I do know are:
2815
2816     Ash Berlin (order_by hash term support)
2817     Matt Trout (DBIx::Class support)
2818     Mark Stosberg (benchmarking)
2819     Chas Owens (initial "IN" operator support)
2820     Philip Collins (per-field SQL functions)
2821     Eric Kolve (hashref "AND" support)
2822     Mike Fragassi (enhancements to "BETWEEN" and "LIKE")
2823     Dan Kubb (support for "quote_char" and "name_sep")
2824     Guillermo Roditi (patch to cleanup "IN" and "BETWEEN", fix and tests for _order_by)
2825     Laurent Dami (internal refactoring, extensible list of special operators, literal SQL)
2826     Norbert Buchmuller (support for literal SQL in hashpair, misc. fixes & tests)
2827     Peter Rabbitson (rewrite of SQLA::Test, misc. fixes & tests)
2828     Oliver Charles (support for "RETURNING" after "INSERT")
2829
2830 Thanks!
2831
2832 =head1 SEE ALSO
2833
2834 L<DBIx::Class>, L<DBIx::Abstract>, L<CGI::FormBuilder>, L<HTML::QuickTable>.
2835
2836 =head1 AUTHOR
2837
2838 Copyright (c) 2001-2007 Nathan Wiger <nwiger@cpan.org>. All Rights Reserved.
2839
2840 This module is actively maintained by Matt Trout <mst@shadowcatsystems.co.uk>
2841
2842 For support, your best bet is to try the C<DBIx::Class> users mailing list.
2843 While not an official support venue, C<DBIx::Class> makes heavy use of
2844 C<SQL::Abstract>, and as such list members there are very familiar with
2845 how to create queries.
2846
2847 =head1 LICENSE
2848
2849 This module is free software; you may copy this under the same
2850 terms as perl itself (either the GNU General Public License or
2851 the Artistic License)
2852
2853 =cut
2854