Temporary fix or the IN ( ( ... ) ) problem until we get proper SQLA AST (needs SQLA...
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI.pm
1 package DBIx::Class::Storage::DBI;
2 # -*- mode: cperl; cperl-indent-level: 2 -*-
3
4 use base 'DBIx::Class::Storage';
5
6 use strict;    
7 use warnings;
8 use Carp::Clan qw/^DBIx::Class/;
9 use DBI;
10 use SQL::Abstract::Limit;
11 use DBIx::Class::Storage::DBI::Cursor;
12 use DBIx::Class::Storage::Statistics;
13 use Scalar::Util qw/blessed weaken/;
14
15 __PACKAGE__->mk_group_accessors('simple' =>
16     qw/_connect_info _dbi_connect_info _dbh _sql_maker _sql_maker_opts
17        _conn_pid _conn_tid transaction_depth _dbh_autocommit savepoints/
18 );
19
20 # the values for these accessors are picked out (and deleted) from
21 # the attribute hashref passed to connect_info
22 my @storage_options = qw/
23   on_connect_do on_disconnect_do disable_sth_caching unsafe auto_savepoint
24 /;
25 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
26
27
28 # default cursor class, overridable in connect_info attributes
29 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
30
31 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
32 __PACKAGE__->sql_maker_class('DBIC::SQL::Abstract');
33
34 BEGIN {
35
36 package # Hide from PAUSE
37   DBIC::SQL::Abstract; # Would merge upstream, but nate doesn't reply :(
38
39 use base qw/SQL::Abstract::Limit/;
40
41 sub new {
42   my $self = shift->SUPER::new(@_);
43
44   # This prevents the caching of $dbh in S::A::L, I believe
45   # If limit_dialect is a ref (like a $dbh), go ahead and replace
46   #   it with what it resolves to:
47   $self->{limit_dialect} = $self->_find_syntax($self->{limit_dialect})
48     if ref $self->{limit_dialect};
49
50   $self;
51 }
52
53
54
55 # Some databases (sqlite) do not handle multiple parenthesis
56 # around in/between arguments. A tentative x IN ( ( 1, 2 ,3) )
57 # is interpreted as x IN 1 or something similar.
58 #
59 # Since we currently do not have access to the SQLA AST, resort
60 # to barbaric mutilation of any SQL supplied in literal form
61
62 sub _strip_outer_paren {
63   my ($self, $arg) = @_;
64
65 use Data::Dumper;
66
67   return $self->_SWITCH_refkind ($arg, {
68     ARRAYREFREF => sub {
69       $$arg->[0] = __strip_outer_paren ($$arg->[0]);
70       return $arg;
71     },
72     SCALARREF => sub {
73       return \__strip_outer_paren( $$arg );
74     },
75     FALLBACK => sub {
76       return $arg
77     },
78   });
79 }
80
81 sub __strip_outer_paren {
82   my $sql = shift;
83
84   if ($sql and not ref $sql) {
85     while ($sql =~ /^ \s* \( (.*) \) \s* $/x ) {
86       $sql = $1;
87     }
88   }
89
90   return $sql;
91 }
92
93 sub _where_field_IN {
94   my ($self, $lhs, $op, $rhs) = @_;
95   $rhs = $self->_strip_outer_paren ($rhs);
96   return $self->SUPER::_where_field_IN ($lhs, $op, $rhs);
97 }
98
99 sub _where_field_BETWEEN {
100   my ($self, $lhs, $op, $rhs) = @_;
101   $rhs = $self->_strip_outer_paren ($rhs);
102   return $self->SUPER::_where_field_BETWEEN ($lhs, $op, $rhs);
103 }
104
105
106
107 # DB2 is the only remaining DB using this. Even though we are not sure if
108 # RowNumberOver is still needed here (should be part of SQLA) leave the 
109 # code in place
110 sub _RowNumberOver {
111   my ($self, $sql, $order, $rows, $offset ) = @_;
112
113   $offset += 1;
114   my $last = $rows + $offset;
115   my ( $order_by ) = $self->_order_by( $order );
116
117   $sql = <<"SQL";
118 SELECT * FROM
119 (
120    SELECT Q1.*, ROW_NUMBER() OVER( ) AS ROW_NUM FROM (
121       $sql
122       $order_by
123    ) Q1
124 ) Q2
125 WHERE ROW_NUM BETWEEN $offset AND $last
126
127 SQL
128
129   return $sql;
130 }
131
132
133 # While we're at it, this should make LIMIT queries more efficient,
134 #  without digging into things too deeply
135 use Scalar::Util 'blessed';
136 sub _find_syntax {
137   my ($self, $syntax) = @_;
138   
139   # DB2 is the only remaining DB using this. Even though we are not sure if
140   # RowNumberOver is still needed here (should be part of SQLA) leave the 
141   # code in place
142   my $dbhname = blessed($syntax) ? $syntax->{Driver}{Name} : $syntax;
143   if(ref($self) && $dbhname && $dbhname eq 'DB2') {
144     return 'RowNumberOver';
145   }
146   
147   $self->{_cached_syntax} ||= $self->SUPER::_find_syntax($syntax);
148 }
149
150 sub select {
151   my ($self, $table, $fields, $where, $order, @rest) = @_;
152   if (ref $table eq 'SCALAR') {
153     $table = $$table;
154   }
155   elsif (not ref $table) {
156     $table = $self->_quote($table);
157   }
158   local $self->{rownum_hack_count} = 1
159     if (defined $rest[0] && $self->{limit_dialect} eq 'RowNum');
160   @rest = (-1) unless defined $rest[0];
161   die "LIMIT 0 Does Not Compute" if $rest[0] == 0;
162     # and anyway, SQL::Abstract::Limit will cause a barf if we don't first
163   local $self->{having_bind} = [];
164   my ($sql, @ret) = $self->SUPER::select(
165     $table, $self->_recurse_fields($fields), $where, $order, @rest
166   );
167   $sql .= 
168     $self->{for} ?
169     (
170       $self->{for} eq 'update' ? ' FOR UPDATE' :
171       $self->{for} eq 'shared' ? ' FOR SHARE'  :
172       ''
173     ) :
174     ''
175   ;
176   return wantarray ? ($sql, @ret, @{$self->{having_bind}}) : $sql;
177 }
178
179 sub insert {
180   my $self = shift;
181   my $table = shift;
182   $table = $self->_quote($table) unless ref($table);
183   $self->SUPER::insert($table, @_);
184 }
185
186 sub update {
187   my $self = shift;
188   my $table = shift;
189   $table = $self->_quote($table) unless ref($table);
190   $self->SUPER::update($table, @_);
191 }
192
193 sub delete {
194   my $self = shift;
195   my $table = shift;
196   $table = $self->_quote($table) unless ref($table);
197   $self->SUPER::delete($table, @_);
198 }
199
200 sub _emulate_limit {
201   my $self = shift;
202   if ($_[3] == -1) {
203     return $_[1].$self->_order_by($_[2]);
204   } else {
205     return $self->SUPER::_emulate_limit(@_);
206   }
207 }
208
209 sub _recurse_fields {
210   my ($self, $fields, $params) = @_;
211   my $ref = ref $fields;
212   return $self->_quote($fields) unless $ref;
213   return $$fields if $ref eq 'SCALAR';
214
215   if ($ref eq 'ARRAY') {
216     return join(', ', map {
217       $self->_recurse_fields($_)
218         .(exists $self->{rownum_hack_count} && !($params && $params->{no_rownum_hack})
219           ? ' AS col'.$self->{rownum_hack_count}++
220           : '')
221       } @$fields);
222   } elsif ($ref eq 'HASH') {
223     foreach my $func (keys %$fields) {
224       return $self->_sqlcase($func)
225         .'( '.$self->_recurse_fields($fields->{$func}).' )';
226     }
227   }
228   # Is the second check absolutely necessary?
229   elsif ( $ref eq 'REF' and ref($$fields) eq 'ARRAY' ) {
230     return $self->_bind_to_sql( $fields );
231   }
232   else {
233     Carp::croak($ref . qq{ unexpected in _recurse_fields()})
234   }
235 }
236
237 sub _order_by {
238   my $self = shift;
239   my $ret = '';
240   my @extra;
241   if (ref $_[0] eq 'HASH') {
242     if (defined $_[0]->{group_by}) {
243       $ret = $self->_sqlcase(' group by ')
244         .$self->_recurse_fields($_[0]->{group_by}, { no_rownum_hack => 1 });
245     }
246     if (defined $_[0]->{having}) {
247       my $frag;
248       ($frag, @extra) = $self->_recurse_where($_[0]->{having});
249       push(@{$self->{having_bind}}, @extra);
250       $ret .= $self->_sqlcase(' having ').$frag;
251     }
252     if (defined $_[0]->{order_by}) {
253       $ret .= $self->_order_by($_[0]->{order_by});
254     }
255     if (grep { $_ =~ /^-(desc|asc)/i } keys %{$_[0]}) {
256       return $self->SUPER::_order_by($_[0]);
257     }
258   } elsif (ref $_[0] eq 'SCALAR') {
259     $ret = $self->_sqlcase(' order by ').${ $_[0] };
260   } elsif (ref $_[0] eq 'ARRAY' && @{$_[0]}) {
261     my @order = @{+shift};
262     $ret = $self->_sqlcase(' order by ')
263           .join(', ', map {
264                         my $r = $self->_order_by($_, @_);
265                         $r =~ s/^ ?ORDER BY //i;
266                         $r;
267                       } @order);
268   } else {
269     $ret = $self->SUPER::_order_by(@_);
270   }
271   return $ret;
272 }
273
274 sub _order_directions {
275   my ($self, $order) = @_;
276   $order = $order->{order_by} if ref $order eq 'HASH';
277   return $self->SUPER::_order_directions($order);
278 }
279
280 sub _table {
281   my ($self, $from) = @_;
282   if (ref $from eq 'ARRAY') {
283     return $self->_recurse_from(@$from);
284   } elsif (ref $from eq 'HASH') {
285     return $self->_make_as($from);
286   } else {
287     return $from; # would love to quote here but _table ends up getting called
288                   # twice during an ->select without a limit clause due to
289                   # the way S::A::Limit->select works. should maybe consider
290                   # bypassing this and doing S::A::select($self, ...) in
291                   # our select method above. meantime, quoting shims have
292                   # been added to select/insert/update/delete here
293   }
294 }
295
296 sub _recurse_from {
297   my ($self, $from, @join) = @_;
298   my @sqlf;
299   push(@sqlf, $self->_make_as($from));
300   foreach my $j (@join) {
301     my ($to, $on) = @$j;
302
303     # check whether a join type exists
304     my $join_clause = '';
305     my $to_jt = ref($to) eq 'ARRAY' ? $to->[0] : $to;
306     if (ref($to_jt) eq 'HASH' and exists($to_jt->{-join_type})) {
307       $join_clause = ' '.uc($to_jt->{-join_type}).' JOIN ';
308     } else {
309       $join_clause = ' JOIN ';
310     }
311     push(@sqlf, $join_clause);
312
313     if (ref $to eq 'ARRAY') {
314       push(@sqlf, '(', $self->_recurse_from(@$to), ')');
315     } else {
316       push(@sqlf, $self->_make_as($to));
317     }
318     push(@sqlf, ' ON ', $self->_join_condition($on));
319   }
320   return join('', @sqlf);
321 }
322
323 sub _bind_to_sql {
324   my $self = shift;
325   my $arr  = shift;
326   my $sql = shift @$$arr;
327   $sql =~ s/\?/$self->_quote((shift @$$arr)->[1])/eg;
328   return $sql
329 }
330
331 sub _make_as {
332   my ($self, $from) = @_;
333   return join(' ', map { (ref $_ eq 'SCALAR' ? $$_ 
334                         : ref $_ eq 'REF'    ? $self->_bind_to_sql($_) 
335                         : $self->_quote($_)) 
336                        } reverse each %{$self->_skip_options($from)});
337 }
338
339 sub _skip_options {
340   my ($self, $hash) = @_;
341   my $clean_hash = {};
342   $clean_hash->{$_} = $hash->{$_}
343     for grep {!/^-/} keys %$hash;
344   return $clean_hash;
345 }
346
347 sub _join_condition {
348   my ($self, $cond) = @_;
349   if (ref $cond eq 'HASH') {
350     my %j;
351     for (keys %$cond) {
352       my $v = $cond->{$_};
353       if (ref $v) {
354         # XXX no throw_exception() in this package and croak() fails with strange results
355         Carp::croak(ref($v) . qq{ reference arguments are not supported in JOINS - try using \"..." instead'})
356             if ref($v) ne 'SCALAR';
357         $j{$_} = $v;
358       }
359       else {
360         my $x = '= '.$self->_quote($v); $j{$_} = \$x;
361       }
362     };
363     return scalar($self->_recurse_where(\%j));
364   } elsif (ref $cond eq 'ARRAY') {
365     return join(' OR ', map { $self->_join_condition($_) } @$cond);
366   } else {
367     die "Can't handle this yet!";
368   }
369 }
370
371 sub _quote {
372   my ($self, $label) = @_;
373   return '' unless defined $label;
374   return "*" if $label eq '*';
375   return $label unless $self->{quote_char};
376   if(ref $self->{quote_char} eq "ARRAY"){
377     return $self->{quote_char}->[0] . $label . $self->{quote_char}->[1]
378       if !defined $self->{name_sep};
379     my $sep = $self->{name_sep};
380     return join($self->{name_sep},
381         map { $self->{quote_char}->[0] . $_ . $self->{quote_char}->[1]  }
382        split(/\Q$sep\E/,$label));
383   }
384   return $self->SUPER::_quote($label);
385 }
386
387 sub limit_dialect {
388     my $self = shift;
389     $self->{limit_dialect} = shift if @_;
390     return $self->{limit_dialect};
391 }
392
393 sub quote_char {
394     my $self = shift;
395     $self->{quote_char} = shift if @_;
396     return $self->{quote_char};
397 }
398
399 sub name_sep {
400     my $self = shift;
401     $self->{name_sep} = shift if @_;
402     return $self->{name_sep};
403 }
404
405 } # End of BEGIN block
406
407 =head1 NAME
408
409 DBIx::Class::Storage::DBI - DBI storage handler
410
411 =head1 SYNOPSIS
412
413   my $schema = MySchema->connect('dbi:SQLite:my.db');
414
415   $schema->storage->debug(1);
416   $schema->dbh_do("DROP TABLE authors");
417
418   $schema->resultset('Book')->search({
419      written_on => $schema->storage->datetime_parser(DateTime->now)
420   });
421
422 =head1 DESCRIPTION
423
424 This class represents the connection to an RDBMS via L<DBI>.  See
425 L<DBIx::Class::Storage> for general information.  This pod only
426 documents DBI-specific methods and behaviors.
427
428 =head1 METHODS
429
430 =cut
431
432 sub new {
433   my $new = shift->next::method(@_);
434
435   $new->transaction_depth(0);
436   $new->_sql_maker_opts({});
437   $new->{savepoints} = [];
438   $new->{_in_dbh_do} = 0;
439   $new->{_dbh_gen} = 0;
440
441   $new;
442 }
443
444 =head2 connect_info
445
446 This method is normally called by L<DBIx::Class::Schema/connection>, which
447 encapsulates its argument list in an arrayref before passing them here.
448
449 The argument list may contain:
450
451 =over
452
453 =item *
454
455 The same 4-element argument set one would normally pass to
456 L<DBI/connect>, optionally followed by
457 L<extra attributes|/DBIx::Class specific connection attributes>
458 recognized by DBIx::Class:
459
460   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
461
462 =item *
463
464 A single code reference which returns a connected 
465 L<DBI database handle|DBI/connect> optionally followed by 
466 L<extra attributes|/DBIx::Class specific connection attributes> recognized
467 by DBIx::Class:
468
469   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
470
471 =item *
472
473 A single hashref with all the attributes and the dsn/user/password
474 mixed together:
475
476   $connect_info_args = [{
477     dsn => $dsn,
478     user => $user,
479     password => $pass,
480     %dbi_attributes,
481     %extra_attributes,
482   }];
483
484 This is particularly useful for L<Catalyst> based applications, allowing the 
485 following config (L<Config::General> style):
486
487   <Model::DB>
488     schema_class   App::DB
489     <connect_info>
490       dsn          dbi:mysql:database=test
491       user         testuser
492       password     TestPass
493       AutoCommit   1
494     </connect_info>
495   </Model::DB>
496
497 =back
498
499 Please note that the L<DBI> docs recommend that you always explicitly
500 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
501 recommends that it be set to I<1>, and that you perform transactions
502 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
503 to I<1> if you do not do explicitly set it to zero.  This is the default 
504 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
505
506 =head3 DBIx::Class specific connection attributes
507
508 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
509 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
510 the following connection options. These options can be mixed in with your other
511 L<DBI> connection attributes, or placed in a seperate hashref
512 (C<\%extra_attributes>) as shown above.
513
514 Every time C<connect_info> is invoked, any previous settings for
515 these options will be cleared before setting the new ones, regardless of
516 whether any options are specified in the new C<connect_info>.
517
518
519 =over
520
521 =item on_connect_do
522
523 Specifies things to do immediately after connecting or re-connecting to
524 the database.  Its value may contain:
525
526 =over
527
528 =item an array reference
529
530 This contains SQL statements to execute in order.  Each element contains
531 a string or a code reference that returns a string.
532
533 =item a code reference
534
535 This contains some code to execute.  Unlike code references within an
536 array reference, its return value is ignored.
537
538 =back
539
540 =item on_disconnect_do
541
542 Takes arguments in the same form as L</on_connect_do> and executes them
543 immediately before disconnecting from the database.
544
545 Note, this only runs if you explicitly call L</disconnect> on the
546 storage object.
547
548 =item disable_sth_caching
549
550 If set to a true value, this option will disable the caching of
551 statement handles via L<DBI/prepare_cached>.
552
553 =item limit_dialect 
554
555 Sets the limit dialect. This is useful for JDBC-bridge among others
556 where the remote SQL-dialect cannot be determined by the name of the
557 driver alone. See also L<SQL::Abstract::Limit>.
558
559 =item quote_char
560
561 Specifies what characters to use to quote table and column names. If 
562 you use this you will want to specify L</name_sep> as well.
563
564 C<quote_char> expects either a single character, in which case is it
565 is placed on either side of the table/column name, or an arrayref of length
566 2 in which case the table/column name is placed between the elements.
567
568 For example under MySQL you should use C<< quote_char => '`' >>, and for
569 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
570
571 =item name_sep
572
573 This only needs to be used in conjunction with C<quote_char>, and is used to 
574 specify the charecter that seperates elements (schemas, tables, columns) from 
575 each other. In most cases this is simply a C<.>.
576
577 The consequences of not supplying this value is that L<SQL::Abstract>
578 will assume DBIx::Class' uses of aliases to be complete column
579 names. The output will look like I<"me.name"> when it should actually
580 be I<"me"."name">.
581
582 =item unsafe
583
584 This Storage driver normally installs its own C<HandleError>, sets
585 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
586 all database handles, including those supplied by a coderef.  It does this
587 so that it can have consistent and useful error behavior.
588
589 If you set this option to a true value, Storage will not do its usual
590 modifications to the database handle's attributes, and instead relies on
591 the settings in your connect_info DBI options (or the values you set in
592 your connection coderef, in the case that you are connecting via coderef).
593
594 Note that your custom settings can cause Storage to malfunction,
595 especially if you set a C<HandleError> handler that suppresses exceptions
596 and/or disable C<RaiseError>.
597
598 =item auto_savepoint
599
600 If this option is true, L<DBIx::Class> will use savepoints when nesting
601 transactions, making it possible to recover from failure in the inner
602 transaction without having to abort all outer transactions.
603
604 =item cursor_class
605
606 Use this argument to supply a cursor class other than the default
607 L<DBIx::Class::Storage::DBI::Cursor>.
608
609 =back
610
611 Some real-life examples of arguments to L</connect_info> and
612 L<DBIx::Class::Schema/connect>
613
614   # Simple SQLite connection
615   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
616
617   # Connect via subref
618   ->connect_info([ sub { DBI->connect(...) } ]);
619
620   # A bit more complicated
621   ->connect_info(
622     [
623       'dbi:Pg:dbname=foo',
624       'postgres',
625       'my_pg_password',
626       { AutoCommit => 1 },
627       { quote_char => q{"}, name_sep => q{.} },
628     ]
629   );
630
631   # Equivalent to the previous example
632   ->connect_info(
633     [
634       'dbi:Pg:dbname=foo',
635       'postgres',
636       'my_pg_password',
637       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
638     ]
639   );
640
641   # Same, but with hashref as argument
642   # See parse_connect_info for explanation
643   ->connect_info(
644     [{
645       dsn         => 'dbi:Pg:dbname=foo',
646       user        => 'postgres',
647       password    => 'my_pg_password',
648       AutoCommit  => 1,
649       quote_char  => q{"},
650       name_sep    => q{.},
651     }]
652   );
653
654   # Subref + DBIx::Class-specific connection options
655   ->connect_info(
656     [
657       sub { DBI->connect(...) },
658       {
659           quote_char => q{`},
660           name_sep => q{@},
661           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
662           disable_sth_caching => 1,
663       },
664     ]
665   );
666
667
668
669 =cut
670
671 sub connect_info {
672   my ($self, $info_arg) = @_;
673
674   return $self->_connect_info if !$info_arg;
675
676   my @args = @$info_arg;  # take a shallow copy for further mutilation
677   $self->_connect_info([@args]); # copy for _connect_info
678
679
680   # combine/pre-parse arguments depending on invocation style
681
682   my %attrs;
683   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
684     %attrs = %{ $args[1] || {} };
685     @args = $args[0];
686   }
687   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
688     %attrs = %{$args[0]};
689     @args = ();
690     for (qw/password user dsn/) {
691       unshift @args, delete $attrs{$_};
692     }
693   }
694   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
695     %attrs = (
696       % { $args[3] || {} },
697       % { $args[4] || {} },
698     );
699     @args = @args[0,1,2];
700   }
701
702   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
703   #  the new set of options
704   $self->_sql_maker(undef);
705   $self->_sql_maker_opts({});
706
707   if(keys %attrs) {
708     for my $storage_opt (@storage_options, 'cursor_class') {    # @storage_options is declared at the top of the module
709       if(my $value = delete $attrs{$storage_opt}) {
710         $self->$storage_opt($value);
711       }
712     }
713     for my $sql_maker_opt (qw/limit_dialect quote_char name_sep/) {
714       if(my $opt_val = delete $attrs{$sql_maker_opt}) {
715         $self->_sql_maker_opts->{$sql_maker_opt} = $opt_val;
716       }
717     }
718   }
719
720   %attrs = () if (ref $args[0] eq 'CODE');  # _connect() never looks past $args[0] in this case
721
722   $self->_dbi_connect_info([@args, keys %attrs ? \%attrs : ()]);
723   $self->_connect_info;
724 }
725
726 =head2 on_connect_do
727
728 This method is deprecated in favour of setting via L</connect_info>.
729
730
731 =head2 dbh_do
732
733 Arguments: ($subref | $method_name), @extra_coderef_args?
734
735 Execute the given $subref or $method_name using the new exception-based
736 connection management.
737
738 The first two arguments will be the storage object that C<dbh_do> was called
739 on and a database handle to use.  Any additional arguments will be passed
740 verbatim to the called subref as arguments 2 and onwards.
741
742 Using this (instead of $self->_dbh or $self->dbh) ensures correct
743 exception handling and reconnection (or failover in future subclasses).
744
745 Your subref should have no side-effects outside of the database, as
746 there is the potential for your subref to be partially double-executed
747 if the database connection was stale/dysfunctional.
748
749 Example:
750
751   my @stuff = $schema->storage->dbh_do(
752     sub {
753       my ($storage, $dbh, @cols) = @_;
754       my $cols = join(q{, }, @cols);
755       $dbh->selectrow_array("SELECT $cols FROM foo");
756     },
757     @column_list
758   );
759
760 =cut
761
762 sub dbh_do {
763   my $self = shift;
764   my $code = shift;
765
766   my $dbh = $self->_dbh;
767
768   return $self->$code($dbh, @_) if $self->{_in_dbh_do}
769       || $self->{transaction_depth};
770
771   local $self->{_in_dbh_do} = 1;
772
773   my @result;
774   my $want_array = wantarray;
775
776   eval {
777     $self->_verify_pid if $dbh;
778     if(!$self->_dbh) {
779         $self->_populate_dbh;
780         $dbh = $self->_dbh;
781     }
782
783     if($want_array) {
784         @result = $self->$code($dbh, @_);
785     }
786     elsif(defined $want_array) {
787         $result[0] = $self->$code($dbh, @_);
788     }
789     else {
790         $self->$code($dbh, @_);
791     }
792   };
793
794   my $exception = $@;
795   if(!$exception) { return $want_array ? @result : $result[0] }
796
797   $self->throw_exception($exception) if $self->connected;
798
799   # We were not connected - reconnect and retry, but let any
800   #  exception fall right through this time
801   $self->_populate_dbh;
802   $self->$code($self->_dbh, @_);
803 }
804
805 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
806 # It also informs dbh_do to bypass itself while under the direction of txn_do,
807 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
808 sub txn_do {
809   my $self = shift;
810   my $coderef = shift;
811
812   ref $coderef eq 'CODE' or $self->throw_exception
813     ('$coderef must be a CODE reference');
814
815   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
816
817   local $self->{_in_dbh_do} = 1;
818
819   my @result;
820   my $want_array = wantarray;
821
822   my $tried = 0;
823   while(1) {
824     eval {
825       $self->_verify_pid if $self->_dbh;
826       $self->_populate_dbh if !$self->_dbh;
827
828       $self->txn_begin;
829       if($want_array) {
830           @result = $coderef->(@_);
831       }
832       elsif(defined $want_array) {
833           $result[0] = $coderef->(@_);
834       }
835       else {
836           $coderef->(@_);
837       }
838       $self->txn_commit;
839     };
840
841     my $exception = $@;
842     if(!$exception) { return $want_array ? @result : $result[0] }
843
844     if($tried++ > 0 || $self->connected) {
845       eval { $self->txn_rollback };
846       my $rollback_exception = $@;
847       if($rollback_exception) {
848         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
849         $self->throw_exception($exception)  # propagate nested rollback
850           if $rollback_exception =~ /$exception_class/;
851
852         $self->throw_exception(
853           "Transaction aborted: ${exception}. "
854           . "Rollback failed: ${rollback_exception}"
855         );
856       }
857       $self->throw_exception($exception)
858     }
859
860     # We were not connected, and was first try - reconnect and retry
861     # via the while loop
862     $self->_populate_dbh;
863   }
864 }
865
866 =head2 disconnect
867
868 Our C<disconnect> method also performs a rollback first if the
869 database is not in C<AutoCommit> mode.
870
871 =cut
872
873 sub disconnect {
874   my ($self) = @_;
875
876   if( $self->connected ) {
877     my $connection_do = $self->on_disconnect_do;
878     $self->_do_connection_actions($connection_do) if ref($connection_do);
879
880     $self->_dbh->rollback unless $self->_dbh_autocommit;
881     $self->_dbh->disconnect;
882     $self->_dbh(undef);
883     $self->{_dbh_gen}++;
884   }
885 }
886
887 =head2 with_deferred_fk_checks
888
889 =over 4
890
891 =item Arguments: C<$coderef>
892
893 =item Return Value: The return value of $coderef
894
895 =back
896
897 Storage specific method to run the code ref with FK checks deferred or
898 in MySQL's case disabled entirely.
899
900 =cut
901
902 # Storage subclasses should override this
903 sub with_deferred_fk_checks {
904   my ($self, $sub) = @_;
905
906   $sub->();
907 }
908
909 sub connected {
910   my ($self) = @_;
911
912   if(my $dbh = $self->_dbh) {
913       if(defined $self->_conn_tid && $self->_conn_tid != threads->tid) {
914           $self->_dbh(undef);
915           $self->{_dbh_gen}++;
916           return;
917       }
918       else {
919           $self->_verify_pid;
920           return 0 if !$self->_dbh;
921       }
922       return ($dbh->FETCH('Active') && $dbh->ping);
923   }
924
925   return 0;
926 }
927
928 # handle pid changes correctly
929 #  NOTE: assumes $self->_dbh is a valid $dbh
930 sub _verify_pid {
931   my ($self) = @_;
932
933   return if defined $self->_conn_pid && $self->_conn_pid == $$;
934
935   $self->_dbh->{InactiveDestroy} = 1;
936   $self->_dbh(undef);
937   $self->{_dbh_gen}++;
938
939   return;
940 }
941
942 sub ensure_connected {
943   my ($self) = @_;
944
945   unless ($self->connected) {
946     $self->_populate_dbh;
947   }
948 }
949
950 =head2 dbh
951
952 Returns the dbh - a data base handle of class L<DBI>.
953
954 =cut
955
956 sub dbh {
957   my ($self) = @_;
958
959   $self->ensure_connected;
960   return $self->_dbh;
961 }
962
963 sub _sql_maker_args {
964     my ($self) = @_;
965     
966     return ( bindtype=>'columns', array_datatypes => 1, limit_dialect => $self->dbh, %{$self->_sql_maker_opts} );
967 }
968
969 sub sql_maker {
970   my ($self) = @_;
971   unless ($self->_sql_maker) {
972     my $sql_maker_class = $self->sql_maker_class;
973     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
974   }
975   return $self->_sql_maker;
976 }
977
978 sub _rebless {}
979
980 sub _populate_dbh {
981   my ($self) = @_;
982   my @info = @{$self->_dbi_connect_info || []};
983   $self->_dbh($self->_connect(@info));
984
985   # Always set the transaction depth on connect, since
986   #  there is no transaction in progress by definition
987   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
988
989   if(ref $self eq 'DBIx::Class::Storage::DBI') {
990     my $driver = $self->_dbh->{Driver}->{Name};
991     if ($self->load_optional_class("DBIx::Class::Storage::DBI::${driver}")) {
992       bless $self, "DBIx::Class::Storage::DBI::${driver}";
993       $self->_rebless();
994     }
995   }
996
997   $self->_conn_pid($$);
998   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
999
1000   my $connection_do = $self->on_connect_do;
1001   $self->_do_connection_actions($connection_do) if ref($connection_do);
1002 }
1003
1004 sub _do_connection_actions {
1005   my $self = shift;
1006   my $connection_do = shift;
1007
1008   if (ref $connection_do eq 'ARRAY') {
1009     $self->_do_query($_) foreach @$connection_do;
1010   }
1011   elsif (ref $connection_do eq 'CODE') {
1012     $connection_do->($self);
1013   }
1014
1015   return $self;
1016 }
1017
1018 sub _do_query {
1019   my ($self, $action) = @_;
1020
1021   if (ref $action eq 'CODE') {
1022     $action = $action->($self);
1023     $self->_do_query($_) foreach @$action;
1024   }
1025   else {
1026     # Most debuggers expect ($sql, @bind), so we need to exclude
1027     # the attribute hash which is the second argument to $dbh->do
1028     # furthermore the bind values are usually to be presented
1029     # as named arrayref pairs, so wrap those here too
1030     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
1031     my $sql = shift @do_args;
1032     my $attrs = shift @do_args;
1033     my @bind = map { [ undef, $_ ] } @do_args;
1034
1035     $self->_query_start($sql, @bind);
1036     $self->_dbh->do($sql, $attrs, @do_args);
1037     $self->_query_end($sql, @bind);
1038   }
1039
1040   return $self;
1041 }
1042
1043 sub _connect {
1044   my ($self, @info) = @_;
1045
1046   $self->throw_exception("You failed to provide any connection info")
1047     if !@info;
1048
1049   my ($old_connect_via, $dbh);
1050
1051   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
1052     $old_connect_via = $DBI::connect_via;
1053     $DBI::connect_via = 'connect';
1054   }
1055
1056   eval {
1057     if(ref $info[0] eq 'CODE') {
1058        $dbh = &{$info[0]}
1059     }
1060     else {
1061        $dbh = DBI->connect(@info);
1062     }
1063
1064     if($dbh && !$self->unsafe) {
1065       my $weak_self = $self;
1066       weaken($weak_self);
1067       $dbh->{HandleError} = sub {
1068           if ($weak_self) {
1069             $weak_self->throw_exception("DBI Exception: $_[0]");
1070           }
1071           else {
1072             croak ("DBI Exception: $_[0]");
1073           }
1074       };
1075       $dbh->{ShowErrorStatement} = 1;
1076       $dbh->{RaiseError} = 1;
1077       $dbh->{PrintError} = 0;
1078     }
1079   };
1080
1081   $DBI::connect_via = $old_connect_via if $old_connect_via;
1082
1083   $self->throw_exception("DBI Connection failed: " . ($@||$DBI::errstr))
1084     if !$dbh || $@;
1085
1086   $self->_dbh_autocommit($dbh->{AutoCommit});
1087
1088   $dbh;
1089 }
1090
1091 sub svp_begin {
1092   my ($self, $name) = @_;
1093
1094   $name = $self->_svp_generate_name
1095     unless defined $name;
1096
1097   $self->throw_exception ("You can't use savepoints outside a transaction")
1098     if $self->{transaction_depth} == 0;
1099
1100   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1101     unless $self->can('_svp_begin');
1102   
1103   push @{ $self->{savepoints} }, $name;
1104
1105   $self->debugobj->svp_begin($name) if $self->debug;
1106   
1107   return $self->_svp_begin($name);
1108 }
1109
1110 sub svp_release {
1111   my ($self, $name) = @_;
1112
1113   $self->throw_exception ("You can't use savepoints outside a transaction")
1114     if $self->{transaction_depth} == 0;
1115
1116   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1117     unless $self->can('_svp_release');
1118
1119   if (defined $name) {
1120     $self->throw_exception ("Savepoint '$name' does not exist")
1121       unless grep { $_ eq $name } @{ $self->{savepoints} };
1122
1123     # Dig through the stack until we find the one we are releasing.  This keeps
1124     # the stack up to date.
1125     my $svp;
1126
1127     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1128   } else {
1129     $name = pop @{ $self->{savepoints} };
1130   }
1131
1132   $self->debugobj->svp_release($name) if $self->debug;
1133
1134   return $self->_svp_release($name);
1135 }
1136
1137 sub svp_rollback {
1138   my ($self, $name) = @_;
1139
1140   $self->throw_exception ("You can't use savepoints outside a transaction")
1141     if $self->{transaction_depth} == 0;
1142
1143   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1144     unless $self->can('_svp_rollback');
1145
1146   if (defined $name) {
1147       # If they passed us a name, verify that it exists in the stack
1148       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1149           $self->throw_exception("Savepoint '$name' does not exist!");
1150       }
1151
1152       # Dig through the stack until we find the one we are releasing.  This keeps
1153       # the stack up to date.
1154       while(my $s = pop(@{ $self->{savepoints} })) {
1155           last if($s eq $name);
1156       }
1157       # Add the savepoint back to the stack, as a rollback doesn't remove the
1158       # named savepoint, only everything after it.
1159       push(@{ $self->{savepoints} }, $name);
1160   } else {
1161       # We'll assume they want to rollback to the last savepoint
1162       $name = $self->{savepoints}->[-1];
1163   }
1164
1165   $self->debugobj->svp_rollback($name) if $self->debug;
1166   
1167   return $self->_svp_rollback($name);
1168 }
1169
1170 sub _svp_generate_name {
1171     my ($self) = @_;
1172
1173     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1174 }
1175
1176 sub txn_begin {
1177   my $self = shift;
1178   $self->ensure_connected();
1179   if($self->{transaction_depth} == 0) {
1180     $self->debugobj->txn_begin()
1181       if $self->debug;
1182     # this isn't ->_dbh-> because
1183     #  we should reconnect on begin_work
1184     #  for AutoCommit users
1185     $self->dbh->begin_work;
1186   } elsif ($self->auto_savepoint) {
1187     $self->svp_begin;
1188   }
1189   $self->{transaction_depth}++;
1190 }
1191
1192 sub txn_commit {
1193   my $self = shift;
1194   if ($self->{transaction_depth} == 1) {
1195     my $dbh = $self->_dbh;
1196     $self->debugobj->txn_commit()
1197       if ($self->debug);
1198     $dbh->commit;
1199     $self->{transaction_depth} = 0
1200       if $self->_dbh_autocommit;
1201   }
1202   elsif($self->{transaction_depth} > 1) {
1203     $self->{transaction_depth}--;
1204     $self->svp_release
1205       if $self->auto_savepoint;
1206   }
1207 }
1208
1209 sub txn_rollback {
1210   my $self = shift;
1211   my $dbh = $self->_dbh;
1212   eval {
1213     if ($self->{transaction_depth} == 1) {
1214       $self->debugobj->txn_rollback()
1215         if ($self->debug);
1216       $self->{transaction_depth} = 0
1217         if $self->_dbh_autocommit;
1218       $dbh->rollback;
1219     }
1220     elsif($self->{transaction_depth} > 1) {
1221       $self->{transaction_depth}--;
1222       if ($self->auto_savepoint) {
1223         $self->svp_rollback;
1224         $self->svp_release;
1225       }
1226     }
1227     else {
1228       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1229     }
1230   };
1231   if ($@) {
1232     my $error = $@;
1233     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1234     $error =~ /$exception_class/ and $self->throw_exception($error);
1235     # ensure that a failed rollback resets the transaction depth
1236     $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1237     $self->throw_exception($error);
1238   }
1239 }
1240
1241 # This used to be the top-half of _execute.  It was split out to make it
1242 #  easier to override in NoBindVars without duping the rest.  It takes up
1243 #  all of _execute's args, and emits $sql, @bind.
1244 sub _prep_for_execute {
1245   my ($self, $op, $extra_bind, $ident, $args) = @_;
1246
1247   if( blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1248     $ident = $ident->from();
1249   }
1250
1251   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1252
1253   unshift(@bind,
1254     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1255       if $extra_bind;
1256   return ($sql, \@bind);
1257 }
1258
1259 sub _fix_bind_params {
1260     my ($self, @bind) = @_;
1261
1262     ### Turn @bind from something like this:
1263     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1264     ### to this:
1265     ###   ( "'1'", "'1'", "'3'" )
1266     return
1267         map {
1268             if ( defined( $_ && $_->[1] ) ) {
1269                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1270             }
1271             else { q{'NULL'}; }
1272         } @bind;
1273 }
1274
1275 sub _query_start {
1276     my ( $self, $sql, @bind ) = @_;
1277
1278     if ( $self->debug ) {
1279         @bind = $self->_fix_bind_params(@bind);
1280         
1281         $self->debugobj->query_start( $sql, @bind );
1282     }
1283 }
1284
1285 sub _query_end {
1286     my ( $self, $sql, @bind ) = @_;
1287
1288     if ( $self->debug ) {
1289         @bind = $self->_fix_bind_params(@bind);
1290         $self->debugobj->query_end( $sql, @bind );
1291     }
1292 }
1293
1294 sub _dbh_execute {
1295   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1296
1297   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1298
1299   $self->_query_start( $sql, @$bind );
1300
1301   my $sth = $self->sth($sql,$op);
1302
1303   my $placeholder_index = 1; 
1304
1305   foreach my $bound (@$bind) {
1306     my $attributes = {};
1307     my($column_name, @data) = @$bound;
1308
1309     if ($bind_attributes) {
1310       $attributes = $bind_attributes->{$column_name}
1311       if defined $bind_attributes->{$column_name};
1312     }
1313
1314     foreach my $data (@data) {
1315       my $ref = ref $data;
1316       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1317
1318       $sth->bind_param($placeholder_index, $data, $attributes);
1319       $placeholder_index++;
1320     }
1321   }
1322
1323   # Can this fail without throwing an exception anyways???
1324   my $rv = $sth->execute();
1325   $self->throw_exception($sth->errstr) if !$rv;
1326
1327   $self->_query_end( $sql, @$bind );
1328
1329   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1330 }
1331
1332 sub _execute {
1333     my $self = shift;
1334     $self->dbh_do('_dbh_execute', @_)
1335 }
1336
1337 sub insert {
1338   my ($self, $source, $to_insert) = @_;
1339   
1340   my $ident = $source->from; 
1341   my $bind_attributes = $self->source_bind_attributes($source);
1342
1343   my $updated_cols = {};
1344
1345   $self->ensure_connected;
1346   foreach my $col ( $source->columns ) {
1347     if ( !defined $to_insert->{$col} ) {
1348       my $col_info = $source->column_info($col);
1349
1350       if ( $col_info->{auto_nextval} ) {
1351         $updated_cols->{$col} = $to_insert->{$col} = $self->_sequence_fetch( 'nextval', $col_info->{sequence} || $self->_dbh_get_autoinc_seq($self->dbh, $source) );
1352       }
1353     }
1354   }
1355
1356   $self->_execute('insert' => [], $source, $bind_attributes, $to_insert);
1357
1358   return $updated_cols;
1359 }
1360
1361 ## Still not quite perfect, and EXPERIMENTAL
1362 ## Currently it is assumed that all values passed will be "normal", i.e. not 
1363 ## scalar refs, or at least, all the same type as the first set, the statement is
1364 ## only prepped once.
1365 sub insert_bulk {
1366   my ($self, $source, $cols, $data) = @_;
1367   my %colvalues;
1368   my $table = $source->from;
1369   @colvalues{@$cols} = (0..$#$cols);
1370   my ($sql, @bind) = $self->sql_maker->insert($table, \%colvalues);
1371   
1372   $self->_query_start( $sql, @bind );
1373   my $sth = $self->sth($sql);
1374
1375 #  @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1376
1377   ## This must be an arrayref, else nothing works!
1378   
1379   my $tuple_status = [];
1380   
1381   ##use Data::Dumper;
1382   ##print STDERR Dumper( $data, $sql, [@bind] );
1383
1384   my $time = time();
1385
1386   ## Get the bind_attributes, if any exist
1387   my $bind_attributes = $self->source_bind_attributes($source);
1388
1389   ## Bind the values and execute
1390   my $placeholder_index = 1; 
1391
1392   foreach my $bound (@bind) {
1393
1394     my $attributes = {};
1395     my ($column_name, $data_index) = @$bound;
1396
1397     if( $bind_attributes ) {
1398       $attributes = $bind_attributes->{$column_name}
1399       if defined $bind_attributes->{$column_name};
1400     }
1401
1402     my @data = map { $_->[$data_index] } @$data;
1403
1404     $sth->bind_param_array( $placeholder_index, [@data], $attributes );
1405     $placeholder_index++;
1406   }
1407   my $rv = $sth->execute_array({ArrayTupleStatus => $tuple_status});
1408   $self->throw_exception($sth->errstr) if !$rv;
1409
1410   $self->_query_end( $sql, @bind );
1411   return (wantarray ? ($rv, $sth, @bind) : $rv);
1412 }
1413
1414 sub update {
1415   my $self = shift @_;
1416   my $source = shift @_;
1417   my $bind_attributes = $self->source_bind_attributes($source);
1418   
1419   return $self->_execute('update' => [], $source, $bind_attributes, @_);
1420 }
1421
1422
1423 sub delete {
1424   my $self = shift @_;
1425   my $source = shift @_;
1426   
1427   my $bind_attrs = {}; ## If ever it's needed...
1428   
1429   return $self->_execute('delete' => [], $source, $bind_attrs, @_);
1430 }
1431
1432 sub _select {
1433   my $self = shift;
1434   my $sql_maker = $self->sql_maker;
1435   local $sql_maker->{for};
1436   return $self->_execute($self->_select_args(@_));
1437 }
1438
1439 sub _select_args {
1440   my ($self, $ident, $select, $condition, $attrs) = @_;
1441   my $order = $attrs->{order_by};
1442
1443   my $for = delete $attrs->{for};
1444   my $sql_maker = $self->sql_maker;
1445   $sql_maker->{for} = $for;
1446
1447   if (exists $attrs->{group_by} || $attrs->{having}) {
1448     $order = {
1449       group_by => $attrs->{group_by},
1450       having => $attrs->{having},
1451       ($order ? (order_by => $order) : ())
1452     };
1453   }
1454   my $bind_attrs = {}; ## Future support
1455   my @args = ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $condition, $order);
1456   if ($attrs->{software_limit} ||
1457       $self->sql_maker->_default_limit_syntax eq "GenericSubQ") {
1458         $attrs->{software_limit} = 1;
1459   } else {
1460     $self->throw_exception("rows attribute must be positive if present")
1461       if (defined($attrs->{rows}) && !($attrs->{rows} > 0));
1462
1463     # MySQL actually recommends this approach.  I cringe.
1464     $attrs->{rows} = 2**48 if not defined $attrs->{rows} and defined $attrs->{offset};
1465     push @args, $attrs->{rows}, $attrs->{offset};
1466   }
1467   return @args;
1468 }
1469
1470 sub source_bind_attributes {
1471   my ($self, $source) = @_;
1472   
1473   my $bind_attributes;
1474   foreach my $column ($source->columns) {
1475   
1476     my $data_type = $source->column_info($column)->{data_type} || '';
1477     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
1478      if $data_type;
1479   }
1480
1481   return $bind_attributes;
1482 }
1483
1484 =head2 select
1485
1486 =over 4
1487
1488 =item Arguments: $ident, $select, $condition, $attrs
1489
1490 =back
1491
1492 Handle a SQL select statement.
1493
1494 =cut
1495
1496 sub select {
1497   my $self = shift;
1498   my ($ident, $select, $condition, $attrs) = @_;
1499   return $self->cursor_class->new($self, \@_, $attrs);
1500 }
1501
1502 sub select_single {
1503   my $self = shift;
1504   my ($rv, $sth, @bind) = $self->_select(@_);
1505   my @row = $sth->fetchrow_array;
1506   my @nextrow = $sth->fetchrow_array if @row;
1507   if(@row && @nextrow) {
1508     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
1509   }
1510   # Need to call finish() to work round broken DBDs
1511   $sth->finish();
1512   return @row;
1513 }
1514
1515 =head2 sth
1516
1517 =over 4
1518
1519 =item Arguments: $sql
1520
1521 =back
1522
1523 Returns a L<DBI> sth (statement handle) for the supplied SQL.
1524
1525 =cut
1526
1527 sub _dbh_sth {
1528   my ($self, $dbh, $sql) = @_;
1529
1530   # 3 is the if_active parameter which avoids active sth re-use
1531   my $sth = $self->disable_sth_caching
1532     ? $dbh->prepare($sql)
1533     : $dbh->prepare_cached($sql, {}, 3);
1534
1535   # XXX You would think RaiseError would make this impossible,
1536   #  but apparently that's not true :(
1537   $self->throw_exception($dbh->errstr) if !$sth;
1538
1539   $sth;
1540 }
1541
1542 sub sth {
1543   my ($self, $sql) = @_;
1544   $self->dbh_do('_dbh_sth', $sql);
1545 }
1546
1547 sub _dbh_columns_info_for {
1548   my ($self, $dbh, $table) = @_;
1549
1550   if ($dbh->can('column_info')) {
1551     my %result;
1552     eval {
1553       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
1554       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
1555       $sth->execute();
1556       while ( my $info = $sth->fetchrow_hashref() ){
1557         my %column_info;
1558         $column_info{data_type}   = $info->{TYPE_NAME};
1559         $column_info{size}      = $info->{COLUMN_SIZE};
1560         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
1561         $column_info{default_value} = $info->{COLUMN_DEF};
1562         my $col_name = $info->{COLUMN_NAME};
1563         $col_name =~ s/^\"(.*)\"$/$1/;
1564
1565         $result{$col_name} = \%column_info;
1566       }
1567     };
1568     return \%result if !$@ && scalar keys %result;
1569   }
1570
1571   my %result;
1572   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
1573   $sth->execute;
1574   my @columns = @{$sth->{NAME_lc}};
1575   for my $i ( 0 .. $#columns ){
1576     my %column_info;
1577     $column_info{data_type} = $sth->{TYPE}->[$i];
1578     $column_info{size} = $sth->{PRECISION}->[$i];
1579     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
1580
1581     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
1582       $column_info{data_type} = $1;
1583       $column_info{size}    = $2;
1584     }
1585
1586     $result{$columns[$i]} = \%column_info;
1587   }
1588   $sth->finish;
1589
1590   foreach my $col (keys %result) {
1591     my $colinfo = $result{$col};
1592     my $type_num = $colinfo->{data_type};
1593     my $type_name;
1594     if(defined $type_num && $dbh->can('type_info')) {
1595       my $type_info = $dbh->type_info($type_num);
1596       $type_name = $type_info->{TYPE_NAME} if $type_info;
1597       $colinfo->{data_type} = $type_name if $type_name;
1598     }
1599   }
1600
1601   return \%result;
1602 }
1603
1604 sub columns_info_for {
1605   my ($self, $table) = @_;
1606   $self->dbh_do('_dbh_columns_info_for', $table);
1607 }
1608
1609 =head2 last_insert_id
1610
1611 Return the row id of the last insert.
1612
1613 =cut
1614
1615 sub _dbh_last_insert_id {
1616     # All Storage's need to register their own _dbh_last_insert_id
1617     # the old SQLite-based method was highly inappropriate
1618
1619     my $self = shift;
1620     my $class = ref $self;
1621     $self->throw_exception (<<EOE);
1622
1623 No _dbh_last_insert_id() method found in $class.
1624 Since the method of obtaining the autoincrement id of the last insert
1625 operation varies greatly between different databases, this method must be
1626 individually implemented for every storage class.
1627 EOE
1628 }
1629
1630 sub last_insert_id {
1631   my $self = shift;
1632   $self->dbh_do('_dbh_last_insert_id', @_);
1633 }
1634
1635 =head2 sqlt_type
1636
1637 Returns the database driver name.
1638
1639 =cut
1640
1641 sub sqlt_type { shift->dbh->{Driver}->{Name} }
1642
1643 =head2 bind_attribute_by_data_type
1644
1645 Given a datatype from column info, returns a database specific bind
1646 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
1647 let the database planner just handle it.
1648
1649 Generally only needed for special case column types, like bytea in postgres.
1650
1651 =cut
1652
1653 sub bind_attribute_by_data_type {
1654     return;
1655 }
1656
1657 =head2 create_ddl_dir
1658
1659 =over 4
1660
1661 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
1662
1663 =back
1664
1665 Creates a SQL file based on the Schema, for each of the specified
1666 database types, in the given directory.
1667
1668 By default, C<\%sqlt_args> will have
1669
1670  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
1671
1672 merged with the hash passed in. To disable any of those features, pass in a 
1673 hashref like the following
1674
1675  { ignore_constraint_names => 0, # ... other options }
1676
1677 =cut
1678
1679 sub create_ddl_dir {
1680   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
1681
1682   if(!$dir || !-d $dir) {
1683     warn "No directory given, using ./\n";
1684     $dir = "./";
1685   }
1686   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
1687   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
1688
1689   my $schema_version = $schema->schema_version || '1.x';
1690   $version ||= $schema_version;
1691
1692   $sqltargs = {
1693     add_drop_table => 1, 
1694     ignore_constraint_names => 1,
1695     ignore_index_names => 1,
1696     %{$sqltargs || {}}
1697   };
1698
1699   $self->throw_exception(q{Can't create a ddl file without SQL::Translator 0.09003: '}
1700       . $self->_check_sqlt_message . q{'})
1701           if !$self->_check_sqlt_version;
1702
1703   my $sqlt = SQL::Translator->new( $sqltargs );
1704
1705   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
1706   my $sqlt_schema = $sqlt->translate({ data => $schema }) or die $sqlt->error;
1707
1708   foreach my $db (@$databases) {
1709     $sqlt->reset();
1710     $sqlt->{schema} = $sqlt_schema;
1711     $sqlt->producer($db);
1712
1713     my $file;
1714     my $filename = $schema->ddl_filename($db, $version, $dir);
1715     if (-e $filename && ($version eq $schema_version )) {
1716       # if we are dumping the current version, overwrite the DDL
1717       warn "Overwriting existing DDL file - $filename";
1718       unlink($filename);
1719     }
1720
1721     my $output = $sqlt->translate;
1722     if(!$output) {
1723       warn("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
1724       next;
1725     }
1726     if(!open($file, ">$filename")) {
1727       $self->throw_exception("Can't open $filename for writing ($!)");
1728       next;
1729     }
1730     print $file $output;
1731     close($file);
1732   
1733     next unless ($preversion);
1734
1735     require SQL::Translator::Diff;
1736
1737     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
1738     if(!-e $prefilename) {
1739       warn("No previous schema file found ($prefilename)");
1740       next;
1741     }
1742
1743     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
1744     if(-e $difffile) {
1745       warn("Overwriting existing diff file - $difffile");
1746       unlink($difffile);
1747     }
1748     
1749     my $source_schema;
1750     {
1751       my $t = SQL::Translator->new($sqltargs);
1752       $t->debug( 0 );
1753       $t->trace( 0 );
1754       $t->parser( $db )                       or die $t->error;
1755       my $out = $t->translate( $prefilename ) or die $t->error;
1756       $source_schema = $t->schema;
1757       unless ( $source_schema->name ) {
1758         $source_schema->name( $prefilename );
1759       }
1760     }
1761
1762     # The "new" style of producers have sane normalization and can support 
1763     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
1764     # And we have to diff parsed SQL against parsed SQL.
1765     my $dest_schema = $sqlt_schema;
1766     
1767     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
1768       my $t = SQL::Translator->new($sqltargs);
1769       $t->debug( 0 );
1770       $t->trace( 0 );
1771       $t->parser( $db )                    or die $t->error;
1772       my $out = $t->translate( $filename ) or die $t->error;
1773       $dest_schema = $t->schema;
1774       $dest_schema->name( $filename )
1775         unless $dest_schema->name;
1776     }
1777     
1778     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
1779                                                   $dest_schema,   $db,
1780                                                   $sqltargs
1781                                                  );
1782     if(!open $file, ">$difffile") { 
1783       $self->throw_exception("Can't write to $difffile ($!)");
1784       next;
1785     }
1786     print $file $diff;
1787     close($file);
1788   }
1789 }
1790
1791 =head2 deployment_statements
1792
1793 =over 4
1794
1795 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
1796
1797 =back
1798
1799 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
1800 The database driver name is given by C<$type>, though the value from
1801 L</sqlt_type> is used if it is not specified.
1802
1803 C<$directory> is used to return statements from files in a previously created
1804 L</create_ddl_dir> directory and is optional. The filenames are constructed
1805 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
1806
1807 If no C<$directory> is specified then the statements are constructed on the
1808 fly using L<SQL::Translator> and C<$version> is ignored.
1809
1810 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
1811
1812 =cut
1813
1814 sub deployment_statements {
1815   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
1816   # Need to be connected to get the correct sqlt_type
1817   $self->ensure_connected() unless $type;
1818   $type ||= $self->sqlt_type;
1819   $version ||= $schema->schema_version || '1.x';
1820   $dir ||= './';
1821   my $filename = $schema->ddl_filename($type, $version, $dir);
1822   if(-f $filename)
1823   {
1824       my $file;
1825       open($file, "<$filename") 
1826         or $self->throw_exception("Can't open $filename ($!)");
1827       my @rows = <$file>;
1828       close($file);
1829       return join('', @rows);
1830   }
1831
1832   $self->throw_exception(q{Can't deploy without SQL::Translator 0.09003: '}
1833       . $self->_check_sqlt_message . q{'})
1834           if !$self->_check_sqlt_version;
1835
1836   require SQL::Translator::Parser::DBIx::Class;
1837   eval qq{use SQL::Translator::Producer::${type}};
1838   $self->throw_exception($@) if $@;
1839
1840   # sources needs to be a parser arg, but for simplicty allow at top level 
1841   # coming in
1842   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
1843       if exists $sqltargs->{sources};
1844
1845   my $tr = SQL::Translator->new(%$sqltargs);
1846   SQL::Translator::Parser::DBIx::Class::parse( $tr, $schema );
1847   return "SQL::Translator::Producer::${type}"->can('produce')->($tr);
1848 }
1849
1850 sub deploy {
1851   my ($self, $schema, $type, $sqltargs, $dir) = @_;
1852   my $deploy = sub {
1853     my $line = shift;
1854     return if($line =~ /^--/);
1855     return if(!$line);
1856     # next if($line =~ /^DROP/m);
1857     return if($line =~ /^BEGIN TRANSACTION/m);
1858     return if($line =~ /^COMMIT/m);
1859     return if $line =~ /^\s+$/; # skip whitespace only
1860     $self->_query_start($line);
1861     eval {
1862       $self->dbh->do($line); # shouldn't be using ->dbh ?
1863     };
1864     if ($@) {
1865       warn qq{$@ (running "${line}")};
1866     }
1867     $self->_query_end($line);
1868   };
1869   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { no_comments => 1, %{ $sqltargs || {} } } );
1870   if (@statements > 1) {
1871     foreach my $statement (@statements) {
1872       $deploy->( $statement );
1873     }
1874   }
1875   elsif (@statements == 1) {
1876     foreach my $line ( split(";\n", $statements[0])) {
1877       $deploy->( $line );
1878     }
1879   }
1880 }
1881
1882 =head2 datetime_parser
1883
1884 Returns the datetime parser class
1885
1886 =cut
1887
1888 sub datetime_parser {
1889   my $self = shift;
1890   return $self->{datetime_parser} ||= do {
1891     $self->ensure_connected;
1892     $self->build_datetime_parser(@_);
1893   };
1894 }
1895
1896 =head2 datetime_parser_type
1897
1898 Defines (returns) the datetime parser class - currently hardwired to
1899 L<DateTime::Format::MySQL>
1900
1901 =cut
1902
1903 sub datetime_parser_type { "DateTime::Format::MySQL"; }
1904
1905 =head2 build_datetime_parser
1906
1907 See L</datetime_parser>
1908
1909 =cut
1910
1911 sub build_datetime_parser {
1912   my $self = shift;
1913   my $type = $self->datetime_parser_type(@_);
1914   eval "use ${type}";
1915   $self->throw_exception("Couldn't load ${type}: $@") if $@;
1916   return $type;
1917 }
1918
1919 {
1920     my $_check_sqlt_version; # private
1921     my $_check_sqlt_message; # private
1922     sub _check_sqlt_version {
1923         return $_check_sqlt_version if defined $_check_sqlt_version;
1924         eval 'use SQL::Translator "0.09003"';
1925         $_check_sqlt_message = $@ || '';
1926         $_check_sqlt_version = !$@;
1927     }
1928
1929     sub _check_sqlt_message {
1930         _check_sqlt_version if !defined $_check_sqlt_message;
1931         $_check_sqlt_message;
1932     }
1933 }
1934
1935 =head2 is_replicating
1936
1937 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
1938 replicate from a master database.  Default is undef, which is the result
1939 returned by databases that don't support replication.
1940
1941 =cut
1942
1943 sub is_replicating {
1944     return;
1945     
1946 }
1947
1948 =head2 lag_behind_master
1949
1950 Returns a number that represents a certain amount of lag behind a master db
1951 when a given storage is replicating.  The number is database dependent, but
1952 starts at zero and increases with the amount of lag. Default in undef
1953
1954 =cut
1955
1956 sub lag_behind_master {
1957     return;
1958 }
1959
1960 sub DESTROY {
1961   my $self = shift;
1962   return if !$self->_dbh;
1963   $self->_verify_pid;
1964   $self->_dbh(undef);
1965 }
1966
1967 1;
1968
1969 =head1 USAGE NOTES
1970
1971 =head2 DBIx::Class and AutoCommit
1972
1973 DBIx::Class can do some wonderful magic with handling exceptions,
1974 disconnections, and transactions when you use C<< AutoCommit => 1 >>
1975 combined with C<txn_do> for transaction support.
1976
1977 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
1978 in an assumed transaction between commits, and you're telling us you'd
1979 like to manage that manually.  A lot of the magic protections offered by
1980 this module will go away.  We can't protect you from exceptions due to database
1981 disconnects because we don't know anything about how to restart your
1982 transactions.  You're on your own for handling all sorts of exceptional
1983 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
1984 be with raw DBI.
1985
1986
1987 =head1 SQL METHODS
1988
1989 The module defines a set of methods within the DBIC::SQL::Abstract
1990 namespace.  These build on L<SQL::Abstract::Limit> to provide the
1991 SQL query functions.
1992
1993 The following methods are extended:-
1994
1995 =over 4
1996
1997 =item delete
1998
1999 =item insert
2000
2001 =item select
2002
2003 =item update
2004
2005 =item limit_dialect
2006
2007 See L</connect_info> for details.
2008
2009 =item quote_char
2010
2011 See L</connect_info> for details.
2012
2013 =item name_sep
2014
2015 See L</connect_info> for details.
2016
2017 =back
2018
2019 =head1 AUTHORS
2020
2021 Matt S. Trout <mst@shadowcatsystems.co.uk>
2022
2023 Andy Grundman <andy@hybridized.org>
2024
2025 =head1 LICENSE
2026
2027 You may distribute this code under the same terms as Perl itself.
2028
2029 =cut