Cleanup exception handling
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI.pm
1 package DBIx::Class::Storage::DBI;
2 # -*- mode: cperl; cperl-indent-level: 2 -*-
3
4 use strict;
5 use warnings;
6
7 use base 'DBIx::Class::Storage';
8 use mro 'c3';
9
10 use Carp::Clan qw/^DBIx::Class/;
11 use DBI;
12 use DBIx::Class::Storage::DBI::Cursor;
13 use DBIx::Class::Storage::Statistics;
14 use Scalar::Util();
15 use List::Util();
16
17 __PACKAGE__->mk_group_accessors('simple' =>
18   qw/_connect_info _dbi_connect_info _dbh _sql_maker _sql_maker_opts _conn_pid
19      _conn_tid transaction_depth _dbh_autocommit _driver_determined savepoints/
20 );
21
22 # the values for these accessors are picked out (and deleted) from
23 # the attribute hashref passed to connect_info
24 my @storage_options = qw/
25   on_connect_call on_disconnect_call on_connect_do on_disconnect_do
26   disable_sth_caching unsafe auto_savepoint
27 /;
28 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
29
30
31 # default cursor class, overridable in connect_info attributes
32 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
33
34 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
35 __PACKAGE__->sql_maker_class('DBIx::Class::SQLAHacks');
36
37
38 =head1 NAME
39
40 DBIx::Class::Storage::DBI - DBI storage handler
41
42 =head1 SYNOPSIS
43
44   my $schema = MySchema->connect('dbi:SQLite:my.db');
45
46   $schema->storage->debug(1);
47
48   my @stuff = $schema->storage->dbh_do(
49     sub {
50       my ($storage, $dbh, @args) = @_;
51       $dbh->do("DROP TABLE authors");
52     },
53     @column_list
54   );
55
56   $schema->resultset('Book')->search({
57      written_on => $schema->storage->datetime_parser(DateTime->now)
58   });
59
60 =head1 DESCRIPTION
61
62 This class represents the connection to an RDBMS via L<DBI>.  See
63 L<DBIx::Class::Storage> for general information.  This pod only
64 documents DBI-specific methods and behaviors.
65
66 =head1 METHODS
67
68 =cut
69
70 sub new {
71   my $new = shift->next::method(@_);
72
73   $new->transaction_depth(0);
74   $new->_sql_maker_opts({});
75   $new->{savepoints} = [];
76   $new->{_in_dbh_do} = 0;
77   $new->{_dbh_gen} = 0;
78
79   $new;
80 }
81
82 =head2 connect_info
83
84 This method is normally called by L<DBIx::Class::Schema/connection>, which
85 encapsulates its argument list in an arrayref before passing them here.
86
87 The argument list may contain:
88
89 =over
90
91 =item *
92
93 The same 4-element argument set one would normally pass to
94 L<DBI/connect>, optionally followed by
95 L<extra attributes|/DBIx::Class specific connection attributes>
96 recognized by DBIx::Class:
97
98   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
99
100 =item *
101
102 A single code reference which returns a connected
103 L<DBI database handle|DBI/connect> optionally followed by
104 L<extra attributes|/DBIx::Class specific connection attributes> recognized
105 by DBIx::Class:
106
107   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
108
109 =item *
110
111 A single hashref with all the attributes and the dsn/user/password
112 mixed together:
113
114   $connect_info_args = [{
115     dsn => $dsn,
116     user => $user,
117     password => $pass,
118     %dbi_attributes,
119     %extra_attributes,
120   }];
121
122   $connect_info_args = [{
123     dbh_maker => sub { DBI->connect (...) },
124     %dbi_attributes,
125     %extra_attributes,
126   }];
127
128 This is particularly useful for L<Catalyst> based applications, allowing the
129 following config (L<Config::General> style):
130
131   <Model::DB>
132     schema_class   App::DB
133     <connect_info>
134       dsn          dbi:mysql:database=test
135       user         testuser
136       password     TestPass
137       AutoCommit   1
138     </connect_info>
139   </Model::DB>
140
141 The C<dsn>/C<user>/C<password> combination can be substituted by the
142 C<dbh_maker> key whose value is a coderef that returns a connected
143 L<DBI database handle|DBI/connect>
144
145 =back
146
147 Please note that the L<DBI> docs recommend that you always explicitly
148 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
149 recommends that it be set to I<1>, and that you perform transactions
150 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
151 to I<1> if you do not do explicitly set it to zero.  This is the default
152 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
153
154 =head3 DBIx::Class specific connection attributes
155
156 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
157 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
158 the following connection options. These options can be mixed in with your other
159 L<DBI> connection attributes, or placed in a seperate hashref
160 (C<\%extra_attributes>) as shown above.
161
162 Every time C<connect_info> is invoked, any previous settings for
163 these options will be cleared before setting the new ones, regardless of
164 whether any options are specified in the new C<connect_info>.
165
166
167 =over
168
169 =item on_connect_do
170
171 Specifies things to do immediately after connecting or re-connecting to
172 the database.  Its value may contain:
173
174 =over
175
176 =item a scalar
177
178 This contains one SQL statement to execute.
179
180 =item an array reference
181
182 This contains SQL statements to execute in order.  Each element contains
183 a string or a code reference that returns a string.
184
185 =item a code reference
186
187 This contains some code to execute.  Unlike code references within an
188 array reference, its return value is ignored.
189
190 =back
191
192 =item on_disconnect_do
193
194 Takes arguments in the same form as L</on_connect_do> and executes them
195 immediately before disconnecting from the database.
196
197 Note, this only runs if you explicitly call L</disconnect> on the
198 storage object.
199
200 =item on_connect_call
201
202 A more generalized form of L</on_connect_do> that calls the specified
203 C<connect_call_METHOD> methods in your storage driver.
204
205   on_connect_do => 'select 1'
206
207 is equivalent to:
208
209   on_connect_call => [ [ do_sql => 'select 1' ] ]
210
211 Its values may contain:
212
213 =over
214
215 =item a scalar
216
217 Will call the C<connect_call_METHOD> method.
218
219 =item a code reference
220
221 Will execute C<< $code->($storage) >>
222
223 =item an array reference
224
225 Each value can be a method name or code reference.
226
227 =item an array of arrays
228
229 For each array, the first item is taken to be the C<connect_call_> method name
230 or code reference, and the rest are parameters to it.
231
232 =back
233
234 Some predefined storage methods you may use:
235
236 =over
237
238 =item do_sql
239
240 Executes a SQL string or a code reference that returns a SQL string. This is
241 what L</on_connect_do> and L</on_disconnect_do> use.
242
243 It can take:
244
245 =over
246
247 =item a scalar
248
249 Will execute the scalar as SQL.
250
251 =item an arrayref
252
253 Taken to be arguments to L<DBI/do>, the SQL string optionally followed by the
254 attributes hashref and bind values.
255
256 =item a code reference
257
258 Will execute C<< $code->($storage) >> and execute the return array refs as
259 above.
260
261 =back
262
263 =item datetime_setup
264
265 Execute any statements necessary to initialize the database session to return
266 and accept datetime/timestamp values used with
267 L<DBIx::Class::InflateColumn::DateTime>.
268
269 Only necessary for some databases, see your specific storage driver for
270 implementation details.
271
272 =back
273
274 =item on_disconnect_call
275
276 Takes arguments in the same form as L</on_connect_call> and executes them
277 immediately before disconnecting from the database.
278
279 Calls the C<disconnect_call_METHOD> methods as opposed to the
280 C<connect_call_METHOD> methods called by L</on_connect_call>.
281
282 Note, this only runs if you explicitly call L</disconnect> on the
283 storage object.
284
285 =item disable_sth_caching
286
287 If set to a true value, this option will disable the caching of
288 statement handles via L<DBI/prepare_cached>.
289
290 =item limit_dialect
291
292 Sets the limit dialect. This is useful for JDBC-bridge among others
293 where the remote SQL-dialect cannot be determined by the name of the
294 driver alone. See also L<SQL::Abstract::Limit>.
295
296 =item quote_char
297
298 Specifies what characters to use to quote table and column names. If
299 you use this you will want to specify L</name_sep> as well.
300
301 C<quote_char> expects either a single character, in which case is it
302 is placed on either side of the table/column name, or an arrayref of length
303 2 in which case the table/column name is placed between the elements.
304
305 For example under MySQL you should use C<< quote_char => '`' >>, and for
306 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
307
308 =item name_sep
309
310 This only needs to be used in conjunction with C<quote_char>, and is used to
311 specify the charecter that seperates elements (schemas, tables, columns) from
312 each other. In most cases this is simply a C<.>.
313
314 The consequences of not supplying this value is that L<SQL::Abstract>
315 will assume DBIx::Class' uses of aliases to be complete column
316 names. The output will look like I<"me.name"> when it should actually
317 be I<"me"."name">.
318
319 =item unsafe
320
321 This Storage driver normally installs its own C<HandleError>, sets
322 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
323 all database handles, including those supplied by a coderef.  It does this
324 so that it can have consistent and useful error behavior.
325
326 If you set this option to a true value, Storage will not do its usual
327 modifications to the database handle's attributes, and instead relies on
328 the settings in your connect_info DBI options (or the values you set in
329 your connection coderef, in the case that you are connecting via coderef).
330
331 Note that your custom settings can cause Storage to malfunction,
332 especially if you set a C<HandleError> handler that suppresses exceptions
333 and/or disable C<RaiseError>.
334
335 =item auto_savepoint
336
337 If this option is true, L<DBIx::Class> will use savepoints when nesting
338 transactions, making it possible to recover from failure in the inner
339 transaction without having to abort all outer transactions.
340
341 =item cursor_class
342
343 Use this argument to supply a cursor class other than the default
344 L<DBIx::Class::Storage::DBI::Cursor>.
345
346 =back
347
348 Some real-life examples of arguments to L</connect_info> and
349 L<DBIx::Class::Schema/connect>
350
351   # Simple SQLite connection
352   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
353
354   # Connect via subref
355   ->connect_info([ sub { DBI->connect(...) } ]);
356
357   # Connect via subref in hashref
358   ->connect_info([{
359     dbh_maker => sub { DBI->connect(...) },
360     on_connect_do => 'alter session ...',
361   }]);
362
363   # A bit more complicated
364   ->connect_info(
365     [
366       'dbi:Pg:dbname=foo',
367       'postgres',
368       'my_pg_password',
369       { AutoCommit => 1 },
370       { quote_char => q{"}, name_sep => q{.} },
371     ]
372   );
373
374   # Equivalent to the previous example
375   ->connect_info(
376     [
377       'dbi:Pg:dbname=foo',
378       'postgres',
379       'my_pg_password',
380       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
381     ]
382   );
383
384   # Same, but with hashref as argument
385   # See parse_connect_info for explanation
386   ->connect_info(
387     [{
388       dsn         => 'dbi:Pg:dbname=foo',
389       user        => 'postgres',
390       password    => 'my_pg_password',
391       AutoCommit  => 1,
392       quote_char  => q{"},
393       name_sep    => q{.},
394     }]
395   );
396
397   # Subref + DBIx::Class-specific connection options
398   ->connect_info(
399     [
400       sub { DBI->connect(...) },
401       {
402           quote_char => q{`},
403           name_sep => q{@},
404           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
405           disable_sth_caching => 1,
406       },
407     ]
408   );
409
410
411
412 =cut
413
414 sub connect_info {
415   my ($self, $info_arg) = @_;
416
417   return $self->_connect_info if !$info_arg;
418
419   my @args = @$info_arg;  # take a shallow copy for further mutilation
420   $self->_connect_info([@args]); # copy for _connect_info
421
422
423   # combine/pre-parse arguments depending on invocation style
424
425   my %attrs;
426   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
427     %attrs = %{ $args[1] || {} };
428     @args = $args[0];
429   }
430   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
431     %attrs = %{$args[0]};
432     @args = ();
433     if (my $code = delete $attrs{dbh_maker}) {
434       @args = $code;
435
436       my @ignored = grep { delete $attrs{$_} } (qw/dsn user password/);
437       if (@ignored) {
438         carp sprintf (
439             'Attribute(s) %s in connect_info were ignored, as they can not be applied '
440           . "to the result of 'dbh_maker'",
441
442           join (', ', map { "'$_'" } (@ignored) ),
443         );
444       }
445     }
446     else {
447       @args = delete @attrs{qw/dsn user password/};
448     }
449   }
450   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
451     %attrs = (
452       % { $args[3] || {} },
453       % { $args[4] || {} },
454     );
455     @args = @args[0,1,2];
456   }
457
458   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
459   #  the new set of options
460   $self->_sql_maker(undef);
461   $self->_sql_maker_opts({});
462
463   if(keys %attrs) {
464     for my $storage_opt (@storage_options, 'cursor_class') {    # @storage_options is declared at the top of the module
465       if(my $value = delete $attrs{$storage_opt}) {
466         $self->$storage_opt($value);
467       }
468     }
469     for my $sql_maker_opt (qw/limit_dialect quote_char name_sep/) {
470       if(my $opt_val = delete $attrs{$sql_maker_opt}) {
471         $self->_sql_maker_opts->{$sql_maker_opt} = $opt_val;
472       }
473     }
474   }
475
476   if (ref $args[0] eq 'CODE') {
477     # _connect() never looks past $args[0] in this case
478     %attrs = ()
479   } else {
480     %attrs = (
481       %{ $self->_default_dbi_connect_attributes || {} },
482       %attrs,
483     );
484   }
485
486   $self->_dbi_connect_info([@args, keys %attrs ? \%attrs : ()]);
487   $self->_connect_info;
488 }
489
490 sub _default_dbi_connect_attributes {
491   return {
492     AutoCommit => 1,
493     RaiseError => 1,
494     PrintError => 0,
495   };
496 }
497
498 =head2 on_connect_do
499
500 This method is deprecated in favour of setting via L</connect_info>.
501
502 =cut
503
504 =head2 on_disconnect_do
505
506 This method is deprecated in favour of setting via L</connect_info>.
507
508 =cut
509
510 sub _parse_connect_do {
511   my ($self, $type) = @_;
512
513   my $val = $self->$type;
514   return () if not defined $val;
515
516   my @res;
517
518   if (not ref($val)) {
519     push @res, [ 'do_sql', $val ];
520   } elsif (ref($val) eq 'CODE') {
521     push @res, $val;
522   } elsif (ref($val) eq 'ARRAY') {
523     push @res, map { [ 'do_sql', $_ ] } @$val;
524   } else {
525     $self->throw_exception("Invalid type for $type: ".ref($val));
526   }
527
528   return \@res;
529 }
530
531 =head2 dbh_do
532
533 Arguments: ($subref | $method_name), @extra_coderef_args?
534
535 Execute the given $subref or $method_name using the new exception-based
536 connection management.
537
538 The first two arguments will be the storage object that C<dbh_do> was called
539 on and a database handle to use.  Any additional arguments will be passed
540 verbatim to the called subref as arguments 2 and onwards.
541
542 Using this (instead of $self->_dbh or $self->dbh) ensures correct
543 exception handling and reconnection (or failover in future subclasses).
544
545 Your subref should have no side-effects outside of the database, as
546 there is the potential for your subref to be partially double-executed
547 if the database connection was stale/dysfunctional.
548
549 Example:
550
551   my @stuff = $schema->storage->dbh_do(
552     sub {
553       my ($storage, $dbh, @cols) = @_;
554       my $cols = join(q{, }, @cols);
555       $dbh->selectrow_array("SELECT $cols FROM foo");
556     },
557     @column_list
558   );
559
560 =cut
561
562 sub dbh_do {
563   my $self = shift;
564   my $code = shift;
565
566   my $dbh = $self->_get_dbh;
567
568   return $self->$code($dbh, @_) if $self->{_in_dbh_do}
569       || $self->{transaction_depth};
570
571   local $self->{_in_dbh_do} = 1;
572
573   my @result;
574   my $want_array = wantarray;
575
576   eval {
577
578     if($want_array) {
579         @result = $self->$code($dbh, @_);
580     }
581     elsif(defined $want_array) {
582         $result[0] = $self->$code($dbh, @_);
583     }
584     else {
585         $self->$code($dbh, @_);
586     }
587   };
588
589   # ->connected might unset $@ - copy
590   my $exception = $@;
591   if(!$exception) { return $want_array ? @result : $result[0] }
592
593   $self->throw_exception($exception) if $self->connected;
594
595   # We were not connected - reconnect and retry, but let any
596   #  exception fall right through this time
597   carp "Retrying $code after catching disconnected exception: $exception"
598     if $ENV{DBIC_DBIRETRY_DEBUG};
599   $self->_populate_dbh;
600   $self->$code($self->_dbh, @_);
601 }
602
603 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
604 # It also informs dbh_do to bypass itself while under the direction of txn_do,
605 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
606 sub txn_do {
607   my $self = shift;
608   my $coderef = shift;
609
610   ref $coderef eq 'CODE' or $self->throw_exception
611     ('$coderef must be a CODE reference');
612
613   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
614
615   local $self->{_in_dbh_do} = 1;
616
617   my @result;
618   my $want_array = wantarray;
619
620   my $tried = 0;
621   while(1) {
622     eval {
623       $self->_get_dbh;
624
625       $self->txn_begin;
626       if($want_array) {
627           @result = $coderef->(@_);
628       }
629       elsif(defined $want_array) {
630           $result[0] = $coderef->(@_);
631       }
632       else {
633           $coderef->(@_);
634       }
635       $self->txn_commit;
636     };
637
638     # ->connected might unset $@ - copy
639     my $exception = $@;
640     if(!$exception) { return $want_array ? @result : $result[0] }
641
642     if($tried++ || $self->connected) {
643       eval { $self->txn_rollback };
644       my $rollback_exception = $@;
645       if($rollback_exception) {
646         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
647         $self->throw_exception($exception)  # propagate nested rollback
648           if $rollback_exception =~ /$exception_class/;
649
650         $self->throw_exception(
651           "Transaction aborted: ${exception}. "
652           . "Rollback failed: ${rollback_exception}"
653         );
654       }
655       $self->throw_exception($exception)
656     }
657
658     # We were not connected, and was first try - reconnect and retry
659     # via the while loop
660     carp "Retrying $coderef after catching disconnected exception: $exception"
661       if $ENV{DBIC_DBIRETRY_DEBUG};
662     $self->_populate_dbh;
663   }
664 }
665
666 =head2 disconnect
667
668 Our C<disconnect> method also performs a rollback first if the
669 database is not in C<AutoCommit> mode.
670
671 =cut
672
673 sub disconnect {
674   my ($self) = @_;
675
676   if( $self->_dbh ) {
677     my @actions;
678
679     push @actions, ( $self->on_disconnect_call || () );
680     push @actions, $self->_parse_connect_do ('on_disconnect_do');
681
682     $self->_do_connection_actions(disconnect_call_ => $_) for @actions;
683
684     $self->_dbh_rollback unless $self->_dbh_autocommit;
685
686     $self->_dbh->disconnect;
687     $self->_dbh(undef);
688     $self->{_dbh_gen}++;
689   }
690 }
691
692 =head2 with_deferred_fk_checks
693
694 =over 4
695
696 =item Arguments: C<$coderef>
697
698 =item Return Value: The return value of $coderef
699
700 =back
701
702 Storage specific method to run the code ref with FK checks deferred or
703 in MySQL's case disabled entirely.
704
705 =cut
706
707 # Storage subclasses should override this
708 sub with_deferred_fk_checks {
709   my ($self, $sub) = @_;
710
711   $sub->();
712 }
713
714 =head2 connected
715
716 =over
717
718 =item Arguments: none
719
720 =item Return Value: 1|0
721
722 =back
723
724 Verifies that the the current database handle is active and ready to execute
725 an SQL statement (i.e. the connection did not get stale, server is still
726 answering, etc.) This method is used internally by L</dbh>.
727
728 =cut
729
730 sub connected {
731   my $self = shift;
732   return 0 unless $self->_seems_connected;
733
734   #be on the safe side
735   local $self->_dbh->{RaiseError} = 1;
736
737   return $self->_ping;
738 }
739
740 sub _seems_connected {
741   my $self = shift;
742
743   my $dbh = $self->_dbh
744     or return 0;
745
746   if(defined $self->_conn_tid && $self->_conn_tid != threads->tid) {
747     $self->_dbh(undef);
748     $self->{_dbh_gen}++;
749     return 0;
750   }
751   else {
752     $self->_verify_pid;
753     return 0 if !$self->_dbh;
754   }
755
756   return $dbh->FETCH('Active');
757 }
758
759 sub _ping {
760   my $self = shift;
761
762   my $dbh = $self->_dbh or return 0;
763
764   return $dbh->ping;
765 }
766
767 # handle pid changes correctly
768 #  NOTE: assumes $self->_dbh is a valid $dbh
769 sub _verify_pid {
770   my ($self) = @_;
771
772   return if defined $self->_conn_pid && $self->_conn_pid == $$;
773
774   $self->_dbh->{InactiveDestroy} = 1;
775   $self->_dbh(undef);
776   $self->{_dbh_gen}++;
777
778   return;
779 }
780
781 sub ensure_connected {
782   my ($self) = @_;
783
784   unless ($self->connected) {
785     $self->_populate_dbh;
786   }
787 }
788
789 =head2 dbh
790
791 Returns a C<$dbh> - a data base handle of class L<DBI>. The returned handle
792 is guaranteed to be healthy by implicitly calling L</connected>, and if
793 necessary performing a reconnection before returning. Keep in mind that this
794 is very B<expensive> on some database engines. Consider using L<dbh_do>
795 instead.
796
797 =cut
798
799 sub dbh {
800   my ($self) = @_;
801
802   if (not $self->_dbh) {
803     $self->_populate_dbh;
804   } else {
805     $self->ensure_connected;
806   }
807   return $self->_dbh;
808 }
809
810 # this is the internal "get dbh or connect (don't check)" method
811 sub _get_dbh {
812   my $self = shift;
813   $self->_verify_pid if $self->_dbh;
814   $self->_populate_dbh unless $self->_dbh;
815   return $self->_dbh;
816 }
817
818 sub _sql_maker_args {
819     my ($self) = @_;
820
821     return (
822       bindtype=>'columns',
823       array_datatypes => 1,
824       limit_dialect => $self->_get_dbh,
825       %{$self->_sql_maker_opts}
826     );
827 }
828
829 sub sql_maker {
830   my ($self) = @_;
831   unless ($self->_sql_maker) {
832     my $sql_maker_class = $self->sql_maker_class;
833     $self->ensure_class_loaded ($sql_maker_class);
834     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
835   }
836   return $self->_sql_maker;
837 }
838
839 # nothing to do by default
840 sub _rebless {}
841 sub _init {}
842
843 sub _populate_dbh {
844   my ($self) = @_;
845
846   my @info = @{$self->_dbi_connect_info || []};
847   $self->_dbh(undef); # in case ->connected failed we might get sent here
848   $self->_dbh($self->_connect(@info));
849
850   $self->_conn_pid($$);
851   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
852
853   $self->_determine_driver;
854
855   # Always set the transaction depth on connect, since
856   #  there is no transaction in progress by definition
857   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
858
859   $self->_run_connection_actions unless $self->{_in_determine_driver};
860 }
861
862 sub _run_connection_actions {
863   my $self = shift;
864   my @actions;
865
866   push @actions, ( $self->on_connect_call || () );
867   push @actions, $self->_parse_connect_do ('on_connect_do');
868
869   $self->_do_connection_actions(connect_call_ => $_) for @actions;
870 }
871
872 sub _determine_driver {
873   my ($self) = @_;
874
875   if ((not $self->_driver_determined) && (not $self->{_in_determine_driver})) {
876     my $started_unconnected = 0;
877     local $self->{_in_determine_driver} = 1;
878
879     if (ref($self) eq __PACKAGE__) {
880       my $driver;
881       if ($self->_dbh) { # we are connected
882         $driver = $self->_dbh->{Driver}{Name};
883       } else {
884         # if connect_info is a CODEREF, we have no choice but to connect
885         if (ref $self->_dbi_connect_info->[0] &&
886             Scalar::Util::reftype($self->_dbi_connect_info->[0]) eq 'CODE') {
887           $self->_populate_dbh;
888           $driver = $self->_dbh->{Driver}{Name};
889         }
890         else {
891           # try to use dsn to not require being connected, the driver may still
892           # force a connection in _rebless to determine version
893           ($driver) = $self->_dbi_connect_info->[0] =~ /dbi:([^:]+):/i;
894           $started_unconnected = 1;
895         }
896       }
897
898       my $storage_class = "DBIx::Class::Storage::DBI::${driver}";
899       if ($self->load_optional_class($storage_class)) {
900         mro::set_mro($storage_class, 'c3');
901         bless $self, $storage_class;
902         $self->_rebless();
903       }
904     }
905
906     $self->_driver_determined(1);
907
908     $self->_init; # run driver-specific initializations
909
910     $self->_run_connection_actions
911         if $started_unconnected && defined $self->_dbh;
912   }
913 }
914
915 sub _do_connection_actions {
916   my $self          = shift;
917   my $method_prefix = shift;
918   my $call          = shift;
919
920   if (not ref($call)) {
921     my $method = $method_prefix . $call;
922     $self->$method(@_);
923   } elsif (ref($call) eq 'CODE') {
924     $self->$call(@_);
925   } elsif (ref($call) eq 'ARRAY') {
926     if (ref($call->[0]) ne 'ARRAY') {
927       $self->_do_connection_actions($method_prefix, $_) for @$call;
928     } else {
929       $self->_do_connection_actions($method_prefix, @$_) for @$call;
930     }
931   } else {
932     $self->throw_exception (sprintf ("Don't know how to process conection actions of type '%s'", ref($call)) );
933   }
934
935   return $self;
936 }
937
938 sub connect_call_do_sql {
939   my $self = shift;
940   $self->_do_query(@_);
941 }
942
943 sub disconnect_call_do_sql {
944   my $self = shift;
945   $self->_do_query(@_);
946 }
947
948 # override in db-specific backend when necessary
949 sub connect_call_datetime_setup { 1 }
950
951 sub _do_query {
952   my ($self, $action) = @_;
953
954   if (ref $action eq 'CODE') {
955     $action = $action->($self);
956     $self->_do_query($_) foreach @$action;
957   }
958   else {
959     # Most debuggers expect ($sql, @bind), so we need to exclude
960     # the attribute hash which is the second argument to $dbh->do
961     # furthermore the bind values are usually to be presented
962     # as named arrayref pairs, so wrap those here too
963     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
964     my $sql = shift @do_args;
965     my $attrs = shift @do_args;
966     my @bind = map { [ undef, $_ ] } @do_args;
967
968     $self->_query_start($sql, @bind);
969     $self->_get_dbh->do($sql, $attrs, @do_args);
970     $self->_query_end($sql, @bind);
971   }
972
973   return $self;
974 }
975
976 sub _connect {
977   my ($self, @info) = @_;
978
979   $self->throw_exception("You failed to provide any connection info")
980     if !@info;
981
982   my ($old_connect_via, $dbh);
983
984   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
985     $old_connect_via = $DBI::connect_via;
986     $DBI::connect_via = 'connect';
987   }
988
989   eval {
990     if(ref $info[0] eq 'CODE') {
991        $dbh = &{$info[0]}
992     }
993     else {
994        $dbh = DBI->connect(@info);
995     }
996
997     if($dbh && !$self->unsafe) {
998       my $weak_self = $self;
999       Scalar::Util::weaken($weak_self);
1000       $dbh->{HandleError} = sub {
1001           if ($weak_self) {
1002             $weak_self->throw_exception("DBI Exception: $_[0]");
1003           }
1004           else {
1005             # the handler may be invoked by something totally out of
1006             # the scope of DBIC
1007             croak ("DBI Exception: $_[0]");
1008           }
1009       };
1010       $dbh->{ShowErrorStatement} = 1;
1011       $dbh->{RaiseError} = 1;
1012       $dbh->{PrintError} = 0;
1013     }
1014   };
1015
1016   $DBI::connect_via = $old_connect_via if $old_connect_via;
1017
1018   $self->throw_exception("DBI Connection failed: " . ($@||$DBI::errstr))
1019     if !$dbh || $@;
1020
1021   $self->_dbh_autocommit($dbh->{AutoCommit});
1022
1023   $dbh;
1024 }
1025
1026 sub svp_begin {
1027   my ($self, $name) = @_;
1028
1029   $name = $self->_svp_generate_name
1030     unless defined $name;
1031
1032   $self->throw_exception ("You can't use savepoints outside a transaction")
1033     if $self->{transaction_depth} == 0;
1034
1035   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1036     unless $self->can('_svp_begin');
1037
1038   push @{ $self->{savepoints} }, $name;
1039
1040   $self->debugobj->svp_begin($name) if $self->debug;
1041
1042   return $self->_svp_begin($name);
1043 }
1044
1045 sub svp_release {
1046   my ($self, $name) = @_;
1047
1048   $self->throw_exception ("You can't use savepoints outside a transaction")
1049     if $self->{transaction_depth} == 0;
1050
1051   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1052     unless $self->can('_svp_release');
1053
1054   if (defined $name) {
1055     $self->throw_exception ("Savepoint '$name' does not exist")
1056       unless grep { $_ eq $name } @{ $self->{savepoints} };
1057
1058     # Dig through the stack until we find the one we are releasing.  This keeps
1059     # the stack up to date.
1060     my $svp;
1061
1062     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1063   } else {
1064     $name = pop @{ $self->{savepoints} };
1065   }
1066
1067   $self->debugobj->svp_release($name) if $self->debug;
1068
1069   return $self->_svp_release($name);
1070 }
1071
1072 sub svp_rollback {
1073   my ($self, $name) = @_;
1074
1075   $self->throw_exception ("You can't use savepoints outside a transaction")
1076     if $self->{transaction_depth} == 0;
1077
1078   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1079     unless $self->can('_svp_rollback');
1080
1081   if (defined $name) {
1082       # If they passed us a name, verify that it exists in the stack
1083       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1084           $self->throw_exception("Savepoint '$name' does not exist!");
1085       }
1086
1087       # Dig through the stack until we find the one we are releasing.  This keeps
1088       # the stack up to date.
1089       while(my $s = pop(@{ $self->{savepoints} })) {
1090           last if($s eq $name);
1091       }
1092       # Add the savepoint back to the stack, as a rollback doesn't remove the
1093       # named savepoint, only everything after it.
1094       push(@{ $self->{savepoints} }, $name);
1095   } else {
1096       # We'll assume they want to rollback to the last savepoint
1097       $name = $self->{savepoints}->[-1];
1098   }
1099
1100   $self->debugobj->svp_rollback($name) if $self->debug;
1101
1102   return $self->_svp_rollback($name);
1103 }
1104
1105 sub _svp_generate_name {
1106     my ($self) = @_;
1107
1108     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1109 }
1110
1111 sub txn_begin {
1112   my $self = shift;
1113   if($self->{transaction_depth} == 0) {
1114     $self->debugobj->txn_begin()
1115       if $self->debug;
1116     $self->_dbh_begin_work;
1117   }
1118   elsif ($self->auto_savepoint) {
1119     $self->svp_begin;
1120   }
1121   $self->{transaction_depth}++;
1122 }
1123
1124 sub _dbh_begin_work {
1125   my $self = shift;
1126
1127   # if the user is utilizing txn_do - good for him, otherwise we need to
1128   # ensure that the $dbh is healthy on BEGIN.
1129   # We do this via ->dbh_do instead of ->dbh, so that the ->dbh "ping"
1130   # will be replaced by a failure of begin_work itself (which will be
1131   # then retried on reconnect)
1132   if ($self->{_in_dbh_do}) {
1133     $self->_dbh->begin_work;
1134   } else {
1135     $self->dbh_do(sub { $_[1]->begin_work });
1136   }
1137 }
1138
1139 sub txn_commit {
1140   my $self = shift;
1141   if ($self->{transaction_depth} == 1) {
1142     my $dbh = $self->_dbh;
1143     $self->debugobj->txn_commit()
1144       if ($self->debug);
1145     $self->_dbh_commit;
1146     $self->{transaction_depth} = 0
1147       if $self->_dbh_autocommit;
1148   }
1149   elsif($self->{transaction_depth} > 1) {
1150     $self->{transaction_depth}--;
1151     $self->svp_release
1152       if $self->auto_savepoint;
1153   }
1154 }
1155
1156 sub _dbh_commit {
1157   my $self = shift;
1158   $self->_dbh->commit;
1159 }
1160
1161 sub txn_rollback {
1162   my $self = shift;
1163   my $dbh = $self->_dbh;
1164   eval {
1165     if ($self->{transaction_depth} == 1) {
1166       $self->debugobj->txn_rollback()
1167         if ($self->debug);
1168       $self->{transaction_depth} = 0
1169         if $self->_dbh_autocommit;
1170       $self->_dbh_rollback;
1171     }
1172     elsif($self->{transaction_depth} > 1) {
1173       $self->{transaction_depth}--;
1174       if ($self->auto_savepoint) {
1175         $self->svp_rollback;
1176         $self->svp_release;
1177       }
1178     }
1179     else {
1180       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1181     }
1182   };
1183   if ($@) {
1184     my $error = $@;
1185     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1186     $error =~ /$exception_class/ and $self->throw_exception($error);
1187     # ensure that a failed rollback resets the transaction depth
1188     $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1189     $self->throw_exception($error);
1190   }
1191 }
1192
1193 sub _dbh_rollback {
1194   my $self = shift;
1195   $self->_dbh->rollback;
1196 }
1197
1198 # This used to be the top-half of _execute.  It was split out to make it
1199 #  easier to override in NoBindVars without duping the rest.  It takes up
1200 #  all of _execute's args, and emits $sql, @bind.
1201 sub _prep_for_execute {
1202   my ($self, $op, $extra_bind, $ident, $args) = @_;
1203
1204   if( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1205     $ident = $ident->from();
1206   }
1207
1208   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1209
1210   unshift(@bind,
1211     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1212       if $extra_bind;
1213   return ($sql, \@bind);
1214 }
1215
1216
1217 sub _fix_bind_params {
1218     my ($self, @bind) = @_;
1219
1220     ### Turn @bind from something like this:
1221     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1222     ### to this:
1223     ###   ( "'1'", "'1'", "'3'" )
1224     return
1225         map {
1226             if ( defined( $_ && $_->[1] ) ) {
1227                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1228             }
1229             else { q{'NULL'}; }
1230         } @bind;
1231 }
1232
1233 sub _query_start {
1234     my ( $self, $sql, @bind ) = @_;
1235
1236     if ( $self->debug ) {
1237         @bind = $self->_fix_bind_params(@bind);
1238
1239         $self->debugobj->query_start( $sql, @bind );
1240     }
1241 }
1242
1243 sub _query_end {
1244     my ( $self, $sql, @bind ) = @_;
1245
1246     if ( $self->debug ) {
1247         @bind = $self->_fix_bind_params(@bind);
1248         $self->debugobj->query_end( $sql, @bind );
1249     }
1250 }
1251
1252 sub _dbh_execute {
1253   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1254
1255   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1256
1257   $self->_query_start( $sql, @$bind );
1258
1259   my $sth = $self->sth($sql,$op);
1260
1261   my $placeholder_index = 1;
1262
1263   foreach my $bound (@$bind) {
1264     my $attributes = {};
1265     my($column_name, @data) = @$bound;
1266
1267     if ($bind_attributes) {
1268       $attributes = $bind_attributes->{$column_name}
1269       if defined $bind_attributes->{$column_name};
1270     }
1271
1272     foreach my $data (@data) {
1273       my $ref = ref $data;
1274       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1275
1276       $sth->bind_param($placeholder_index, $data, $attributes);
1277       $placeholder_index++;
1278     }
1279   }
1280
1281   # Can this fail without throwing an exception anyways???
1282   my $rv = $sth->execute();
1283   $self->throw_exception($sth->errstr) if !$rv;
1284
1285   $self->_query_end( $sql, @$bind );
1286
1287   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1288 }
1289
1290 sub _execute {
1291     my $self = shift;
1292     $self->dbh_do('_dbh_execute', @_);  # retry over disconnects
1293 }
1294
1295 sub insert {
1296   my ($self, $source, $to_insert) = @_;
1297
1298 # redispatch to insert method of storage we reblessed into, if necessary
1299   if (not $self->_driver_determined) {
1300     $self->_determine_driver;
1301     goto $self->can('insert');
1302   }
1303
1304   my $ident = $source->from;
1305   my $bind_attributes = $self->source_bind_attributes($source);
1306
1307   my $updated_cols = {};
1308
1309   foreach my $col ( $source->columns ) {
1310     if ( !defined $to_insert->{$col} ) {
1311       my $col_info = $source->column_info($col);
1312
1313       if ( $col_info->{auto_nextval} ) {
1314         $updated_cols->{$col} = $to_insert->{$col} = $self->_sequence_fetch(
1315           'nextval',
1316           $col_info->{sequence} ||
1317             $self->_dbh_get_autoinc_seq($self->_get_dbh, $source)
1318         );
1319       }
1320     }
1321   }
1322
1323   $self->_execute('insert' => [], $source, $bind_attributes, $to_insert);
1324
1325   return $updated_cols;
1326 }
1327
1328 ## Still not quite perfect, and EXPERIMENTAL
1329 ## Currently it is assumed that all values passed will be "normal", i.e. not
1330 ## scalar refs, or at least, all the same type as the first set, the statement is
1331 ## only prepped once.
1332 sub insert_bulk {
1333   my ($self, $source, $cols, $data) = @_;
1334
1335 # redispatch to insert_bulk method of storage we reblessed into, if necessary
1336   if (not $self->_driver_determined) {
1337     $self->_determine_driver;
1338     goto $self->can('insert_bulk');
1339   }
1340
1341   my %colvalues;
1342   my $table = $source->from;
1343   @colvalues{@$cols} = (0..$#$cols);
1344   my ($sql, @bind) = $self->sql_maker->insert($table, \%colvalues);
1345
1346   $self->_query_start( $sql, @bind );
1347   my $sth = $self->sth($sql);
1348
1349 #  @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1350
1351   ## This must be an arrayref, else nothing works!
1352   my $tuple_status = [];
1353
1354   ## Get the bind_attributes, if any exist
1355   my $bind_attributes = $self->source_bind_attributes($source);
1356
1357   ## Bind the values and execute
1358   my $placeholder_index = 1;
1359
1360   foreach my $bound (@bind) {
1361
1362     my $attributes = {};
1363     my ($column_name, $data_index) = @$bound;
1364
1365     if( $bind_attributes ) {
1366       $attributes = $bind_attributes->{$column_name}
1367       if defined $bind_attributes->{$column_name};
1368     }
1369
1370     my @data = map { $_->[$data_index] } @$data;
1371
1372     $sth->bind_param_array( $placeholder_index, [@data], $attributes );
1373     $placeholder_index++;
1374   }
1375   my $rv = eval { $sth->execute_array({ArrayTupleStatus => $tuple_status}) };
1376   if (my $err = $@) {
1377     my $i = 0;
1378     ++$i while $i <= $#$tuple_status && !ref $tuple_status->[$i];
1379
1380     $self->throw_exception($sth->errstr || "Unexpected populate error: $err")
1381       if ($i > $#$tuple_status);
1382
1383     require Data::Dumper;
1384     local $Data::Dumper::Terse = 1;
1385     local $Data::Dumper::Indent = 1;
1386     local $Data::Dumper::Useqq = 1;
1387     local $Data::Dumper::Quotekeys = 0;
1388     local $Data::Dumper::Sortkeys = 1;
1389
1390     $self->throw_exception(sprintf "%s for populate slice:\n%s",
1391       $tuple_status->[$i][1],
1392       Data::Dumper::Dumper(
1393         { map { $cols->[$_] => $data->[$i][$_] } (0 .. $#$cols) }
1394       ),
1395     );
1396   }
1397   $self->throw_exception($sth->errstr) if !$rv;
1398
1399   $self->_query_end( $sql, @bind );
1400   return (wantarray ? ($rv, $sth, @bind) : $rv);
1401 }
1402
1403 sub update {
1404   my ($self, $source, @args) = @_; 
1405
1406 # redispatch to update method of storage we reblessed into, if necessary
1407   if (not $self->_driver_determined) {
1408     $self->_determine_driver;
1409     goto $self->can('update');
1410   }
1411
1412   my $bind_attributes = $self->source_bind_attributes($source);
1413
1414   return $self->_execute('update' => [], $source, $bind_attributes, @args);
1415 }
1416
1417
1418 sub delete {
1419   my $self = shift @_;
1420   my $source = shift @_;
1421   $self->_determine_driver;
1422   my $bind_attrs = $self->source_bind_attributes($source);
1423
1424   return $self->_execute('delete' => [], $source, $bind_attrs, @_);
1425 }
1426
1427 # We were sent here because the $rs contains a complex search
1428 # which will require a subquery to select the correct rows
1429 # (i.e. joined or limited resultsets)
1430 #
1431 # Genarating a single PK column subquery is trivial and supported
1432 # by all RDBMS. However if we have a multicolumn PK, things get ugly.
1433 # Look at _multipk_update_delete()
1434 sub _subq_update_delete {
1435   my $self = shift;
1436   my ($rs, $op, $values) = @_;
1437
1438   my $rsrc = $rs->result_source;
1439
1440   # we already check this, but double check naively just in case. Should be removed soon
1441   my $sel = $rs->_resolved_attrs->{select};
1442   $sel = [ $sel ] unless ref $sel eq 'ARRAY';
1443   my @pcols = $rsrc->primary_columns;
1444   if (@$sel != @pcols) {
1445     $self->throw_exception (
1446       'Subquery update/delete can not be called on resultsets selecting a'
1447      .' number of columns different than the number of primary keys'
1448     );
1449   }
1450
1451   if (@pcols == 1) {
1452     return $self->$op (
1453       $rsrc,
1454       $op eq 'update' ? $values : (),
1455       { $pcols[0] => { -in => $rs->as_query } },
1456     );
1457   }
1458
1459   else {
1460     return $self->_multipk_update_delete (@_);
1461   }
1462 }
1463
1464 # ANSI SQL does not provide a reliable way to perform a multicol-PK
1465 # resultset update/delete involving subqueries. So by default resort
1466 # to simple (and inefficient) delete_all style per-row opearations,
1467 # while allowing specific storages to override this with a faster
1468 # implementation.
1469 #
1470 sub _multipk_update_delete {
1471   return shift->_per_row_update_delete (@_);
1472 }
1473
1474 # This is the default loop used to delete/update rows for multi PK
1475 # resultsets, and used by mysql exclusively (because it can't do anything
1476 # else).
1477 #
1478 # We do not use $row->$op style queries, because resultset update/delete
1479 # is not expected to cascade (this is what delete_all/update_all is for).
1480 #
1481 # There should be no race conditions as the entire operation is rolled
1482 # in a transaction.
1483 #
1484 sub _per_row_update_delete {
1485   my $self = shift;
1486   my ($rs, $op, $values) = @_;
1487
1488   my $rsrc = $rs->result_source;
1489   my @pcols = $rsrc->primary_columns;
1490
1491   my $guard = $self->txn_scope_guard;
1492
1493   # emulate the return value of $sth->execute for non-selects
1494   my $row_cnt = '0E0';
1495
1496   my $subrs_cur = $rs->cursor;
1497   while (my @pks = $subrs_cur->next) {
1498
1499     my $cond;
1500     for my $i (0.. $#pcols) {
1501       $cond->{$pcols[$i]} = $pks[$i];
1502     }
1503
1504     $self->$op (
1505       $rsrc,
1506       $op eq 'update' ? $values : (),
1507       $cond,
1508     );
1509
1510     $row_cnt++;
1511   }
1512
1513   $guard->commit;
1514
1515   return $row_cnt;
1516 }
1517
1518 sub _select {
1519   my $self = shift;
1520
1521   # localization is neccessary as
1522   # 1) there is no infrastructure to pass this around before SQLA2
1523   # 2) _select_args sets it and _prep_for_execute consumes it
1524   my $sql_maker = $self->sql_maker;
1525   local $sql_maker->{_dbic_rs_attrs};
1526
1527   return $self->_execute($self->_select_args(@_));
1528 }
1529
1530 sub _select_args_to_query {
1531   my $self = shift;
1532
1533   # localization is neccessary as
1534   # 1) there is no infrastructure to pass this around before SQLA2
1535   # 2) _select_args sets it and _prep_for_execute consumes it
1536   my $sql_maker = $self->sql_maker;
1537   local $sql_maker->{_dbic_rs_attrs};
1538
1539   # my ($op, $bind, $ident, $bind_attrs, $select, $cond, $order, $rows, $offset)
1540   #  = $self->_select_args($ident, $select, $cond, $attrs);
1541   my ($op, $bind, $ident, $bind_attrs, @args) =
1542     $self->_select_args(@_);
1543
1544   # my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, [ $select, $cond, $order, $rows, $offset ]);
1545   my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, \@args);
1546   $prepared_bind ||= [];
1547
1548   return wantarray
1549     ? ($sql, $prepared_bind, $bind_attrs)
1550     : \[ "($sql)", @$prepared_bind ]
1551   ;
1552 }
1553
1554 sub _select_args {
1555   my ($self, $ident, $select, $where, $attrs) = @_;
1556
1557   my ($alias2source, $rs_alias) = $self->_resolve_ident_sources ($ident);
1558
1559   my $sql_maker = $self->sql_maker;
1560   $sql_maker->{_dbic_rs_attrs} = {
1561     %$attrs,
1562     select => $select,
1563     from => $ident,
1564     where => $where,
1565     $rs_alias
1566       ? ( _source_handle => $alias2source->{$rs_alias}->handle )
1567       : ()
1568     ,
1569   };
1570
1571   # calculate bind_attrs before possible $ident mangling
1572   my $bind_attrs = {};
1573   for my $alias (keys %$alias2source) {
1574     my $bindtypes = $self->source_bind_attributes ($alias2source->{$alias}) || {};
1575     for my $col (keys %$bindtypes) {
1576
1577       my $fqcn = join ('.', $alias, $col);
1578       $bind_attrs->{$fqcn} = $bindtypes->{$col} if $bindtypes->{$col};
1579
1580       # Unqialified column names are nice, but at the same time can be
1581       # rather ambiguous. What we do here is basically go along with
1582       # the loop, adding an unqualified column slot to $bind_attrs,
1583       # alongside the fully qualified name. As soon as we encounter
1584       # another column by that name (which would imply another table)
1585       # we unset the unqualified slot and never add any info to it
1586       # to avoid erroneous type binding. If this happens the users
1587       # only choice will be to fully qualify his column name
1588
1589       if (exists $bind_attrs->{$col}) {
1590         $bind_attrs->{$col} = {};
1591       }
1592       else {
1593         $bind_attrs->{$col} = $bind_attrs->{$fqcn};
1594       }
1595     }
1596   }
1597
1598   # adjust limits
1599   if (
1600     $attrs->{software_limit}
1601       ||
1602     $sql_maker->_default_limit_syntax eq "GenericSubQ"
1603   ) {
1604     $attrs->{software_limit} = 1;
1605   }
1606   else {
1607     $self->throw_exception("rows attribute must be positive if present")
1608       if (defined($attrs->{rows}) && !($attrs->{rows} > 0));
1609
1610     # MySQL actually recommends this approach.  I cringe.
1611     $attrs->{rows} = 2**48 if not defined $attrs->{rows} and defined $attrs->{offset};
1612   }
1613
1614   my @limit;
1615
1616   # see if we need to tear the prefetch apart (either limited has_many or grouped prefetch)
1617   # otherwise delegate the limiting to the storage, unless software limit was requested
1618   if (
1619     ( $attrs->{rows} && keys %{$attrs->{collapse}} )
1620        ||
1621     ( $attrs->{group_by} && @{$attrs->{group_by}} &&
1622       $attrs->{_prefetch_select} && @{$attrs->{_prefetch_select}} )
1623   ) {
1624     ($ident, $select, $where, $attrs)
1625       = $self->_adjust_select_args_for_complex_prefetch ($ident, $select, $where, $attrs);
1626   }
1627   elsif (! $attrs->{software_limit} ) {
1628     push @limit, $attrs->{rows}, $attrs->{offset};
1629   }
1630
1631 ###
1632   # This would be the point to deflate anything found in $where
1633   # (and leave $attrs->{bind} intact). Problem is - inflators historically
1634   # expect a row object. And all we have is a resultsource (it is trivial
1635   # to extract deflator coderefs via $alias2source above).
1636   #
1637   # I don't see a way forward other than changing the way deflators are
1638   # invoked, and that's just bad...
1639 ###
1640
1641   my $order = { map
1642     { $attrs->{$_} ? ( $_ => $attrs->{$_} ) : ()  }
1643     (qw/order_by group_by having/ )
1644   };
1645
1646   return ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $where, $order, @limit);
1647 }
1648
1649 #
1650 # This is the code producing joined subqueries like:
1651 # SELECT me.*, other.* FROM ( SELECT me.* FROM ... ) JOIN other ON ... 
1652 #
1653 sub _adjust_select_args_for_complex_prefetch {
1654   my ($self, $from, $select, $where, $attrs) = @_;
1655
1656   $self->throw_exception ('Nothing to prefetch... how did we get here?!')
1657     if not @{$attrs->{_prefetch_select}};
1658
1659   $self->throw_exception ('Complex prefetches are not supported on resultsets with a custom from attribute')
1660     if (ref $from ne 'ARRAY' || ref $from->[0] ne 'HASH' || ref $from->[1] ne 'ARRAY');
1661
1662
1663   # generate inner/outer attribute lists, remove stuff that doesn't apply
1664   my $outer_attrs = { %$attrs };
1665   delete $outer_attrs->{$_} for qw/where bind rows offset group_by having/;
1666
1667   my $inner_attrs = { %$attrs };
1668   delete $inner_attrs->{$_} for qw/for collapse _prefetch_select _collapse_order_by select as/;
1669
1670
1671   # bring over all non-collapse-induced order_by into the inner query (if any)
1672   # the outer one will have to keep them all
1673   delete $inner_attrs->{order_by};
1674   if (my $ord_cnt = @{$outer_attrs->{order_by}} - @{$outer_attrs->{_collapse_order_by}} ) {
1675     $inner_attrs->{order_by} = [
1676       @{$outer_attrs->{order_by}}[ 0 .. $ord_cnt - 1]
1677     ];
1678   }
1679
1680
1681   # generate the inner/outer select lists
1682   # for inside we consider only stuff *not* brought in by the prefetch
1683   # on the outside we substitute any function for its alias
1684   my $outer_select = [ @$select ];
1685   my $inner_select = [];
1686   for my $i (0 .. ( @$outer_select - @{$outer_attrs->{_prefetch_select}} - 1) ) {
1687     my $sel = $outer_select->[$i];
1688
1689     if (ref $sel eq 'HASH' ) {
1690       $sel->{-as} ||= $attrs->{as}[$i];
1691       $outer_select->[$i] = join ('.', $attrs->{alias}, ($sel->{-as} || "inner_column_$i") );
1692     }
1693
1694     push @$inner_select, $sel;
1695   }
1696
1697   # normalize a copy of $from, so it will be easier to work with further
1698   # down (i.e. promote the initial hashref to an AoH)
1699   $from = [ @$from ];
1700   $from->[0] = [ $from->[0] ];
1701   my %original_join_info = map { $_->[0]{-alias} => $_->[0] } (@$from);
1702
1703
1704   # decide which parts of the join will remain in either part of
1705   # the outer/inner query
1706
1707   # First we compose a list of which aliases are used in restrictions
1708   # (i.e. conditions/order/grouping/etc). Since we do not have
1709   # introspectable SQLA, we fall back to ugly scanning of raw SQL for
1710   # WHERE, and for pieces of ORDER BY in order to determine which aliases
1711   # need to appear in the resulting sql.
1712   # It may not be very efficient, but it's a reasonable stop-gap
1713   # Also unqualified column names will not be considered, but more often
1714   # than not this is actually ok
1715   #
1716   # In the same loop we enumerate part of the selection aliases, as
1717   # it requires the same sqla hack for the time being
1718   my ($restrict_aliases, $select_aliases, $prefetch_aliases);
1719   {
1720     # produce stuff unquoted, so it can be scanned
1721     my $sql_maker = $self->sql_maker;
1722     local $sql_maker->{quote_char};
1723     my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1724     $sep = "\Q$sep\E";
1725
1726     my $non_prefetch_select_sql = $sql_maker->_recurse_fields ($inner_select);
1727     my $prefetch_select_sql = $sql_maker->_recurse_fields ($outer_attrs->{_prefetch_select});
1728     my $where_sql = $sql_maker->where ($where);
1729     my $group_by_sql = $sql_maker->_order_by({
1730       map { $_ => $inner_attrs->{$_} } qw/group_by having/
1731     });
1732     my @non_prefetch_order_by_chunks = (map
1733       { ref $_ ? $_->[0] : $_ }
1734       $sql_maker->_order_by_chunks ($inner_attrs->{order_by})
1735     );
1736
1737
1738     for my $alias (keys %original_join_info) {
1739       my $seen_re = qr/\b $alias $sep/x;
1740
1741       for my $piece ($where_sql, $group_by_sql, @non_prefetch_order_by_chunks ) {
1742         if ($piece =~ $seen_re) {
1743           $restrict_aliases->{$alias} = 1;
1744         }
1745       }
1746
1747       if ($non_prefetch_select_sql =~ $seen_re) {
1748           $select_aliases->{$alias} = 1;
1749       }
1750
1751       if ($prefetch_select_sql =~ $seen_re) {
1752           $prefetch_aliases->{$alias} = 1;
1753       }
1754
1755     }
1756   }
1757
1758   # Add any non-left joins to the restriction list (such joins are indeed restrictions)
1759   for my $j (values %original_join_info) {
1760     my $alias = $j->{-alias} or next;
1761     $restrict_aliases->{$alias} = 1 if (
1762       (not $j->{-join_type})
1763         or
1764       ($j->{-join_type} !~ /^left (?: \s+ outer)? $/xi)
1765     );
1766   }
1767
1768   # mark all join parents as mentioned
1769   # (e.g.  join => { cds => 'tracks' } - tracks will need to bring cds too )
1770   for my $collection ($restrict_aliases, $select_aliases) {
1771     for my $alias (keys %$collection) {
1772       $collection->{$_} = 1
1773         for (@{ $original_join_info{$alias}{-join_path} || [] });
1774     }
1775   }
1776
1777   # construct the inner $from for the subquery
1778   my %inner_joins = (map { %{$_ || {}} } ($restrict_aliases, $select_aliases) );
1779   my @inner_from;
1780   for my $j (@$from) {
1781     push @inner_from, $j if $inner_joins{$j->[0]{-alias}};
1782   }
1783
1784   # if a multi-type join was needed in the subquery ("multi" is indicated by
1785   # presence in {collapse}) - add a group_by to simulate the collapse in the subq
1786   unless ($inner_attrs->{group_by}) {
1787     for my $alias (keys %inner_joins) {
1788
1789       # the dot comes from some weirdness in collapse
1790       # remove after the rewrite
1791       if ($attrs->{collapse}{".$alias"}) {
1792         $inner_attrs->{group_by} ||= $inner_select;
1793         last;
1794       }
1795     }
1796   }
1797
1798   # demote the inner_from head
1799   $inner_from[0] = $inner_from[0][0];
1800
1801   # generate the subquery
1802   my $subq = $self->_select_args_to_query (
1803     \@inner_from,
1804     $inner_select,
1805     $where,
1806     $inner_attrs,
1807   );
1808
1809   my $subq_joinspec = {
1810     -alias => $attrs->{alias},
1811     -source_handle => $inner_from[0]{-source_handle},
1812     $attrs->{alias} => $subq,
1813   };
1814
1815   # Generate the outer from - this is relatively easy (really just replace
1816   # the join slot with the subquery), with a major caveat - we can not
1817   # join anything that is non-selecting (not part of the prefetch), but at
1818   # the same time is a multi-type relationship, as it will explode the result.
1819   #
1820   # There are two possibilities here
1821   # - either the join is non-restricting, in which case we simply throw it away
1822   # - it is part of the restrictions, in which case we need to collapse the outer
1823   #   result by tackling yet another group_by to the outside of the query
1824
1825   # so first generate the outer_from, up to the substitution point
1826   my @outer_from;
1827   while (my $j = shift @$from) {
1828     if ($j->[0]{-alias} eq $attrs->{alias}) { # time to swap
1829       push @outer_from, [
1830         $subq_joinspec,
1831         @{$j}[1 .. $#$j],
1832       ];
1833       last; # we'll take care of what's left in $from below
1834     }
1835     else {
1836       push @outer_from, $j;
1837     }
1838   }
1839
1840   # see what's left - throw away if not selecting/restricting
1841   # also throw in a group_by if restricting to guard against
1842   # cross-join explosions
1843   #
1844   while (my $j = shift @$from) {
1845     my $alias = $j->[0]{-alias};
1846
1847     if ($select_aliases->{$alias} || $prefetch_aliases->{$alias}) {
1848       push @outer_from, $j;
1849     }
1850     elsif ($restrict_aliases->{$alias}) {
1851       push @outer_from, $j;
1852
1853       # FIXME - this should be obviated by SQLA2, as I'll be able to 
1854       # have restrict_inner and restrict_outer... or something to that
1855       # effect... I think...
1856
1857       # FIXME2 - I can't find a clean way to determine if a particular join
1858       # is a multi - instead I am just treating everything as a potential
1859       # explosive join (ribasushi)
1860       #
1861       # if (my $handle = $j->[0]{-source_handle}) {
1862       #   my $rsrc = $handle->resolve;
1863       #   ... need to bail out of the following if this is not a multi,
1864       #       as it will be much easier on the db ...
1865
1866           $outer_attrs->{group_by} ||= $outer_select;
1867       # }
1868     }
1869   }
1870
1871   # demote the outer_from head
1872   $outer_from[0] = $outer_from[0][0];
1873
1874   # This is totally horrific - the $where ends up in both the inner and outer query
1875   # Unfortunately not much can be done until SQLA2 introspection arrives, and even
1876   # then if where conditions apply to the *right* side of the prefetch, you may have
1877   # to both filter the inner select (e.g. to apply a limit) and then have to re-filter
1878   # the outer select to exclude joins you didin't want in the first place
1879   #
1880   # OTOH it can be seen as a plus: <ash> (notes that this query would make a DBA cry ;)
1881   return (\@outer_from, $outer_select, $where, $outer_attrs);
1882 }
1883
1884 sub _resolve_ident_sources {
1885   my ($self, $ident) = @_;
1886
1887   my $alias2source = {};
1888   my $rs_alias;
1889
1890   # the reason this is so contrived is that $ident may be a {from}
1891   # structure, specifying multiple tables to join
1892   if ( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1893     # this is compat mode for insert/update/delete which do not deal with aliases
1894     $alias2source->{me} = $ident;
1895     $rs_alias = 'me';
1896   }
1897   elsif (ref $ident eq 'ARRAY') {
1898
1899     for (@$ident) {
1900       my $tabinfo;
1901       if (ref $_ eq 'HASH') {
1902         $tabinfo = $_;
1903         $rs_alias = $tabinfo->{-alias};
1904       }
1905       if (ref $_ eq 'ARRAY' and ref $_->[0] eq 'HASH') {
1906         $tabinfo = $_->[0];
1907       }
1908
1909       $alias2source->{$tabinfo->{-alias}} = $tabinfo->{-source_handle}->resolve
1910         if ($tabinfo->{-source_handle});
1911     }
1912   }
1913
1914   return ($alias2source, $rs_alias);
1915 }
1916
1917 # Takes $ident, \@column_names
1918 #
1919 # returns { $column_name => \%column_info, ... }
1920 # also note: this adds -result_source => $rsrc to the column info
1921 #
1922 # usage:
1923 #   my $col_sources = $self->_resolve_column_info($ident, @column_names);
1924 sub _resolve_column_info {
1925   my ($self, $ident, $colnames) = @_;
1926   my ($alias2src, $root_alias) = $self->_resolve_ident_sources($ident);
1927
1928   my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1929   $sep = "\Q$sep\E";
1930
1931   my (%return, %seen_cols);
1932
1933   # compile a global list of column names, to be able to properly
1934   # disambiguate unqualified column names (if at all possible)
1935   for my $alias (keys %$alias2src) {
1936     my $rsrc = $alias2src->{$alias};
1937     for my $colname ($rsrc->columns) {
1938       push @{$seen_cols{$colname}}, $alias;
1939     }
1940   }
1941
1942   COLUMN:
1943   foreach my $col (@$colnames) {
1944     my ($alias, $colname) = $col =~ m/^ (?: ([^$sep]+) $sep)? (.+) $/x;
1945
1946     unless ($alias) {
1947       # see if the column was seen exactly once (so we know which rsrc it came from)
1948       if ($seen_cols{$colname} and @{$seen_cols{$colname}} == 1) {
1949         $alias = $seen_cols{$colname}[0];
1950       }
1951       else {
1952         next COLUMN;
1953       }
1954     }
1955
1956     my $rsrc = $alias2src->{$alias};
1957     $return{$col} = $rsrc && {
1958       %{$rsrc->column_info($colname)},
1959       -result_source => $rsrc,
1960       -source_alias => $alias,
1961     };
1962   }
1963
1964   return \%return;
1965 }
1966
1967 # Returns a counting SELECT for a simple count
1968 # query. Abstracted so that a storage could override
1969 # this to { count => 'firstcol' } or whatever makes
1970 # sense as a performance optimization
1971 sub _count_select {
1972   #my ($self, $source, $rs_attrs) = @_;
1973   return { count => '*' };
1974 }
1975
1976 # Returns a SELECT which will end up in the subselect
1977 # There may or may not be a group_by, as the subquery
1978 # might have been called to accomodate a limit
1979 #
1980 # Most databases would be happy with whatever ends up
1981 # here, but some choke in various ways.
1982 #
1983 sub _subq_count_select {
1984   my ($self, $source, $rs_attrs) = @_;
1985   return $rs_attrs->{group_by} if $rs_attrs->{group_by};
1986
1987   my @pcols = map { join '.', $rs_attrs->{alias}, $_ } ($source->primary_columns);
1988   return @pcols ? \@pcols : [ 1 ];
1989 }
1990
1991 #
1992 # Returns an ordered list of column names before they are used
1993 # in a SELECT statement. By default simply returns the list
1994 # passed in.
1995 #
1996 # This may be overridden in a specific storage when there are
1997 # requirements such as moving BLOB columns to the end of the 
1998 # SELECT list.
1999 sub _order_select_columns {
2000   #my ($self, $source, $columns) = @_;
2001   return @{$_[2]};
2002 }
2003
2004 sub source_bind_attributes {
2005   my ($self, $source) = @_;
2006
2007   my $bind_attributes;
2008   foreach my $column ($source->columns) {
2009
2010     my $data_type = $source->column_info($column)->{data_type} || '';
2011     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
2012      if $data_type;
2013   }
2014
2015   return $bind_attributes;
2016 }
2017
2018 =head2 select
2019
2020 =over 4
2021
2022 =item Arguments: $ident, $select, $condition, $attrs
2023
2024 =back
2025
2026 Handle a SQL select statement.
2027
2028 =cut
2029
2030 sub select {
2031   my $self = shift;
2032   my ($ident, $select, $condition, $attrs) = @_;
2033   return $self->cursor_class->new($self, \@_, $attrs);
2034 }
2035
2036 sub select_single {
2037   my $self = shift;
2038   my ($rv, $sth, @bind) = $self->_select(@_);
2039   my @row = $sth->fetchrow_array;
2040   my @nextrow = $sth->fetchrow_array if @row;
2041   if(@row && @nextrow) {
2042     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
2043   }
2044   # Need to call finish() to work round broken DBDs
2045   $sth->finish();
2046   return @row;
2047 }
2048
2049 =head2 sth
2050
2051 =over 4
2052
2053 =item Arguments: $sql
2054
2055 =back
2056
2057 Returns a L<DBI> sth (statement handle) for the supplied SQL.
2058
2059 =cut
2060
2061 sub _dbh_sth {
2062   my ($self, $dbh, $sql) = @_;
2063
2064   # 3 is the if_active parameter which avoids active sth re-use
2065   my $sth = $self->disable_sth_caching
2066     ? $dbh->prepare($sql)
2067     : $dbh->prepare_cached($sql, {}, 3);
2068
2069   # XXX You would think RaiseError would make this impossible,
2070   #  but apparently that's not true :(
2071   $self->throw_exception($dbh->errstr) if !$sth;
2072
2073   $sth;
2074 }
2075
2076 sub sth {
2077   my ($self, $sql) = @_;
2078   $self->dbh_do('_dbh_sth', $sql);  # retry over disconnects
2079 }
2080
2081 sub _dbh_columns_info_for {
2082   my ($self, $dbh, $table) = @_;
2083
2084   if ($dbh->can('column_info')) {
2085     my %result;
2086     eval {
2087       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
2088       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
2089       $sth->execute();
2090       while ( my $info = $sth->fetchrow_hashref() ){
2091         my %column_info;
2092         $column_info{data_type}   = $info->{TYPE_NAME};
2093         $column_info{size}      = $info->{COLUMN_SIZE};
2094         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
2095         $column_info{default_value} = $info->{COLUMN_DEF};
2096         my $col_name = $info->{COLUMN_NAME};
2097         $col_name =~ s/^\"(.*)\"$/$1/;
2098
2099         $result{$col_name} = \%column_info;
2100       }
2101     };
2102     return \%result if !$@ && scalar keys %result;
2103   }
2104
2105   my %result;
2106   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
2107   $sth->execute;
2108   my @columns = @{$sth->{NAME_lc}};
2109   for my $i ( 0 .. $#columns ){
2110     my %column_info;
2111     $column_info{data_type} = $sth->{TYPE}->[$i];
2112     $column_info{size} = $sth->{PRECISION}->[$i];
2113     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
2114
2115     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
2116       $column_info{data_type} = $1;
2117       $column_info{size}    = $2;
2118     }
2119
2120     $result{$columns[$i]} = \%column_info;
2121   }
2122   $sth->finish;
2123
2124   foreach my $col (keys %result) {
2125     my $colinfo = $result{$col};
2126     my $type_num = $colinfo->{data_type};
2127     my $type_name;
2128     if(defined $type_num && $dbh->can('type_info')) {
2129       my $type_info = $dbh->type_info($type_num);
2130       $type_name = $type_info->{TYPE_NAME} if $type_info;
2131       $colinfo->{data_type} = $type_name if $type_name;
2132     }
2133   }
2134
2135   return \%result;
2136 }
2137
2138 sub columns_info_for {
2139   my ($self, $table) = @_;
2140   $self->_dbh_columns_info_for ($self->_get_dbh, $table);
2141 }
2142
2143 =head2 last_insert_id
2144
2145 Return the row id of the last insert.
2146
2147 =cut
2148
2149 sub _dbh_last_insert_id {
2150     # All Storage's need to register their own _dbh_last_insert_id
2151     # the old SQLite-based method was highly inappropriate
2152
2153     my $self = shift;
2154     my $class = ref $self;
2155     $self->throw_exception (<<EOE);
2156
2157 No _dbh_last_insert_id() method found in $class.
2158 Since the method of obtaining the autoincrement id of the last insert
2159 operation varies greatly between different databases, this method must be
2160 individually implemented for every storage class.
2161 EOE
2162 }
2163
2164 sub last_insert_id {
2165   my $self = shift;
2166   $self->_dbh_last_insert_id ($self->_dbh, @_);
2167 }
2168
2169 =head2 _native_data_type
2170
2171 =over 4
2172
2173 =item Arguments: $type_name
2174
2175 =back
2176
2177 This API is B<EXPERIMENTAL>, will almost definitely change in the future, and
2178 currently only used by L<::AutoCast|DBIx::Class::Storage::DBI::AutoCast> and
2179 L<::Sybase|DBIx::Class::Storage::DBI::Sybase>.
2180
2181 The default implementation returns C<undef>, implement in your Storage driver if
2182 you need this functionality.
2183
2184 Should map types from other databases to the native RDBMS type, for example
2185 C<VARCHAR2> to C<VARCHAR>.
2186
2187 Types with modifiers should map to the underlying data type. For example,
2188 C<INTEGER AUTO_INCREMENT> should become C<INTEGER>.
2189
2190 Composite types should map to the container type, for example
2191 C<ENUM(foo,bar,baz)> becomes C<ENUM>.
2192
2193 =cut
2194
2195 sub _native_data_type {
2196   #my ($self, $data_type) = @_;
2197   return undef
2198 }
2199
2200 # Check if placeholders are supported at all
2201 sub _placeholders_supported {
2202   my $self = shift;
2203   my $dbh  = $self->_get_dbh;
2204
2205   # some drivers provide a $dbh attribute (e.g. Sybase and $dbh->{syb_dynamic_supported})
2206   # but it is inaccurate more often than not
2207   eval {
2208     local $dbh->{PrintError} = 0;
2209     local $dbh->{RaiseError} = 1;
2210     $dbh->do('select ?', {}, 1);
2211   };
2212   return $@ ? 0 : 1;
2213 }
2214
2215 # Check if placeholders bound to non-string types throw exceptions
2216 #
2217 sub _typeless_placeholders_supported {
2218   my $self = shift;
2219   my $dbh  = $self->_get_dbh;
2220
2221   eval {
2222     local $dbh->{PrintError} = 0;
2223     local $dbh->{RaiseError} = 1;
2224     # this specifically tests a bind that is NOT a string
2225     $dbh->do('select 1 where 1 = ?', {}, 1);
2226   };
2227   return $@ ? 0 : 1;
2228 }
2229
2230 =head2 sqlt_type
2231
2232 Returns the database driver name.
2233
2234 =cut
2235
2236 sub sqlt_type {
2237   my ($self) = @_;
2238
2239   if (not $self->_driver_determined) {
2240     $self->_determine_driver;
2241     goto $self->can ('sqlt_type');
2242   }
2243
2244   $self->_get_dbh->{Driver}->{Name};
2245 }
2246
2247 =head2 bind_attribute_by_data_type
2248
2249 Given a datatype from column info, returns a database specific bind
2250 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
2251 let the database planner just handle it.
2252
2253 Generally only needed for special case column types, like bytea in postgres.
2254
2255 =cut
2256
2257 sub bind_attribute_by_data_type {
2258     return;
2259 }
2260
2261 =head2 is_datatype_numeric
2262
2263 Given a datatype from column_info, returns a boolean value indicating if
2264 the current RDBMS considers it a numeric value. This controls how
2265 L<DBIx::Class::Row/set_column> decides whether to mark the column as
2266 dirty - when the datatype is deemed numeric a C<< != >> comparison will
2267 be performed instead of the usual C<eq>.
2268
2269 =cut
2270
2271 sub is_datatype_numeric {
2272   my ($self, $dt) = @_;
2273
2274   return 0 unless $dt;
2275
2276   return $dt =~ /^ (?:
2277     numeric | int(?:eger)? | (?:tiny|small|medium|big)int | dec(?:imal)? | real | float | double (?: \s+ precision)? | (?:big)?serial
2278   ) $/ix;
2279 }
2280
2281
2282 =head2 create_ddl_dir (EXPERIMENTAL)
2283
2284 =over 4
2285
2286 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
2287
2288 =back
2289
2290 Creates a SQL file based on the Schema, for each of the specified
2291 database engines in C<\@databases> in the given directory.
2292 (note: specify L<SQL::Translator> names, not L<DBI> driver names).
2293
2294 Given a previous version number, this will also create a file containing
2295 the ALTER TABLE statements to transform the previous schema into the
2296 current one. Note that these statements may contain C<DROP TABLE> or
2297 C<DROP COLUMN> statements that can potentially destroy data.
2298
2299 The file names are created using the C<ddl_filename> method below, please
2300 override this method in your schema if you would like a different file
2301 name format. For the ALTER file, the same format is used, replacing
2302 $version in the name with "$preversion-$version".
2303
2304 See L<SQL::Translator/METHODS> for a list of values for C<\%sqlt_args>.
2305 The most common value for this would be C<< { add_drop_table => 1 } >>
2306 to have the SQL produced include a C<DROP TABLE> statement for each table
2307 created. For quoting purposes supply C<quote_table_names> and
2308 C<quote_field_names>.
2309
2310 If no arguments are passed, then the following default values are assumed:
2311
2312 =over 4
2313
2314 =item databases  - ['MySQL', 'SQLite', 'PostgreSQL']
2315
2316 =item version    - $schema->schema_version
2317
2318 =item directory  - './'
2319
2320 =item preversion - <none>
2321
2322 =back
2323
2324 By default, C<\%sqlt_args> will have
2325
2326  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
2327
2328 merged with the hash passed in. To disable any of those features, pass in a
2329 hashref like the following
2330
2331  { ignore_constraint_names => 0, # ... other options }
2332
2333
2334 Note that this feature is currently EXPERIMENTAL and may not work correctly
2335 across all databases, or fully handle complex relationships.
2336
2337 WARNING: Please check all SQL files created, before applying them.
2338
2339 =cut
2340
2341 sub create_ddl_dir {
2342   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
2343
2344   if(!$dir || !-d $dir) {
2345     carp "No directory given, using ./\n";
2346     $dir = "./";
2347   }
2348   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
2349   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
2350
2351   my $schema_version = $schema->schema_version || '1.x';
2352   $version ||= $schema_version;
2353
2354   $sqltargs = {
2355     add_drop_table => 1,
2356     ignore_constraint_names => 1,
2357     ignore_index_names => 1,
2358     %{$sqltargs || {}}
2359   };
2360
2361   $self->throw_exception("Can't create a ddl file without SQL::Translator: " . $self->_sqlt_version_error)
2362     if !$self->_sqlt_version_ok;
2363
2364   my $sqlt = SQL::Translator->new( $sqltargs );
2365
2366   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
2367   my $sqlt_schema = $sqlt->translate({ data => $schema })
2368     or $self->throw_exception ($sqlt->error);
2369
2370   foreach my $db (@$databases) {
2371     $sqlt->reset();
2372     $sqlt->{schema} = $sqlt_schema;
2373     $sqlt->producer($db);
2374
2375     my $file;
2376     my $filename = $schema->ddl_filename($db, $version, $dir);
2377     if (-e $filename && ($version eq $schema_version )) {
2378       # if we are dumping the current version, overwrite the DDL
2379       carp "Overwriting existing DDL file - $filename";
2380       unlink($filename);
2381     }
2382
2383     my $output = $sqlt->translate;
2384     if(!$output) {
2385       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
2386       next;
2387     }
2388     if(!open($file, ">$filename")) {
2389       $self->throw_exception("Can't open $filename for writing ($!)");
2390       next;
2391     }
2392     print $file $output;
2393     close($file);
2394
2395     next unless ($preversion);
2396
2397     require SQL::Translator::Diff;
2398
2399     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
2400     if(!-e $prefilename) {
2401       carp("No previous schema file found ($prefilename)");
2402       next;
2403     }
2404
2405     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
2406     if(-e $difffile) {
2407       carp("Overwriting existing diff file - $difffile");
2408       unlink($difffile);
2409     }
2410
2411     my $source_schema;
2412     {
2413       my $t = SQL::Translator->new($sqltargs);
2414       $t->debug( 0 );
2415       $t->trace( 0 );
2416
2417       $t->parser( $db )
2418         or $self->throw_exception ($t->error);
2419
2420       my $out = $t->translate( $prefilename )
2421         or $self->throw_exception ($t->error);
2422
2423       $source_schema = $t->schema;
2424
2425       $source_schema->name( $prefilename )
2426         unless ( $source_schema->name );
2427     }
2428
2429     # The "new" style of producers have sane normalization and can support
2430     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
2431     # And we have to diff parsed SQL against parsed SQL.
2432     my $dest_schema = $sqlt_schema;
2433
2434     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
2435       my $t = SQL::Translator->new($sqltargs);
2436       $t->debug( 0 );
2437       $t->trace( 0 );
2438
2439       $t->parser( $db )
2440         or $self->throw_exception ($t->error);
2441
2442       my $out = $t->translate( $filename )
2443         or $self->throw_exception ($t->error);
2444
2445       $dest_schema = $t->schema;
2446
2447       $dest_schema->name( $filename )
2448         unless $dest_schema->name;
2449     }
2450
2451     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
2452                                                   $dest_schema,   $db,
2453                                                   $sqltargs
2454                                                  );
2455     if(!open $file, ">$difffile") {
2456       $self->throw_exception("Can't write to $difffile ($!)");
2457       next;
2458     }
2459     print $file $diff;
2460     close($file);
2461   }
2462 }
2463
2464 =head2 deployment_statements
2465
2466 =over 4
2467
2468 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
2469
2470 =back
2471
2472 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
2473
2474 The L<SQL::Translator> (not L<DBI>) database driver name can be explicitly
2475 provided in C<$type>, otherwise the result of L</sqlt_type> is used as default.
2476
2477 C<$directory> is used to return statements from files in a previously created
2478 L</create_ddl_dir> directory and is optional. The filenames are constructed
2479 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
2480
2481 If no C<$directory> is specified then the statements are constructed on the
2482 fly using L<SQL::Translator> and C<$version> is ignored.
2483
2484 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
2485
2486 =cut
2487
2488 sub deployment_statements {
2489   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
2490   $type ||= $self->sqlt_type;
2491   $version ||= $schema->schema_version || '1.x';
2492   $dir ||= './';
2493   my $filename = $schema->ddl_filename($type, $version, $dir);
2494   if(-f $filename)
2495   {
2496       my $file;
2497       open($file, "<$filename")
2498         or $self->throw_exception("Can't open $filename ($!)");
2499       my @rows = <$file>;
2500       close($file);
2501       return join('', @rows);
2502   }
2503
2504   $self->throw_exception("Can't deploy without either SQL::Translator or a ddl_dir: " . $self->_sqlt_version_error )
2505     if !$self->_sqlt_version_ok;
2506
2507   # sources needs to be a parser arg, but for simplicty allow at top level
2508   # coming in
2509   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
2510       if exists $sqltargs->{sources};
2511
2512   my $tr = SQL::Translator->new(
2513     producer => "SQL::Translator::Producer::${type}",
2514     %$sqltargs,
2515     parser => 'SQL::Translator::Parser::DBIx::Class',
2516     data => $schema,
2517   );
2518   return $tr->translate;
2519 }
2520
2521 sub deploy {
2522   my ($self, $schema, $type, $sqltargs, $dir) = @_;
2523   my $deploy = sub {
2524     my $line = shift;
2525     return if($line =~ /^--/);
2526     return if(!$line);
2527     # next if($line =~ /^DROP/m);
2528     return if($line =~ /^BEGIN TRANSACTION/m);
2529     return if($line =~ /^COMMIT/m);
2530     return if $line =~ /^\s+$/; # skip whitespace only
2531     $self->_query_start($line);
2532     eval {
2533       # do a dbh_do cycle here, as we need some error checking in
2534       # place (even though we will ignore errors)
2535       $self->dbh_do (sub { $_[1]->do($line) });
2536     };
2537     if ($@) {
2538       carp qq{$@ (running "${line}")};
2539     }
2540     $self->_query_end($line);
2541   };
2542   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
2543   if (@statements > 1) {
2544     foreach my $statement (@statements) {
2545       $deploy->( $statement );
2546     }
2547   }
2548   elsif (@statements == 1) {
2549     foreach my $line ( split(";\n", $statements[0])) {
2550       $deploy->( $line );
2551     }
2552   }
2553 }
2554
2555 =head2 datetime_parser
2556
2557 Returns the datetime parser class
2558
2559 =cut
2560
2561 sub datetime_parser {
2562   my $self = shift;
2563   return $self->{datetime_parser} ||= do {
2564     $self->build_datetime_parser(@_);
2565   };
2566 }
2567
2568 =head2 datetime_parser_type
2569
2570 Defines (returns) the datetime parser class - currently hardwired to
2571 L<DateTime::Format::MySQL>
2572
2573 =cut
2574
2575 sub datetime_parser_type { "DateTime::Format::MySQL"; }
2576
2577 =head2 build_datetime_parser
2578
2579 See L</datetime_parser>
2580
2581 =cut
2582
2583 sub build_datetime_parser {
2584   if (not $_[0]->_driver_determined) {
2585     $_[0]->_determine_driver;
2586     goto $_[0]->can('build_datetime_parser');
2587   }
2588
2589   my $self = shift;
2590   my $type = $self->datetime_parser_type(@_);
2591   $self->ensure_class_loaded ($type);
2592   return $type;
2593 }
2594
2595
2596 =head2 is_replicating
2597
2598 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
2599 replicate from a master database.  Default is undef, which is the result
2600 returned by databases that don't support replication.
2601
2602 =cut
2603
2604 sub is_replicating {
2605     return;
2606
2607 }
2608
2609 =head2 lag_behind_master
2610
2611 Returns a number that represents a certain amount of lag behind a master db
2612 when a given storage is replicating.  The number is database dependent, but
2613 starts at zero and increases with the amount of lag. Default in undef
2614
2615 =cut
2616
2617 sub lag_behind_master {
2618     return;
2619 }
2620
2621 sub DESTROY {
2622   my $self = shift;
2623
2624   $self->_verify_pid if $self->_dbh;
2625
2626   # some databases need this to stop spewing warnings
2627   if (my $dbh = $self->_dbh) {
2628     local $@;
2629     eval { $dbh->disconnect };
2630   }
2631
2632   $self->_dbh(undef);
2633 }
2634
2635 1;
2636
2637 =head1 USAGE NOTES
2638
2639 =head2 DBIx::Class and AutoCommit
2640
2641 DBIx::Class can do some wonderful magic with handling exceptions,
2642 disconnections, and transactions when you use C<< AutoCommit => 1 >>
2643 (the default) combined with C<txn_do> for transaction support.
2644
2645 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
2646 in an assumed transaction between commits, and you're telling us you'd
2647 like to manage that manually.  A lot of the magic protections offered by
2648 this module will go away.  We can't protect you from exceptions due to database
2649 disconnects because we don't know anything about how to restart your
2650 transactions.  You're on your own for handling all sorts of exceptional
2651 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
2652 be with raw DBI.
2653
2654
2655 =head1 AUTHORS
2656
2657 Matt S. Trout <mst@shadowcatsystems.co.uk>
2658
2659 Andy Grundman <andy@hybridized.org>
2660
2661 =head1 LICENSE
2662
2663 You may distribute this code under the same terms as Perl itself.
2664
2665 =cut