remove some duplicate code
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI.pm
1 package DBIx::Class::Storage::DBI;
2 # -*- mode: cperl; cperl-indent-level: 2 -*-
3
4 use strict;
5 use warnings;
6
7 use base 'DBIx::Class::Storage';
8 use mro 'c3';
9
10 use Carp::Clan qw/^DBIx::Class/;
11 use DBI;
12 use DBIx::Class::Storage::DBI::Cursor;
13 use DBIx::Class::Storage::Statistics;
14 use Scalar::Util();
15 use List::Util();
16
17 # what version of sqlt do we require if deploy() without a ddl_dir is invoked
18 # when changing also adjust the corresponding author_require in Makefile.PL
19 my $minimum_sqlt_version = '0.11002';
20
21
22 __PACKAGE__->mk_group_accessors('simple' =>
23   qw/_connect_info _dbi_connect_info _dbh _sql_maker _sql_maker_opts _conn_pid
24      _conn_tid transaction_depth _dbh_autocommit _driver_determined savepoints/
25 );
26
27 # the values for these accessors are picked out (and deleted) from
28 # the attribute hashref passed to connect_info
29 my @storage_options = qw/
30   on_connect_call on_disconnect_call on_connect_do on_disconnect_do
31   disable_sth_caching unsafe auto_savepoint
32 /;
33 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
34
35
36 # default cursor class, overridable in connect_info attributes
37 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
38
39 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
40 __PACKAGE__->sql_maker_class('DBIx::Class::SQLAHacks');
41
42
43 =head1 NAME
44
45 DBIx::Class::Storage::DBI - DBI storage handler
46
47 =head1 SYNOPSIS
48
49   my $schema = MySchema->connect('dbi:SQLite:my.db');
50
51   $schema->storage->debug(1);
52
53   my @stuff = $schema->storage->dbh_do(
54     sub {
55       my ($storage, $dbh, @args) = @_;
56       $dbh->do("DROP TABLE authors");
57     },
58     @column_list
59   );
60
61   $schema->resultset('Book')->search({
62      written_on => $schema->storage->datetime_parser(DateTime->now)
63   });
64
65 =head1 DESCRIPTION
66
67 This class represents the connection to an RDBMS via L<DBI>.  See
68 L<DBIx::Class::Storage> for general information.  This pod only
69 documents DBI-specific methods and behaviors.
70
71 =head1 METHODS
72
73 =cut
74
75 sub new {
76   my $new = shift->next::method(@_);
77
78   $new->transaction_depth(0);
79   $new->_sql_maker_opts({});
80   $new->{savepoints} = [];
81   $new->{_in_dbh_do} = 0;
82   $new->{_dbh_gen} = 0;
83
84   $new;
85 }
86
87 =head2 connect_info
88
89 This method is normally called by L<DBIx::Class::Schema/connection>, which
90 encapsulates its argument list in an arrayref before passing them here.
91
92 The argument list may contain:
93
94 =over
95
96 =item *
97
98 The same 4-element argument set one would normally pass to
99 L<DBI/connect>, optionally followed by
100 L<extra attributes|/DBIx::Class specific connection attributes>
101 recognized by DBIx::Class:
102
103   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
104
105 =item *
106
107 A single code reference which returns a connected
108 L<DBI database handle|DBI/connect> optionally followed by
109 L<extra attributes|/DBIx::Class specific connection attributes> recognized
110 by DBIx::Class:
111
112   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
113
114 =item *
115
116 A single hashref with all the attributes and the dsn/user/password
117 mixed together:
118
119   $connect_info_args = [{
120     dsn => $dsn,
121     user => $user,
122     password => $pass,
123     %dbi_attributes,
124     %extra_attributes,
125   }];
126
127   $connect_info_args = [{
128     dbh_maker => sub { DBI->connect (...) },
129     %dbi_attributes,
130     %extra_attributes,
131   }];
132
133 This is particularly useful for L<Catalyst> based applications, allowing the
134 following config (L<Config::General> style):
135
136   <Model::DB>
137     schema_class   App::DB
138     <connect_info>
139       dsn          dbi:mysql:database=test
140       user         testuser
141       password     TestPass
142       AutoCommit   1
143     </connect_info>
144   </Model::DB>
145
146 The C<dsn>/C<user>/C<password> combination can be substituted by the
147 C<dbh_maker> key whose value is a coderef that returns a connected
148 L<DBI database handle|DBI/connect>
149
150 =back
151
152 Please note that the L<DBI> docs recommend that you always explicitly
153 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
154 recommends that it be set to I<1>, and that you perform transactions
155 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
156 to I<1> if you do not do explicitly set it to zero.  This is the default
157 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
158
159 =head3 DBIx::Class specific connection attributes
160
161 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
162 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
163 the following connection options. These options can be mixed in with your other
164 L<DBI> connection attributes, or placed in a seperate hashref
165 (C<\%extra_attributes>) as shown above.
166
167 Every time C<connect_info> is invoked, any previous settings for
168 these options will be cleared before setting the new ones, regardless of
169 whether any options are specified in the new C<connect_info>.
170
171
172 =over
173
174 =item on_connect_do
175
176 Specifies things to do immediately after connecting or re-connecting to
177 the database.  Its value may contain:
178
179 =over
180
181 =item a scalar
182
183 This contains one SQL statement to execute.
184
185 =item an array reference
186
187 This contains SQL statements to execute in order.  Each element contains
188 a string or a code reference that returns a string.
189
190 =item a code reference
191
192 This contains some code to execute.  Unlike code references within an
193 array reference, its return value is ignored.
194
195 =back
196
197 =item on_disconnect_do
198
199 Takes arguments in the same form as L</on_connect_do> and executes them
200 immediately before disconnecting from the database.
201
202 Note, this only runs if you explicitly call L</disconnect> on the
203 storage object.
204
205 =item on_connect_call
206
207 A more generalized form of L</on_connect_do> that calls the specified
208 C<connect_call_METHOD> methods in your storage driver.
209
210   on_connect_do => 'select 1'
211
212 is equivalent to:
213
214   on_connect_call => [ [ do_sql => 'select 1' ] ]
215
216 Its values may contain:
217
218 =over
219
220 =item a scalar
221
222 Will call the C<connect_call_METHOD> method.
223
224 =item a code reference
225
226 Will execute C<< $code->($storage) >>
227
228 =item an array reference
229
230 Each value can be a method name or code reference.
231
232 =item an array of arrays
233
234 For each array, the first item is taken to be the C<connect_call_> method name
235 or code reference, and the rest are parameters to it.
236
237 =back
238
239 Some predefined storage methods you may use:
240
241 =over
242
243 =item do_sql
244
245 Executes a SQL string or a code reference that returns a SQL string. This is
246 what L</on_connect_do> and L</on_disconnect_do> use.
247
248 It can take:
249
250 =over
251
252 =item a scalar
253
254 Will execute the scalar as SQL.
255
256 =item an arrayref
257
258 Taken to be arguments to L<DBI/do>, the SQL string optionally followed by the
259 attributes hashref and bind values.
260
261 =item a code reference
262
263 Will execute C<< $code->($storage) >> and execute the return array refs as
264 above.
265
266 =back
267
268 =item datetime_setup
269
270 Execute any statements necessary to initialize the database session to return
271 and accept datetime/timestamp values used with
272 L<DBIx::Class::InflateColumn::DateTime>.
273
274 Only necessary for some databases, see your specific storage driver for
275 implementation details.
276
277 =back
278
279 =item on_disconnect_call
280
281 Takes arguments in the same form as L</on_connect_call> and executes them
282 immediately before disconnecting from the database.
283
284 Calls the C<disconnect_call_METHOD> methods as opposed to the
285 C<connect_call_METHOD> methods called by L</on_connect_call>.
286
287 Note, this only runs if you explicitly call L</disconnect> on the
288 storage object.
289
290 =item disable_sth_caching
291
292 If set to a true value, this option will disable the caching of
293 statement handles via L<DBI/prepare_cached>.
294
295 =item limit_dialect
296
297 Sets the limit dialect. This is useful for JDBC-bridge among others
298 where the remote SQL-dialect cannot be determined by the name of the
299 driver alone. See also L<SQL::Abstract::Limit>.
300
301 =item quote_char
302
303 Specifies what characters to use to quote table and column names. If
304 you use this you will want to specify L</name_sep> as well.
305
306 C<quote_char> expects either a single character, in which case is it
307 is placed on either side of the table/column name, or an arrayref of length
308 2 in which case the table/column name is placed between the elements.
309
310 For example under MySQL you should use C<< quote_char => '`' >>, and for
311 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
312
313 =item name_sep
314
315 This only needs to be used in conjunction with C<quote_char>, and is used to
316 specify the charecter that seperates elements (schemas, tables, columns) from
317 each other. In most cases this is simply a C<.>.
318
319 The consequences of not supplying this value is that L<SQL::Abstract>
320 will assume DBIx::Class' uses of aliases to be complete column
321 names. The output will look like I<"me.name"> when it should actually
322 be I<"me"."name">.
323
324 =item unsafe
325
326 This Storage driver normally installs its own C<HandleError>, sets
327 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
328 all database handles, including those supplied by a coderef.  It does this
329 so that it can have consistent and useful error behavior.
330
331 If you set this option to a true value, Storage will not do its usual
332 modifications to the database handle's attributes, and instead relies on
333 the settings in your connect_info DBI options (or the values you set in
334 your connection coderef, in the case that you are connecting via coderef).
335
336 Note that your custom settings can cause Storage to malfunction,
337 especially if you set a C<HandleError> handler that suppresses exceptions
338 and/or disable C<RaiseError>.
339
340 =item auto_savepoint
341
342 If this option is true, L<DBIx::Class> will use savepoints when nesting
343 transactions, making it possible to recover from failure in the inner
344 transaction without having to abort all outer transactions.
345
346 =item cursor_class
347
348 Use this argument to supply a cursor class other than the default
349 L<DBIx::Class::Storage::DBI::Cursor>.
350
351 =back
352
353 Some real-life examples of arguments to L</connect_info> and
354 L<DBIx::Class::Schema/connect>
355
356   # Simple SQLite connection
357   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
358
359   # Connect via subref
360   ->connect_info([ sub { DBI->connect(...) } ]);
361
362   # Connect via subref in hashref
363   ->connect_info([{
364     dbh_maker => sub { DBI->connect(...) },
365     on_connect_do => 'alter session ...',
366   }]);
367
368   # A bit more complicated
369   ->connect_info(
370     [
371       'dbi:Pg:dbname=foo',
372       'postgres',
373       'my_pg_password',
374       { AutoCommit => 1 },
375       { quote_char => q{"}, name_sep => q{.} },
376     ]
377   );
378
379   # Equivalent to the previous example
380   ->connect_info(
381     [
382       'dbi:Pg:dbname=foo',
383       'postgres',
384       'my_pg_password',
385       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
386     ]
387   );
388
389   # Same, but with hashref as argument
390   # See parse_connect_info for explanation
391   ->connect_info(
392     [{
393       dsn         => 'dbi:Pg:dbname=foo',
394       user        => 'postgres',
395       password    => 'my_pg_password',
396       AutoCommit  => 1,
397       quote_char  => q{"},
398       name_sep    => q{.},
399     }]
400   );
401
402   # Subref + DBIx::Class-specific connection options
403   ->connect_info(
404     [
405       sub { DBI->connect(...) },
406       {
407           quote_char => q{`},
408           name_sep => q{@},
409           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
410           disable_sth_caching => 1,
411       },
412     ]
413   );
414
415
416
417 =cut
418
419 sub connect_info {
420   my ($self, $info_arg) = @_;
421
422   return $self->_connect_info if !$info_arg;
423
424   my @args = @$info_arg;  # take a shallow copy for further mutilation
425   $self->_connect_info([@args]); # copy for _connect_info
426
427
428   # combine/pre-parse arguments depending on invocation style
429
430   my %attrs;
431   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
432     %attrs = %{ $args[1] || {} };
433     @args = $args[0];
434   }
435   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
436     %attrs = %{$args[0]};
437     @args = ();
438     if (my $code = delete $attrs{dbh_maker}) {
439       @args = $code;
440
441       my @ignored = grep { delete $attrs{$_} } (qw/dsn user password/);
442       if (@ignored) {
443         carp sprintf (
444             'Attribute(s) %s in connect_info were ignored, as they can not be applied '
445           . "to the result of 'dbh_maker'",
446
447           join (', ', map { "'$_'" } (@ignored) ),
448         );
449       }
450     }
451     else {
452       @args = delete @attrs{qw/dsn user password/};
453     }
454   }
455   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
456     %attrs = (
457       % { $args[3] || {} },
458       % { $args[4] || {} },
459     );
460     @args = @args[0,1,2];
461   }
462
463   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
464   #  the new set of options
465   $self->_sql_maker(undef);
466   $self->_sql_maker_opts({});
467
468   if(keys %attrs) {
469     for my $storage_opt (@storage_options, 'cursor_class') {    # @storage_options is declared at the top of the module
470       if(my $value = delete $attrs{$storage_opt}) {
471         $self->$storage_opt($value);
472       }
473     }
474     for my $sql_maker_opt (qw/limit_dialect quote_char name_sep/) {
475       if(my $opt_val = delete $attrs{$sql_maker_opt}) {
476         $self->_sql_maker_opts->{$sql_maker_opt} = $opt_val;
477       }
478     }
479   }
480
481   if (ref $args[0] eq 'CODE') {
482     # _connect() never looks past $args[0] in this case
483     %attrs = ()
484   } else {
485     %attrs = (
486       %{ $self->_default_dbi_connect_attributes || {} },
487       %attrs,
488     );
489   }
490
491   $self->_dbi_connect_info([@args, keys %attrs ? \%attrs : ()]);
492   $self->_connect_info;
493 }
494
495 sub _default_dbi_connect_attributes {
496   return {
497     AutoCommit => 1,
498     RaiseError => 1,
499     PrintError => 0,
500   };
501 }
502
503 =head2 on_connect_do
504
505 This method is deprecated in favour of setting via L</connect_info>.
506
507 =cut
508
509 =head2 on_disconnect_do
510
511 This method is deprecated in favour of setting via L</connect_info>.
512
513 =cut
514
515 sub _parse_connect_do {
516   my ($self, $type) = @_;
517
518   my $val = $self->$type;
519   return () if not defined $val;
520
521   my @res;
522
523   if (not ref($val)) {
524     push @res, [ 'do_sql', $val ];
525   } elsif (ref($val) eq 'CODE') {
526     push @res, $val;
527   } elsif (ref($val) eq 'ARRAY') {
528     push @res, map { [ 'do_sql', $_ ] } @$val;
529   } else {
530     $self->throw_exception("Invalid type for $type: ".ref($val));
531   }
532
533   return \@res;
534 }
535
536 =head2 dbh_do
537
538 Arguments: ($subref | $method_name), @extra_coderef_args?
539
540 Execute the given $subref or $method_name using the new exception-based
541 connection management.
542
543 The first two arguments will be the storage object that C<dbh_do> was called
544 on and a database handle to use.  Any additional arguments will be passed
545 verbatim to the called subref as arguments 2 and onwards.
546
547 Using this (instead of $self->_dbh or $self->dbh) ensures correct
548 exception handling and reconnection (or failover in future subclasses).
549
550 Your subref should have no side-effects outside of the database, as
551 there is the potential for your subref to be partially double-executed
552 if the database connection was stale/dysfunctional.
553
554 Example:
555
556   my @stuff = $schema->storage->dbh_do(
557     sub {
558       my ($storage, $dbh, @cols) = @_;
559       my $cols = join(q{, }, @cols);
560       $dbh->selectrow_array("SELECT $cols FROM foo");
561     },
562     @column_list
563   );
564
565 =cut
566
567 sub dbh_do {
568   my $self = shift;
569   my $code = shift;
570
571   my $dbh = $self->_get_dbh;
572
573   return $self->$code($dbh, @_) if $self->{_in_dbh_do}
574       || $self->{transaction_depth};
575
576   local $self->{_in_dbh_do} = 1;
577
578   my @result;
579   my $want_array = wantarray;
580
581   eval {
582
583     if($want_array) {
584         @result = $self->$code($dbh, @_);
585     }
586     elsif(defined $want_array) {
587         $result[0] = $self->$code($dbh, @_);
588     }
589     else {
590         $self->$code($dbh, @_);
591     }
592   };
593
594   # ->connected might unset $@ - copy
595   my $exception = $@;
596   if(!$exception) { return $want_array ? @result : $result[0] }
597
598   $self->throw_exception($exception) if $self->connected;
599
600   # We were not connected - reconnect and retry, but let any
601   #  exception fall right through this time
602   carp "Retrying $code after catching disconnected exception: $exception"
603     if $ENV{DBIC_DBIRETRY_DEBUG};
604   $self->_populate_dbh;
605   $self->$code($self->_dbh, @_);
606 }
607
608 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
609 # It also informs dbh_do to bypass itself while under the direction of txn_do,
610 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
611 sub txn_do {
612   my $self = shift;
613   my $coderef = shift;
614
615   ref $coderef eq 'CODE' or $self->throw_exception
616     ('$coderef must be a CODE reference');
617
618   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
619
620   local $self->{_in_dbh_do} = 1;
621
622   my @result;
623   my $want_array = wantarray;
624
625   my $tried = 0;
626   while(1) {
627     eval {
628       $self->_get_dbh;
629
630       $self->txn_begin;
631       if($want_array) {
632           @result = $coderef->(@_);
633       }
634       elsif(defined $want_array) {
635           $result[0] = $coderef->(@_);
636       }
637       else {
638           $coderef->(@_);
639       }
640       $self->txn_commit;
641     };
642
643     # ->connected might unset $@ - copy
644     my $exception = $@;
645     if(!$exception) { return $want_array ? @result : $result[0] }
646
647     if($tried++ || $self->connected) {
648       eval { $self->txn_rollback };
649       my $rollback_exception = $@;
650       if($rollback_exception) {
651         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
652         $self->throw_exception($exception)  # propagate nested rollback
653           if $rollback_exception =~ /$exception_class/;
654
655         $self->throw_exception(
656           "Transaction aborted: ${exception}. "
657           . "Rollback failed: ${rollback_exception}"
658         );
659       }
660       $self->throw_exception($exception)
661     }
662
663     # We were not connected, and was first try - reconnect and retry
664     # via the while loop
665     carp "Retrying $coderef after catching disconnected exception: $exception"
666       if $ENV{DBIC_DBIRETRY_DEBUG};
667     $self->_populate_dbh;
668   }
669 }
670
671 =head2 disconnect
672
673 Our C<disconnect> method also performs a rollback first if the
674 database is not in C<AutoCommit> mode.
675
676 =cut
677
678 sub disconnect {
679   my ($self) = @_;
680
681   if( $self->_dbh ) {
682     my @actions;
683
684     push @actions, ( $self->on_disconnect_call || () );
685     push @actions, $self->_parse_connect_do ('on_disconnect_do');
686
687     $self->_do_connection_actions(disconnect_call_ => $_) for @actions;
688
689     $self->_dbh_rollback unless $self->_dbh_autocommit;
690
691     $self->_dbh->disconnect;
692     $self->_dbh(undef);
693     $self->{_dbh_gen}++;
694   }
695 }
696
697 =head2 with_deferred_fk_checks
698
699 =over 4
700
701 =item Arguments: C<$coderef>
702
703 =item Return Value: The return value of $coderef
704
705 =back
706
707 Storage specific method to run the code ref with FK checks deferred or
708 in MySQL's case disabled entirely.
709
710 =cut
711
712 # Storage subclasses should override this
713 sub with_deferred_fk_checks {
714   my ($self, $sub) = @_;
715
716   $sub->();
717 }
718
719 =head2 connected
720
721 =over
722
723 =item Arguments: none
724
725 =item Return Value: 1|0
726
727 =back
728
729 Verifies that the the current database handle is active and ready to execute
730 an SQL statement (i.e. the connection did not get stale, server is still
731 answering, etc.) This method is used internally by L</dbh>.
732
733 =cut
734
735 sub connected {
736   my $self = shift;
737   return 0 unless $self->_seems_connected;
738
739   #be on the safe side
740   local $self->_dbh->{RaiseError} = 1;
741
742   return $self->_ping;
743 }
744
745 sub _seems_connected {
746   my $self = shift;
747
748   my $dbh = $self->_dbh
749     or return 0;
750
751   if(defined $self->_conn_tid && $self->_conn_tid != threads->tid) {
752     $self->_dbh(undef);
753     $self->{_dbh_gen}++;
754     return 0;
755   }
756   else {
757     $self->_verify_pid;
758     return 0 if !$self->_dbh;
759   }
760
761   return $dbh->FETCH('Active');
762 }
763
764 sub _ping {
765   my $self = shift;
766
767   my $dbh = $self->_dbh or return 0;
768
769   return $dbh->ping;
770 }
771
772 # handle pid changes correctly
773 #  NOTE: assumes $self->_dbh is a valid $dbh
774 sub _verify_pid {
775   my ($self) = @_;
776
777   return if defined $self->_conn_pid && $self->_conn_pid == $$;
778
779   $self->_dbh->{InactiveDestroy} = 1;
780   $self->_dbh(undef);
781   $self->{_dbh_gen}++;
782
783   return;
784 }
785
786 sub ensure_connected {
787   my ($self) = @_;
788
789   unless ($self->connected) {
790     $self->_populate_dbh;
791   }
792 }
793
794 =head2 dbh
795
796 Returns a C<$dbh> - a data base handle of class L<DBI>. The returned handle
797 is guaranteed to be healthy by implicitly calling L</connected>, and if
798 necessary performing a reconnection before returning. Keep in mind that this
799 is very B<expensive> on some database engines. Consider using L<dbh_do>
800 instead.
801
802 =cut
803
804 sub dbh {
805   my ($self) = @_;
806
807   if (not $self->_dbh) {
808     $self->_populate_dbh;
809   } else {
810     $self->ensure_connected;
811   }
812   return $self->_dbh;
813 }
814
815 # this is the internal "get dbh or connect (don't check)" method
816 sub _get_dbh {
817   my $self = shift;
818   $self->_verify_pid if $self->_dbh;
819   $self->_populate_dbh unless $self->_dbh;
820   return $self->_dbh;
821 }
822
823 sub _sql_maker_args {
824     my ($self) = @_;
825
826     return (
827       bindtype=>'columns',
828       array_datatypes => 1,
829       limit_dialect => $self->_get_dbh,
830       %{$self->_sql_maker_opts}
831     );
832 }
833
834 sub sql_maker {
835   my ($self) = @_;
836   unless ($self->_sql_maker) {
837     my $sql_maker_class = $self->sql_maker_class;
838     $self->ensure_class_loaded ($sql_maker_class);
839     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
840   }
841   return $self->_sql_maker;
842 }
843
844 # nothing to do by default
845 sub _rebless {}
846 sub _init {}
847
848 sub _populate_dbh {
849   my ($self) = @_;
850
851   my @info = @{$self->_dbi_connect_info || []};
852   $self->_dbh(undef); # in case ->connected failed we might get sent here
853   $self->_dbh($self->_connect(@info));
854
855   $self->_conn_pid($$);
856   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
857
858   $self->_determine_driver;
859
860   # Always set the transaction depth on connect, since
861   #  there is no transaction in progress by definition
862   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
863
864   $self->_run_connection_actions unless $self->{_in_determine_driver};
865 }
866
867 sub _run_connection_actions {
868   my $self = shift;
869   my @actions;
870
871   push @actions, ( $self->on_connect_call || () );
872   push @actions, $self->_parse_connect_do ('on_connect_do');
873
874   $self->_do_connection_actions(connect_call_ => $_) for @actions;
875 }
876
877 sub _determine_driver {
878   my ($self) = @_;
879
880   if ((not $self->_driver_determined) && (not $self->{_in_determine_driver})) {
881     my $started_unconnected = 0;
882     local $self->{_in_determine_driver} = 1;
883
884     if (ref($self) eq __PACKAGE__) {
885       my $driver;
886       if ($self->_dbh) { # we are connected
887         $driver = $self->_dbh->{Driver}{Name};
888       } else {
889         # if connect_info is a CODEREF, we have no choice but to connect
890         if (ref $self->_dbi_connect_info->[0] &&
891             Scalar::Util::reftype($self->_dbi_connect_info->[0]) eq 'CODE') {
892           $self->_populate_dbh;
893           $driver = $self->_dbh->{Driver}{Name};
894         }
895         else {
896           # try to use dsn to not require being connected, the driver may still
897           # force a connection in _rebless to determine version
898           ($driver) = $self->_dbi_connect_info->[0] =~ /dbi:([^:]+):/i;
899           $started_unconnected = 1;
900         }
901       }
902
903       my $storage_class = "DBIx::Class::Storage::DBI::${driver}";
904       if ($self->load_optional_class($storage_class)) {
905         mro::set_mro($storage_class, 'c3');
906         bless $self, $storage_class;
907         $self->_rebless();
908       }
909     }
910
911     $self->_driver_determined(1);
912
913     $self->_init; # run driver-specific initializations
914
915     $self->_run_connection_actions
916         if $started_unconnected && defined $self->_dbh;
917   }
918 }
919
920 sub _do_connection_actions {
921   my $self          = shift;
922   my $method_prefix = shift;
923   my $call          = shift;
924
925   if (not ref($call)) {
926     my $method = $method_prefix . $call;
927     $self->$method(@_);
928   } elsif (ref($call) eq 'CODE') {
929     $self->$call(@_);
930   } elsif (ref($call) eq 'ARRAY') {
931     if (ref($call->[0]) ne 'ARRAY') {
932       $self->_do_connection_actions($method_prefix, $_) for @$call;
933     } else {
934       $self->_do_connection_actions($method_prefix, @$_) for @$call;
935     }
936   } else {
937     $self->throw_exception (sprintf ("Don't know how to process conection actions of type '%s'", ref($call)) );
938   }
939
940   return $self;
941 }
942
943 sub connect_call_do_sql {
944   my $self = shift;
945   $self->_do_query(@_);
946 }
947
948 sub disconnect_call_do_sql {
949   my $self = shift;
950   $self->_do_query(@_);
951 }
952
953 # override in db-specific backend when necessary
954 sub connect_call_datetime_setup { 1 }
955
956 sub _do_query {
957   my ($self, $action) = @_;
958
959   if (ref $action eq 'CODE') {
960     $action = $action->($self);
961     $self->_do_query($_) foreach @$action;
962   }
963   else {
964     # Most debuggers expect ($sql, @bind), so we need to exclude
965     # the attribute hash which is the second argument to $dbh->do
966     # furthermore the bind values are usually to be presented
967     # as named arrayref pairs, so wrap those here too
968     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
969     my $sql = shift @do_args;
970     my $attrs = shift @do_args;
971     my @bind = map { [ undef, $_ ] } @do_args;
972
973     $self->_query_start($sql, @bind);
974     $self->_get_dbh->do($sql, $attrs, @do_args);
975     $self->_query_end($sql, @bind);
976   }
977
978   return $self;
979 }
980
981 sub _connect {
982   my ($self, @info) = @_;
983
984   $self->throw_exception("You failed to provide any connection info")
985     if !@info;
986
987   my ($old_connect_via, $dbh);
988
989   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
990     $old_connect_via = $DBI::connect_via;
991     $DBI::connect_via = 'connect';
992   }
993
994   eval {
995     if(ref $info[0] eq 'CODE') {
996        $dbh = &{$info[0]}
997     }
998     else {
999        $dbh = DBI->connect(@info);
1000     }
1001
1002     if($dbh && !$self->unsafe) {
1003       my $weak_self = $self;
1004       Scalar::Util::weaken($weak_self);
1005       $dbh->{HandleError} = sub {
1006           if ($weak_self) {
1007             $weak_self->throw_exception("DBI Exception: $_[0]");
1008           }
1009           else {
1010             # the handler may be invoked by something totally out of
1011             # the scope of DBIC
1012             croak ("DBI Exception: $_[0]");
1013           }
1014       };
1015       $dbh->{ShowErrorStatement} = 1;
1016       $dbh->{RaiseError} = 1;
1017       $dbh->{PrintError} = 0;
1018     }
1019   };
1020
1021   $DBI::connect_via = $old_connect_via if $old_connect_via;
1022
1023   $self->throw_exception("DBI Connection failed: " . ($@||$DBI::errstr))
1024     if !$dbh || $@;
1025
1026   $self->_dbh_autocommit($dbh->{AutoCommit});
1027
1028   $dbh;
1029 }
1030
1031 sub svp_begin {
1032   my ($self, $name) = @_;
1033
1034   $name = $self->_svp_generate_name
1035     unless defined $name;
1036
1037   $self->throw_exception ("You can't use savepoints outside a transaction")
1038     if $self->{transaction_depth} == 0;
1039
1040   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1041     unless $self->can('_svp_begin');
1042
1043   push @{ $self->{savepoints} }, $name;
1044
1045   $self->debugobj->svp_begin($name) if $self->debug;
1046
1047   return $self->_svp_begin($name);
1048 }
1049
1050 sub svp_release {
1051   my ($self, $name) = @_;
1052
1053   $self->throw_exception ("You can't use savepoints outside a transaction")
1054     if $self->{transaction_depth} == 0;
1055
1056   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1057     unless $self->can('_svp_release');
1058
1059   if (defined $name) {
1060     $self->throw_exception ("Savepoint '$name' does not exist")
1061       unless grep { $_ eq $name } @{ $self->{savepoints} };
1062
1063     # Dig through the stack until we find the one we are releasing.  This keeps
1064     # the stack up to date.
1065     my $svp;
1066
1067     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1068   } else {
1069     $name = pop @{ $self->{savepoints} };
1070   }
1071
1072   $self->debugobj->svp_release($name) if $self->debug;
1073
1074   return $self->_svp_release($name);
1075 }
1076
1077 sub svp_rollback {
1078   my ($self, $name) = @_;
1079
1080   $self->throw_exception ("You can't use savepoints outside a transaction")
1081     if $self->{transaction_depth} == 0;
1082
1083   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1084     unless $self->can('_svp_rollback');
1085
1086   if (defined $name) {
1087       # If they passed us a name, verify that it exists in the stack
1088       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1089           $self->throw_exception("Savepoint '$name' does not exist!");
1090       }
1091
1092       # Dig through the stack until we find the one we are releasing.  This keeps
1093       # the stack up to date.
1094       while(my $s = pop(@{ $self->{savepoints} })) {
1095           last if($s eq $name);
1096       }
1097       # Add the savepoint back to the stack, as a rollback doesn't remove the
1098       # named savepoint, only everything after it.
1099       push(@{ $self->{savepoints} }, $name);
1100   } else {
1101       # We'll assume they want to rollback to the last savepoint
1102       $name = $self->{savepoints}->[-1];
1103   }
1104
1105   $self->debugobj->svp_rollback($name) if $self->debug;
1106
1107   return $self->_svp_rollback($name);
1108 }
1109
1110 sub _svp_generate_name {
1111     my ($self) = @_;
1112
1113     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1114 }
1115
1116 sub txn_begin {
1117   my $self = shift;
1118   if($self->{transaction_depth} == 0) {
1119     $self->debugobj->txn_begin()
1120       if $self->debug;
1121     $self->_dbh_begin_work;
1122   }
1123   elsif ($self->auto_savepoint) {
1124     $self->svp_begin;
1125   }
1126   $self->{transaction_depth}++;
1127 }
1128
1129 sub _dbh_begin_work {
1130   my $self = shift;
1131
1132   # if the user is utilizing txn_do - good for him, otherwise we need to
1133   # ensure that the $dbh is healthy on BEGIN.
1134   # We do this via ->dbh_do instead of ->dbh, so that the ->dbh "ping"
1135   # will be replaced by a failure of begin_work itself (which will be
1136   # then retried on reconnect)
1137   if ($self->{_in_dbh_do}) {
1138     $self->_dbh->begin_work;
1139   } else {
1140     $self->dbh_do(sub { $_[1]->begin_work });
1141   }
1142 }
1143
1144 sub txn_commit {
1145   my $self = shift;
1146   if ($self->{transaction_depth} == 1) {
1147     my $dbh = $self->_dbh;
1148     $self->debugobj->txn_commit()
1149       if ($self->debug);
1150     $self->_dbh_commit;
1151     $self->{transaction_depth} = 0
1152       if $self->_dbh_autocommit;
1153   }
1154   elsif($self->{transaction_depth} > 1) {
1155     $self->{transaction_depth}--;
1156     $self->svp_release
1157       if $self->auto_savepoint;
1158   }
1159 }
1160
1161 sub _dbh_commit {
1162   my $self = shift;
1163   $self->_dbh->commit;
1164 }
1165
1166 sub txn_rollback {
1167   my $self = shift;
1168   my $dbh = $self->_dbh;
1169   eval {
1170     if ($self->{transaction_depth} == 1) {
1171       $self->debugobj->txn_rollback()
1172         if ($self->debug);
1173       $self->{transaction_depth} = 0
1174         if $self->_dbh_autocommit;
1175       $self->_dbh_rollback;
1176     }
1177     elsif($self->{transaction_depth} > 1) {
1178       $self->{transaction_depth}--;
1179       if ($self->auto_savepoint) {
1180         $self->svp_rollback;
1181         $self->svp_release;
1182       }
1183     }
1184     else {
1185       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1186     }
1187   };
1188   if ($@) {
1189     my $error = $@;
1190     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1191     $error =~ /$exception_class/ and $self->throw_exception($error);
1192     # ensure that a failed rollback resets the transaction depth
1193     $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1194     $self->throw_exception($error);
1195   }
1196 }
1197
1198 sub _dbh_rollback {
1199   my $self = shift;
1200   $self->_dbh->rollback;
1201 }
1202
1203 # This used to be the top-half of _execute.  It was split out to make it
1204 #  easier to override in NoBindVars without duping the rest.  It takes up
1205 #  all of _execute's args, and emits $sql, @bind.
1206 sub _prep_for_execute {
1207   my ($self, $op, $extra_bind, $ident, $args) = @_;
1208
1209   if( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1210     $ident = $ident->from();
1211   }
1212
1213   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1214
1215   unshift(@bind,
1216     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1217       if $extra_bind;
1218   return ($sql, \@bind);
1219 }
1220
1221
1222 sub _fix_bind_params {
1223     my ($self, @bind) = @_;
1224
1225     ### Turn @bind from something like this:
1226     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1227     ### to this:
1228     ###   ( "'1'", "'1'", "'3'" )
1229     return
1230         map {
1231             if ( defined( $_ && $_->[1] ) ) {
1232                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1233             }
1234             else { q{'NULL'}; }
1235         } @bind;
1236 }
1237
1238 sub _query_start {
1239     my ( $self, $sql, @bind ) = @_;
1240
1241     if ( $self->debug ) {
1242         @bind = $self->_fix_bind_params(@bind);
1243
1244         $self->debugobj->query_start( $sql, @bind );
1245     }
1246 }
1247
1248 sub _query_end {
1249     my ( $self, $sql, @bind ) = @_;
1250
1251     if ( $self->debug ) {
1252         @bind = $self->_fix_bind_params(@bind);
1253         $self->debugobj->query_end( $sql, @bind );
1254     }
1255 }
1256
1257 sub _dbh_execute {
1258   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1259
1260   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1261
1262   $self->_query_start( $sql, @$bind );
1263
1264   my $sth = $self->sth($sql,$op);
1265
1266   my $placeholder_index = 1;
1267
1268   foreach my $bound (@$bind) {
1269     my $attributes = {};
1270     my($column_name, @data) = @$bound;
1271
1272     if ($bind_attributes) {
1273       $attributes = $bind_attributes->{$column_name}
1274       if defined $bind_attributes->{$column_name};
1275     }
1276
1277     foreach my $data (@data) {
1278       my $ref = ref $data;
1279       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1280
1281       $sth->bind_param($placeholder_index, $data, $attributes);
1282       $placeholder_index++;
1283     }
1284   }
1285
1286   # Can this fail without throwing an exception anyways???
1287   my $rv = $sth->execute();
1288   $self->throw_exception($sth->errstr) if !$rv;
1289
1290   $self->_query_end( $sql, @$bind );
1291
1292   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1293 }
1294
1295 sub _execute {
1296     my $self = shift;
1297     $self->dbh_do('_dbh_execute', @_);  # retry over disconnects
1298 }
1299
1300 sub insert {
1301   my ($self, $source, $to_insert) = @_;
1302
1303 # redispatch to insert method of storage we reblessed into, if necessary
1304   if (not $self->_driver_determined) {
1305     $self->_determine_driver;
1306     goto $self->can('insert');
1307   }
1308
1309   my $ident = $source->from;
1310   my $bind_attributes = $self->source_bind_attributes($source);
1311
1312   my $updated_cols = {};
1313
1314   foreach my $col ( $source->columns ) {
1315     if ( !defined $to_insert->{$col} ) {
1316       my $col_info = $source->column_info($col);
1317
1318       if ( $col_info->{auto_nextval} ) {
1319         $updated_cols->{$col} = $to_insert->{$col} = $self->_sequence_fetch(
1320           'nextval',
1321           $col_info->{sequence} ||
1322             $self->_dbh_get_autoinc_seq($self->_get_dbh, $source)
1323         );
1324       }
1325     }
1326   }
1327
1328   $self->_execute('insert' => [], $source, $bind_attributes, $to_insert);
1329
1330   return $updated_cols;
1331 }
1332
1333 ## Still not quite perfect, and EXPERIMENTAL
1334 ## Currently it is assumed that all values passed will be "normal", i.e. not
1335 ## scalar refs, or at least, all the same type as the first set, the statement is
1336 ## only prepped once.
1337 sub insert_bulk {
1338   my ($self, $source, $cols, $data, $sth_attr) = @_;
1339
1340 # redispatch to insert_bulk method of storage we reblessed into, if necessary
1341   if (not $self->_driver_determined) {
1342     $self->_determine_driver;
1343     goto $self->can('insert_bulk');
1344   }
1345
1346   my %colvalues;
1347   @colvalues{@$cols} = (0..$#$cols);
1348
1349   # pass scalarref to SQLA for literal sql if it's the same in all slices
1350   for my $i (0..$#$cols) {
1351     my $first_val = $data->[0][$i];
1352     next unless (Scalar::Util::reftype($first_val)||'') eq 'SCALAR';
1353
1354     $colvalues{ $cols->[$i] } = $first_val
1355       if (grep {
1356         (Scalar::Util::reftype($_)||'') eq 'SCALAR' &&
1357         $$_ eq $$first_val
1358       } map $data->[$_][$i], (1..$#$data)) == (@$data - 1);
1359   }
1360
1361   my ($sql, $bind) = $self->_prep_for_execute (
1362     'insert', undef, $source, [\%colvalues]
1363   );
1364   my @bind = @$bind;
1365
1366   my $empty_bind = 1 if (not @bind) &&
1367     (grep { (Scalar::Util::reftype($_)||'') eq 'SCALAR' } values %colvalues)
1368     == @$cols;
1369
1370   if ((not @bind) && (not $empty_bind)) {
1371     croak 'Cannot insert_bulk without support for placeholders';
1372   }
1373
1374   $self->_query_start( $sql, @bind );
1375   my $sth = $self->sth($sql, 'insert', $sth_attr);
1376
1377   my $rv = do {
1378     if ($empty_bind) {
1379       # bind_param_array doesn't work if there are no binds
1380       $self->_execute_array_empty( $sth, scalar @$data );
1381     }
1382     else {
1383 #      @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1384       $self->_execute_array( $source, $sth, \@bind, $cols, $data );
1385     }
1386   };
1387
1388   $self->_query_end( $sql, @bind );
1389
1390   return (wantarray ? ($rv, $sth, @bind) : $rv);
1391 }
1392
1393 sub _execute_array {
1394   my ($self, $source, $sth, $bind, $cols, $data, $guard) = @_;
1395
1396   ## This must be an arrayref, else nothing works!
1397   my $tuple_status = [];
1398
1399   ## Get the bind_attributes, if any exist
1400   my $bind_attributes = $self->source_bind_attributes($source);
1401
1402   ## Bind the values and execute
1403   my $placeholder_index = 1;
1404
1405   foreach my $bound (@$bind) {
1406
1407     my $attributes = {};
1408     my ($column_name, $data_index) = @$bound;
1409
1410     if( $bind_attributes ) {
1411       $attributes = $bind_attributes->{$column_name}
1412       if defined $bind_attributes->{$column_name};
1413     }
1414
1415     my @data = map { $_->[$data_index] } @$data;
1416
1417     $sth->bind_param_array( $placeholder_index, [@data], $attributes );
1418     $placeholder_index++;
1419   }
1420
1421   my $rv = eval { $sth->execute_array({ArrayTupleStatus => $tuple_status}) };
1422
1423   $guard->commit if $guard; # probably only needed for Sybase
1424
1425   $sth->finish;
1426
1427   if (my $err = $@ || $sth->errstr) {
1428     my $i = 0;
1429     ++$i while $i <= $#$tuple_status && !ref $tuple_status->[$i];
1430
1431     $self->throw_exception("Unexpected populate error: $err")
1432       if ($i > $#$tuple_status);
1433
1434     $self->throw_exception(sprintf "%s for populate slice:\n%s",
1435       ($tuple_status->[$i][1] || $err),
1436       $self->_pretty_print ({
1437         map { $cols->[$_] => $data->[$i][$_] } (0 .. $#$cols)
1438       }),
1439     );
1440   }
1441
1442   return $rv;
1443 }
1444
1445 sub _execute_array_empty {
1446   my ($self, $sth, $count) = @_;
1447   eval {
1448     my $dbh = $self->_get_dbh;
1449     local $dbh->{RaiseError} = 1;
1450     local $dbh->{PrintError} = 0;
1451     foreach (1..$count) {
1452       $sth->execute;
1453 # In case of a multi-statement with a select, some DBDs (namely Sybase) require
1454 # the cursor to be exhausted.
1455       $sth->fetchall_arrayref;
1456     }
1457   };
1458   my $exception = $@;
1459   $sth->finish;
1460   $self->throw_exception($exception) if $exception;
1461
1462   return $count;
1463 }
1464
1465 sub update {
1466   my ($self, $source, @args) = @_; 
1467
1468 # redispatch to update method of storage we reblessed into, if necessary
1469   if (not $self->_driver_determined) {
1470     $self->_determine_driver;
1471     goto $self->can('update');
1472   }
1473
1474   my $bind_attributes = $self->source_bind_attributes($source);
1475
1476   return $self->_execute('update' => [], $source, $bind_attributes, @args);
1477 }
1478
1479
1480 sub delete {
1481   my $self = shift @_;
1482   my $source = shift @_;
1483   $self->_determine_driver;
1484   my $bind_attrs = $self->source_bind_attributes($source);
1485
1486   return $self->_execute('delete' => [], $source, $bind_attrs, @_);
1487 }
1488
1489 # We were sent here because the $rs contains a complex search
1490 # which will require a subquery to select the correct rows
1491 # (i.e. joined or limited resultsets)
1492 #
1493 # Genarating a single PK column subquery is trivial and supported
1494 # by all RDBMS. However if we have a multicolumn PK, things get ugly.
1495 # Look at _multipk_update_delete()
1496 sub _subq_update_delete {
1497   my $self = shift;
1498   my ($rs, $op, $values) = @_;
1499
1500   my $rsrc = $rs->result_source;
1501
1502   # we already check this, but double check naively just in case. Should be removed soon
1503   my $sel = $rs->_resolved_attrs->{select};
1504   $sel = [ $sel ] unless ref $sel eq 'ARRAY';
1505   my @pcols = $rsrc->primary_columns;
1506   if (@$sel != @pcols) {
1507     $self->throw_exception (
1508       'Subquery update/delete can not be called on resultsets selecting a'
1509      .' number of columns different than the number of primary keys'
1510     );
1511   }
1512
1513   if (@pcols == 1) {
1514     return $self->$op (
1515       $rsrc,
1516       $op eq 'update' ? $values : (),
1517       { $pcols[0] => { -in => $rs->as_query } },
1518     );
1519   }
1520
1521   else {
1522     return $self->_multipk_update_delete (@_);
1523   }
1524 }
1525
1526 # ANSI SQL does not provide a reliable way to perform a multicol-PK
1527 # resultset update/delete involving subqueries. So by default resort
1528 # to simple (and inefficient) delete_all style per-row opearations,
1529 # while allowing specific storages to override this with a faster
1530 # implementation.
1531 #
1532 sub _multipk_update_delete {
1533   return shift->_per_row_update_delete (@_);
1534 }
1535
1536 # This is the default loop used to delete/update rows for multi PK
1537 # resultsets, and used by mysql exclusively (because it can't do anything
1538 # else).
1539 #
1540 # We do not use $row->$op style queries, because resultset update/delete
1541 # is not expected to cascade (this is what delete_all/update_all is for).
1542 #
1543 # There should be no race conditions as the entire operation is rolled
1544 # in a transaction.
1545 #
1546 sub _per_row_update_delete {
1547   my $self = shift;
1548   my ($rs, $op, $values) = @_;
1549
1550   my $rsrc = $rs->result_source;
1551   my @pcols = $rsrc->primary_columns;
1552
1553   my $guard = $self->txn_scope_guard;
1554
1555   # emulate the return value of $sth->execute for non-selects
1556   my $row_cnt = '0E0';
1557
1558   my $subrs_cur = $rs->cursor;
1559   while (my @pks = $subrs_cur->next) {
1560
1561     my $cond;
1562     for my $i (0.. $#pcols) {
1563       $cond->{$pcols[$i]} = $pks[$i];
1564     }
1565
1566     $self->$op (
1567       $rsrc,
1568       $op eq 'update' ? $values : (),
1569       $cond,
1570     );
1571
1572     $row_cnt++;
1573   }
1574
1575   $guard->commit;
1576
1577   return $row_cnt;
1578 }
1579
1580 sub _select {
1581   my $self = shift;
1582
1583   # localization is neccessary as
1584   # 1) there is no infrastructure to pass this around before SQLA2
1585   # 2) _select_args sets it and _prep_for_execute consumes it
1586   my $sql_maker = $self->sql_maker;
1587   local $sql_maker->{_dbic_rs_attrs};
1588
1589   return $self->_execute($self->_select_args(@_));
1590 }
1591
1592 sub _select_args_to_query {
1593   my $self = shift;
1594
1595   # localization is neccessary as
1596   # 1) there is no infrastructure to pass this around before SQLA2
1597   # 2) _select_args sets it and _prep_for_execute consumes it
1598   my $sql_maker = $self->sql_maker;
1599   local $sql_maker->{_dbic_rs_attrs};
1600
1601   # my ($op, $bind, $ident, $bind_attrs, $select, $cond, $order, $rows, $offset)
1602   #  = $self->_select_args($ident, $select, $cond, $attrs);
1603   my ($op, $bind, $ident, $bind_attrs, @args) =
1604     $self->_select_args(@_);
1605
1606   # my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, [ $select, $cond, $order, $rows, $offset ]);
1607   my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, \@args);
1608   $prepared_bind ||= [];
1609
1610   return wantarray
1611     ? ($sql, $prepared_bind, $bind_attrs)
1612     : \[ "($sql)", @$prepared_bind ]
1613   ;
1614 }
1615
1616 sub _select_args {
1617   my ($self, $ident, $select, $where, $attrs) = @_;
1618
1619   my ($alias2source, $rs_alias) = $self->_resolve_ident_sources ($ident);
1620
1621   my $sql_maker = $self->sql_maker;
1622   $sql_maker->{_dbic_rs_attrs} = {
1623     %$attrs,
1624     select => $select,
1625     from => $ident,
1626     where => $where,
1627     $rs_alias
1628       ? ( _source_handle => $alias2source->{$rs_alias}->handle )
1629       : ()
1630     ,
1631   };
1632
1633   # calculate bind_attrs before possible $ident mangling
1634   my $bind_attrs = {};
1635   for my $alias (keys %$alias2source) {
1636     my $bindtypes = $self->source_bind_attributes ($alias2source->{$alias}) || {};
1637     for my $col (keys %$bindtypes) {
1638
1639       my $fqcn = join ('.', $alias, $col);
1640       $bind_attrs->{$fqcn} = $bindtypes->{$col} if $bindtypes->{$col};
1641
1642       # Unqialified column names are nice, but at the same time can be
1643       # rather ambiguous. What we do here is basically go along with
1644       # the loop, adding an unqualified column slot to $bind_attrs,
1645       # alongside the fully qualified name. As soon as we encounter
1646       # another column by that name (which would imply another table)
1647       # we unset the unqualified slot and never add any info to it
1648       # to avoid erroneous type binding. If this happens the users
1649       # only choice will be to fully qualify his column name
1650
1651       if (exists $bind_attrs->{$col}) {
1652         $bind_attrs->{$col} = {};
1653       }
1654       else {
1655         $bind_attrs->{$col} = $bind_attrs->{$fqcn};
1656       }
1657     }
1658   }
1659
1660   # adjust limits
1661   if (
1662     $attrs->{software_limit}
1663       ||
1664     $sql_maker->_default_limit_syntax eq "GenericSubQ"
1665   ) {
1666     $attrs->{software_limit} = 1;
1667   }
1668   else {
1669     $self->throw_exception("rows attribute must be positive if present")
1670       if (defined($attrs->{rows}) && !($attrs->{rows} > 0));
1671
1672     # MySQL actually recommends this approach.  I cringe.
1673     $attrs->{rows} = 2**48 if not defined $attrs->{rows} and defined $attrs->{offset};
1674   }
1675
1676   my @limit;
1677
1678   # see if we need to tear the prefetch apart (either limited has_many or grouped prefetch)
1679   # otherwise delegate the limiting to the storage, unless software limit was requested
1680   if (
1681     ( $attrs->{rows} && keys %{$attrs->{collapse}} )
1682        ||
1683     ( $attrs->{group_by} && @{$attrs->{group_by}} &&
1684       $attrs->{_prefetch_select} && @{$attrs->{_prefetch_select}} )
1685   ) {
1686     ($ident, $select, $where, $attrs)
1687       = $self->_adjust_select_args_for_complex_prefetch ($ident, $select, $where, $attrs);
1688   }
1689   elsif (! $attrs->{software_limit} ) {
1690     push @limit, $attrs->{rows}, $attrs->{offset};
1691   }
1692
1693 ###
1694   # This would be the point to deflate anything found in $where
1695   # (and leave $attrs->{bind} intact). Problem is - inflators historically
1696   # expect a row object. And all we have is a resultsource (it is trivial
1697   # to extract deflator coderefs via $alias2source above).
1698   #
1699   # I don't see a way forward other than changing the way deflators are
1700   # invoked, and that's just bad...
1701 ###
1702
1703   my $order = { map
1704     { $attrs->{$_} ? ( $_ => $attrs->{$_} ) : ()  }
1705     (qw/order_by group_by having/ )
1706   };
1707
1708   return ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $where, $order, @limit);
1709 }
1710
1711 #
1712 # This is the code producing joined subqueries like:
1713 # SELECT me.*, other.* FROM ( SELECT me.* FROM ... ) JOIN other ON ... 
1714 #
1715 sub _adjust_select_args_for_complex_prefetch {
1716   my ($self, $from, $select, $where, $attrs) = @_;
1717
1718   $self->throw_exception ('Nothing to prefetch... how did we get here?!')
1719     if not @{$attrs->{_prefetch_select}};
1720
1721   $self->throw_exception ('Complex prefetches are not supported on resultsets with a custom from attribute')
1722     if (ref $from ne 'ARRAY' || ref $from->[0] ne 'HASH' || ref $from->[1] ne 'ARRAY');
1723
1724
1725   # generate inner/outer attribute lists, remove stuff that doesn't apply
1726   my $outer_attrs = { %$attrs };
1727   delete $outer_attrs->{$_} for qw/where bind rows offset group_by having/;
1728
1729   my $inner_attrs = { %$attrs };
1730   delete $inner_attrs->{$_} for qw/for collapse _prefetch_select _collapse_order_by select as/;
1731
1732
1733   # bring over all non-collapse-induced order_by into the inner query (if any)
1734   # the outer one will have to keep them all
1735   delete $inner_attrs->{order_by};
1736   if (my $ord_cnt = @{$outer_attrs->{order_by}} - @{$outer_attrs->{_collapse_order_by}} ) {
1737     $inner_attrs->{order_by} = [
1738       @{$outer_attrs->{order_by}}[ 0 .. $ord_cnt - 1]
1739     ];
1740   }
1741
1742
1743   # generate the inner/outer select lists
1744   # for inside we consider only stuff *not* brought in by the prefetch
1745   # on the outside we substitute any function for its alias
1746   my $outer_select = [ @$select ];
1747   my $inner_select = [];
1748   for my $i (0 .. ( @$outer_select - @{$outer_attrs->{_prefetch_select}} - 1) ) {
1749     my $sel = $outer_select->[$i];
1750
1751     if (ref $sel eq 'HASH' ) {
1752       $sel->{-as} ||= $attrs->{as}[$i];
1753       $outer_select->[$i] = join ('.', $attrs->{alias}, ($sel->{-as} || "inner_column_$i") );
1754     }
1755
1756     push @$inner_select, $sel;
1757   }
1758
1759   # normalize a copy of $from, so it will be easier to work with further
1760   # down (i.e. promote the initial hashref to an AoH)
1761   $from = [ @$from ];
1762   $from->[0] = [ $from->[0] ];
1763   my %original_join_info = map { $_->[0]{-alias} => $_->[0] } (@$from);
1764
1765
1766   # decide which parts of the join will remain in either part of
1767   # the outer/inner query
1768
1769   # First we compose a list of which aliases are used in restrictions
1770   # (i.e. conditions/order/grouping/etc). Since we do not have
1771   # introspectable SQLA, we fall back to ugly scanning of raw SQL for
1772   # WHERE, and for pieces of ORDER BY in order to determine which aliases
1773   # need to appear in the resulting sql.
1774   # It may not be very efficient, but it's a reasonable stop-gap
1775   # Also unqualified column names will not be considered, but more often
1776   # than not this is actually ok
1777   #
1778   # In the same loop we enumerate part of the selection aliases, as
1779   # it requires the same sqla hack for the time being
1780   my ($restrict_aliases, $select_aliases, $prefetch_aliases);
1781   {
1782     # produce stuff unquoted, so it can be scanned
1783     my $sql_maker = $self->sql_maker;
1784     local $sql_maker->{quote_char};
1785     my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1786     $sep = "\Q$sep\E";
1787
1788     my $non_prefetch_select_sql = $sql_maker->_recurse_fields ($inner_select);
1789     my $prefetch_select_sql = $sql_maker->_recurse_fields ($outer_attrs->{_prefetch_select});
1790     my $where_sql = $sql_maker->where ($where);
1791     my $group_by_sql = $sql_maker->_order_by({
1792       map { $_ => $inner_attrs->{$_} } qw/group_by having/
1793     });
1794     my @non_prefetch_order_by_chunks = (map
1795       { ref $_ ? $_->[0] : $_ }
1796       $sql_maker->_order_by_chunks ($inner_attrs->{order_by})
1797     );
1798
1799
1800     for my $alias (keys %original_join_info) {
1801       my $seen_re = qr/\b $alias $sep/x;
1802
1803       for my $piece ($where_sql, $group_by_sql, @non_prefetch_order_by_chunks ) {
1804         if ($piece =~ $seen_re) {
1805           $restrict_aliases->{$alias} = 1;
1806         }
1807       }
1808
1809       if ($non_prefetch_select_sql =~ $seen_re) {
1810           $select_aliases->{$alias} = 1;
1811       }
1812
1813       if ($prefetch_select_sql =~ $seen_re) {
1814           $prefetch_aliases->{$alias} = 1;
1815       }
1816
1817     }
1818   }
1819
1820   # Add any non-left joins to the restriction list (such joins are indeed restrictions)
1821   for my $j (values %original_join_info) {
1822     my $alias = $j->{-alias} or next;
1823     $restrict_aliases->{$alias} = 1 if (
1824       (not $j->{-join_type})
1825         or
1826       ($j->{-join_type} !~ /^left (?: \s+ outer)? $/xi)
1827     );
1828   }
1829
1830   # mark all join parents as mentioned
1831   # (e.g.  join => { cds => 'tracks' } - tracks will need to bring cds too )
1832   for my $collection ($restrict_aliases, $select_aliases) {
1833     for my $alias (keys %$collection) {
1834       $collection->{$_} = 1
1835         for (@{ $original_join_info{$alias}{-join_path} || [] });
1836     }
1837   }
1838
1839   # construct the inner $from for the subquery
1840   my %inner_joins = (map { %{$_ || {}} } ($restrict_aliases, $select_aliases) );
1841   my @inner_from;
1842   for my $j (@$from) {
1843     push @inner_from, $j if $inner_joins{$j->[0]{-alias}};
1844   }
1845
1846   # if a multi-type join was needed in the subquery ("multi" is indicated by
1847   # presence in {collapse}) - add a group_by to simulate the collapse in the subq
1848   unless ($inner_attrs->{group_by}) {
1849     for my $alias (keys %inner_joins) {
1850
1851       # the dot comes from some weirdness in collapse
1852       # remove after the rewrite
1853       if ($attrs->{collapse}{".$alias"}) {
1854         $inner_attrs->{group_by} ||= $inner_select;
1855         last;
1856       }
1857     }
1858   }
1859
1860   # demote the inner_from head
1861   $inner_from[0] = $inner_from[0][0];
1862
1863   # generate the subquery
1864   my $subq = $self->_select_args_to_query (
1865     \@inner_from,
1866     $inner_select,
1867     $where,
1868     $inner_attrs,
1869   );
1870
1871   my $subq_joinspec = {
1872     -alias => $attrs->{alias},
1873     -source_handle => $inner_from[0]{-source_handle},
1874     $attrs->{alias} => $subq,
1875   };
1876
1877   # Generate the outer from - this is relatively easy (really just replace
1878   # the join slot with the subquery), with a major caveat - we can not
1879   # join anything that is non-selecting (not part of the prefetch), but at
1880   # the same time is a multi-type relationship, as it will explode the result.
1881   #
1882   # There are two possibilities here
1883   # - either the join is non-restricting, in which case we simply throw it away
1884   # - it is part of the restrictions, in which case we need to collapse the outer
1885   #   result by tackling yet another group_by to the outside of the query
1886
1887   # so first generate the outer_from, up to the substitution point
1888   my @outer_from;
1889   while (my $j = shift @$from) {
1890     if ($j->[0]{-alias} eq $attrs->{alias}) { # time to swap
1891       push @outer_from, [
1892         $subq_joinspec,
1893         @{$j}[1 .. $#$j],
1894       ];
1895       last; # we'll take care of what's left in $from below
1896     }
1897     else {
1898       push @outer_from, $j;
1899     }
1900   }
1901
1902   # see what's left - throw away if not selecting/restricting
1903   # also throw in a group_by if restricting to guard against
1904   # cross-join explosions
1905   #
1906   while (my $j = shift @$from) {
1907     my $alias = $j->[0]{-alias};
1908
1909     if ($select_aliases->{$alias} || $prefetch_aliases->{$alias}) {
1910       push @outer_from, $j;
1911     }
1912     elsif ($restrict_aliases->{$alias}) {
1913       push @outer_from, $j;
1914
1915       # FIXME - this should be obviated by SQLA2, as I'll be able to 
1916       # have restrict_inner and restrict_outer... or something to that
1917       # effect... I think...
1918
1919       # FIXME2 - I can't find a clean way to determine if a particular join
1920       # is a multi - instead I am just treating everything as a potential
1921       # explosive join (ribasushi)
1922       #
1923       # if (my $handle = $j->[0]{-source_handle}) {
1924       #   my $rsrc = $handle->resolve;
1925       #   ... need to bail out of the following if this is not a multi,
1926       #       as it will be much easier on the db ...
1927
1928           $outer_attrs->{group_by} ||= $outer_select;
1929       # }
1930     }
1931   }
1932
1933   # demote the outer_from head
1934   $outer_from[0] = $outer_from[0][0];
1935
1936   # This is totally horrific - the $where ends up in both the inner and outer query
1937   # Unfortunately not much can be done until SQLA2 introspection arrives, and even
1938   # then if where conditions apply to the *right* side of the prefetch, you may have
1939   # to both filter the inner select (e.g. to apply a limit) and then have to re-filter
1940   # the outer select to exclude joins you didin't want in the first place
1941   #
1942   # OTOH it can be seen as a plus: <ash> (notes that this query would make a DBA cry ;)
1943   return (\@outer_from, $outer_select, $where, $outer_attrs);
1944 }
1945
1946 sub _resolve_ident_sources {
1947   my ($self, $ident) = @_;
1948
1949   my $alias2source = {};
1950   my $rs_alias;
1951
1952   # the reason this is so contrived is that $ident may be a {from}
1953   # structure, specifying multiple tables to join
1954   if ( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1955     # this is compat mode for insert/update/delete which do not deal with aliases
1956     $alias2source->{me} = $ident;
1957     $rs_alias = 'me';
1958   }
1959   elsif (ref $ident eq 'ARRAY') {
1960
1961     for (@$ident) {
1962       my $tabinfo;
1963       if (ref $_ eq 'HASH') {
1964         $tabinfo = $_;
1965         $rs_alias = $tabinfo->{-alias};
1966       }
1967       if (ref $_ eq 'ARRAY' and ref $_->[0] eq 'HASH') {
1968         $tabinfo = $_->[0];
1969       }
1970
1971       $alias2source->{$tabinfo->{-alias}} = $tabinfo->{-source_handle}->resolve
1972         if ($tabinfo->{-source_handle});
1973     }
1974   }
1975
1976   return ($alias2source, $rs_alias);
1977 }
1978
1979 # Takes $ident, \@column_names
1980 #
1981 # returns { $column_name => \%column_info, ... }
1982 # also note: this adds -result_source => $rsrc to the column info
1983 #
1984 # usage:
1985 #   my $col_sources = $self->_resolve_column_info($ident, @column_names);
1986 sub _resolve_column_info {
1987   my ($self, $ident, $colnames) = @_;
1988   my ($alias2src, $root_alias) = $self->_resolve_ident_sources($ident);
1989
1990   my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1991   $sep = "\Q$sep\E";
1992
1993   my (%return, %seen_cols);
1994
1995   # compile a global list of column names, to be able to properly
1996   # disambiguate unqualified column names (if at all possible)
1997   for my $alias (keys %$alias2src) {
1998     my $rsrc = $alias2src->{$alias};
1999     for my $colname ($rsrc->columns) {
2000       push @{$seen_cols{$colname}}, $alias;
2001     }
2002   }
2003
2004   COLUMN:
2005   foreach my $col (@$colnames) {
2006     my ($alias, $colname) = $col =~ m/^ (?: ([^$sep]+) $sep)? (.+) $/x;
2007
2008     unless ($alias) {
2009       # see if the column was seen exactly once (so we know which rsrc it came from)
2010       if ($seen_cols{$colname} and @{$seen_cols{$colname}} == 1) {
2011         $alias = $seen_cols{$colname}[0];
2012       }
2013       else {
2014         next COLUMN;
2015       }
2016     }
2017
2018     my $rsrc = $alias2src->{$alias};
2019     $return{$col} = $rsrc && {
2020       %{$rsrc->column_info($colname)},
2021       -result_source => $rsrc,
2022       -source_alias => $alias,
2023     };
2024   }
2025
2026   return \%return;
2027 }
2028
2029 # Returns a counting SELECT for a simple count
2030 # query. Abstracted so that a storage could override
2031 # this to { count => 'firstcol' } or whatever makes
2032 # sense as a performance optimization
2033 sub _count_select {
2034   #my ($self, $source, $rs_attrs) = @_;
2035   return { count => '*' };
2036 }
2037
2038 # Returns a SELECT which will end up in the subselect
2039 # There may or may not be a group_by, as the subquery
2040 # might have been called to accomodate a limit
2041 #
2042 # Most databases would be happy with whatever ends up
2043 # here, but some choke in various ways.
2044 #
2045 sub _subq_count_select {
2046   my ($self, $source, $rs_attrs) = @_;
2047   return $rs_attrs->{group_by} if $rs_attrs->{group_by};
2048
2049   my @pcols = map { join '.', $rs_attrs->{alias}, $_ } ($source->primary_columns);
2050   return @pcols ? \@pcols : [ 1 ];
2051 }
2052
2053 #
2054 # Returns an ordered list of column names before they are used
2055 # in a SELECT statement. By default simply returns the list
2056 # passed in.
2057 #
2058 # This may be overridden in a specific storage when there are
2059 # requirements such as moving BLOB columns to the end of the 
2060 # SELECT list.
2061 sub _order_select_columns {
2062   #my ($self, $source, $columns) = @_;
2063   return @{$_[2]};
2064 }
2065
2066 sub source_bind_attributes {
2067   my ($self, $source) = @_;
2068
2069   my $bind_attributes;
2070   foreach my $column ($source->columns) {
2071
2072     my $data_type = $source->column_info($column)->{data_type} || '';
2073     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
2074      if $data_type;
2075   }
2076
2077   return $bind_attributes;
2078 }
2079
2080 =head2 select
2081
2082 =over 4
2083
2084 =item Arguments: $ident, $select, $condition, $attrs
2085
2086 =back
2087
2088 Handle a SQL select statement.
2089
2090 =cut
2091
2092 sub select {
2093   my $self = shift;
2094   my ($ident, $select, $condition, $attrs) = @_;
2095   return $self->cursor_class->new($self, \@_, $attrs);
2096 }
2097
2098 sub select_single {
2099   my $self = shift;
2100   my ($rv, $sth, @bind) = $self->_select(@_);
2101   my @row = $sth->fetchrow_array;
2102   my @nextrow = $sth->fetchrow_array if @row;
2103   if(@row && @nextrow) {
2104     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
2105   }
2106   # Need to call finish() to work round broken DBDs
2107   $sth->finish();
2108   return @row;
2109 }
2110
2111 =head2 sth
2112
2113 =over 4
2114
2115 =item Arguments: $sql
2116
2117 =back
2118
2119 Returns a L<DBI> sth (statement handle) for the supplied SQL.
2120
2121 =cut
2122
2123 sub _dbh_sth {
2124   my ($self, $dbh, $sql, $op, $sth_attr) = @_;
2125 # $op is ignored right now
2126
2127   $sth_attr ||= {};
2128
2129   # 3 is the if_active parameter which avoids active sth re-use
2130   my $sth = $self->disable_sth_caching
2131     ? $dbh->prepare($sql, $sth_attr)
2132     : $dbh->prepare_cached($sql, $sth_attr, 3);
2133
2134   # XXX You would think RaiseError would make this impossible,
2135   #  but apparently that's not true :(
2136   $self->throw_exception($dbh->errstr) if !$sth;
2137
2138   $sth;
2139 }
2140
2141 sub sth {
2142   my ($self, $sql, $op, $sth_attr) = @_;
2143   $self->dbh_do('_dbh_sth', $sql, $op, $sth_attr);  # retry over disconnects
2144 }
2145
2146 sub _dbh_columns_info_for {
2147   my ($self, $dbh, $table) = @_;
2148
2149   if ($dbh->can('column_info')) {
2150     my %result;
2151     eval {
2152       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
2153       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
2154       $sth->execute();
2155       while ( my $info = $sth->fetchrow_hashref() ){
2156         my %column_info;
2157         $column_info{data_type}   = $info->{TYPE_NAME};
2158         $column_info{size}      = $info->{COLUMN_SIZE};
2159         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
2160         $column_info{default_value} = $info->{COLUMN_DEF};
2161         my $col_name = $info->{COLUMN_NAME};
2162         $col_name =~ s/^\"(.*)\"$/$1/;
2163
2164         $result{$col_name} = \%column_info;
2165       }
2166     };
2167     return \%result if !$@ && scalar keys %result;
2168   }
2169
2170   my %result;
2171   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
2172   $sth->execute;
2173   my @columns = @{$sth->{NAME_lc}};
2174   for my $i ( 0 .. $#columns ){
2175     my %column_info;
2176     $column_info{data_type} = $sth->{TYPE}->[$i];
2177     $column_info{size} = $sth->{PRECISION}->[$i];
2178     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
2179
2180     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
2181       $column_info{data_type} = $1;
2182       $column_info{size}    = $2;
2183     }
2184
2185     $result{$columns[$i]} = \%column_info;
2186   }
2187   $sth->finish;
2188
2189   foreach my $col (keys %result) {
2190     my $colinfo = $result{$col};
2191     my $type_num = $colinfo->{data_type};
2192     my $type_name;
2193     if(defined $type_num && $dbh->can('type_info')) {
2194       my $type_info = $dbh->type_info($type_num);
2195       $type_name = $type_info->{TYPE_NAME} if $type_info;
2196       $colinfo->{data_type} = $type_name if $type_name;
2197     }
2198   }
2199
2200   return \%result;
2201 }
2202
2203 sub columns_info_for {
2204   my ($self, $table) = @_;
2205   $self->_dbh_columns_info_for ($self->_get_dbh, $table);
2206 }
2207
2208 =head2 last_insert_id
2209
2210 Return the row id of the last insert.
2211
2212 =cut
2213
2214 sub _dbh_last_insert_id {
2215     # All Storage's need to register their own _dbh_last_insert_id
2216     # the old SQLite-based method was highly inappropriate
2217
2218     my $self = shift;
2219     my $class = ref $self;
2220     $self->throw_exception (<<EOE);
2221
2222 No _dbh_last_insert_id() method found in $class.
2223 Since the method of obtaining the autoincrement id of the last insert
2224 operation varies greatly between different databases, this method must be
2225 individually implemented for every storage class.
2226 EOE
2227 }
2228
2229 sub last_insert_id {
2230   my $self = shift;
2231   $self->_dbh_last_insert_id ($self->_dbh, @_);
2232 }
2233
2234 =head2 _native_data_type
2235
2236 =over 4
2237
2238 =item Arguments: $type_name
2239
2240 =back
2241
2242 This API is B<EXPERIMENTAL>, will almost definitely change in the future, and
2243 currently only used by L<::AutoCast|DBIx::Class::Storage::DBI::AutoCast> and
2244 L<::Sybase|DBIx::Class::Storage::DBI::Sybase>.
2245
2246 The default implementation returns C<undef>, implement in your Storage driver if
2247 you need this functionality.
2248
2249 Should map types from other databases to the native RDBMS type, for example
2250 C<VARCHAR2> to C<VARCHAR>.
2251
2252 Types with modifiers should map to the underlying data type. For example,
2253 C<INTEGER AUTO_INCREMENT> should become C<INTEGER>.
2254
2255 Composite types should map to the container type, for example
2256 C<ENUM(foo,bar,baz)> becomes C<ENUM>.
2257
2258 =cut
2259
2260 sub _native_data_type {
2261   #my ($self, $data_type) = @_;
2262   return undef
2263 }
2264
2265 # Check if placeholders are supported at all
2266 sub _placeholders_supported {
2267   my $self = shift;
2268   my $dbh  = $self->_get_dbh;
2269
2270   # some drivers provide a $dbh attribute (e.g. Sybase and $dbh->{syb_dynamic_supported})
2271   # but it is inaccurate more often than not
2272   eval {
2273     local $dbh->{PrintError} = 0;
2274     local $dbh->{RaiseError} = 1;
2275     $dbh->do('select ?', {}, 1);
2276   };
2277   return $@ ? 0 : 1;
2278 }
2279
2280 # Check if placeholders bound to non-string types throw exceptions
2281 #
2282 sub _typeless_placeholders_supported {
2283   my $self = shift;
2284   my $dbh  = $self->_get_dbh;
2285
2286   eval {
2287     local $dbh->{PrintError} = 0;
2288     local $dbh->{RaiseError} = 1;
2289     # this specifically tests a bind that is NOT a string
2290     $dbh->do('select 1 where 1 = ?', {}, 1);
2291   };
2292   return $@ ? 0 : 1;
2293 }
2294
2295 =head2 sqlt_type
2296
2297 Returns the database driver name.
2298
2299 =cut
2300
2301 sub sqlt_type {
2302   my ($self) = @_;
2303
2304   if (not $self->_driver_determined) {
2305     $self->_determine_driver;
2306     goto $self->can ('sqlt_type');
2307   }
2308
2309   $self->_get_dbh->{Driver}->{Name};
2310 }
2311
2312 =head2 bind_attribute_by_data_type
2313
2314 Given a datatype from column info, returns a database specific bind
2315 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
2316 let the database planner just handle it.
2317
2318 Generally only needed for special case column types, like bytea in postgres.
2319
2320 =cut
2321
2322 sub bind_attribute_by_data_type {
2323     return;
2324 }
2325
2326 =head2 is_datatype_numeric
2327
2328 Given a datatype from column_info, returns a boolean value indicating if
2329 the current RDBMS considers it a numeric value. This controls how
2330 L<DBIx::Class::Row/set_column> decides whether to mark the column as
2331 dirty - when the datatype is deemed numeric a C<< != >> comparison will
2332 be performed instead of the usual C<eq>.
2333
2334 =cut
2335
2336 sub is_datatype_numeric {
2337   my ($self, $dt) = @_;
2338
2339   return 0 unless $dt;
2340
2341   return $dt =~ /^ (?:
2342     numeric | int(?:eger)? | (?:tiny|small|medium|big)int | dec(?:imal)? | real | float | double (?: \s+ precision)? | (?:big)?serial
2343   ) $/ix;
2344 }
2345
2346
2347 =head2 create_ddl_dir (EXPERIMENTAL)
2348
2349 =over 4
2350
2351 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
2352
2353 =back
2354
2355 Creates a SQL file based on the Schema, for each of the specified
2356 database engines in C<\@databases> in the given directory.
2357 (note: specify L<SQL::Translator> names, not L<DBI> driver names).
2358
2359 Given a previous version number, this will also create a file containing
2360 the ALTER TABLE statements to transform the previous schema into the
2361 current one. Note that these statements may contain C<DROP TABLE> or
2362 C<DROP COLUMN> statements that can potentially destroy data.
2363
2364 The file names are created using the C<ddl_filename> method below, please
2365 override this method in your schema if you would like a different file
2366 name format. For the ALTER file, the same format is used, replacing
2367 $version in the name with "$preversion-$version".
2368
2369 See L<SQL::Translator/METHODS> for a list of values for C<\%sqlt_args>.
2370 The most common value for this would be C<< { add_drop_table => 1 } >>
2371 to have the SQL produced include a C<DROP TABLE> statement for each table
2372 created. For quoting purposes supply C<quote_table_names> and
2373 C<quote_field_names>.
2374
2375 If no arguments are passed, then the following default values are assumed:
2376
2377 =over 4
2378
2379 =item databases  - ['MySQL', 'SQLite', 'PostgreSQL']
2380
2381 =item version    - $schema->schema_version
2382
2383 =item directory  - './'
2384
2385 =item preversion - <none>
2386
2387 =back
2388
2389 By default, C<\%sqlt_args> will have
2390
2391  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
2392
2393 merged with the hash passed in. To disable any of those features, pass in a
2394 hashref like the following
2395
2396  { ignore_constraint_names => 0, # ... other options }
2397
2398
2399 Note that this feature is currently EXPERIMENTAL and may not work correctly
2400 across all databases, or fully handle complex relationships.
2401
2402 WARNING: Please check all SQL files created, before applying them.
2403
2404 =cut
2405
2406 sub create_ddl_dir {
2407   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
2408
2409   if(!$dir || !-d $dir) {
2410     carp "No directory given, using ./\n";
2411     $dir = "./";
2412   }
2413   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
2414   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
2415
2416   my $schema_version = $schema->schema_version || '1.x';
2417   $version ||= $schema_version;
2418
2419   $sqltargs = {
2420     add_drop_table => 1,
2421     ignore_constraint_names => 1,
2422     ignore_index_names => 1,
2423     %{$sqltargs || {}}
2424   };
2425
2426   $self->throw_exception("Can't create a ddl file without SQL::Translator: " . $self->_sqlt_version_error)
2427     if !$self->_sqlt_version_ok;
2428
2429   my $sqlt = SQL::Translator->new( $sqltargs );
2430
2431   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
2432   my $sqlt_schema = $sqlt->translate({ data => $schema })
2433     or $self->throw_exception ($sqlt->error);
2434
2435   foreach my $db (@$databases) {
2436     $sqlt->reset();
2437     $sqlt->{schema} = $sqlt_schema;
2438     $sqlt->producer($db);
2439
2440     my $file;
2441     my $filename = $schema->ddl_filename($db, $version, $dir);
2442     if (-e $filename && ($version eq $schema_version )) {
2443       # if we are dumping the current version, overwrite the DDL
2444       carp "Overwriting existing DDL file - $filename";
2445       unlink($filename);
2446     }
2447
2448     my $output = $sqlt->translate;
2449     if(!$output) {
2450       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
2451       next;
2452     }
2453     if(!open($file, ">$filename")) {
2454       $self->throw_exception("Can't open $filename for writing ($!)");
2455       next;
2456     }
2457     print $file $output;
2458     close($file);
2459
2460     next unless ($preversion);
2461
2462     require SQL::Translator::Diff;
2463
2464     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
2465     if(!-e $prefilename) {
2466       carp("No previous schema file found ($prefilename)");
2467       next;
2468     }
2469
2470     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
2471     if(-e $difffile) {
2472       carp("Overwriting existing diff file - $difffile");
2473       unlink($difffile);
2474     }
2475
2476     my $source_schema;
2477     {
2478       my $t = SQL::Translator->new($sqltargs);
2479       $t->debug( 0 );
2480       $t->trace( 0 );
2481
2482       $t->parser( $db )
2483         or $self->throw_exception ($t->error);
2484
2485       my $out = $t->translate( $prefilename )
2486         or $self->throw_exception ($t->error);
2487
2488       $source_schema = $t->schema;
2489
2490       $source_schema->name( $prefilename )
2491         unless ( $source_schema->name );
2492     }
2493
2494     # The "new" style of producers have sane normalization and can support
2495     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
2496     # And we have to diff parsed SQL against parsed SQL.
2497     my $dest_schema = $sqlt_schema;
2498
2499     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
2500       my $t = SQL::Translator->new($sqltargs);
2501       $t->debug( 0 );
2502       $t->trace( 0 );
2503
2504       $t->parser( $db )
2505         or $self->throw_exception ($t->error);
2506
2507       my $out = $t->translate( $filename )
2508         or $self->throw_exception ($t->error);
2509
2510       $dest_schema = $t->schema;
2511
2512       $dest_schema->name( $filename )
2513         unless $dest_schema->name;
2514     }
2515
2516     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
2517                                                   $dest_schema,   $db,
2518                                                   $sqltargs
2519                                                  );
2520     if(!open $file, ">$difffile") {
2521       $self->throw_exception("Can't write to $difffile ($!)");
2522       next;
2523     }
2524     print $file $diff;
2525     close($file);
2526   }
2527 }
2528
2529 =head2 deployment_statements
2530
2531 =over 4
2532
2533 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
2534
2535 =back
2536
2537 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
2538
2539 The L<SQL::Translator> (not L<DBI>) database driver name can be explicitly
2540 provided in C<$type>, otherwise the result of L</sqlt_type> is used as default.
2541
2542 C<$directory> is used to return statements from files in a previously created
2543 L</create_ddl_dir> directory and is optional. The filenames are constructed
2544 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
2545
2546 If no C<$directory> is specified then the statements are constructed on the
2547 fly using L<SQL::Translator> and C<$version> is ignored.
2548
2549 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
2550
2551 =cut
2552
2553 sub deployment_statements {
2554   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
2555   $type ||= $self->sqlt_type;
2556   $version ||= $schema->schema_version || '1.x';
2557   $dir ||= './';
2558   my $filename = $schema->ddl_filename($type, $version, $dir);
2559   if(-f $filename)
2560   {
2561       my $file;
2562       open($file, "<$filename")
2563         or $self->throw_exception("Can't open $filename ($!)");
2564       my @rows = <$file>;
2565       close($file);
2566       return join('', @rows);
2567   }
2568
2569   $self->throw_exception("Can't deploy without either SQL::Translator or a ddl_dir: " . $self->_sqlt_version_error )
2570     if !$self->_sqlt_version_ok;
2571
2572   # sources needs to be a parser arg, but for simplicty allow at top level
2573   # coming in
2574   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
2575       if exists $sqltargs->{sources};
2576
2577   my $tr = SQL::Translator->new(
2578     producer => "SQL::Translator::Producer::${type}",
2579     %$sqltargs,
2580     parser => 'SQL::Translator::Parser::DBIx::Class',
2581     data => $schema,
2582   );
2583   return $tr->translate;
2584 }
2585
2586 sub deploy {
2587   my ($self, $schema, $type, $sqltargs, $dir) = @_;
2588   my $deploy = sub {
2589     my $line = shift;
2590     return if($line =~ /^--/);
2591     return if(!$line);
2592     # next if($line =~ /^DROP/m);
2593     return if($line =~ /^BEGIN TRANSACTION/m);
2594     return if($line =~ /^COMMIT/m);
2595     return if $line =~ /^\s+$/; # skip whitespace only
2596     $self->_query_start($line);
2597     eval {
2598       # do a dbh_do cycle here, as we need some error checking in
2599       # place (even though we will ignore errors)
2600       $self->dbh_do (sub { $_[1]->do($line) });
2601     };
2602     if ($@) {
2603       carp qq{$@ (running "${line}")};
2604     }
2605     $self->_query_end($line);
2606   };
2607   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
2608   if (@statements > 1) {
2609     foreach my $statement (@statements) {
2610       $deploy->( $statement );
2611     }
2612   }
2613   elsif (@statements == 1) {
2614     foreach my $line ( split(";\n", $statements[0])) {
2615       $deploy->( $line );
2616     }
2617   }
2618 }
2619
2620 =head2 datetime_parser
2621
2622 Returns the datetime parser class
2623
2624 =cut
2625
2626 sub datetime_parser {
2627   my $self = shift;
2628   return $self->{datetime_parser} ||= do {
2629     $self->build_datetime_parser(@_);
2630   };
2631 }
2632
2633 =head2 datetime_parser_type
2634
2635 Defines (returns) the datetime parser class - currently hardwired to
2636 L<DateTime::Format::MySQL>
2637
2638 =cut
2639
2640 sub datetime_parser_type { "DateTime::Format::MySQL"; }
2641
2642 =head2 build_datetime_parser
2643
2644 See L</datetime_parser>
2645
2646 =cut
2647
2648 sub build_datetime_parser {
2649   if (not $_[0]->_driver_determined) {
2650     $_[0]->_determine_driver;
2651     goto $_[0]->can('build_datetime_parser');
2652   }
2653
2654   my $self = shift;
2655   my $type = $self->datetime_parser_type(@_);
2656   $self->ensure_class_loaded ($type);
2657   return $type;
2658 }
2659
2660
2661 =head2 is_replicating
2662
2663 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
2664 replicate from a master database.  Default is undef, which is the result
2665 returned by databases that don't support replication.
2666
2667 =cut
2668
2669 sub is_replicating {
2670     return;
2671
2672 }
2673
2674 =head2 lag_behind_master
2675
2676 Returns a number that represents a certain amount of lag behind a master db
2677 when a given storage is replicating.  The number is database dependent, but
2678 starts at zero and increases with the amount of lag. Default in undef
2679
2680 =cut
2681
2682 sub lag_behind_master {
2683     return;
2684 }
2685
2686 # SQLT version handling 
2687 {
2688   my $_sqlt_version_ok;     # private 
2689   my $_sqlt_version_error;  # private 
2690
2691   sub _sqlt_version_ok {
2692     if (!defined $_sqlt_version_ok) {
2693       eval "use SQL::Translator $minimum_sqlt_version";
2694       if ($@) {
2695         $_sqlt_version_ok = 0;
2696         $_sqlt_version_error = $@;
2697       }
2698       else {
2699         $_sqlt_version_ok = 1;
2700       }
2701     }
2702     return $_sqlt_version_ok;
2703   }
2704
2705   sub _sqlt_version_error {
2706     shift->_sqlt_version_ok unless defined $_sqlt_version_ok;
2707     return $_sqlt_version_error;
2708   }
2709
2710   sub _sqlt_minimum_version { $minimum_sqlt_version };
2711 }
2712
2713 sub DESTROY {
2714   my $self = shift;
2715
2716   $self->_verify_pid if $self->_dbh;
2717
2718   # some databases need this to stop spewing warnings
2719   if (my $dbh = $self->_dbh) {
2720     local $@;
2721     eval { $dbh->disconnect };
2722   }
2723
2724   $self->_dbh(undef);
2725 }
2726
2727 1;
2728
2729 =head1 USAGE NOTES
2730
2731 =head2 DBIx::Class and AutoCommit
2732
2733 DBIx::Class can do some wonderful magic with handling exceptions,
2734 disconnections, and transactions when you use C<< AutoCommit => 1 >>
2735 (the default) combined with C<txn_do> for transaction support.
2736
2737 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
2738 in an assumed transaction between commits, and you're telling us you'd
2739 like to manage that manually.  A lot of the magic protections offered by
2740 this module will go away.  We can't protect you from exceptions due to database
2741 disconnects because we don't know anything about how to restart your
2742 transactions.  You're on your own for handling all sorts of exceptional
2743 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
2744 be with raw DBI.
2745
2746
2747 =head1 AUTHORS
2748
2749 Matt S. Trout <mst@shadowcatsystems.co.uk>
2750
2751 Andy Grundman <andy@hybridized.org>
2752
2753 =head1 LICENSE
2754
2755 You may distribute this code under the same terms as Perl itself.
2756
2757 =cut