Merge 'trunk' into 'sybase'
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI.pm
1 package DBIx::Class::Storage::DBI;
2 # -*- mode: cperl; cperl-indent-level: 2 -*-
3
4 use strict;
5 use warnings;
6
7 use base 'DBIx::Class::Storage';
8 use mro 'c3';
9
10 use Carp::Clan qw/^DBIx::Class/;
11 use DBI;
12 use DBIx::Class::Storage::DBI::Cursor;
13 use DBIx::Class::Storage::Statistics;
14 use Scalar::Util();
15 use List::Util();
16
17 __PACKAGE__->mk_group_accessors('simple' =>
18   qw/_connect_info _dbi_connect_info _dbh _sql_maker _sql_maker_opts _conn_pid
19      _conn_tid transaction_depth _dbh_autocommit _driver_determined savepoints/
20 );
21
22 # the values for these accessors are picked out (and deleted) from
23 # the attribute hashref passed to connect_info
24 my @storage_options = qw/
25   on_connect_call on_disconnect_call on_connect_do on_disconnect_do
26   disable_sth_caching unsafe auto_savepoint
27 /;
28 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
29
30
31 # default cursor class, overridable in connect_info attributes
32 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
33
34 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
35 __PACKAGE__->sql_maker_class('DBIx::Class::SQLAHacks');
36
37
38 =head1 NAME
39
40 DBIx::Class::Storage::DBI - DBI storage handler
41
42 =head1 SYNOPSIS
43
44   my $schema = MySchema->connect('dbi:SQLite:my.db');
45
46   $schema->storage->debug(1);
47   $schema->dbh_do("DROP TABLE authors");
48
49   $schema->resultset('Book')->search({
50      written_on => $schema->storage->datetime_parser(DateTime->now)
51   });
52
53 =head1 DESCRIPTION
54
55 This class represents the connection to an RDBMS via L<DBI>.  See
56 L<DBIx::Class::Storage> for general information.  This pod only
57 documents DBI-specific methods and behaviors.
58
59 =head1 METHODS
60
61 =cut
62
63 sub new {
64   my $new = shift->next::method(@_);
65
66   $new->transaction_depth(0);
67   $new->_sql_maker_opts({});
68   $new->{savepoints} = [];
69   $new->{_in_dbh_do} = 0;
70   $new->{_dbh_gen} = 0;
71
72   $new;
73 }
74
75 =head2 connect_info
76
77 This method is normally called by L<DBIx::Class::Schema/connection>, which
78 encapsulates its argument list in an arrayref before passing them here.
79
80 The argument list may contain:
81
82 =over
83
84 =item *
85
86 The same 4-element argument set one would normally pass to
87 L<DBI/connect>, optionally followed by
88 L<extra attributes|/DBIx::Class specific connection attributes>
89 recognized by DBIx::Class:
90
91   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
92
93 =item *
94
95 A single code reference which returns a connected
96 L<DBI database handle|DBI/connect> optionally followed by
97 L<extra attributes|/DBIx::Class specific connection attributes> recognized
98 by DBIx::Class:
99
100   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
101
102 =item *
103
104 A single hashref with all the attributes and the dsn/user/password
105 mixed together:
106
107   $connect_info_args = [{
108     dsn => $dsn,
109     user => $user,
110     password => $pass,
111     %dbi_attributes,
112     %extra_attributes,
113   }];
114
115 This is particularly useful for L<Catalyst> based applications, allowing the
116 following config (L<Config::General> style):
117
118   <Model::DB>
119     schema_class   App::DB
120     <connect_info>
121       dsn          dbi:mysql:database=test
122       user         testuser
123       password     TestPass
124       AutoCommit   1
125     </connect_info>
126   </Model::DB>
127
128 =back
129
130 Please note that the L<DBI> docs recommend that you always explicitly
131 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
132 recommends that it be set to I<1>, and that you perform transactions
133 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
134 to I<1> if you do not do explicitly set it to zero.  This is the default
135 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
136
137 =head3 DBIx::Class specific connection attributes
138
139 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
140 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
141 the following connection options. These options can be mixed in with your other
142 L<DBI> connection attributes, or placed in a seperate hashref
143 (C<\%extra_attributes>) as shown above.
144
145 Every time C<connect_info> is invoked, any previous settings for
146 these options will be cleared before setting the new ones, regardless of
147 whether any options are specified in the new C<connect_info>.
148
149
150 =over
151
152 =item on_connect_do
153
154 Specifies things to do immediately after connecting or re-connecting to
155 the database.  Its value may contain:
156
157 =over
158
159 =item a scalar
160
161 This contains one SQL statement to execute.
162
163 =item an array reference
164
165 This contains SQL statements to execute in order.  Each element contains
166 a string or a code reference that returns a string.
167
168 =item a code reference
169
170 This contains some code to execute.  Unlike code references within an
171 array reference, its return value is ignored.
172
173 =back
174
175 =item on_disconnect_do
176
177 Takes arguments in the same form as L</on_connect_do> and executes them
178 immediately before disconnecting from the database.
179
180 Note, this only runs if you explicitly call L</disconnect> on the
181 storage object.
182
183 =item on_connect_call
184
185 A more generalized form of L</on_connect_do> that calls the specified
186 C<connect_call_METHOD> methods in your storage driver.
187
188   on_connect_do => 'select 1'
189
190 is equivalent to:
191
192   on_connect_call => [ [ do_sql => 'select 1' ] ]
193
194 Its values may contain:
195
196 =over
197
198 =item a scalar
199
200 Will call the C<connect_call_METHOD> method.
201
202 =item a code reference
203
204 Will execute C<< $code->($storage) >>
205
206 =item an array reference
207
208 Each value can be a method name or code reference.
209
210 =item an array of arrays
211
212 For each array, the first item is taken to be the C<connect_call_> method name
213 or code reference, and the rest are parameters to it.
214
215 =back
216
217 Some predefined storage methods you may use:
218
219 =over
220
221 =item do_sql
222
223 Executes a SQL string or a code reference that returns a SQL string. This is
224 what L</on_connect_do> and L</on_disconnect_do> use.
225
226 It can take:
227
228 =over
229
230 =item a scalar
231
232 Will execute the scalar as SQL.
233
234 =item an arrayref
235
236 Taken to be arguments to L<DBI/do>, the SQL string optionally followed by the
237 attributes hashref and bind values.
238
239 =item a code reference
240
241 Will execute C<< $code->($storage) >> and execute the return array refs as
242 above.
243
244 =back
245
246 =item datetime_setup
247
248 Execute any statements necessary to initialize the database session to return
249 and accept datetime/timestamp values used with
250 L<DBIx::Class::InflateColumn::DateTime>.
251
252 Only necessary for some databases, see your specific storage driver for
253 implementation details.
254
255 =back
256
257 =item on_disconnect_call
258
259 Takes arguments in the same form as L</on_connect_call> and executes them
260 immediately before disconnecting from the database.
261
262 Calls the C<disconnect_call_METHOD> methods as opposed to the
263 C<connect_call_METHOD> methods called by L</on_connect_call>.
264
265 Note, this only runs if you explicitly call L</disconnect> on the
266 storage object.
267
268 =item disable_sth_caching
269
270 If set to a true value, this option will disable the caching of
271 statement handles via L<DBI/prepare_cached>.
272
273 =item limit_dialect
274
275 Sets the limit dialect. This is useful for JDBC-bridge among others
276 where the remote SQL-dialect cannot be determined by the name of the
277 driver alone. See also L<SQL::Abstract::Limit>.
278
279 =item quote_char
280
281 Specifies what characters to use to quote table and column names. If
282 you use this you will want to specify L</name_sep> as well.
283
284 C<quote_char> expects either a single character, in which case is it
285 is placed on either side of the table/column name, or an arrayref of length
286 2 in which case the table/column name is placed between the elements.
287
288 For example under MySQL you should use C<< quote_char => '`' >>, and for
289 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
290
291 =item name_sep
292
293 This only needs to be used in conjunction with C<quote_char>, and is used to
294 specify the charecter that seperates elements (schemas, tables, columns) from
295 each other. In most cases this is simply a C<.>.
296
297 The consequences of not supplying this value is that L<SQL::Abstract>
298 will assume DBIx::Class' uses of aliases to be complete column
299 names. The output will look like I<"me.name"> when it should actually
300 be I<"me"."name">.
301
302 =item unsafe
303
304 This Storage driver normally installs its own C<HandleError>, sets
305 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
306 all database handles, including those supplied by a coderef.  It does this
307 so that it can have consistent and useful error behavior.
308
309 If you set this option to a true value, Storage will not do its usual
310 modifications to the database handle's attributes, and instead relies on
311 the settings in your connect_info DBI options (or the values you set in
312 your connection coderef, in the case that you are connecting via coderef).
313
314 Note that your custom settings can cause Storage to malfunction,
315 especially if you set a C<HandleError> handler that suppresses exceptions
316 and/or disable C<RaiseError>.
317
318 =item auto_savepoint
319
320 If this option is true, L<DBIx::Class> will use savepoints when nesting
321 transactions, making it possible to recover from failure in the inner
322 transaction without having to abort all outer transactions.
323
324 =item cursor_class
325
326 Use this argument to supply a cursor class other than the default
327 L<DBIx::Class::Storage::DBI::Cursor>.
328
329 =back
330
331 Some real-life examples of arguments to L</connect_info> and
332 L<DBIx::Class::Schema/connect>
333
334   # Simple SQLite connection
335   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
336
337   # Connect via subref
338   ->connect_info([ sub { DBI->connect(...) } ]);
339
340   # A bit more complicated
341   ->connect_info(
342     [
343       'dbi:Pg:dbname=foo',
344       'postgres',
345       'my_pg_password',
346       { AutoCommit => 1 },
347       { quote_char => q{"}, name_sep => q{.} },
348     ]
349   );
350
351   # Equivalent to the previous example
352   ->connect_info(
353     [
354       'dbi:Pg:dbname=foo',
355       'postgres',
356       'my_pg_password',
357       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
358     ]
359   );
360
361   # Same, but with hashref as argument
362   # See parse_connect_info for explanation
363   ->connect_info(
364     [{
365       dsn         => 'dbi:Pg:dbname=foo',
366       user        => 'postgres',
367       password    => 'my_pg_password',
368       AutoCommit  => 1,
369       quote_char  => q{"},
370       name_sep    => q{.},
371     }]
372   );
373
374   # Subref + DBIx::Class-specific connection options
375   ->connect_info(
376     [
377       sub { DBI->connect(...) },
378       {
379           quote_char => q{`},
380           name_sep => q{@},
381           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
382           disable_sth_caching => 1,
383       },
384     ]
385   );
386
387
388
389 =cut
390
391 sub connect_info {
392   my ($self, $info_arg) = @_;
393
394   return $self->_connect_info if !$info_arg;
395
396   my @args = @$info_arg;  # take a shallow copy for further mutilation
397   $self->_connect_info([@args]); # copy for _connect_info
398
399
400   # combine/pre-parse arguments depending on invocation style
401
402   my %attrs;
403   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
404     %attrs = %{ $args[1] || {} };
405     @args = $args[0];
406   }
407   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
408     %attrs = %{$args[0]};
409     @args = ();
410     for (qw/password user dsn/) {
411       unshift @args, delete $attrs{$_};
412     }
413   }
414   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
415     %attrs = (
416       % { $args[3] || {} },
417       % { $args[4] || {} },
418     );
419     @args = @args[0,1,2];
420   }
421
422   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
423   #  the new set of options
424   $self->_sql_maker(undef);
425   $self->_sql_maker_opts({});
426
427   if(keys %attrs) {
428     for my $storage_opt (@storage_options, 'cursor_class') {    # @storage_options is declared at the top of the module
429       if(my $value = delete $attrs{$storage_opt}) {
430         $self->$storage_opt($value);
431       }
432     }
433     for my $sql_maker_opt (qw/limit_dialect quote_char name_sep/) {
434       if(my $opt_val = delete $attrs{$sql_maker_opt}) {
435         $self->_sql_maker_opts->{$sql_maker_opt} = $opt_val;
436       }
437     }
438   }
439
440   if (ref $args[0] eq 'CODE') {
441     # _connect() never looks past $args[0] in this case
442     %attrs = ()
443   } else {
444     %attrs = (
445       %{ $self->_default_dbi_connect_attributes || {} },
446       %attrs,
447     );
448   }
449
450   $self->_dbi_connect_info([@args, keys %attrs ? \%attrs : ()]);
451   $self->_connect_info;
452 }
453
454 sub _default_dbi_connect_attributes {
455   return {
456     AutoCommit => 1,
457     RaiseError => 1,
458     PrintError => 0,
459   };
460 }
461
462 =head2 on_connect_do
463
464 This method is deprecated in favour of setting via L</connect_info>.
465
466 =cut
467
468 =head2 on_disconnect_do
469
470 This method is deprecated in favour of setting via L</connect_info>.
471
472 =cut
473
474 sub _parse_connect_do {
475   my ($self, $type) = @_;
476
477   my $val = $self->$type;
478   return () if not defined $val;
479
480   my @res;
481
482   if (not ref($val)) {
483     push @res, [ 'do_sql', $val ];
484   } elsif (ref($val) eq 'CODE') {
485     push @res, $val;
486   } elsif (ref($val) eq 'ARRAY') {
487     push @res, map { [ 'do_sql', $_ ] } @$val;
488   } else {
489     $self->throw_exception("Invalid type for $type: ".ref($val));
490   }
491
492   return \@res;
493 }
494
495 =head2 dbh_do
496
497 Arguments: ($subref | $method_name), @extra_coderef_args?
498
499 Execute the given $subref or $method_name using the new exception-based
500 connection management.
501
502 The first two arguments will be the storage object that C<dbh_do> was called
503 on and a database handle to use.  Any additional arguments will be passed
504 verbatim to the called subref as arguments 2 and onwards.
505
506 Using this (instead of $self->_dbh or $self->dbh) ensures correct
507 exception handling and reconnection (or failover in future subclasses).
508
509 Your subref should have no side-effects outside of the database, as
510 there is the potential for your subref to be partially double-executed
511 if the database connection was stale/dysfunctional.
512
513 Example:
514
515   my @stuff = $schema->storage->dbh_do(
516     sub {
517       my ($storage, $dbh, @cols) = @_;
518       my $cols = join(q{, }, @cols);
519       $dbh->selectrow_array("SELECT $cols FROM foo");
520     },
521     @column_list
522   );
523
524 =cut
525
526 sub dbh_do {
527   my $self = shift;
528   my $code = shift;
529
530   my $dbh = $self->_dbh;
531
532   return $self->$code($dbh, @_) if $self->{_in_dbh_do}
533       || $self->{transaction_depth};
534
535   local $self->{_in_dbh_do} = 1;
536
537   my @result;
538   my $want_array = wantarray;
539
540   eval {
541     $self->_verify_pid if $dbh;
542     if(!$self->_dbh) {
543         $self->_populate_dbh;
544         $dbh = $self->_dbh;
545     }
546
547     if($want_array) {
548         @result = $self->$code($dbh, @_);
549     }
550     elsif(defined $want_array) {
551         $result[0] = $self->$code($dbh, @_);
552     }
553     else {
554         $self->$code($dbh, @_);
555     }
556   };
557
558   # ->connected might unset $@ - copy
559   my $exception = $@;
560   if(!$exception) { return $want_array ? @result : $result[0] }
561
562   $self->throw_exception($exception) if $self->connected;
563
564   # We were not connected - reconnect and retry, but let any
565   #  exception fall right through this time
566   carp "Retrying $code after catching disconnected exception: $exception"
567     if $ENV{DBIC_DBIRETRY_DEBUG};
568   $self->_populate_dbh;
569   $self->$code($self->_dbh, @_);
570 }
571
572 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
573 # It also informs dbh_do to bypass itself while under the direction of txn_do,
574 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
575 sub txn_do {
576   my $self = shift;
577   my $coderef = shift;
578
579   ref $coderef eq 'CODE' or $self->throw_exception
580     ('$coderef must be a CODE reference');
581
582   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
583
584   local $self->{_in_dbh_do} = 1;
585
586   my @result;
587   my $want_array = wantarray;
588
589   my $tried = 0;
590   while(1) {
591     eval {
592       $self->_verify_pid if $self->_dbh;
593       $self->_populate_dbh if !$self->_dbh;
594
595       $self->txn_begin;
596       if($want_array) {
597           @result = $coderef->(@_);
598       }
599       elsif(defined $want_array) {
600           $result[0] = $coderef->(@_);
601       }
602       else {
603           $coderef->(@_);
604       }
605       $self->txn_commit;
606     };
607
608     # ->connected might unset $@ - copy
609     my $exception = $@;
610     if(!$exception) { return $want_array ? @result : $result[0] }
611
612     if($tried++ || $self->connected) {
613       eval { $self->txn_rollback };
614       my $rollback_exception = $@;
615       if($rollback_exception) {
616         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
617         $self->throw_exception($exception)  # propagate nested rollback
618           if $rollback_exception =~ /$exception_class/;
619
620         $self->throw_exception(
621           "Transaction aborted: ${exception}. "
622           . "Rollback failed: ${rollback_exception}"
623         );
624       }
625       $self->throw_exception($exception)
626     }
627
628     # We were not connected, and was first try - reconnect and retry
629     # via the while loop
630     carp "Retrying $coderef after catching disconnected exception: $exception"
631       if $ENV{DBIC_DBIRETRY_DEBUG};
632     $self->_populate_dbh;
633   }
634 }
635
636 =head2 disconnect
637
638 Our C<disconnect> method also performs a rollback first if the
639 database is not in C<AutoCommit> mode.
640
641 =cut
642
643 sub disconnect {
644   my ($self) = @_;
645
646   if( $self->_dbh ) {
647     my @actions;
648
649     push @actions, ( $self->on_disconnect_call || () );
650     push @actions, $self->_parse_connect_do ('on_disconnect_do');
651
652     $self->_do_connection_actions(disconnect_call_ => $_) for @actions;
653
654     $self->_dbh_rollback unless $self->_dbh_autocommit;
655
656     $self->_dbh->disconnect;
657     $self->_dbh(undef);
658     $self->{_dbh_gen}++;
659   }
660 }
661
662 =head2 with_deferred_fk_checks
663
664 =over 4
665
666 =item Arguments: C<$coderef>
667
668 =item Return Value: The return value of $coderef
669
670 =back
671
672 Storage specific method to run the code ref with FK checks deferred or
673 in MySQL's case disabled entirely.
674
675 =cut
676
677 # Storage subclasses should override this
678 sub with_deferred_fk_checks {
679   my ($self, $sub) = @_;
680
681   $sub->();
682 }
683
684 =head2 connected
685
686 =over
687
688 =item Arguments: none
689
690 =item Return Value: 1|0
691
692 =back
693
694 Verifies that the the current database handle is active and ready to execute
695 an SQL statement (i.e. the connection did not get stale, server is still
696 answering, etc.) This method is used internally by L</dbh>.
697
698 =cut
699
700 sub connected {
701   my $self = shift;
702   return 0 unless $self->_seems_connected;
703
704   #be on the safe side
705   local $self->_dbh->{RaiseError} = 1;
706
707   return $self->_ping;
708 }
709
710 sub _seems_connected {
711   my $self = shift;
712
713   my $dbh = $self->_dbh
714     or return 0;
715
716   if(defined $self->_conn_tid && $self->_conn_tid != threads->tid) {
717     $self->_dbh(undef);
718     $self->{_dbh_gen}++;
719     return 0;
720   }
721   else {
722     $self->_verify_pid;
723     return 0 if !$self->_dbh;
724   }
725
726   return $dbh->FETCH('Active');
727 }
728
729 sub _ping {
730   my $self = shift;
731
732   my $dbh = $self->_dbh or return 0;
733
734   return $dbh->ping;
735 }
736
737 # handle pid changes correctly
738 #  NOTE: assumes $self->_dbh is a valid $dbh
739 sub _verify_pid {
740   my ($self) = @_;
741
742   return if defined $self->_conn_pid && $self->_conn_pid == $$;
743
744   $self->_dbh->{InactiveDestroy} = 1;
745   $self->_dbh(undef);
746   $self->{_dbh_gen}++;
747
748   return;
749 }
750
751 sub ensure_connected {
752   my ($self) = @_;
753
754   unless ($self->connected) {
755     $self->_populate_dbh;
756   }
757 }
758
759 =head2 dbh
760
761 Returns a C<$dbh> - a data base handle of class L<DBI>. The returned handle
762 is guaranteed to be healthy by implicitly calling L</connected>, and if
763 necessary performing a reconnection before returning. Keep in mind that this
764 is very B<expensive> on some database engines. Consider using L<dbh_do>
765 instead.
766
767 =cut
768
769 sub dbh {
770   my ($self) = @_;
771
772   if (not $self->_dbh) {
773     $self->_populate_dbh;
774   } else {
775     $self->ensure_connected;
776   }
777   return $self->_dbh;
778 }
779
780 # this is the internal "get dbh or connect (don't check)" method
781 sub _get_dbh {
782   my $self = shift;
783   $self->_populate_dbh unless $self->_dbh;
784   return $self->_dbh;
785 }
786
787 sub _sql_maker_args {
788     my ($self) = @_;
789
790     return (
791       bindtype=>'columns',
792       array_datatypes => 1,
793       limit_dialect => $self->_get_dbh,
794       %{$self->_sql_maker_opts}
795     );
796 }
797
798 sub sql_maker {
799   my ($self) = @_;
800   unless ($self->_sql_maker) {
801     my $sql_maker_class = $self->sql_maker_class;
802     $self->ensure_class_loaded ($sql_maker_class);
803     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
804   }
805   return $self->_sql_maker;
806 }
807
808 sub _rebless {}
809
810 sub _populate_dbh {
811   my ($self) = @_;
812
813   my @info = @{$self->_dbi_connect_info || []};
814   $self->_dbh(undef); # in case ->connected failed we might get sent here
815   $self->_dbh($self->_connect(@info));
816
817   $self->_conn_pid($$);
818   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
819
820   $self->_determine_driver;
821
822   # Always set the transaction depth on connect, since
823   #  there is no transaction in progress by definition
824   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
825
826   $self->_run_connection_actions unless $self->{_in_determine_driver};
827 }
828
829 sub _run_connection_actions {
830   my $self = shift;
831   my @actions;
832
833   push @actions, ( $self->on_connect_call || () );
834   push @actions, $self->_parse_connect_do ('on_connect_do');
835
836   $self->_do_connection_actions(connect_call_ => $_) for @actions;
837 }
838
839 sub _determine_driver {
840   my ($self) = @_;
841
842   if ((not $self->_driver_determined) && (not $self->{_in_determine_driver})) {
843     my $started_unconnected = 0;
844     local $self->{_in_determine_driver} = 1;
845
846     if (ref($self) eq __PACKAGE__) {
847       my $driver;
848       if ($self->_dbh) { # we are connected
849         $driver = $self->_dbh->{Driver}{Name};
850       } else {
851         # try to use dsn to not require being connected, the driver may still
852         # force a connection in _rebless to determine version
853         ($driver) = $self->_dbi_connect_info->[0] =~ /dbi:([^:]+):/i;
854         $started_unconnected = 1;
855       }
856
857       my $storage_class = "DBIx::Class::Storage::DBI::${driver}";
858       if ($self->load_optional_class($storage_class)) {
859         mro::set_mro($storage_class, 'c3');
860         bless $self, $storage_class;
861         $self->_rebless();
862       }
863     }
864
865     $self->_driver_determined(1);
866
867     $self->_run_connection_actions
868         if $started_unconnected && defined $self->_dbh;
869   }
870 }
871
872 sub _do_connection_actions {
873   my $self          = shift;
874   my $method_prefix = shift;
875   my $call          = shift;
876
877   if (not ref($call)) {
878     my $method = $method_prefix . $call;
879     $self->$method(@_);
880   } elsif (ref($call) eq 'CODE') {
881     $self->$call(@_);
882   } elsif (ref($call) eq 'ARRAY') {
883     if (ref($call->[0]) ne 'ARRAY') {
884       $self->_do_connection_actions($method_prefix, $_) for @$call;
885     } else {
886       $self->_do_connection_actions($method_prefix, @$_) for @$call;
887     }
888   } else {
889     $self->throw_exception (sprintf ("Don't know how to process conection actions of type '%s'", ref($call)) );
890   }
891
892   return $self;
893 }
894
895 sub connect_call_do_sql {
896   my $self = shift;
897   $self->_do_query(@_);
898 }
899
900 sub disconnect_call_do_sql {
901   my $self = shift;
902   $self->_do_query(@_);
903 }
904
905 # override in db-specific backend when necessary
906 sub connect_call_datetime_setup { 1 }
907
908 sub _do_query {
909   my ($self, $action) = @_;
910
911   if (ref $action eq 'CODE') {
912     $action = $action->($self);
913     $self->_do_query($_) foreach @$action;
914   }
915   else {
916     # Most debuggers expect ($sql, @bind), so we need to exclude
917     # the attribute hash which is the second argument to $dbh->do
918     # furthermore the bind values are usually to be presented
919     # as named arrayref pairs, so wrap those here too
920     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
921     my $sql = shift @do_args;
922     my $attrs = shift @do_args;
923     my @bind = map { [ undef, $_ ] } @do_args;
924
925     $self->_query_start($sql, @bind);
926     $self->_dbh->do($sql, $attrs, @do_args);
927     $self->_query_end($sql, @bind);
928   }
929
930   return $self;
931 }
932
933 sub _connect {
934   my ($self, @info) = @_;
935
936   $self->throw_exception("You failed to provide any connection info")
937     if !@info;
938
939   my ($old_connect_via, $dbh);
940
941   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
942     $old_connect_via = $DBI::connect_via;
943     $DBI::connect_via = 'connect';
944   }
945
946   eval {
947     if(ref $info[0] eq 'CODE') {
948        $dbh = &{$info[0]}
949     }
950     else {
951        $dbh = DBI->connect(@info);
952     }
953
954     if($dbh && !$self->unsafe) {
955       my $weak_self = $self;
956       Scalar::Util::weaken($weak_self);
957       $dbh->{HandleError} = sub {
958           if ($weak_self) {
959             $weak_self->throw_exception("DBI Exception: $_[0]");
960           }
961           else {
962             croak ("DBI Exception: $_[0]");
963           }
964       };
965       $dbh->{ShowErrorStatement} = 1;
966       $dbh->{RaiseError} = 1;
967       $dbh->{PrintError} = 0;
968     }
969   };
970
971   $DBI::connect_via = $old_connect_via if $old_connect_via;
972
973   $self->throw_exception("DBI Connection failed: " . ($@||$DBI::errstr))
974     if !$dbh || $@;
975
976   $self->_dbh_autocommit($dbh->{AutoCommit});
977
978   $dbh;
979 }
980
981 sub svp_begin {
982   my ($self, $name) = @_;
983
984   $name = $self->_svp_generate_name
985     unless defined $name;
986
987   $self->throw_exception ("You can't use savepoints outside a transaction")
988     if $self->{transaction_depth} == 0;
989
990   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
991     unless $self->can('_svp_begin');
992
993   push @{ $self->{savepoints} }, $name;
994
995   $self->debugobj->svp_begin($name) if $self->debug;
996
997   return $self->_svp_begin($name);
998 }
999
1000 sub svp_release {
1001   my ($self, $name) = @_;
1002
1003   $self->throw_exception ("You can't use savepoints outside a transaction")
1004     if $self->{transaction_depth} == 0;
1005
1006   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1007     unless $self->can('_svp_release');
1008
1009   if (defined $name) {
1010     $self->throw_exception ("Savepoint '$name' does not exist")
1011       unless grep { $_ eq $name } @{ $self->{savepoints} };
1012
1013     # Dig through the stack until we find the one we are releasing.  This keeps
1014     # the stack up to date.
1015     my $svp;
1016
1017     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1018   } else {
1019     $name = pop @{ $self->{savepoints} };
1020   }
1021
1022   $self->debugobj->svp_release($name) if $self->debug;
1023
1024   return $self->_svp_release($name);
1025 }
1026
1027 sub svp_rollback {
1028   my ($self, $name) = @_;
1029
1030   $self->throw_exception ("You can't use savepoints outside a transaction")
1031     if $self->{transaction_depth} == 0;
1032
1033   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1034     unless $self->can('_svp_rollback');
1035
1036   if (defined $name) {
1037       # If they passed us a name, verify that it exists in the stack
1038       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1039           $self->throw_exception("Savepoint '$name' does not exist!");
1040       }
1041
1042       # Dig through the stack until we find the one we are releasing.  This keeps
1043       # the stack up to date.
1044       while(my $s = pop(@{ $self->{savepoints} })) {
1045           last if($s eq $name);
1046       }
1047       # Add the savepoint back to the stack, as a rollback doesn't remove the
1048       # named savepoint, only everything after it.
1049       push(@{ $self->{savepoints} }, $name);
1050   } else {
1051       # We'll assume they want to rollback to the last savepoint
1052       $name = $self->{savepoints}->[-1];
1053   }
1054
1055   $self->debugobj->svp_rollback($name) if $self->debug;
1056
1057   return $self->_svp_rollback($name);
1058 }
1059
1060 sub _svp_generate_name {
1061     my ($self) = @_;
1062
1063     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1064 }
1065
1066 sub txn_begin {
1067   my $self = shift;
1068   if($self->{transaction_depth} == 0) {
1069     $self->debugobj->txn_begin()
1070       if $self->debug;
1071     $self->_dbh_begin_work;
1072   }
1073   elsif ($self->auto_savepoint) {
1074     $self->svp_begin;
1075   }
1076   $self->{transaction_depth}++;
1077 }
1078
1079 sub _dbh_begin_work {
1080   my $self = shift;
1081   # being here implies we have AutoCommit => 1
1082   # if the user is utilizing txn_do - good for
1083   # him, otherwise we need to ensure that the
1084   # $dbh is healthy on BEGIN
1085   my $dbh_method = $self->{_in_dbh_do} ? '_dbh' : 'dbh';
1086   $self->$dbh_method->begin_work;
1087 }
1088
1089 sub txn_commit {
1090   my $self = shift;
1091   if ($self->{transaction_depth} == 1) {
1092     my $dbh = $self->_dbh;
1093     $self->debugobj->txn_commit()
1094       if ($self->debug);
1095     $self->_dbh_commit;
1096     $self->{transaction_depth} = 0
1097       if $self->_dbh_autocommit;
1098   }
1099   elsif($self->{transaction_depth} > 1) {
1100     $self->{transaction_depth}--;
1101     $self->svp_release
1102       if $self->auto_savepoint;
1103   }
1104 }
1105
1106 sub _dbh_commit {
1107   my $self = shift;
1108   $self->_dbh->commit;
1109 }
1110
1111 sub txn_rollback {
1112   my $self = shift;
1113   my $dbh = $self->_dbh;
1114   eval {
1115     if ($self->{transaction_depth} == 1) {
1116       $self->debugobj->txn_rollback()
1117         if ($self->debug);
1118       $self->{transaction_depth} = 0
1119         if $self->_dbh_autocommit;
1120       $self->_dbh_rollback;
1121     }
1122     elsif($self->{transaction_depth} > 1) {
1123       $self->{transaction_depth}--;
1124       if ($self->auto_savepoint) {
1125         $self->svp_rollback;
1126         $self->svp_release;
1127       }
1128     }
1129     else {
1130       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1131     }
1132   };
1133   if ($@) {
1134     my $error = $@;
1135     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1136     $error =~ /$exception_class/ and $self->throw_exception($error);
1137     # ensure that a failed rollback resets the transaction depth
1138     $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1139     $self->throw_exception($error);
1140   }
1141 }
1142
1143 sub _dbh_rollback {
1144   my $self = shift;
1145   $self->_dbh->rollback;
1146 }
1147
1148 # This used to be the top-half of _execute.  It was split out to make it
1149 #  easier to override in NoBindVars without duping the rest.  It takes up
1150 #  all of _execute's args, and emits $sql, @bind.
1151 sub _prep_for_execute {
1152   my ($self, $op, $extra_bind, $ident, $args) = @_;
1153
1154   if( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1155     $ident = $ident->from();
1156   }
1157
1158   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1159
1160   unshift(@bind,
1161     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1162       if $extra_bind;
1163   return ($sql, \@bind);
1164 }
1165
1166
1167 sub _fix_bind_params {
1168     my ($self, @bind) = @_;
1169
1170     ### Turn @bind from something like this:
1171     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1172     ### to this:
1173     ###   ( "'1'", "'1'", "'3'" )
1174     return
1175         map {
1176             if ( defined( $_ && $_->[1] ) ) {
1177                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1178             }
1179             else { q{'NULL'}; }
1180         } @bind;
1181 }
1182
1183 sub _query_start {
1184     my ( $self, $sql, @bind ) = @_;
1185
1186     if ( $self->debug ) {
1187         @bind = $self->_fix_bind_params(@bind);
1188
1189         $self->debugobj->query_start( $sql, @bind );
1190     }
1191 }
1192
1193 sub _query_end {
1194     my ( $self, $sql, @bind ) = @_;
1195
1196     if ( $self->debug ) {
1197         @bind = $self->_fix_bind_params(@bind);
1198         $self->debugobj->query_end( $sql, @bind );
1199     }
1200 }
1201
1202 sub _dbh_execute {
1203   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1204
1205   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1206
1207   $self->_query_start( $sql, @$bind );
1208
1209   my $sth = $self->sth($sql,$op);
1210
1211   my $placeholder_index = 1;
1212
1213   foreach my $bound (@$bind) {
1214     my $attributes = {};
1215     my($column_name, @data) = @$bound;
1216
1217     if ($bind_attributes) {
1218       $attributes = $bind_attributes->{$column_name}
1219       if defined $bind_attributes->{$column_name};
1220     }
1221
1222     foreach my $data (@data) {
1223       my $ref = ref $data;
1224       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1225
1226       $sth->bind_param($placeholder_index, $data, $attributes);
1227       $placeholder_index++;
1228     }
1229   }
1230
1231   # Can this fail without throwing an exception anyways???
1232   my $rv = $sth->execute();
1233   $self->throw_exception($sth->errstr) if !$rv;
1234
1235   $self->_query_end( $sql, @$bind );
1236
1237   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1238 }
1239
1240 sub _execute {
1241     my $self = shift;
1242     $self->dbh_do('_dbh_execute', @_)
1243 }
1244
1245 sub insert {
1246   my ($self, $source, $to_insert) = @_;
1247
1248 # redispatch to insert method of storage we reblessed into, if necessary
1249   if (not $self->_driver_determined) {
1250     $self->_determine_driver;
1251     goto $self->can('insert');
1252   }
1253
1254   my $ident = $source->from;
1255   my $bind_attributes = $self->source_bind_attributes($source);
1256
1257   my $updated_cols = {};
1258
1259   foreach my $col ( $source->columns ) {
1260     if ( !defined $to_insert->{$col} ) {
1261       my $col_info = $source->column_info($col);
1262
1263       if ( $col_info->{auto_nextval} ) {
1264         $updated_cols->{$col} = $to_insert->{$col} = $self->_sequence_fetch(
1265           'nextval',
1266           $col_info->{sequence} ||
1267             $self->_dbh_get_autoinc_seq($self->_get_dbh, $source)
1268         );
1269       }
1270     }
1271   }
1272
1273   $self->_execute('insert' => [], $source, $bind_attributes, $to_insert);
1274
1275   return $updated_cols;
1276 }
1277
1278 ## Still not quite perfect, and EXPERIMENTAL
1279 ## Currently it is assumed that all values passed will be "normal", i.e. not
1280 ## scalar refs, or at least, all the same type as the first set, the statement is
1281 ## only prepped once.
1282 sub insert_bulk {
1283   my ($self, $source, $cols, $data) = @_;
1284   my %colvalues;
1285   my $table = $source->from;
1286   @colvalues{@$cols} = (0..$#$cols);
1287   my ($sql, @bind) = $self->sql_maker->insert($table, \%colvalues);
1288
1289   $self->_determine_driver;
1290
1291   $self->_query_start( $sql, @bind );
1292   my $sth = $self->sth($sql);
1293
1294 #  @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1295
1296   ## This must be an arrayref, else nothing works!
1297   my $tuple_status = [];
1298
1299   ## Get the bind_attributes, if any exist
1300   my $bind_attributes = $self->source_bind_attributes($source);
1301
1302   ## Bind the values and execute
1303   my $placeholder_index = 1;
1304
1305   foreach my $bound (@bind) {
1306
1307     my $attributes = {};
1308     my ($column_name, $data_index) = @$bound;
1309
1310     if( $bind_attributes ) {
1311       $attributes = $bind_attributes->{$column_name}
1312       if defined $bind_attributes->{$column_name};
1313     }
1314
1315     my @data = map { $_->[$data_index] } @$data;
1316
1317     $sth->bind_param_array( $placeholder_index, [@data], $attributes );
1318     $placeholder_index++;
1319   }
1320   my $rv = eval { $sth->execute_array({ArrayTupleStatus => $tuple_status}) };
1321   if (my $err = $@) {
1322     my $i = 0;
1323     ++$i while $i <= $#$tuple_status && !ref $tuple_status->[$i];
1324
1325     $self->throw_exception($sth->errstr || "Unexpected populate error: $err")
1326       if ($i > $#$tuple_status);
1327
1328     require Data::Dumper;
1329     local $Data::Dumper::Terse = 1;
1330     local $Data::Dumper::Indent = 1;
1331     local $Data::Dumper::Useqq = 1;
1332     local $Data::Dumper::Quotekeys = 0;
1333
1334     $self->throw_exception(sprintf "%s for populate slice:\n%s",
1335       $tuple_status->[$i][1],
1336       Data::Dumper::Dumper(
1337         { map { $cols->[$_] => $data->[$i][$_] } (0 .. $#$cols) }
1338       ),
1339     );
1340   }
1341   $self->throw_exception($sth->errstr) if !$rv;
1342
1343   $self->_query_end( $sql, @bind );
1344   return (wantarray ? ($rv, $sth, @bind) : $rv);
1345 }
1346
1347 sub update {
1348   my ($self, $source, @args) = @_; 
1349
1350 # redispatch to update method of storage we reblessed into, if necessary
1351   if (not $self->_driver_determined) {
1352     $self->_determine_driver;
1353     goto $self->can('update');
1354   }
1355
1356   my $bind_attributes = $self->source_bind_attributes($source);
1357
1358   return $self->_execute('update' => [], $source, $bind_attributes, @args);
1359 }
1360
1361
1362 sub delete {
1363   my $self = shift @_;
1364   my $source = shift @_;
1365   $self->_determine_driver;
1366   my $bind_attrs = $self->source_bind_attributes($source);
1367
1368   return $self->_execute('delete' => [], $source, $bind_attrs, @_);
1369 }
1370
1371 # We were sent here because the $rs contains a complex search
1372 # which will require a subquery to select the correct rows
1373 # (i.e. joined or limited resultsets)
1374 #
1375 # Genarating a single PK column subquery is trivial and supported
1376 # by all RDBMS. However if we have a multicolumn PK, things get ugly.
1377 # Look at _multipk_update_delete()
1378 sub _subq_update_delete {
1379   my $self = shift;
1380   my ($rs, $op, $values) = @_;
1381
1382   my $rsrc = $rs->result_source;
1383
1384   # we already check this, but double check naively just in case. Should be removed soon
1385   my $sel = $rs->_resolved_attrs->{select};
1386   $sel = [ $sel ] unless ref $sel eq 'ARRAY';
1387   my @pcols = $rsrc->primary_columns;
1388   if (@$sel != @pcols) {
1389     $self->throw_exception (
1390       'Subquery update/delete can not be called on resultsets selecting a'
1391      .' number of columns different than the number of primary keys'
1392     );
1393   }
1394
1395   if (@pcols == 1) {
1396     return $self->$op (
1397       $rsrc,
1398       $op eq 'update' ? $values : (),
1399       { $pcols[0] => { -in => $rs->as_query } },
1400     );
1401   }
1402
1403   else {
1404     return $self->_multipk_update_delete (@_);
1405   }
1406 }
1407
1408 # ANSI SQL does not provide a reliable way to perform a multicol-PK
1409 # resultset update/delete involving subqueries. So by default resort
1410 # to simple (and inefficient) delete_all style per-row opearations,
1411 # while allowing specific storages to override this with a faster
1412 # implementation.
1413 #
1414 sub _multipk_update_delete {
1415   return shift->_per_row_update_delete (@_);
1416 }
1417
1418 # This is the default loop used to delete/update rows for multi PK
1419 # resultsets, and used by mysql exclusively (because it can't do anything
1420 # else).
1421 #
1422 # We do not use $row->$op style queries, because resultset update/delete
1423 # is not expected to cascade (this is what delete_all/update_all is for).
1424 #
1425 # There should be no race conditions as the entire operation is rolled
1426 # in a transaction.
1427 #
1428 sub _per_row_update_delete {
1429   my $self = shift;
1430   my ($rs, $op, $values) = @_;
1431
1432   my $rsrc = $rs->result_source;
1433   my @pcols = $rsrc->primary_columns;
1434
1435   my $guard = $self->txn_scope_guard;
1436
1437   # emulate the return value of $sth->execute for non-selects
1438   my $row_cnt = '0E0';
1439
1440   my $subrs_cur = $rs->cursor;
1441   while (my @pks = $subrs_cur->next) {
1442
1443     my $cond;
1444     for my $i (0.. $#pcols) {
1445       $cond->{$pcols[$i]} = $pks[$i];
1446     }
1447
1448     $self->$op (
1449       $rsrc,
1450       $op eq 'update' ? $values : (),
1451       $cond,
1452     );
1453
1454     $row_cnt++;
1455   }
1456
1457   $guard->commit;
1458
1459   return $row_cnt;
1460 }
1461
1462 sub _select {
1463   my $self = shift;
1464
1465   # localization is neccessary as
1466   # 1) there is no infrastructure to pass this around before SQLA2
1467   # 2) _select_args sets it and _prep_for_execute consumes it
1468   my $sql_maker = $self->sql_maker;
1469   local $sql_maker->{_dbic_rs_attrs};
1470
1471   return $self->_execute($self->_select_args(@_));
1472 }
1473
1474 sub _select_args_to_query {
1475   my $self = shift;
1476
1477   # localization is neccessary as
1478   # 1) there is no infrastructure to pass this around before SQLA2
1479   # 2) _select_args sets it and _prep_for_execute consumes it
1480   my $sql_maker = $self->sql_maker;
1481   local $sql_maker->{_dbic_rs_attrs};
1482
1483   # my ($op, $bind, $ident, $bind_attrs, $select, $cond, $order, $rows, $offset)
1484   #  = $self->_select_args($ident, $select, $cond, $attrs);
1485   my ($op, $bind, $ident, $bind_attrs, @args) =
1486     $self->_select_args(@_);
1487
1488   # my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, [ $select, $cond, $order, $rows, $offset ]);
1489   my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, \@args);
1490   $prepared_bind ||= [];
1491
1492   return wantarray
1493     ? ($sql, $prepared_bind, $bind_attrs)
1494     : \[ "($sql)", @$prepared_bind ]
1495   ;
1496 }
1497
1498 sub _select_args {
1499   my ($self, $ident, $select, $where, $attrs) = @_;
1500
1501   my ($alias2source, $rs_alias) = $self->_resolve_ident_sources ($ident);
1502
1503   my $sql_maker = $self->sql_maker;
1504   $sql_maker->{_dbic_rs_attrs} = {
1505     %$attrs,
1506     select => $select,
1507     from => $ident,
1508     where => $where,
1509     $rs_alias
1510       ? ( _source_handle => $alias2source->{$rs_alias}->handle )
1511       : ()
1512     ,
1513   };
1514
1515   # calculate bind_attrs before possible $ident mangling
1516   my $bind_attrs = {};
1517   for my $alias (keys %$alias2source) {
1518     my $bindtypes = $self->source_bind_attributes ($alias2source->{$alias}) || {};
1519     for my $col (keys %$bindtypes) {
1520
1521       my $fqcn = join ('.', $alias, $col);
1522       $bind_attrs->{$fqcn} = $bindtypes->{$col} if $bindtypes->{$col};
1523
1524       # Unqialified column names are nice, but at the same time can be
1525       # rather ambiguous. What we do here is basically go along with
1526       # the loop, adding an unqualified column slot to $bind_attrs,
1527       # alongside the fully qualified name. As soon as we encounter
1528       # another column by that name (which would imply another table)
1529       # we unset the unqualified slot and never add any info to it
1530       # to avoid erroneous type binding. If this happens the users
1531       # only choice will be to fully qualify his column name
1532
1533       if (exists $bind_attrs->{$col}) {
1534         $bind_attrs->{$col} = {};
1535       }
1536       else {
1537         $bind_attrs->{$col} = $bind_attrs->{$fqcn};
1538       }
1539     }
1540   }
1541
1542   # adjust limits
1543   if (
1544     $attrs->{software_limit}
1545       ||
1546     $sql_maker->_default_limit_syntax eq "GenericSubQ"
1547   ) {
1548     $attrs->{software_limit} = 1;
1549   }
1550   else {
1551     $self->throw_exception("rows attribute must be positive if present")
1552       if (defined($attrs->{rows}) && !($attrs->{rows} > 0));
1553
1554     # MySQL actually recommends this approach.  I cringe.
1555     $attrs->{rows} = 2**48 if not defined $attrs->{rows} and defined $attrs->{offset};
1556   }
1557
1558   my @limit;
1559
1560   # see if we need to tear the prefetch apart (either limited has_many or grouped prefetch)
1561   # otherwise delegate the limiting to the storage, unless software limit was requested
1562   if (
1563     ( $attrs->{rows} && keys %{$attrs->{collapse}} )
1564        ||
1565     ( $attrs->{group_by} && @{$attrs->{group_by}} &&
1566       $attrs->{_prefetch_select} && @{$attrs->{_prefetch_select}} )
1567   ) {
1568     ($ident, $select, $where, $attrs)
1569       = $self->_adjust_select_args_for_complex_prefetch ($ident, $select, $where, $attrs);
1570   }
1571   elsif (! $attrs->{software_limit} ) {
1572     push @limit, $attrs->{rows}, $attrs->{offset};
1573   }
1574
1575 ###
1576   # This would be the point to deflate anything found in $where
1577   # (and leave $attrs->{bind} intact). Problem is - inflators historically
1578   # expect a row object. And all we have is a resultsource (it is trivial
1579   # to extract deflator coderefs via $alias2source above).
1580   #
1581   # I don't see a way forward other than changing the way deflators are
1582   # invoked, and that's just bad...
1583 ###
1584
1585   my $order = { map
1586     { $attrs->{$_} ? ( $_ => $attrs->{$_} ) : ()  }
1587     (qw/order_by group_by having/ )
1588   };
1589
1590   return ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $where, $order, @limit);
1591 }
1592
1593 #
1594 # This is the code producing joined subqueries like:
1595 # SELECT me.*, other.* FROM ( SELECT me.* FROM ... ) JOIN other ON ... 
1596 #
1597 sub _adjust_select_args_for_complex_prefetch {
1598   my ($self, $from, $select, $where, $attrs) = @_;
1599
1600   $self->throw_exception ('Nothing to prefetch... how did we get here?!')
1601     if not @{$attrs->{_prefetch_select}};
1602
1603   $self->throw_exception ('Complex prefetches are not supported on resultsets with a custom from attribute')
1604     if (ref $from ne 'ARRAY' || ref $from->[0] ne 'HASH' || ref $from->[1] ne 'ARRAY');
1605
1606
1607   # generate inner/outer attribute lists, remove stuff that doesn't apply
1608   my $outer_attrs = { %$attrs };
1609   delete $outer_attrs->{$_} for qw/where bind rows offset group_by having/;
1610
1611   my $inner_attrs = { %$attrs };
1612   delete $inner_attrs->{$_} for qw/for collapse _prefetch_select _collapse_order_by select as/;
1613
1614
1615   # bring over all non-collapse-induced order_by into the inner query (if any)
1616   # the outer one will have to keep them all
1617   delete $inner_attrs->{order_by};
1618   if (my $ord_cnt = @{$outer_attrs->{order_by}} - @{$outer_attrs->{_collapse_order_by}} ) {
1619     $inner_attrs->{order_by} = [
1620       @{$outer_attrs->{order_by}}[ 0 .. $ord_cnt - 1]
1621     ];
1622   }
1623
1624
1625   # generate the inner/outer select lists
1626   # for inside we consider only stuff *not* brought in by the prefetch
1627   # on the outside we substitute any function for its alias
1628   my $outer_select = [ @$select ];
1629   my $inner_select = [];
1630   for my $i (0 .. ( @$outer_select - @{$outer_attrs->{_prefetch_select}} - 1) ) {
1631     my $sel = $outer_select->[$i];
1632
1633     if (ref $sel eq 'HASH' ) {
1634       $sel->{-as} ||= $attrs->{as}[$i];
1635       $outer_select->[$i] = join ('.', $attrs->{alias}, ($sel->{-as} || "inner_column_$i") );
1636     }
1637
1638     push @$inner_select, $sel;
1639   }
1640
1641   # normalize a copy of $from, so it will be easier to work with further
1642   # down (i.e. promote the initial hashref to an AoH)
1643   $from = [ @$from ];
1644   $from->[0] = [ $from->[0] ];
1645   my %original_join_info = map { $_->[0]{-alias} => $_->[0] } (@$from);
1646
1647
1648   # decide which parts of the join will remain in either part of
1649   # the outer/inner query
1650
1651   # First we compose a list of which aliases are used in restrictions
1652   # (i.e. conditions/order/grouping/etc). Since we do not have
1653   # introspectable SQLA, we fall back to ugly scanning of raw SQL for
1654   # WHERE, and for pieces of ORDER BY in order to determine which aliases
1655   # need to appear in the resulting sql.
1656   # It may not be very efficient, but it's a reasonable stop-gap
1657   # Also unqualified column names will not be considered, but more often
1658   # than not this is actually ok
1659   #
1660   # In the same loop we enumerate part of the selection aliases, as
1661   # it requires the same sqla hack for the time being
1662   my ($restrict_aliases, $select_aliases, $prefetch_aliases);
1663   {
1664     # produce stuff unquoted, so it can be scanned
1665     my $sql_maker = $self->sql_maker;
1666     local $sql_maker->{quote_char};
1667     my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1668     $sep = "\Q$sep\E";
1669
1670     my $non_prefetch_select_sql = $sql_maker->_recurse_fields ($inner_select);
1671     my $prefetch_select_sql = $sql_maker->_recurse_fields ($outer_attrs->{_prefetch_select});
1672     my $where_sql = $sql_maker->where ($where);
1673     my $group_by_sql = $sql_maker->_order_by({
1674       map { $_ => $inner_attrs->{$_} } qw/group_by having/
1675     });
1676     my @non_prefetch_order_by_chunks = (map
1677       { ref $_ ? $_->[0] : $_ }
1678       $sql_maker->_order_by_chunks ($inner_attrs->{order_by})
1679     );
1680
1681
1682     for my $alias (keys %original_join_info) {
1683       my $seen_re = qr/\b $alias $sep/x;
1684
1685       for my $piece ($where_sql, $group_by_sql, @non_prefetch_order_by_chunks ) {
1686         if ($piece =~ $seen_re) {
1687           $restrict_aliases->{$alias} = 1;
1688         }
1689       }
1690
1691       if ($non_prefetch_select_sql =~ $seen_re) {
1692           $select_aliases->{$alias} = 1;
1693       }
1694
1695       if ($prefetch_select_sql =~ $seen_re) {
1696           $prefetch_aliases->{$alias} = 1;
1697       }
1698
1699     }
1700   }
1701
1702   # Add any non-left joins to the restriction list (such joins are indeed restrictions)
1703   for my $j (values %original_join_info) {
1704     my $alias = $j->{-alias} or next;
1705     $restrict_aliases->{$alias} = 1 if (
1706       (not $j->{-join_type})
1707         or
1708       ($j->{-join_type} !~ /^left (?: \s+ outer)? $/xi)
1709     );
1710   }
1711
1712   # mark all join parents as mentioned
1713   # (e.g.  join => { cds => 'tracks' } - tracks will need to bring cds too )
1714   for my $collection ($restrict_aliases, $select_aliases) {
1715     for my $alias (keys %$collection) {
1716       $collection->{$_} = 1
1717         for (@{ $original_join_info{$alias}{-join_path} || [] });
1718     }
1719   }
1720
1721   # construct the inner $from for the subquery
1722   my %inner_joins = (map { %{$_ || {}} } ($restrict_aliases, $select_aliases) );
1723   my @inner_from;
1724   for my $j (@$from) {
1725     push @inner_from, $j if $inner_joins{$j->[0]{-alias}};
1726   }
1727
1728   # if a multi-type join was needed in the subquery ("multi" is indicated by
1729   # presence in {collapse}) - add a group_by to simulate the collapse in the subq
1730   unless ($inner_attrs->{group_by}) {
1731     for my $alias (keys %inner_joins) {
1732
1733       # the dot comes from some weirdness in collapse
1734       # remove after the rewrite
1735       if ($attrs->{collapse}{".$alias"}) {
1736         $inner_attrs->{group_by} ||= $inner_select;
1737         last;
1738       }
1739     }
1740   }
1741
1742   # demote the inner_from head
1743   $inner_from[0] = $inner_from[0][0];
1744
1745   # generate the subquery
1746   my $subq = $self->_select_args_to_query (
1747     \@inner_from,
1748     $inner_select,
1749     $where,
1750     $inner_attrs,
1751   );
1752
1753   my $subq_joinspec = {
1754     -alias => $attrs->{alias},
1755     -source_handle => $inner_from[0]{-source_handle},
1756     $attrs->{alias} => $subq,
1757   };
1758
1759   # Generate the outer from - this is relatively easy (really just replace
1760   # the join slot with the subquery), with a major caveat - we can not
1761   # join anything that is non-selecting (not part of the prefetch), but at
1762   # the same time is a multi-type relationship, as it will explode the result.
1763   #
1764   # There are two possibilities here
1765   # - either the join is non-restricting, in which case we simply throw it away
1766   # - it is part of the restrictions, in which case we need to collapse the outer
1767   #   result by tackling yet another group_by to the outside of the query
1768
1769   # so first generate the outer_from, up to the substitution point
1770   my @outer_from;
1771   while (my $j = shift @$from) {
1772     if ($j->[0]{-alias} eq $attrs->{alias}) { # time to swap
1773       push @outer_from, [
1774         $subq_joinspec,
1775         @{$j}[1 .. $#$j],
1776       ];
1777       last; # we'll take care of what's left in $from below
1778     }
1779     else {
1780       push @outer_from, $j;
1781     }
1782   }
1783
1784   # see what's left - throw away if not selecting/restricting
1785   # also throw in a group_by if restricting to guard against
1786   # cross-join explosions
1787   #
1788   while (my $j = shift @$from) {
1789     my $alias = $j->[0]{-alias};
1790
1791     if ($select_aliases->{$alias} || $prefetch_aliases->{$alias}) {
1792       push @outer_from, $j;
1793     }
1794     elsif ($restrict_aliases->{$alias}) {
1795       push @outer_from, $j;
1796
1797       # FIXME - this should be obviated by SQLA2, as I'll be able to 
1798       # have restrict_inner and restrict_outer... or something to that
1799       # effect... I think...
1800
1801       # FIXME2 - I can't find a clean way to determine if a particular join
1802       # is a multi - instead I am just treating everything as a potential
1803       # explosive join (ribasushi)
1804       #
1805       # if (my $handle = $j->[0]{-source_handle}) {
1806       #   my $rsrc = $handle->resolve;
1807       #   ... need to bail out of the following if this is not a multi,
1808       #       as it will be much easier on the db ...
1809
1810           $outer_attrs->{group_by} ||= $outer_select;
1811       # }
1812     }
1813   }
1814
1815   # demote the outer_from head
1816   $outer_from[0] = $outer_from[0][0];
1817
1818   # This is totally horrific - the $where ends up in both the inner and outer query
1819   # Unfortunately not much can be done until SQLA2 introspection arrives, and even
1820   # then if where conditions apply to the *right* side of the prefetch, you may have
1821   # to both filter the inner select (e.g. to apply a limit) and then have to re-filter
1822   # the outer select to exclude joins you didin't want in the first place
1823   #
1824   # OTOH it can be seen as a plus: <ash> (notes that this query would make a DBA cry ;)
1825   return (\@outer_from, $outer_select, $where, $outer_attrs);
1826 }
1827
1828 sub _resolve_ident_sources {
1829   my ($self, $ident) = @_;
1830
1831   my $alias2source = {};
1832   my $rs_alias;
1833
1834   # the reason this is so contrived is that $ident may be a {from}
1835   # structure, specifying multiple tables to join
1836   if ( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1837     # this is compat mode for insert/update/delete which do not deal with aliases
1838     $alias2source->{me} = $ident;
1839     $rs_alias = 'me';
1840   }
1841   elsif (ref $ident eq 'ARRAY') {
1842
1843     for (@$ident) {
1844       my $tabinfo;
1845       if (ref $_ eq 'HASH') {
1846         $tabinfo = $_;
1847         $rs_alias = $tabinfo->{-alias};
1848       }
1849       if (ref $_ eq 'ARRAY' and ref $_->[0] eq 'HASH') {
1850         $tabinfo = $_->[0];
1851       }
1852
1853       $alias2source->{$tabinfo->{-alias}} = $tabinfo->{-source_handle}->resolve
1854         if ($tabinfo->{-source_handle});
1855     }
1856   }
1857
1858   return ($alias2source, $rs_alias);
1859 }
1860
1861 # Takes $ident, \@column_names
1862 #
1863 # returns { $column_name => \%column_info, ... }
1864 # also note: this adds -result_source => $rsrc to the column info
1865 #
1866 # usage:
1867 #   my $col_sources = $self->_resolve_column_info($ident, @column_names);
1868 sub _resolve_column_info {
1869   my ($self, $ident, $colnames) = @_;
1870   my ($alias2src, $root_alias) = $self->_resolve_ident_sources($ident);
1871
1872   my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1873   $sep = "\Q$sep\E";
1874
1875   my (%return, %seen_cols);
1876
1877   # compile a global list of column names, to be able to properly
1878   # disambiguate unqualified column names (if at all possible)
1879   for my $alias (keys %$alias2src) {
1880     my $rsrc = $alias2src->{$alias};
1881     for my $colname ($rsrc->columns) {
1882       push @{$seen_cols{$colname}}, $alias;
1883     }
1884   }
1885
1886   COLUMN:
1887   foreach my $col (@$colnames) {
1888     my ($alias, $colname) = $col =~ m/^ (?: ([^$sep]+) $sep)? (.+) $/x;
1889
1890     unless ($alias) {
1891       # see if the column was seen exactly once (so we know which rsrc it came from)
1892       if ($seen_cols{$colname} and @{$seen_cols{$colname}} == 1) {
1893         $alias = $seen_cols{$colname}[0];
1894       }
1895       else {
1896         next COLUMN;
1897       }
1898     }
1899
1900     my $rsrc = $alias2src->{$alias};
1901     $return{$col} = $rsrc && {
1902       %{$rsrc->column_info($colname)},
1903       -result_source => $rsrc,
1904       -source_alias => $alias,
1905     };
1906   }
1907
1908   return \%return;
1909 }
1910
1911 # Returns a counting SELECT for a simple count
1912 # query. Abstracted so that a storage could override
1913 # this to { count => 'firstcol' } or whatever makes
1914 # sense as a performance optimization
1915 sub _count_select {
1916   #my ($self, $source, $rs_attrs) = @_;
1917   return { count => '*' };
1918 }
1919
1920 # Returns a SELECT which will end up in the subselect
1921 # There may or may not be a group_by, as the subquery
1922 # might have been called to accomodate a limit
1923 #
1924 # Most databases would be happy with whatever ends up
1925 # here, but some choke in various ways.
1926 #
1927 sub _subq_count_select {
1928   my ($self, $source, $rs_attrs) = @_;
1929   return $rs_attrs->{group_by} if $rs_attrs->{group_by};
1930
1931   my @pcols = map { join '.', $rs_attrs->{alias}, $_ } ($source->primary_columns);
1932   return @pcols ? \@pcols : [ 1 ];
1933 }
1934
1935 #
1936 # Returns an ordered list of column names before they are used
1937 # in a SELECT statement. By default simply returns the list
1938 # passed in.
1939 #
1940 # This may be overridden in a specific storage when there are
1941 # requirements such as moving BLOB columns to the end of the 
1942 # SELECT list.
1943 sub _order_select_columns {
1944   #my ($self, $source, $columns) = @_;
1945   return @{$_[2]};
1946 }
1947
1948 sub source_bind_attributes {
1949   my ($self, $source) = @_;
1950
1951   my $bind_attributes;
1952   foreach my $column ($source->columns) {
1953
1954     my $data_type = $source->column_info($column)->{data_type} || '';
1955     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
1956      if $data_type;
1957   }
1958
1959   return $bind_attributes;
1960 }
1961
1962 =head2 select
1963
1964 =over 4
1965
1966 =item Arguments: $ident, $select, $condition, $attrs
1967
1968 =back
1969
1970 Handle a SQL select statement.
1971
1972 =cut
1973
1974 sub select {
1975   my $self = shift;
1976   my ($ident, $select, $condition, $attrs) = @_;
1977   return $self->cursor_class->new($self, \@_, $attrs);
1978 }
1979
1980 sub select_single {
1981   my $self = shift;
1982   my ($rv, $sth, @bind) = $self->_select(@_);
1983   my @row = $sth->fetchrow_array;
1984   my @nextrow = $sth->fetchrow_array if @row;
1985   if(@row && @nextrow) {
1986     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
1987   }
1988   # Need to call finish() to work round broken DBDs
1989   $sth->finish();
1990   return @row;
1991 }
1992
1993 =head2 sth
1994
1995 =over 4
1996
1997 =item Arguments: $sql
1998
1999 =back
2000
2001 Returns a L<DBI> sth (statement handle) for the supplied SQL.
2002
2003 =cut
2004
2005 sub _dbh_sth {
2006   my ($self, $dbh, $sql) = @_;
2007
2008   # 3 is the if_active parameter which avoids active sth re-use
2009   my $sth = $self->disable_sth_caching
2010     ? $dbh->prepare($sql)
2011     : $dbh->prepare_cached($sql, {}, 3);
2012
2013   # XXX You would think RaiseError would make this impossible,
2014   #  but apparently that's not true :(
2015   $self->throw_exception($dbh->errstr) if !$sth;
2016
2017   $sth;
2018 }
2019
2020 sub sth {
2021   my ($self, $sql) = @_;
2022   $self->dbh_do('_dbh_sth', $sql);
2023 }
2024
2025 sub _dbh_columns_info_for {
2026   my ($self, $dbh, $table) = @_;
2027
2028   if ($dbh->can('column_info')) {
2029     my %result;
2030     eval {
2031       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
2032       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
2033       $sth->execute();
2034       while ( my $info = $sth->fetchrow_hashref() ){
2035         my %column_info;
2036         $column_info{data_type}   = $info->{TYPE_NAME};
2037         $column_info{size}      = $info->{COLUMN_SIZE};
2038         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
2039         $column_info{default_value} = $info->{COLUMN_DEF};
2040         my $col_name = $info->{COLUMN_NAME};
2041         $col_name =~ s/^\"(.*)\"$/$1/;
2042
2043         $result{$col_name} = \%column_info;
2044       }
2045     };
2046     return \%result if !$@ && scalar keys %result;
2047   }
2048
2049   my %result;
2050   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
2051   $sth->execute;
2052   my @columns = @{$sth->{NAME_lc}};
2053   for my $i ( 0 .. $#columns ){
2054     my %column_info;
2055     $column_info{data_type} = $sth->{TYPE}->[$i];
2056     $column_info{size} = $sth->{PRECISION}->[$i];
2057     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
2058
2059     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
2060       $column_info{data_type} = $1;
2061       $column_info{size}    = $2;
2062     }
2063
2064     $result{$columns[$i]} = \%column_info;
2065   }
2066   $sth->finish;
2067
2068   foreach my $col (keys %result) {
2069     my $colinfo = $result{$col};
2070     my $type_num = $colinfo->{data_type};
2071     my $type_name;
2072     if(defined $type_num && $dbh->can('type_info')) {
2073       my $type_info = $dbh->type_info($type_num);
2074       $type_name = $type_info->{TYPE_NAME} if $type_info;
2075       $colinfo->{data_type} = $type_name if $type_name;
2076     }
2077   }
2078
2079   return \%result;
2080 }
2081
2082 sub columns_info_for {
2083   my ($self, $table) = @_;
2084   $self->dbh_do('_dbh_columns_info_for', $table);
2085 }
2086
2087 =head2 last_insert_id
2088
2089 Return the row id of the last insert.
2090
2091 =cut
2092
2093 sub _dbh_last_insert_id {
2094     # All Storage's need to register their own _dbh_last_insert_id
2095     # the old SQLite-based method was highly inappropriate
2096
2097     my $self = shift;
2098     my $class = ref $self;
2099     $self->throw_exception (<<EOE);
2100
2101 No _dbh_last_insert_id() method found in $class.
2102 Since the method of obtaining the autoincrement id of the last insert
2103 operation varies greatly between different databases, this method must be
2104 individually implemented for every storage class.
2105 EOE
2106 }
2107
2108 sub last_insert_id {
2109   my $self = shift;
2110   $self->dbh_do('_dbh_last_insert_id', @_);
2111 }
2112
2113 =head2 _native_data_type
2114
2115 =over 4
2116
2117 =item Arguments: $type_name
2118
2119 =back
2120
2121 This API is B<EXPERIMENTAL>, will almost definitely change in the future, and
2122 currently only used by L<::AutoCast|DBIx::Class::Storage::DBI::AutoCast> and
2123 L<::Sybase|DBIx::Class::Storage::DBI::Sybase>.
2124
2125 The default implementation returns C<undef>, implement in your Storage driver if
2126 you need this functionality.
2127
2128 Should map types from other databases to the native RDBMS type, for example
2129 C<VARCHAR2> to C<VARCHAR>.
2130
2131 Types with modifiers should map to the underlying data type. For example,
2132 C<INTEGER AUTO_INCREMENT> should become C<INTEGER>.
2133
2134 Composite types should map to the container type, for example
2135 C<ENUM(foo,bar,baz)> becomes C<ENUM>.
2136
2137 =cut
2138
2139 sub _native_data_type {
2140   #my ($self, $data_type) = @_;
2141   return undef
2142 }
2143
2144 # Check if placeholders are supported at all
2145 sub _placeholders_supported {
2146   my $self = shift;
2147   my $dbh  = $self->_get_dbh;
2148
2149   # some drivers provide a $dbh attribute (e.g. Sybase and $dbh->{syb_dynamic_supported})
2150   # but it is inaccurate more often than not
2151   eval {
2152     local $dbh->{PrintError} = 0;
2153     local $dbh->{RaiseError} = 1;
2154     $dbh->do('select ?', {}, 1);
2155   };
2156   return $@ ? 0 : 1;
2157 }
2158
2159 # Check if placeholders bound to non-string types throw exceptions
2160 #
2161 sub _typeless_placeholders_supported {
2162   my $self = shift;
2163   my $dbh  = $self->_get_dbh;
2164
2165   eval {
2166     local $dbh->{PrintError} = 0;
2167     local $dbh->{RaiseError} = 1;
2168     # this specifically tests a bind that is NOT a string
2169     $dbh->do('select 1 where 1 = ?', {}, 1);
2170   };
2171   return $@ ? 0 : 1;
2172 }
2173
2174 =head2 sqlt_type
2175
2176 Returns the database driver name.
2177
2178 =cut
2179
2180 sub sqlt_type {
2181   my ($self) = @_;
2182
2183   if (not $self->_driver_determined) {
2184     $self->_determine_driver;
2185     goto $self->can ('sqlt_type');
2186   }
2187
2188   $self->_get_dbh->{Driver}->{Name};
2189 }
2190
2191 =head2 bind_attribute_by_data_type
2192
2193 Given a datatype from column info, returns a database specific bind
2194 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
2195 let the database planner just handle it.
2196
2197 Generally only needed for special case column types, like bytea in postgres.
2198
2199 =cut
2200
2201 sub bind_attribute_by_data_type {
2202     return;
2203 }
2204
2205 =head2 is_datatype_numeric
2206
2207 Given a datatype from column_info, returns a boolean value indicating if
2208 the current RDBMS considers it a numeric value. This controls how
2209 L<DBIx::Class::Row/set_column> decides whether to mark the column as
2210 dirty - when the datatype is deemed numeric a C<< != >> comparison will
2211 be performed instead of the usual C<eq>.
2212
2213 =cut
2214
2215 sub is_datatype_numeric {
2216   my ($self, $dt) = @_;
2217
2218   return 0 unless $dt;
2219
2220   return $dt =~ /^ (?:
2221     numeric | int(?:eger)? | (?:tiny|small|medium|big)int | dec(?:imal)? | real | float | double (?: \s+ precision)? | (?:big)?serial
2222   ) $/ix;
2223 }
2224
2225
2226 =head2 create_ddl_dir (EXPERIMENTAL)
2227
2228 =over 4
2229
2230 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
2231
2232 =back
2233
2234 Creates a SQL file based on the Schema, for each of the specified
2235 database engines in C<\@databases> in the given directory.
2236 (note: specify L<SQL::Translator> names, not L<DBI> driver names).
2237
2238 Given a previous version number, this will also create a file containing
2239 the ALTER TABLE statements to transform the previous schema into the
2240 current one. Note that these statements may contain C<DROP TABLE> or
2241 C<DROP COLUMN> statements that can potentially destroy data.
2242
2243 The file names are created using the C<ddl_filename> method below, please
2244 override this method in your schema if you would like a different file
2245 name format. For the ALTER file, the same format is used, replacing
2246 $version in the name with "$preversion-$version".
2247
2248 See L<SQL::Translator/METHODS> for a list of values for C<\%sqlt_args>.
2249 The most common value for this would be C<< { add_drop_table => 1 } >>
2250 to have the SQL produced include a C<DROP TABLE> statement for each table
2251 created. For quoting purposes supply C<quote_table_names> and
2252 C<quote_field_names>.
2253
2254 If no arguments are passed, then the following default values are assumed:
2255
2256 =over 4
2257
2258 =item databases  - ['MySQL', 'SQLite', 'PostgreSQL']
2259
2260 =item version    - $schema->schema_version
2261
2262 =item directory  - './'
2263
2264 =item preversion - <none>
2265
2266 =back
2267
2268 By default, C<\%sqlt_args> will have
2269
2270  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
2271
2272 merged with the hash passed in. To disable any of those features, pass in a
2273 hashref like the following
2274
2275  { ignore_constraint_names => 0, # ... other options }
2276
2277
2278 Note that this feature is currently EXPERIMENTAL and may not work correctly
2279 across all databases, or fully handle complex relationships.
2280
2281 WARNING: Please check all SQL files created, before applying them.
2282
2283 =cut
2284
2285 sub create_ddl_dir {
2286   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
2287
2288   if(!$dir || !-d $dir) {
2289     carp "No directory given, using ./\n";
2290     $dir = "./";
2291   }
2292   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
2293   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
2294
2295   my $schema_version = $schema->schema_version || '1.x';
2296   $version ||= $schema_version;
2297
2298   $sqltargs = {
2299     add_drop_table => 1,
2300     ignore_constraint_names => 1,
2301     ignore_index_names => 1,
2302     %{$sqltargs || {}}
2303   };
2304
2305   $self->throw_exception(q{Can't create a ddl file without SQL::Translator 0.09003: '}
2306       . $self->_check_sqlt_message . q{'})
2307           if !$self->_check_sqlt_version;
2308
2309   my $sqlt = SQL::Translator->new( $sqltargs );
2310
2311   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
2312   my $sqlt_schema = $sqlt->translate({ data => $schema })
2313     or $self->throw_exception ($sqlt->error);
2314
2315   foreach my $db (@$databases) {
2316     $sqlt->reset();
2317     $sqlt->{schema} = $sqlt_schema;
2318     $sqlt->producer($db);
2319
2320     my $file;
2321     my $filename = $schema->ddl_filename($db, $version, $dir);
2322     if (-e $filename && ($version eq $schema_version )) {
2323       # if we are dumping the current version, overwrite the DDL
2324       carp "Overwriting existing DDL file - $filename";
2325       unlink($filename);
2326     }
2327
2328     my $output = $sqlt->translate;
2329     if(!$output) {
2330       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
2331       next;
2332     }
2333     if(!open($file, ">$filename")) {
2334       $self->throw_exception("Can't open $filename for writing ($!)");
2335       next;
2336     }
2337     print $file $output;
2338     close($file);
2339
2340     next unless ($preversion);
2341
2342     require SQL::Translator::Diff;
2343
2344     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
2345     if(!-e $prefilename) {
2346       carp("No previous schema file found ($prefilename)");
2347       next;
2348     }
2349
2350     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
2351     if(-e $difffile) {
2352       carp("Overwriting existing diff file - $difffile");
2353       unlink($difffile);
2354     }
2355
2356     my $source_schema;
2357     {
2358       my $t = SQL::Translator->new($sqltargs);
2359       $t->debug( 0 );
2360       $t->trace( 0 );
2361
2362       $t->parser( $db )
2363         or $self->throw_exception ($t->error);
2364
2365       my $out = $t->translate( $prefilename )
2366         or $self->throw_exception ($t->error);
2367
2368       $source_schema = $t->schema;
2369
2370       $source_schema->name( $prefilename )
2371         unless ( $source_schema->name );
2372     }
2373
2374     # The "new" style of producers have sane normalization and can support
2375     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
2376     # And we have to diff parsed SQL against parsed SQL.
2377     my $dest_schema = $sqlt_schema;
2378
2379     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
2380       my $t = SQL::Translator->new($sqltargs);
2381       $t->debug( 0 );
2382       $t->trace( 0 );
2383
2384       $t->parser( $db )
2385         or $self->throw_exception ($t->error);
2386
2387       my $out = $t->translate( $filename )
2388         or $self->throw_exception ($t->error);
2389
2390       $dest_schema = $t->schema;
2391
2392       $dest_schema->name( $filename )
2393         unless $dest_schema->name;
2394     }
2395
2396     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
2397                                                   $dest_schema,   $db,
2398                                                   $sqltargs
2399                                                  );
2400     if(!open $file, ">$difffile") {
2401       $self->throw_exception("Can't write to $difffile ($!)");
2402       next;
2403     }
2404     print $file $diff;
2405     close($file);
2406   }
2407 }
2408
2409 =head2 deployment_statements
2410
2411 =over 4
2412
2413 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
2414
2415 =back
2416
2417 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
2418
2419 The L<SQL::Translator> (not L<DBI>) database driver name can be explicitly
2420 provided in C<$type>, otherwise the result of L</sqlt_type> is used as default.
2421
2422 C<$directory> is used to return statements from files in a previously created
2423 L</create_ddl_dir> directory and is optional. The filenames are constructed
2424 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
2425
2426 If no C<$directory> is specified then the statements are constructed on the
2427 fly using L<SQL::Translator> and C<$version> is ignored.
2428
2429 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
2430
2431 =cut
2432
2433 sub deployment_statements {
2434   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
2435   $type ||= $self->sqlt_type;
2436   $version ||= $schema->schema_version || '1.x';
2437   $dir ||= './';
2438   my $filename = $schema->ddl_filename($type, $version, $dir);
2439   if(-f $filename)
2440   {
2441       my $file;
2442       open($file, "<$filename")
2443         or $self->throw_exception("Can't open $filename ($!)");
2444       my @rows = <$file>;
2445       close($file);
2446       return join('', @rows);
2447   }
2448
2449   $self->throw_exception(q{Can't deploy without SQL::Translator 0.09003: '}
2450       . $self->_check_sqlt_message . q{'})
2451           if !$self->_check_sqlt_version;
2452
2453   # sources needs to be a parser arg, but for simplicty allow at top level
2454   # coming in
2455   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
2456       if exists $sqltargs->{sources};
2457
2458   my $tr = SQL::Translator->new(
2459     producer => "SQL::Translator::Producer::${type}",
2460     %$sqltargs,
2461     parser => 'SQL::Translator::Parser::DBIx::Class',
2462     data => $schema,
2463   );
2464   return $tr->translate;
2465 }
2466
2467 sub deploy {
2468   my ($self, $schema, $type, $sqltargs, $dir) = @_;
2469   my $deploy = sub {
2470     my $line = shift;
2471     return if($line =~ /^--/);
2472     return if(!$line);
2473     # next if($line =~ /^DROP/m);
2474     return if($line =~ /^BEGIN TRANSACTION/m);
2475     return if($line =~ /^COMMIT/m);
2476     return if $line =~ /^\s+$/; # skip whitespace only
2477     $self->_query_start($line);
2478     eval {
2479       # do a dbh_do cycle here, as we need some error checking in
2480       # place (even though we will ignore errors)
2481       $self->dbh_do (sub { $_[1]->do($line) });
2482     };
2483     if ($@) {
2484       carp qq{$@ (running "${line}")};
2485     }
2486     $self->_query_end($line);
2487   };
2488   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
2489   if (@statements > 1) {
2490     foreach my $statement (@statements) {
2491       $deploy->( $statement );
2492     }
2493   }
2494   elsif (@statements == 1) {
2495     foreach my $line ( split(";\n", $statements[0])) {
2496       $deploy->( $line );
2497     }
2498   }
2499 }
2500
2501 =head2 datetime_parser
2502
2503 Returns the datetime parser class
2504
2505 =cut
2506
2507 sub datetime_parser {
2508   my $self = shift;
2509   return $self->{datetime_parser} ||= do {
2510     $self->_populate_dbh unless $self->_dbh;
2511     $self->build_datetime_parser(@_);
2512   };
2513 }
2514
2515 =head2 datetime_parser_type
2516
2517 Defines (returns) the datetime parser class - currently hardwired to
2518 L<DateTime::Format::MySQL>
2519
2520 =cut
2521
2522 sub datetime_parser_type { "DateTime::Format::MySQL"; }
2523
2524 =head2 build_datetime_parser
2525
2526 See L</datetime_parser>
2527
2528 =cut
2529
2530 sub build_datetime_parser {
2531   my $self = shift;
2532   my $type = $self->datetime_parser_type(@_);
2533   eval "use ${type}";
2534   $self->throw_exception("Couldn't load ${type}: $@") if $@;
2535   return $type;
2536 }
2537
2538 {
2539     my $_check_sqlt_version; # private
2540     my $_check_sqlt_message; # private
2541     sub _check_sqlt_version {
2542         return $_check_sqlt_version if defined $_check_sqlt_version;
2543         eval 'use SQL::Translator "0.09003"';
2544         $_check_sqlt_message = $@ || '';
2545         $_check_sqlt_version = !$@;
2546     }
2547
2548     sub _check_sqlt_message {
2549         _check_sqlt_version if !defined $_check_sqlt_message;
2550         $_check_sqlt_message;
2551     }
2552 }
2553
2554 =head2 is_replicating
2555
2556 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
2557 replicate from a master database.  Default is undef, which is the result
2558 returned by databases that don't support replication.
2559
2560 =cut
2561
2562 sub is_replicating {
2563     return;
2564
2565 }
2566
2567 =head2 lag_behind_master
2568
2569 Returns a number that represents a certain amount of lag behind a master db
2570 when a given storage is replicating.  The number is database dependent, but
2571 starts at zero and increases with the amount of lag. Default in undef
2572
2573 =cut
2574
2575 sub lag_behind_master {
2576     return;
2577 }
2578
2579 sub DESTROY {
2580   my $self = shift;
2581   $self->_verify_pid if $self->_dbh;
2582
2583   # some databases need this to stop spewing warnings
2584   if (my $dbh = $self->_dbh) {
2585     eval { $dbh->disconnect };
2586   }
2587
2588   $self->_dbh(undef);
2589 }
2590
2591 1;
2592
2593 =head1 USAGE NOTES
2594
2595 =head2 DBIx::Class and AutoCommit
2596
2597 DBIx::Class can do some wonderful magic with handling exceptions,
2598 disconnections, and transactions when you use C<< AutoCommit => 1 >>
2599 (the default) combined with C<txn_do> for transaction support.
2600
2601 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
2602 in an assumed transaction between commits, and you're telling us you'd
2603 like to manage that manually.  A lot of the magic protections offered by
2604 this module will go away.  We can't protect you from exceptions due to database
2605 disconnects because we don't know anything about how to restart your
2606 transactions.  You're on your own for handling all sorts of exceptional
2607 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
2608 be with raw DBI.
2609
2610
2611 =head1 AUTHORS
2612
2613 Matt S. Trout <mst@shadowcatsystems.co.uk>
2614
2615 Andy Grundman <andy@hybridized.org>
2616
2617 =head1 LICENSE
2618
2619 You may distribute this code under the same terms as Perl itself.
2620
2621 =cut