All of caelum's work so far (not reviewed)
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI.pm
1 package DBIx::Class::Storage::DBI;
2 # -*- mode: cperl; cperl-indent-level: 2 -*-
3
4 use strict;
5 use warnings;
6
7 use base 'DBIx::Class::Storage';
8 use mro 'c3';
9
10 use Carp::Clan qw/^DBIx::Class/;
11 use DBI;
12 use DBIx::Class::Storage::DBI::Cursor;
13 use DBIx::Class::Storage::Statistics;
14 use Scalar::Util();
15 use List::Util();
16
17 __PACKAGE__->mk_group_accessors('simple' =>
18   qw/_connect_info _dbi_connect_info _dbh _sql_maker _sql_maker_opts _conn_pid
19      _conn_tid transaction_depth _dbh_autocommit _driver_determined savepoints/
20 );
21
22 # the values for these accessors are picked out (and deleted) from
23 # the attribute hashref passed to connect_info
24 my @storage_options = qw/
25   on_connect_call on_disconnect_call on_connect_do on_disconnect_do
26   disable_sth_caching unsafe auto_savepoint
27 /;
28 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
29
30
31 # default cursor class, overridable in connect_info attributes
32 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
33
34 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
35 __PACKAGE__->sql_maker_class('DBIx::Class::SQLAHacks');
36
37
38 =head1 NAME
39
40 DBIx::Class::Storage::DBI - DBI storage handler
41
42 =head1 SYNOPSIS
43
44   my $schema = MySchema->connect('dbi:SQLite:my.db');
45
46   $schema->storage->debug(1);
47
48   my @stuff = $schema->storage->dbh_do(
49     sub {
50       my ($storage, $dbh, @args) = @_;
51       $dbh->do("DROP TABLE authors");
52     },
53     @column_list
54   );
55
56   $schema->resultset('Book')->search({
57      written_on => $schema->storage->datetime_parser(DateTime->now)
58   });
59
60 =head1 DESCRIPTION
61
62 This class represents the connection to an RDBMS via L<DBI>.  See
63 L<DBIx::Class::Storage> for general information.  This pod only
64 documents DBI-specific methods and behaviors.
65
66 =head1 METHODS
67
68 =cut
69
70 sub new {
71   my $new = shift->next::method(@_);
72
73   $new->transaction_depth(0);
74   $new->_sql_maker_opts({});
75   $new->{savepoints} = [];
76   $new->{_in_dbh_do} = 0;
77   $new->{_dbh_gen} = 0;
78
79   $new;
80 }
81
82 =head2 connect_info
83
84 This method is normally called by L<DBIx::Class::Schema/connection>, which
85 encapsulates its argument list in an arrayref before passing them here.
86
87 The argument list may contain:
88
89 =over
90
91 =item *
92
93 The same 4-element argument set one would normally pass to
94 L<DBI/connect>, optionally followed by
95 L<extra attributes|/DBIx::Class specific connection attributes>
96 recognized by DBIx::Class:
97
98   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
99
100 =item *
101
102 A single code reference which returns a connected
103 L<DBI database handle|DBI/connect> optionally followed by
104 L<extra attributes|/DBIx::Class specific connection attributes> recognized
105 by DBIx::Class:
106
107   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
108
109 =item *
110
111 A single hashref with all the attributes and the dsn/user/password
112 mixed together:
113
114   $connect_info_args = [{
115     dsn => $dsn,
116     user => $user,
117     password => $pass,
118     %dbi_attributes,
119     %extra_attributes,
120   }];
121
122   $connect_info_args = [{
123     dbh_maker => sub { DBI->connect (...) },
124     %dbi_attributes,
125     %extra_attributes,
126   }];
127
128 This is particularly useful for L<Catalyst> based applications, allowing the
129 following config (L<Config::General> style):
130
131   <Model::DB>
132     schema_class   App::DB
133     <connect_info>
134       dsn          dbi:mysql:database=test
135       user         testuser
136       password     TestPass
137       AutoCommit   1
138     </connect_info>
139   </Model::DB>
140
141 The C<dsn>/C<user>/C<password> combination can be substituted by the
142 C<dbh_maker> key whose value is a coderef that returns a connected
143 L<DBI database handle|DBI/connect>
144
145 =back
146
147 Please note that the L<DBI> docs recommend that you always explicitly
148 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
149 recommends that it be set to I<1>, and that you perform transactions
150 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
151 to I<1> if you do not do explicitly set it to zero.  This is the default
152 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
153
154 =head3 DBIx::Class specific connection attributes
155
156 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
157 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
158 the following connection options. These options can be mixed in with your other
159 L<DBI> connection attributes, or placed in a seperate hashref
160 (C<\%extra_attributes>) as shown above.
161
162 Every time C<connect_info> is invoked, any previous settings for
163 these options will be cleared before setting the new ones, regardless of
164 whether any options are specified in the new C<connect_info>.
165
166
167 =over
168
169 =item on_connect_do
170
171 Specifies things to do immediately after connecting or re-connecting to
172 the database.  Its value may contain:
173
174 =over
175
176 =item a scalar
177
178 This contains one SQL statement to execute.
179
180 =item an array reference
181
182 This contains SQL statements to execute in order.  Each element contains
183 a string or a code reference that returns a string.
184
185 =item a code reference
186
187 This contains some code to execute.  Unlike code references within an
188 array reference, its return value is ignored.
189
190 =back
191
192 =item on_disconnect_do
193
194 Takes arguments in the same form as L</on_connect_do> and executes them
195 immediately before disconnecting from the database.
196
197 Note, this only runs if you explicitly call L</disconnect> on the
198 storage object.
199
200 =item on_connect_call
201
202 A more generalized form of L</on_connect_do> that calls the specified
203 C<connect_call_METHOD> methods in your storage driver.
204
205   on_connect_do => 'select 1'
206
207 is equivalent to:
208
209   on_connect_call => [ [ do_sql => 'select 1' ] ]
210
211 Its values may contain:
212
213 =over
214
215 =item a scalar
216
217 Will call the C<connect_call_METHOD> method.
218
219 =item a code reference
220
221 Will execute C<< $code->($storage) >>
222
223 =item an array reference
224
225 Each value can be a method name or code reference.
226
227 =item an array of arrays
228
229 For each array, the first item is taken to be the C<connect_call_> method name
230 or code reference, and the rest are parameters to it.
231
232 =back
233
234 Some predefined storage methods you may use:
235
236 =over
237
238 =item do_sql
239
240 Executes a SQL string or a code reference that returns a SQL string. This is
241 what L</on_connect_do> and L</on_disconnect_do> use.
242
243 It can take:
244
245 =over
246
247 =item a scalar
248
249 Will execute the scalar as SQL.
250
251 =item an arrayref
252
253 Taken to be arguments to L<DBI/do>, the SQL string optionally followed by the
254 attributes hashref and bind values.
255
256 =item a code reference
257
258 Will execute C<< $code->($storage) >> and execute the return array refs as
259 above.
260
261 =back
262
263 =item datetime_setup
264
265 Execute any statements necessary to initialize the database session to return
266 and accept datetime/timestamp values used with
267 L<DBIx::Class::InflateColumn::DateTime>.
268
269 Only necessary for some databases, see your specific storage driver for
270 implementation details.
271
272 =back
273
274 =item on_disconnect_call
275
276 Takes arguments in the same form as L</on_connect_call> and executes them
277 immediately before disconnecting from the database.
278
279 Calls the C<disconnect_call_METHOD> methods as opposed to the
280 C<connect_call_METHOD> methods called by L</on_connect_call>.
281
282 Note, this only runs if you explicitly call L</disconnect> on the
283 storage object.
284
285 =item disable_sth_caching
286
287 If set to a true value, this option will disable the caching of
288 statement handles via L<DBI/prepare_cached>.
289
290 =item limit_dialect
291
292 Sets the limit dialect. This is useful for JDBC-bridge among others
293 where the remote SQL-dialect cannot be determined by the name of the
294 driver alone. See also L<SQL::Abstract::Limit>.
295
296 =item quote_char
297
298 Specifies what characters to use to quote table and column names. If
299 you use this you will want to specify L</name_sep> as well.
300
301 C<quote_char> expects either a single character, in which case is it
302 is placed on either side of the table/column name, or an arrayref of length
303 2 in which case the table/column name is placed between the elements.
304
305 For example under MySQL you should use C<< quote_char => '`' >>, and for
306 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
307
308 =item name_sep
309
310 This only needs to be used in conjunction with C<quote_char>, and is used to
311 specify the charecter that seperates elements (schemas, tables, columns) from
312 each other. In most cases this is simply a C<.>.
313
314 The consequences of not supplying this value is that L<SQL::Abstract>
315 will assume DBIx::Class' uses of aliases to be complete column
316 names. The output will look like I<"me.name"> when it should actually
317 be I<"me"."name">.
318
319 =item unsafe
320
321 This Storage driver normally installs its own C<HandleError>, sets
322 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
323 all database handles, including those supplied by a coderef.  It does this
324 so that it can have consistent and useful error behavior.
325
326 If you set this option to a true value, Storage will not do its usual
327 modifications to the database handle's attributes, and instead relies on
328 the settings in your connect_info DBI options (or the values you set in
329 your connection coderef, in the case that you are connecting via coderef).
330
331 Note that your custom settings can cause Storage to malfunction,
332 especially if you set a C<HandleError> handler that suppresses exceptions
333 and/or disable C<RaiseError>.
334
335 =item auto_savepoint
336
337 If this option is true, L<DBIx::Class> will use savepoints when nesting
338 transactions, making it possible to recover from failure in the inner
339 transaction without having to abort all outer transactions.
340
341 =item cursor_class
342
343 Use this argument to supply a cursor class other than the default
344 L<DBIx::Class::Storage::DBI::Cursor>.
345
346 =back
347
348 Some real-life examples of arguments to L</connect_info> and
349 L<DBIx::Class::Schema/connect>
350
351   # Simple SQLite connection
352   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
353
354   # Connect via subref
355   ->connect_info([ sub { DBI->connect(...) } ]);
356
357   # Connect via subref in hashref
358   ->connect_info([{
359     dbh_maker => sub { DBI->connect(...) },
360     on_connect_do => 'alter session ...',
361   }]);
362
363   # A bit more complicated
364   ->connect_info(
365     [
366       'dbi:Pg:dbname=foo',
367       'postgres',
368       'my_pg_password',
369       { AutoCommit => 1 },
370       { quote_char => q{"}, name_sep => q{.} },
371     ]
372   );
373
374   # Equivalent to the previous example
375   ->connect_info(
376     [
377       'dbi:Pg:dbname=foo',
378       'postgres',
379       'my_pg_password',
380       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
381     ]
382   );
383
384   # Same, but with hashref as argument
385   # See parse_connect_info for explanation
386   ->connect_info(
387     [{
388       dsn         => 'dbi:Pg:dbname=foo',
389       user        => 'postgres',
390       password    => 'my_pg_password',
391       AutoCommit  => 1,
392       quote_char  => q{"},
393       name_sep    => q{.},
394     }]
395   );
396
397   # Subref + DBIx::Class-specific connection options
398   ->connect_info(
399     [
400       sub { DBI->connect(...) },
401       {
402           quote_char => q{`},
403           name_sep => q{@},
404           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
405           disable_sth_caching => 1,
406       },
407     ]
408   );
409
410
411
412 =cut
413
414 sub connect_info {
415   my ($self, $info_arg) = @_;
416
417   return $self->_connect_info if !$info_arg;
418
419   my @args = @$info_arg;  # take a shallow copy for further mutilation
420   $self->_connect_info([@args]); # copy for _connect_info
421
422
423   # combine/pre-parse arguments depending on invocation style
424
425   my %attrs;
426   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
427     %attrs = %{ $args[1] || {} };
428     @args = $args[0];
429   }
430   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
431     %attrs = %{$args[0]};
432     @args = ();
433     if (my $code = delete $attrs{dbh_maker}) {
434       @args = $code;
435
436       my @ignored = grep { delete $attrs{$_} } (qw/dsn user password/);
437       if (@ignored) {
438         carp sprintf (
439             'Attribute(s) %s in connect_info were ignored, as they can not be applied '
440           . "to the result of 'dbh_maker'",
441
442           join (', ', map { "'$_'" } (@ignored) ),
443         );
444       }
445     }
446     else {
447       @args = delete @attrs{qw/dsn user password/};
448     }
449   }
450   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
451     %attrs = (
452       % { $args[3] || {} },
453       % { $args[4] || {} },
454     );
455     @args = @args[0,1,2];
456   }
457
458   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
459   #  the new set of options
460   $self->_sql_maker(undef);
461   $self->_sql_maker_opts({});
462
463   if(keys %attrs) {
464     for my $storage_opt (@storage_options, 'cursor_class') {    # @storage_options is declared at the top of the module
465       if(my $value = delete $attrs{$storage_opt}) {
466         $self->$storage_opt($value);
467       }
468     }
469     for my $sql_maker_opt (qw/limit_dialect quote_char name_sep/) {
470       if(my $opt_val = delete $attrs{$sql_maker_opt}) {
471         $self->_sql_maker_opts->{$sql_maker_opt} = $opt_val;
472       }
473     }
474   }
475
476   if (ref $args[0] eq 'CODE') {
477     # _connect() never looks past $args[0] in this case
478     %attrs = ()
479   } else {
480     %attrs = (
481       %{ $self->_default_dbi_connect_attributes || {} },
482       %attrs,
483     );
484   }
485
486   $self->_dbi_connect_info([@args, keys %attrs ? \%attrs : ()]);
487   $self->_connect_info;
488 }
489
490 sub _default_dbi_connect_attributes {
491   return {
492     AutoCommit => 1,
493     RaiseError => 1,
494     PrintError => 0,
495   };
496 }
497
498 =head2 on_connect_do
499
500 This method is deprecated in favour of setting via L</connect_info>.
501
502 =cut
503
504 =head2 on_disconnect_do
505
506 This method is deprecated in favour of setting via L</connect_info>.
507
508 =cut
509
510 sub _parse_connect_do {
511   my ($self, $type) = @_;
512
513   my $val = $self->$type;
514   return () if not defined $val;
515
516   my @res;
517
518   if (not ref($val)) {
519     push @res, [ 'do_sql', $val ];
520   } elsif (ref($val) eq 'CODE') {
521     push @res, $val;
522   } elsif (ref($val) eq 'ARRAY') {
523     push @res, map { [ 'do_sql', $_ ] } @$val;
524   } else {
525     $self->throw_exception("Invalid type for $type: ".ref($val));
526   }
527
528   return \@res;
529 }
530
531 =head2 dbh_do
532
533 Arguments: ($subref | $method_name), @extra_coderef_args?
534
535 Execute the given $subref or $method_name using the new exception-based
536 connection management.
537
538 The first two arguments will be the storage object that C<dbh_do> was called
539 on and a database handle to use.  Any additional arguments will be passed
540 verbatim to the called subref as arguments 2 and onwards.
541
542 Using this (instead of $self->_dbh or $self->dbh) ensures correct
543 exception handling and reconnection (or failover in future subclasses).
544
545 Your subref should have no side-effects outside of the database, as
546 there is the potential for your subref to be partially double-executed
547 if the database connection was stale/dysfunctional.
548
549 Example:
550
551   my @stuff = $schema->storage->dbh_do(
552     sub {
553       my ($storage, $dbh, @cols) = @_;
554       my $cols = join(q{, }, @cols);
555       $dbh->selectrow_array("SELECT $cols FROM foo");
556     },
557     @column_list
558   );
559
560 =cut
561
562 sub dbh_do {
563   my $self = shift;
564   my $code = shift;
565
566   my $dbh = $self->_get_dbh;
567
568   return $self->$code($dbh, @_) if $self->{_in_dbh_do}
569       || $self->{transaction_depth};
570
571   local $self->{_in_dbh_do} = 1;
572
573   my @result;
574   my $want_array = wantarray;
575
576   eval {
577
578     if($want_array) {
579         @result = $self->$code($dbh, @_);
580     }
581     elsif(defined $want_array) {
582         $result[0] = $self->$code($dbh, @_);
583     }
584     else {
585         $self->$code($dbh, @_);
586     }
587   };
588
589   # ->connected might unset $@ - copy
590   my $exception = $@;
591   if(!$exception) { return $want_array ? @result : $result[0] }
592
593   $self->throw_exception($exception) if $self->connected;
594
595   # We were not connected - reconnect and retry, but let any
596   #  exception fall right through this time
597   carp "Retrying $code after catching disconnected exception: $exception"
598     if $ENV{DBIC_DBIRETRY_DEBUG};
599   $self->_populate_dbh;
600   $self->$code($self->_dbh, @_);
601 }
602
603 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
604 # It also informs dbh_do to bypass itself while under the direction of txn_do,
605 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
606 sub txn_do {
607   my $self = shift;
608   my $coderef = shift;
609
610   ref $coderef eq 'CODE' or $self->throw_exception
611     ('$coderef must be a CODE reference');
612
613   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
614
615   local $self->{_in_dbh_do} = 1;
616
617   my @result;
618   my $want_array = wantarray;
619
620   my $tried = 0;
621   while(1) {
622     eval {
623       $self->_get_dbh;
624
625       $self->txn_begin;
626       if($want_array) {
627           @result = $coderef->(@_);
628       }
629       elsif(defined $want_array) {
630           $result[0] = $coderef->(@_);
631       }
632       else {
633           $coderef->(@_);
634       }
635       $self->txn_commit;
636     };
637
638     # ->connected might unset $@ - copy
639     my $exception = $@;
640     if(!$exception) { return $want_array ? @result : $result[0] }
641
642     if($tried++ || $self->connected) {
643       eval { $self->txn_rollback };
644       my $rollback_exception = $@;
645       if($rollback_exception) {
646         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
647         $self->throw_exception($exception)  # propagate nested rollback
648           if $rollback_exception =~ /$exception_class/;
649
650         $self->throw_exception(
651           "Transaction aborted: ${exception}. "
652           . "Rollback failed: ${rollback_exception}"
653         );
654       }
655       $self->throw_exception($exception)
656     }
657
658     # We were not connected, and was first try - reconnect and retry
659     # via the while loop
660     carp "Retrying $coderef after catching disconnected exception: $exception"
661       if $ENV{DBIC_DBIRETRY_DEBUG};
662     $self->_populate_dbh;
663   }
664 }
665
666 =head2 disconnect
667
668 Our C<disconnect> method also performs a rollback first if the
669 database is not in C<AutoCommit> mode.
670
671 =cut
672
673 sub disconnect {
674   my ($self) = @_;
675
676   if( $self->_dbh ) {
677     my @actions;
678
679     push @actions, ( $self->on_disconnect_call || () );
680     push @actions, $self->_parse_connect_do ('on_disconnect_do');
681
682     $self->_do_connection_actions(disconnect_call_ => $_) for @actions;
683
684     $self->_dbh_rollback unless $self->_dbh_autocommit;
685
686     $self->_dbh->disconnect;
687     $self->_dbh(undef);
688     $self->{_dbh_gen}++;
689   }
690 }
691
692 =head2 with_deferred_fk_checks
693
694 =over 4
695
696 =item Arguments: C<$coderef>
697
698 =item Return Value: The return value of $coderef
699
700 =back
701
702 Storage specific method to run the code ref with FK checks deferred or
703 in MySQL's case disabled entirely.
704
705 =cut
706
707 # Storage subclasses should override this
708 sub with_deferred_fk_checks {
709   my ($self, $sub) = @_;
710
711   $sub->();
712 }
713
714 =head2 connected
715
716 =over
717
718 =item Arguments: none
719
720 =item Return Value: 1|0
721
722 =back
723
724 Verifies that the the current database handle is active and ready to execute
725 an SQL statement (i.e. the connection did not get stale, server is still
726 answering, etc.) This method is used internally by L</dbh>.
727
728 =cut
729
730 sub connected {
731   my $self = shift;
732   return 0 unless $self->_seems_connected;
733
734   #be on the safe side
735   local $self->_dbh->{RaiseError} = 1;
736
737   return $self->_ping;
738 }
739
740 sub _seems_connected {
741   my $self = shift;
742
743   my $dbh = $self->_dbh
744     or return 0;
745
746   if(defined $self->_conn_tid && $self->_conn_tid != threads->tid) {
747     $self->_dbh(undef);
748     $self->{_dbh_gen}++;
749     return 0;
750   }
751   else {
752     $self->_verify_pid;
753     return 0 if !$self->_dbh;
754   }
755
756   return $dbh->FETCH('Active');
757 }
758
759 sub _ping {
760   my $self = shift;
761
762   my $dbh = $self->_dbh or return 0;
763
764   return $dbh->ping;
765 }
766
767 # handle pid changes correctly
768 #  NOTE: assumes $self->_dbh is a valid $dbh
769 sub _verify_pid {
770   my ($self) = @_;
771
772   return if defined $self->_conn_pid && $self->_conn_pid == $$;
773
774   $self->_dbh->{InactiveDestroy} = 1;
775   $self->_dbh(undef);
776   $self->{_dbh_gen}++;
777
778   return;
779 }
780
781 sub ensure_connected {
782   my ($self) = @_;
783
784   unless ($self->connected) {
785     $self->_populate_dbh;
786   }
787 }
788
789 =head2 dbh
790
791 Returns a C<$dbh> - a data base handle of class L<DBI>. The returned handle
792 is guaranteed to be healthy by implicitly calling L</connected>, and if
793 necessary performing a reconnection before returning. Keep in mind that this
794 is very B<expensive> on some database engines. Consider using L<dbh_do>
795 instead.
796
797 =cut
798
799 sub dbh {
800   my ($self) = @_;
801
802   if (not $self->_dbh) {
803     $self->_populate_dbh;
804   } else {
805     $self->ensure_connected;
806   }
807   return $self->_dbh;
808 }
809
810 # this is the internal "get dbh or connect (don't check)" method
811 sub _get_dbh {
812   my $self = shift;
813   $self->_verify_pid if $self->_dbh;
814   $self->_populate_dbh unless $self->_dbh;
815   return $self->_dbh;
816 }
817
818 sub _sql_maker_args {
819     my ($self) = @_;
820
821     return (
822       bindtype=>'columns',
823       array_datatypes => 1,
824       limit_dialect => $self->_get_dbh,
825       %{$self->_sql_maker_opts}
826     );
827 }
828
829 sub sql_maker {
830   my ($self) = @_;
831   unless ($self->_sql_maker) {
832     my $sql_maker_class = $self->sql_maker_class;
833     $self->ensure_class_loaded ($sql_maker_class);
834     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
835   }
836   return $self->_sql_maker;
837 }
838
839 # nothing to do by default
840 sub _rebless {}
841 sub _init {}
842
843 sub _populate_dbh {
844   my ($self) = @_;
845
846   my @info = @{$self->_dbi_connect_info || []};
847   $self->_dbh(undef); # in case ->connected failed we might get sent here
848   $self->_dbh($self->_connect(@info));
849
850   $self->_conn_pid($$);
851   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
852
853   $self->_determine_driver;
854
855   # Always set the transaction depth on connect, since
856   #  there is no transaction in progress by definition
857   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
858
859   $self->_run_connection_actions unless $self->{_in_determine_driver};
860 }
861
862 sub _run_connection_actions {
863   my $self = shift;
864   my @actions;
865
866   push @actions, ( $self->on_connect_call || () );
867   push @actions, $self->_parse_connect_do ('on_connect_do');
868
869   $self->_do_connection_actions(connect_call_ => $_) for @actions;
870 }
871
872 sub _determine_driver {
873   my ($self) = @_;
874
875   if ((not $self->_driver_determined) && (not $self->{_in_determine_driver})) {
876     my $started_unconnected = 0;
877     local $self->{_in_determine_driver} = 1;
878
879     if (ref($self) eq __PACKAGE__) {
880       my $driver;
881       if ($self->_dbh) { # we are connected
882         $driver = $self->_dbh->{Driver}{Name};
883       } else {
884         # if connect_info is a CODEREF, we have no choice but to connect
885         if (ref $self->_dbi_connect_info->[0] &&
886             Scalar::Util::reftype($self->_dbi_connect_info->[0]) eq 'CODE') {
887           $self->_populate_dbh;
888           $driver = $self->_dbh->{Driver}{Name};
889         }
890         else {
891           # try to use dsn to not require being connected, the driver may still
892           # force a connection in _rebless to determine version
893           ($driver) = $self->_dbi_connect_info->[0] =~ /dbi:([^:]+):/i;
894           $started_unconnected = 1;
895         }
896       }
897
898       my $storage_class = "DBIx::Class::Storage::DBI::${driver}";
899       if ($self->load_optional_class($storage_class)) {
900         mro::set_mro($storage_class, 'c3');
901         bless $self, $storage_class;
902         $self->_rebless();
903       }
904     }
905
906     $self->_driver_determined(1);
907
908     $self->_init; # run driver-specific initializations
909
910     $self->_run_connection_actions
911         if $started_unconnected && defined $self->_dbh;
912   }
913 }
914
915 sub _do_connection_actions {
916   my $self          = shift;
917   my $method_prefix = shift;
918   my $call          = shift;
919
920   if (not ref($call)) {
921     my $method = $method_prefix . $call;
922     $self->$method(@_);
923   } elsif (ref($call) eq 'CODE') {
924     $self->$call(@_);
925   } elsif (ref($call) eq 'ARRAY') {
926     if (ref($call->[0]) ne 'ARRAY') {
927       $self->_do_connection_actions($method_prefix, $_) for @$call;
928     } else {
929       $self->_do_connection_actions($method_prefix, @$_) for @$call;
930     }
931   } else {
932     $self->throw_exception (sprintf ("Don't know how to process conection actions of type '%s'", ref($call)) );
933   }
934
935   return $self;
936 }
937
938 sub connect_call_do_sql {
939   my $self = shift;
940   $self->_do_query(@_);
941 }
942
943 sub disconnect_call_do_sql {
944   my $self = shift;
945   $self->_do_query(@_);
946 }
947
948 # override in db-specific backend when necessary
949 sub connect_call_datetime_setup { 1 }
950
951 sub _do_query {
952   my ($self, $action) = @_;
953
954   if (ref $action eq 'CODE') {
955     $action = $action->($self);
956     $self->_do_query($_) foreach @$action;
957   }
958   else {
959     # Most debuggers expect ($sql, @bind), so we need to exclude
960     # the attribute hash which is the second argument to $dbh->do
961     # furthermore the bind values are usually to be presented
962     # as named arrayref pairs, so wrap those here too
963     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
964     my $sql = shift @do_args;
965     my $attrs = shift @do_args;
966     my @bind = map { [ undef, $_ ] } @do_args;
967
968     $self->_query_start($sql, @bind);
969     $self->_get_dbh->do($sql, $attrs, @do_args);
970     $self->_query_end($sql, @bind);
971   }
972
973   return $self;
974 }
975
976 sub _connect {
977   my ($self, @info) = @_;
978
979   $self->throw_exception("You failed to provide any connection info")
980     if !@info;
981
982   my ($old_connect_via, $dbh);
983
984   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
985     $old_connect_via = $DBI::connect_via;
986     $DBI::connect_via = 'connect';
987   }
988
989   eval {
990     if(ref $info[0] eq 'CODE') {
991        $dbh = &{$info[0]}
992     }
993     else {
994        $dbh = DBI->connect(@info);
995     }
996
997     if($dbh && !$self->unsafe) {
998       my $weak_self = $self;
999       Scalar::Util::weaken($weak_self);
1000       $dbh->{HandleError} = sub {
1001           if ($weak_self) {
1002             $weak_self->throw_exception("DBI Exception: $_[0]");
1003           }
1004           else {
1005             croak ("DBI Exception: $_[0]");
1006           }
1007       };
1008       $dbh->{ShowErrorStatement} = 1;
1009       $dbh->{RaiseError} = 1;
1010       $dbh->{PrintError} = 0;
1011     }
1012   };
1013
1014   $DBI::connect_via = $old_connect_via if $old_connect_via;
1015
1016   $self->throw_exception("DBI Connection failed: " . ($@||$DBI::errstr))
1017     if !$dbh || $@;
1018
1019   $self->_dbh_autocommit($dbh->{AutoCommit});
1020
1021   $dbh;
1022 }
1023
1024 sub svp_begin {
1025   my ($self, $name) = @_;
1026
1027   $name = $self->_svp_generate_name
1028     unless defined $name;
1029
1030   $self->throw_exception ("You can't use savepoints outside a transaction")
1031     if $self->{transaction_depth} == 0;
1032
1033   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1034     unless $self->can('_svp_begin');
1035
1036   push @{ $self->{savepoints} }, $name;
1037
1038   $self->debugobj->svp_begin($name) if $self->debug;
1039
1040   return $self->_svp_begin($name);
1041 }
1042
1043 sub svp_release {
1044   my ($self, $name) = @_;
1045
1046   $self->throw_exception ("You can't use savepoints outside a transaction")
1047     if $self->{transaction_depth} == 0;
1048
1049   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1050     unless $self->can('_svp_release');
1051
1052   if (defined $name) {
1053     $self->throw_exception ("Savepoint '$name' does not exist")
1054       unless grep { $_ eq $name } @{ $self->{savepoints} };
1055
1056     # Dig through the stack until we find the one we are releasing.  This keeps
1057     # the stack up to date.
1058     my $svp;
1059
1060     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1061   } else {
1062     $name = pop @{ $self->{savepoints} };
1063   }
1064
1065   $self->debugobj->svp_release($name) if $self->debug;
1066
1067   return $self->_svp_release($name);
1068 }
1069
1070 sub svp_rollback {
1071   my ($self, $name) = @_;
1072
1073   $self->throw_exception ("You can't use savepoints outside a transaction")
1074     if $self->{transaction_depth} == 0;
1075
1076   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1077     unless $self->can('_svp_rollback');
1078
1079   if (defined $name) {
1080       # If they passed us a name, verify that it exists in the stack
1081       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1082           $self->throw_exception("Savepoint '$name' does not exist!");
1083       }
1084
1085       # Dig through the stack until we find the one we are releasing.  This keeps
1086       # the stack up to date.
1087       while(my $s = pop(@{ $self->{savepoints} })) {
1088           last if($s eq $name);
1089       }
1090       # Add the savepoint back to the stack, as a rollback doesn't remove the
1091       # named savepoint, only everything after it.
1092       push(@{ $self->{savepoints} }, $name);
1093   } else {
1094       # We'll assume they want to rollback to the last savepoint
1095       $name = $self->{savepoints}->[-1];
1096   }
1097
1098   $self->debugobj->svp_rollback($name) if $self->debug;
1099
1100   return $self->_svp_rollback($name);
1101 }
1102
1103 sub _svp_generate_name {
1104     my ($self) = @_;
1105
1106     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1107 }
1108
1109 sub txn_begin {
1110   my $self = shift;
1111   if($self->{transaction_depth} == 0) {
1112     $self->debugobj->txn_begin()
1113       if $self->debug;
1114     $self->_dbh_begin_work;
1115   }
1116   elsif ($self->auto_savepoint) {
1117     $self->svp_begin;
1118   }
1119   $self->{transaction_depth}++;
1120 }
1121
1122 sub _dbh_begin_work {
1123   my $self = shift;
1124
1125   # if the user is utilizing txn_do - good for him, otherwise we need to
1126   # ensure that the $dbh is healthy on BEGIN.
1127   # We do this via ->dbh_do instead of ->dbh, so that the ->dbh "ping"
1128   # will be replaced by a failure of begin_work itself (which will be
1129   # then retried on reconnect)
1130   if ($self->{_in_dbh_do}) {
1131     $self->_dbh->begin_work;
1132   } else {
1133     $self->dbh_do(sub { $_[1]->begin_work });
1134   }
1135 }
1136
1137 sub txn_commit {
1138   my $self = shift;
1139   if ($self->{transaction_depth} == 1) {
1140     my $dbh = $self->_dbh;
1141     $self->debugobj->txn_commit()
1142       if ($self->debug);
1143     $self->_dbh_commit;
1144     $self->{transaction_depth} = 0
1145       if $self->_dbh_autocommit;
1146   }
1147   elsif($self->{transaction_depth} > 1) {
1148     $self->{transaction_depth}--;
1149     $self->svp_release
1150       if $self->auto_savepoint;
1151   }
1152 }
1153
1154 sub _dbh_commit {
1155   my $self = shift;
1156   $self->_dbh->commit;
1157 }
1158
1159 sub txn_rollback {
1160   my $self = shift;
1161   my $dbh = $self->_dbh;
1162   eval {
1163     if ($self->{transaction_depth} == 1) {
1164       $self->debugobj->txn_rollback()
1165         if ($self->debug);
1166       $self->{transaction_depth} = 0
1167         if $self->_dbh_autocommit;
1168       $self->_dbh_rollback;
1169     }
1170     elsif($self->{transaction_depth} > 1) {
1171       $self->{transaction_depth}--;
1172       if ($self->auto_savepoint) {
1173         $self->svp_rollback;
1174         $self->svp_release;
1175       }
1176     }
1177     else {
1178       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1179     }
1180   };
1181   if ($@) {
1182     my $error = $@;
1183     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1184     $error =~ /$exception_class/ and $self->throw_exception($error);
1185     # ensure that a failed rollback resets the transaction depth
1186     $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1187     $self->throw_exception($error);
1188   }
1189 }
1190
1191 sub _dbh_rollback {
1192   my $self = shift;
1193   $self->_dbh->rollback;
1194 }
1195
1196 # This used to be the top-half of _execute.  It was split out to make it
1197 #  easier to override in NoBindVars without duping the rest.  It takes up
1198 #  all of _execute's args, and emits $sql, @bind.
1199 sub _prep_for_execute {
1200   my ($self, $op, $extra_bind, $ident, $args) = @_;
1201
1202   if( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1203     $ident = $ident->from();
1204   }
1205
1206   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1207
1208   unshift(@bind,
1209     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1210       if $extra_bind;
1211   return ($sql, \@bind);
1212 }
1213
1214
1215 sub _fix_bind_params {
1216     my ($self, @bind) = @_;
1217
1218     ### Turn @bind from something like this:
1219     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1220     ### to this:
1221     ###   ( "'1'", "'1'", "'3'" )
1222     return
1223         map {
1224             if ( defined( $_ && $_->[1] ) ) {
1225                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1226             }
1227             else { q{'NULL'}; }
1228         } @bind;
1229 }
1230
1231 sub _query_start {
1232     my ( $self, $sql, @bind ) = @_;
1233
1234     if ( $self->debug ) {
1235         @bind = $self->_fix_bind_params(@bind);
1236
1237         $self->debugobj->query_start( $sql, @bind );
1238     }
1239 }
1240
1241 sub _query_end {
1242     my ( $self, $sql, @bind ) = @_;
1243
1244     if ( $self->debug ) {
1245         @bind = $self->_fix_bind_params(@bind);
1246         $self->debugobj->query_end( $sql, @bind );
1247     }
1248 }
1249
1250 sub _dbh_execute {
1251   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1252
1253   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1254
1255   $self->_query_start( $sql, @$bind );
1256
1257   my $sth = $self->sth($sql,$op);
1258
1259   my $placeholder_index = 1;
1260
1261   foreach my $bound (@$bind) {
1262     my $attributes = {};
1263     my($column_name, @data) = @$bound;
1264
1265     if ($bind_attributes) {
1266       $attributes = $bind_attributes->{$column_name}
1267       if defined $bind_attributes->{$column_name};
1268     }
1269
1270     foreach my $data (@data) {
1271       my $ref = ref $data;
1272       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1273
1274       $sth->bind_param($placeholder_index, $data, $attributes);
1275       $placeholder_index++;
1276     }
1277   }
1278
1279   # Can this fail without throwing an exception anyways???
1280   my $rv = $sth->execute();
1281   $self->throw_exception($sth->errstr) if !$rv;
1282
1283   $self->_query_end( $sql, @$bind );
1284
1285   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1286 }
1287
1288 sub _execute {
1289     my $self = shift;
1290     $self->dbh_do('_dbh_execute', @_);  # retry over disconnects
1291 }
1292
1293 sub insert {
1294   my ($self, $source, $to_insert) = @_;
1295
1296 # redispatch to insert method of storage we reblessed into, if necessary
1297   if (not $self->_driver_determined) {
1298     $self->_determine_driver;
1299     goto $self->can('insert');
1300   }
1301
1302   my $ident = $source->from;
1303   my $bind_attributes = $self->source_bind_attributes($source);
1304
1305   my $updated_cols = {};
1306
1307   foreach my $col ( $source->columns ) {
1308     if ( !defined $to_insert->{$col} ) {
1309       my $col_info = $source->column_info($col);
1310
1311       if ( $col_info->{auto_nextval} ) {
1312         $updated_cols->{$col} = $to_insert->{$col} = $self->_sequence_fetch(
1313           'nextval',
1314           $col_info->{sequence} ||
1315             $self->_dbh_get_autoinc_seq($self->_get_dbh, $source)
1316         );
1317       }
1318     }
1319   }
1320
1321   $self->_execute('insert' => [], $source, $bind_attributes, $to_insert);
1322
1323   return $updated_cols;
1324 }
1325
1326 ## Still not quite perfect, and EXPERIMENTAL
1327 ## Currently it is assumed that all values passed will be "normal", i.e. not
1328 ## scalar refs, or at least, all the same type as the first set, the statement is
1329 ## only prepped once.
1330 sub insert_bulk {
1331   my ($self, $source, $cols, $data, $sth_attr) = @_;
1332
1333 # redispatch to insert_bulk method of storage we reblessed into, if necessary
1334   if (not $self->_driver_determined) {
1335     $self->_determine_driver;
1336     goto $self->can('insert_bulk');
1337   }
1338
1339   my %colvalues;
1340   @colvalues{@$cols} = (0..$#$cols);
1341
1342   # bind literal sql if it's the same in all slices
1343   for my $i (0..$#$cols) {
1344     my $first_val = $data->[0][$i];
1345     next unless (Scalar::Util::reftype($first_val)||'') eq 'SCALAR';
1346
1347     $colvalues{ $cols->[$i] } = $first_val
1348       if (grep {
1349         (Scalar::Util::reftype($_)||'') eq 'SCALAR' &&
1350         $$_ eq $$first_val
1351       } map $data->[$_][$i], (1..$#$data)) == (@$data - 1);
1352   }
1353
1354   my ($sql, $bind) = $self->_prep_for_execute (
1355     'insert', undef, $source, [\%colvalues]
1356   );
1357   my @bind = @$bind;
1358
1359   my $empty_bind = 1 if (not @bind) &&
1360     (grep { (Scalar::Util::reftype($_)||'') eq 'SCALAR' } values %colvalues)
1361     == @$cols;
1362
1363   if ((not @bind) && (not $empty_bind)) {
1364     croak 'Cannot insert_bulk without support for placeholders';
1365   }
1366
1367   $self->_query_start( $sql, @bind );
1368   my $sth = $self->sth($sql, 'insert', $sth_attr);
1369
1370   if ($empty_bind) {
1371     # bind_param_array doesn't work if there are no binds
1372     eval {
1373       local $self->_get_dbh->{RaiseError} = 1;
1374       local $self->_get_dbh->{PrintError} = 0;
1375       foreach (0..$#$data) {
1376         $sth->execute;
1377         $sth->fetchall_arrayref;
1378       }
1379     };
1380     my $exception = $@;
1381     $sth->finish;
1382     $self->throw_exception($exception) if $exception;
1383     return;
1384   }
1385
1386 #  @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1387
1388   ## This must be an arrayref, else nothing works!
1389   my $tuple_status = [];
1390
1391   ## Get the bind_attributes, if any exist
1392   my $bind_attributes = $self->source_bind_attributes($source);
1393
1394   ## Bind the values and execute
1395   my $placeholder_index = 1;
1396
1397   foreach my $bound (@bind) {
1398
1399     my $attributes = {};
1400     my ($column_name, $data_index) = @$bound;
1401
1402     if( $bind_attributes ) {
1403       $attributes = $bind_attributes->{$column_name}
1404       if defined $bind_attributes->{$column_name};
1405     }
1406
1407     my @data = map { $_->[$data_index] } @$data;
1408
1409     $sth->bind_param_array( $placeholder_index, [@data], $attributes );
1410     $placeholder_index++;
1411   }
1412
1413   my $rv = eval { $sth->execute_array({ArrayTupleStatus => $tuple_status}) };
1414   $sth->finish;
1415   if (my $err = $@ || $sth->errstr) {
1416     my $i = 0;
1417     ++$i while $i <= $#$tuple_status && !ref $tuple_status->[$i];
1418
1419     $self->throw_exception("Unexpected populate error: $err")
1420       if ($i > $#$tuple_status);
1421
1422     require Data::Dumper;
1423     local $Data::Dumper::Terse = 1;
1424     local $Data::Dumper::Indent = 1;
1425     local $Data::Dumper::Useqq = 1;
1426     local $Data::Dumper::Quotekeys = 0;
1427     local $Data::Dumper::Sortkeys = 1;
1428
1429     $self->throw_exception(sprintf "%s for populate slice:\n%s",
1430       ($tuple_status->[$i][1] || $err),
1431       Data::Dumper::Dumper(
1432         { map { $cols->[$_] => $data->[$i][$_] } (0 .. $#$cols) }
1433       ),
1434     );
1435   }
1436
1437   $self->_query_end( $sql, @bind );
1438   return (wantarray ? ($rv, $sth, @bind) : $rv);
1439 }
1440
1441 sub update {
1442   my ($self, $source, @args) = @_; 
1443
1444 # redispatch to update method of storage we reblessed into, if necessary
1445   if (not $self->_driver_determined) {
1446     $self->_determine_driver;
1447     goto $self->can('update');
1448   }
1449
1450   my $bind_attributes = $self->source_bind_attributes($source);
1451
1452   return $self->_execute('update' => [], $source, $bind_attributes, @args);
1453 }
1454
1455
1456 sub delete {
1457   my $self = shift @_;
1458   my $source = shift @_;
1459   $self->_determine_driver;
1460   my $bind_attrs = $self->source_bind_attributes($source);
1461
1462   return $self->_execute('delete' => [], $source, $bind_attrs, @_);
1463 }
1464
1465 # We were sent here because the $rs contains a complex search
1466 # which will require a subquery to select the correct rows
1467 # (i.e. joined or limited resultsets)
1468 #
1469 # Genarating a single PK column subquery is trivial and supported
1470 # by all RDBMS. However if we have a multicolumn PK, things get ugly.
1471 # Look at _multipk_update_delete()
1472 sub _subq_update_delete {
1473   my $self = shift;
1474   my ($rs, $op, $values) = @_;
1475
1476   my $rsrc = $rs->result_source;
1477
1478   # we already check this, but double check naively just in case. Should be removed soon
1479   my $sel = $rs->_resolved_attrs->{select};
1480   $sel = [ $sel ] unless ref $sel eq 'ARRAY';
1481   my @pcols = $rsrc->primary_columns;
1482   if (@$sel != @pcols) {
1483     $self->throw_exception (
1484       'Subquery update/delete can not be called on resultsets selecting a'
1485      .' number of columns different than the number of primary keys'
1486     );
1487   }
1488
1489   if (@pcols == 1) {
1490     return $self->$op (
1491       $rsrc,
1492       $op eq 'update' ? $values : (),
1493       { $pcols[0] => { -in => $rs->as_query } },
1494     );
1495   }
1496
1497   else {
1498     return $self->_multipk_update_delete (@_);
1499   }
1500 }
1501
1502 # ANSI SQL does not provide a reliable way to perform a multicol-PK
1503 # resultset update/delete involving subqueries. So by default resort
1504 # to simple (and inefficient) delete_all style per-row opearations,
1505 # while allowing specific storages to override this with a faster
1506 # implementation.
1507 #
1508 sub _multipk_update_delete {
1509   return shift->_per_row_update_delete (@_);
1510 }
1511
1512 # This is the default loop used to delete/update rows for multi PK
1513 # resultsets, and used by mysql exclusively (because it can't do anything
1514 # else).
1515 #
1516 # We do not use $row->$op style queries, because resultset update/delete
1517 # is not expected to cascade (this is what delete_all/update_all is for).
1518 #
1519 # There should be no race conditions as the entire operation is rolled
1520 # in a transaction.
1521 #
1522 sub _per_row_update_delete {
1523   my $self = shift;
1524   my ($rs, $op, $values) = @_;
1525
1526   my $rsrc = $rs->result_source;
1527   my @pcols = $rsrc->primary_columns;
1528
1529   my $guard = $self->txn_scope_guard;
1530
1531   # emulate the return value of $sth->execute for non-selects
1532   my $row_cnt = '0E0';
1533
1534   my $subrs_cur = $rs->cursor;
1535   while (my @pks = $subrs_cur->next) {
1536
1537     my $cond;
1538     for my $i (0.. $#pcols) {
1539       $cond->{$pcols[$i]} = $pks[$i];
1540     }
1541
1542     $self->$op (
1543       $rsrc,
1544       $op eq 'update' ? $values : (),
1545       $cond,
1546     );
1547
1548     $row_cnt++;
1549   }
1550
1551   $guard->commit;
1552
1553   return $row_cnt;
1554 }
1555
1556 sub _select {
1557   my $self = shift;
1558
1559   # localization is neccessary as
1560   # 1) there is no infrastructure to pass this around before SQLA2
1561   # 2) _select_args sets it and _prep_for_execute consumes it
1562   my $sql_maker = $self->sql_maker;
1563   local $sql_maker->{_dbic_rs_attrs};
1564
1565   return $self->_execute($self->_select_args(@_));
1566 }
1567
1568 sub _select_args_to_query {
1569   my $self = shift;
1570
1571   # localization is neccessary as
1572   # 1) there is no infrastructure to pass this around before SQLA2
1573   # 2) _select_args sets it and _prep_for_execute consumes it
1574   my $sql_maker = $self->sql_maker;
1575   local $sql_maker->{_dbic_rs_attrs};
1576
1577   # my ($op, $bind, $ident, $bind_attrs, $select, $cond, $order, $rows, $offset)
1578   #  = $self->_select_args($ident, $select, $cond, $attrs);
1579   my ($op, $bind, $ident, $bind_attrs, @args) =
1580     $self->_select_args(@_);
1581
1582   # my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, [ $select, $cond, $order, $rows, $offset ]);
1583   my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, \@args);
1584   $prepared_bind ||= [];
1585
1586   return wantarray
1587     ? ($sql, $prepared_bind, $bind_attrs)
1588     : \[ "($sql)", @$prepared_bind ]
1589   ;
1590 }
1591
1592 sub _select_args {
1593   my ($self, $ident, $select, $where, $attrs) = @_;
1594
1595   my ($alias2source, $rs_alias) = $self->_resolve_ident_sources ($ident);
1596
1597   my $sql_maker = $self->sql_maker;
1598   $sql_maker->{_dbic_rs_attrs} = {
1599     %$attrs,
1600     select => $select,
1601     from => $ident,
1602     where => $where,
1603     $rs_alias
1604       ? ( _source_handle => $alias2source->{$rs_alias}->handle )
1605       : ()
1606     ,
1607   };
1608
1609   # calculate bind_attrs before possible $ident mangling
1610   my $bind_attrs = {};
1611   for my $alias (keys %$alias2source) {
1612     my $bindtypes = $self->source_bind_attributes ($alias2source->{$alias}) || {};
1613     for my $col (keys %$bindtypes) {
1614
1615       my $fqcn = join ('.', $alias, $col);
1616       $bind_attrs->{$fqcn} = $bindtypes->{$col} if $bindtypes->{$col};
1617
1618       # Unqialified column names are nice, but at the same time can be
1619       # rather ambiguous. What we do here is basically go along with
1620       # the loop, adding an unqualified column slot to $bind_attrs,
1621       # alongside the fully qualified name. As soon as we encounter
1622       # another column by that name (which would imply another table)
1623       # we unset the unqualified slot and never add any info to it
1624       # to avoid erroneous type binding. If this happens the users
1625       # only choice will be to fully qualify his column name
1626
1627       if (exists $bind_attrs->{$col}) {
1628         $bind_attrs->{$col} = {};
1629       }
1630       else {
1631         $bind_attrs->{$col} = $bind_attrs->{$fqcn};
1632       }
1633     }
1634   }
1635
1636   # adjust limits
1637   if (
1638     $attrs->{software_limit}
1639       ||
1640     $sql_maker->_default_limit_syntax eq "GenericSubQ"
1641   ) {
1642     $attrs->{software_limit} = 1;
1643   }
1644   else {
1645     $self->throw_exception("rows attribute must be positive if present")
1646       if (defined($attrs->{rows}) && !($attrs->{rows} > 0));
1647
1648     # MySQL actually recommends this approach.  I cringe.
1649     $attrs->{rows} = 2**48 if not defined $attrs->{rows} and defined $attrs->{offset};
1650   }
1651
1652   my @limit;
1653
1654   # see if we need to tear the prefetch apart (either limited has_many or grouped prefetch)
1655   # otherwise delegate the limiting to the storage, unless software limit was requested
1656   if (
1657     ( $attrs->{rows} && keys %{$attrs->{collapse}} )
1658        ||
1659     ( $attrs->{group_by} && @{$attrs->{group_by}} &&
1660       $attrs->{_prefetch_select} && @{$attrs->{_prefetch_select}} )
1661   ) {
1662     ($ident, $select, $where, $attrs)
1663       = $self->_adjust_select_args_for_complex_prefetch ($ident, $select, $where, $attrs);
1664   }
1665   elsif (! $attrs->{software_limit} ) {
1666     push @limit, $attrs->{rows}, $attrs->{offset};
1667   }
1668
1669 ###
1670   # This would be the point to deflate anything found in $where
1671   # (and leave $attrs->{bind} intact). Problem is - inflators historically
1672   # expect a row object. And all we have is a resultsource (it is trivial
1673   # to extract deflator coderefs via $alias2source above).
1674   #
1675   # I don't see a way forward other than changing the way deflators are
1676   # invoked, and that's just bad...
1677 ###
1678
1679   my $order = { map
1680     { $attrs->{$_} ? ( $_ => $attrs->{$_} ) : ()  }
1681     (qw/order_by group_by having/ )
1682   };
1683
1684   return ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $where, $order, @limit);
1685 }
1686
1687 #
1688 # This is the code producing joined subqueries like:
1689 # SELECT me.*, other.* FROM ( SELECT me.* FROM ... ) JOIN other ON ... 
1690 #
1691 sub _adjust_select_args_for_complex_prefetch {
1692   my ($self, $from, $select, $where, $attrs) = @_;
1693
1694   $self->throw_exception ('Nothing to prefetch... how did we get here?!')
1695     if not @{$attrs->{_prefetch_select}};
1696
1697   $self->throw_exception ('Complex prefetches are not supported on resultsets with a custom from attribute')
1698     if (ref $from ne 'ARRAY' || ref $from->[0] ne 'HASH' || ref $from->[1] ne 'ARRAY');
1699
1700
1701   # generate inner/outer attribute lists, remove stuff that doesn't apply
1702   my $outer_attrs = { %$attrs };
1703   delete $outer_attrs->{$_} for qw/where bind rows offset group_by having/;
1704
1705   my $inner_attrs = { %$attrs };
1706   delete $inner_attrs->{$_} for qw/for collapse _prefetch_select _collapse_order_by select as/;
1707
1708
1709   # bring over all non-collapse-induced order_by into the inner query (if any)
1710   # the outer one will have to keep them all
1711   delete $inner_attrs->{order_by};
1712   if (my $ord_cnt = @{$outer_attrs->{order_by}} - @{$outer_attrs->{_collapse_order_by}} ) {
1713     $inner_attrs->{order_by} = [
1714       @{$outer_attrs->{order_by}}[ 0 .. $ord_cnt - 1]
1715     ];
1716   }
1717
1718
1719   # generate the inner/outer select lists
1720   # for inside we consider only stuff *not* brought in by the prefetch
1721   # on the outside we substitute any function for its alias
1722   my $outer_select = [ @$select ];
1723   my $inner_select = [];
1724   for my $i (0 .. ( @$outer_select - @{$outer_attrs->{_prefetch_select}} - 1) ) {
1725     my $sel = $outer_select->[$i];
1726
1727     if (ref $sel eq 'HASH' ) {
1728       $sel->{-as} ||= $attrs->{as}[$i];
1729       $outer_select->[$i] = join ('.', $attrs->{alias}, ($sel->{-as} || "inner_column_$i") );
1730     }
1731
1732     push @$inner_select, $sel;
1733   }
1734
1735   # normalize a copy of $from, so it will be easier to work with further
1736   # down (i.e. promote the initial hashref to an AoH)
1737   $from = [ @$from ];
1738   $from->[0] = [ $from->[0] ];
1739   my %original_join_info = map { $_->[0]{-alias} => $_->[0] } (@$from);
1740
1741
1742   # decide which parts of the join will remain in either part of
1743   # the outer/inner query
1744
1745   # First we compose a list of which aliases are used in restrictions
1746   # (i.e. conditions/order/grouping/etc). Since we do not have
1747   # introspectable SQLA, we fall back to ugly scanning of raw SQL for
1748   # WHERE, and for pieces of ORDER BY in order to determine which aliases
1749   # need to appear in the resulting sql.
1750   # It may not be very efficient, but it's a reasonable stop-gap
1751   # Also unqualified column names will not be considered, but more often
1752   # than not this is actually ok
1753   #
1754   # In the same loop we enumerate part of the selection aliases, as
1755   # it requires the same sqla hack for the time being
1756   my ($restrict_aliases, $select_aliases, $prefetch_aliases);
1757   {
1758     # produce stuff unquoted, so it can be scanned
1759     my $sql_maker = $self->sql_maker;
1760     local $sql_maker->{quote_char};
1761     my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1762     $sep = "\Q$sep\E";
1763
1764     my $non_prefetch_select_sql = $sql_maker->_recurse_fields ($inner_select);
1765     my $prefetch_select_sql = $sql_maker->_recurse_fields ($outer_attrs->{_prefetch_select});
1766     my $where_sql = $sql_maker->where ($where);
1767     my $group_by_sql = $sql_maker->_order_by({
1768       map { $_ => $inner_attrs->{$_} } qw/group_by having/
1769     });
1770     my @non_prefetch_order_by_chunks = (map
1771       { ref $_ ? $_->[0] : $_ }
1772       $sql_maker->_order_by_chunks ($inner_attrs->{order_by})
1773     );
1774
1775
1776     for my $alias (keys %original_join_info) {
1777       my $seen_re = qr/\b $alias $sep/x;
1778
1779       for my $piece ($where_sql, $group_by_sql, @non_prefetch_order_by_chunks ) {
1780         if ($piece =~ $seen_re) {
1781           $restrict_aliases->{$alias} = 1;
1782         }
1783       }
1784
1785       if ($non_prefetch_select_sql =~ $seen_re) {
1786           $select_aliases->{$alias} = 1;
1787       }
1788
1789       if ($prefetch_select_sql =~ $seen_re) {
1790           $prefetch_aliases->{$alias} = 1;
1791       }
1792
1793     }
1794   }
1795
1796   # Add any non-left joins to the restriction list (such joins are indeed restrictions)
1797   for my $j (values %original_join_info) {
1798     my $alias = $j->{-alias} or next;
1799     $restrict_aliases->{$alias} = 1 if (
1800       (not $j->{-join_type})
1801         or
1802       ($j->{-join_type} !~ /^left (?: \s+ outer)? $/xi)
1803     );
1804   }
1805
1806   # mark all join parents as mentioned
1807   # (e.g.  join => { cds => 'tracks' } - tracks will need to bring cds too )
1808   for my $collection ($restrict_aliases, $select_aliases) {
1809     for my $alias (keys %$collection) {
1810       $collection->{$_} = 1
1811         for (@{ $original_join_info{$alias}{-join_path} || [] });
1812     }
1813   }
1814
1815   # construct the inner $from for the subquery
1816   my %inner_joins = (map { %{$_ || {}} } ($restrict_aliases, $select_aliases) );
1817   my @inner_from;
1818   for my $j (@$from) {
1819     push @inner_from, $j if $inner_joins{$j->[0]{-alias}};
1820   }
1821
1822   # if a multi-type join was needed in the subquery ("multi" is indicated by
1823   # presence in {collapse}) - add a group_by to simulate the collapse in the subq
1824   unless ($inner_attrs->{group_by}) {
1825     for my $alias (keys %inner_joins) {
1826
1827       # the dot comes from some weirdness in collapse
1828       # remove after the rewrite
1829       if ($attrs->{collapse}{".$alias"}) {
1830         $inner_attrs->{group_by} ||= $inner_select;
1831         last;
1832       }
1833     }
1834   }
1835
1836   # demote the inner_from head
1837   $inner_from[0] = $inner_from[0][0];
1838
1839   # generate the subquery
1840   my $subq = $self->_select_args_to_query (
1841     \@inner_from,
1842     $inner_select,
1843     $where,
1844     $inner_attrs,
1845   );
1846
1847   my $subq_joinspec = {
1848     -alias => $attrs->{alias},
1849     -source_handle => $inner_from[0]{-source_handle},
1850     $attrs->{alias} => $subq,
1851   };
1852
1853   # Generate the outer from - this is relatively easy (really just replace
1854   # the join slot with the subquery), with a major caveat - we can not
1855   # join anything that is non-selecting (not part of the prefetch), but at
1856   # the same time is a multi-type relationship, as it will explode the result.
1857   #
1858   # There are two possibilities here
1859   # - either the join is non-restricting, in which case we simply throw it away
1860   # - it is part of the restrictions, in which case we need to collapse the outer
1861   #   result by tackling yet another group_by to the outside of the query
1862
1863   # so first generate the outer_from, up to the substitution point
1864   my @outer_from;
1865   while (my $j = shift @$from) {
1866     if ($j->[0]{-alias} eq $attrs->{alias}) { # time to swap
1867       push @outer_from, [
1868         $subq_joinspec,
1869         @{$j}[1 .. $#$j],
1870       ];
1871       last; # we'll take care of what's left in $from below
1872     }
1873     else {
1874       push @outer_from, $j;
1875     }
1876   }
1877
1878   # see what's left - throw away if not selecting/restricting
1879   # also throw in a group_by if restricting to guard against
1880   # cross-join explosions
1881   #
1882   while (my $j = shift @$from) {
1883     my $alias = $j->[0]{-alias};
1884
1885     if ($select_aliases->{$alias} || $prefetch_aliases->{$alias}) {
1886       push @outer_from, $j;
1887     }
1888     elsif ($restrict_aliases->{$alias}) {
1889       push @outer_from, $j;
1890
1891       # FIXME - this should be obviated by SQLA2, as I'll be able to 
1892       # have restrict_inner and restrict_outer... or something to that
1893       # effect... I think...
1894
1895       # FIXME2 - I can't find a clean way to determine if a particular join
1896       # is a multi - instead I am just treating everything as a potential
1897       # explosive join (ribasushi)
1898       #
1899       # if (my $handle = $j->[0]{-source_handle}) {
1900       #   my $rsrc = $handle->resolve;
1901       #   ... need to bail out of the following if this is not a multi,
1902       #       as it will be much easier on the db ...
1903
1904           $outer_attrs->{group_by} ||= $outer_select;
1905       # }
1906     }
1907   }
1908
1909   # demote the outer_from head
1910   $outer_from[0] = $outer_from[0][0];
1911
1912   # This is totally horrific - the $where ends up in both the inner and outer query
1913   # Unfortunately not much can be done until SQLA2 introspection arrives, and even
1914   # then if where conditions apply to the *right* side of the prefetch, you may have
1915   # to both filter the inner select (e.g. to apply a limit) and then have to re-filter
1916   # the outer select to exclude joins you didin't want in the first place
1917   #
1918   # OTOH it can be seen as a plus: <ash> (notes that this query would make a DBA cry ;)
1919   return (\@outer_from, $outer_select, $where, $outer_attrs);
1920 }
1921
1922 sub _resolve_ident_sources {
1923   my ($self, $ident) = @_;
1924
1925   my $alias2source = {};
1926   my $rs_alias;
1927
1928   # the reason this is so contrived is that $ident may be a {from}
1929   # structure, specifying multiple tables to join
1930   if ( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1931     # this is compat mode for insert/update/delete which do not deal with aliases
1932     $alias2source->{me} = $ident;
1933     $rs_alias = 'me';
1934   }
1935   elsif (ref $ident eq 'ARRAY') {
1936
1937     for (@$ident) {
1938       my $tabinfo;
1939       if (ref $_ eq 'HASH') {
1940         $tabinfo = $_;
1941         $rs_alias = $tabinfo->{-alias};
1942       }
1943       if (ref $_ eq 'ARRAY' and ref $_->[0] eq 'HASH') {
1944         $tabinfo = $_->[0];
1945       }
1946
1947       $alias2source->{$tabinfo->{-alias}} = $tabinfo->{-source_handle}->resolve
1948         if ($tabinfo->{-source_handle});
1949     }
1950   }
1951
1952   return ($alias2source, $rs_alias);
1953 }
1954
1955 # Takes $ident, \@column_names
1956 #
1957 # returns { $column_name => \%column_info, ... }
1958 # also note: this adds -result_source => $rsrc to the column info
1959 #
1960 # usage:
1961 #   my $col_sources = $self->_resolve_column_info($ident, @column_names);
1962 sub _resolve_column_info {
1963   my ($self, $ident, $colnames) = @_;
1964   my ($alias2src, $root_alias) = $self->_resolve_ident_sources($ident);
1965
1966   my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1967   $sep = "\Q$sep\E";
1968
1969   my (%return, %seen_cols);
1970
1971   # compile a global list of column names, to be able to properly
1972   # disambiguate unqualified column names (if at all possible)
1973   for my $alias (keys %$alias2src) {
1974     my $rsrc = $alias2src->{$alias};
1975     for my $colname ($rsrc->columns) {
1976       push @{$seen_cols{$colname}}, $alias;
1977     }
1978   }
1979
1980   COLUMN:
1981   foreach my $col (@$colnames) {
1982     my ($alias, $colname) = $col =~ m/^ (?: ([^$sep]+) $sep)? (.+) $/x;
1983
1984     unless ($alias) {
1985       # see if the column was seen exactly once (so we know which rsrc it came from)
1986       if ($seen_cols{$colname} and @{$seen_cols{$colname}} == 1) {
1987         $alias = $seen_cols{$colname}[0];
1988       }
1989       else {
1990         next COLUMN;
1991       }
1992     }
1993
1994     my $rsrc = $alias2src->{$alias};
1995     $return{$col} = $rsrc && {
1996       %{$rsrc->column_info($colname)},
1997       -result_source => $rsrc,
1998       -source_alias => $alias,
1999     };
2000   }
2001
2002   return \%return;
2003 }
2004
2005 # Returns a counting SELECT for a simple count
2006 # query. Abstracted so that a storage could override
2007 # this to { count => 'firstcol' } or whatever makes
2008 # sense as a performance optimization
2009 sub _count_select {
2010   #my ($self, $source, $rs_attrs) = @_;
2011   return { count => '*' };
2012 }
2013
2014 # Returns a SELECT which will end up in the subselect
2015 # There may or may not be a group_by, as the subquery
2016 # might have been called to accomodate a limit
2017 #
2018 # Most databases would be happy with whatever ends up
2019 # here, but some choke in various ways.
2020 #
2021 sub _subq_count_select {
2022   my ($self, $source, $rs_attrs) = @_;
2023   return $rs_attrs->{group_by} if $rs_attrs->{group_by};
2024
2025   my @pcols = map { join '.', $rs_attrs->{alias}, $_ } ($source->primary_columns);
2026   return @pcols ? \@pcols : [ 1 ];
2027 }
2028
2029 #
2030 # Returns an ordered list of column names before they are used
2031 # in a SELECT statement. By default simply returns the list
2032 # passed in.
2033 #
2034 # This may be overridden in a specific storage when there are
2035 # requirements such as moving BLOB columns to the end of the 
2036 # SELECT list.
2037 sub _order_select_columns {
2038   #my ($self, $source, $columns) = @_;
2039   return @{$_[2]};
2040 }
2041
2042 sub source_bind_attributes {
2043   my ($self, $source) = @_;
2044
2045   my $bind_attributes;
2046   foreach my $column ($source->columns) {
2047
2048     my $data_type = $source->column_info($column)->{data_type} || '';
2049     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
2050      if $data_type;
2051   }
2052
2053   return $bind_attributes;
2054 }
2055
2056 =head2 select
2057
2058 =over 4
2059
2060 =item Arguments: $ident, $select, $condition, $attrs
2061
2062 =back
2063
2064 Handle a SQL select statement.
2065
2066 =cut
2067
2068 sub select {
2069   my $self = shift;
2070   my ($ident, $select, $condition, $attrs) = @_;
2071   return $self->cursor_class->new($self, \@_, $attrs);
2072 }
2073
2074 sub select_single {
2075   my $self = shift;
2076   my ($rv, $sth, @bind) = $self->_select(@_);
2077   my @row = $sth->fetchrow_array;
2078   my @nextrow = $sth->fetchrow_array if @row;
2079   if(@row && @nextrow) {
2080     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
2081   }
2082   # Need to call finish() to work round broken DBDs
2083   $sth->finish();
2084   return @row;
2085 }
2086
2087 =head2 sth
2088
2089 =over 4
2090
2091 =item Arguments: $sql
2092
2093 =back
2094
2095 Returns a L<DBI> sth (statement handle) for the supplied SQL.
2096
2097 =cut
2098
2099 sub _dbh_sth {
2100   my ($self, $dbh, $sql, $op, $sth_attr) = @_;
2101 # $op is ignored right now
2102
2103   $sth_attr ||= {};
2104
2105   # 3 is the if_active parameter which avoids active sth re-use
2106   my $sth = $self->disable_sth_caching
2107     ? $dbh->prepare($sql, $sth_attr)
2108     : $dbh->prepare_cached($sql, $sth_attr, 3);
2109
2110   # XXX You would think RaiseError would make this impossible,
2111   #  but apparently that's not true :(
2112   $self->throw_exception($dbh->errstr) if !$sth;
2113
2114   $sth;
2115 }
2116
2117 sub sth {
2118   my ($self, $sql, $op, $sth_attr) = @_;
2119   $self->dbh_do('_dbh_sth', $sql, $op, $sth_attr);  # retry over disconnects
2120 }
2121
2122 sub _dbh_columns_info_for {
2123   my ($self, $dbh, $table) = @_;
2124
2125   if ($dbh->can('column_info')) {
2126     my %result;
2127     eval {
2128       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
2129       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
2130       $sth->execute();
2131       while ( my $info = $sth->fetchrow_hashref() ){
2132         my %column_info;
2133         $column_info{data_type}   = $info->{TYPE_NAME};
2134         $column_info{size}      = $info->{COLUMN_SIZE};
2135         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
2136         $column_info{default_value} = $info->{COLUMN_DEF};
2137         my $col_name = $info->{COLUMN_NAME};
2138         $col_name =~ s/^\"(.*)\"$/$1/;
2139
2140         $result{$col_name} = \%column_info;
2141       }
2142     };
2143     return \%result if !$@ && scalar keys %result;
2144   }
2145
2146   my %result;
2147   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
2148   $sth->execute;
2149   my @columns = @{$sth->{NAME_lc}};
2150   for my $i ( 0 .. $#columns ){
2151     my %column_info;
2152     $column_info{data_type} = $sth->{TYPE}->[$i];
2153     $column_info{size} = $sth->{PRECISION}->[$i];
2154     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
2155
2156     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
2157       $column_info{data_type} = $1;
2158       $column_info{size}    = $2;
2159     }
2160
2161     $result{$columns[$i]} = \%column_info;
2162   }
2163   $sth->finish;
2164
2165   foreach my $col (keys %result) {
2166     my $colinfo = $result{$col};
2167     my $type_num = $colinfo->{data_type};
2168     my $type_name;
2169     if(defined $type_num && $dbh->can('type_info')) {
2170       my $type_info = $dbh->type_info($type_num);
2171       $type_name = $type_info->{TYPE_NAME} if $type_info;
2172       $colinfo->{data_type} = $type_name if $type_name;
2173     }
2174   }
2175
2176   return \%result;
2177 }
2178
2179 sub columns_info_for {
2180   my ($self, $table) = @_;
2181   $self->_dbh_columns_info_for ($self->_get_dbh, $table);
2182 }
2183
2184 =head2 last_insert_id
2185
2186 Return the row id of the last insert.
2187
2188 =cut
2189
2190 sub _dbh_last_insert_id {
2191     # All Storage's need to register their own _dbh_last_insert_id
2192     # the old SQLite-based method was highly inappropriate
2193
2194     my $self = shift;
2195     my $class = ref $self;
2196     $self->throw_exception (<<EOE);
2197
2198 No _dbh_last_insert_id() method found in $class.
2199 Since the method of obtaining the autoincrement id of the last insert
2200 operation varies greatly between different databases, this method must be
2201 individually implemented for every storage class.
2202 EOE
2203 }
2204
2205 sub last_insert_id {
2206   my $self = shift;
2207   $self->_dbh_last_insert_id ($self->_dbh, @_);
2208 }
2209
2210 =head2 _native_data_type
2211
2212 =over 4
2213
2214 =item Arguments: $type_name
2215
2216 =back
2217
2218 This API is B<EXPERIMENTAL>, will almost definitely change in the future, and
2219 currently only used by L<::AutoCast|DBIx::Class::Storage::DBI::AutoCast> and
2220 L<::Sybase|DBIx::Class::Storage::DBI::Sybase>.
2221
2222 The default implementation returns C<undef>, implement in your Storage driver if
2223 you need this functionality.
2224
2225 Should map types from other databases to the native RDBMS type, for example
2226 C<VARCHAR2> to C<VARCHAR>.
2227
2228 Types with modifiers should map to the underlying data type. For example,
2229 C<INTEGER AUTO_INCREMENT> should become C<INTEGER>.
2230
2231 Composite types should map to the container type, for example
2232 C<ENUM(foo,bar,baz)> becomes C<ENUM>.
2233
2234 =cut
2235
2236 sub _native_data_type {
2237   #my ($self, $data_type) = @_;
2238   return undef
2239 }
2240
2241 # Check if placeholders are supported at all
2242 sub _placeholders_supported {
2243   my $self = shift;
2244   my $dbh  = $self->_get_dbh;
2245
2246   # some drivers provide a $dbh attribute (e.g. Sybase and $dbh->{syb_dynamic_supported})
2247   # but it is inaccurate more often than not
2248   eval {
2249     local $dbh->{PrintError} = 0;
2250     local $dbh->{RaiseError} = 1;
2251     $dbh->do('select ?', {}, 1);
2252   };
2253   return $@ ? 0 : 1;
2254 }
2255
2256 # Check if placeholders bound to non-string types throw exceptions
2257 #
2258 sub _typeless_placeholders_supported {
2259   my $self = shift;
2260   my $dbh  = $self->_get_dbh;
2261
2262   eval {
2263     local $dbh->{PrintError} = 0;
2264     local $dbh->{RaiseError} = 1;
2265     # this specifically tests a bind that is NOT a string
2266     $dbh->do('select 1 where 1 = ?', {}, 1);
2267   };
2268   return $@ ? 0 : 1;
2269 }
2270
2271 =head2 sqlt_type
2272
2273 Returns the database driver name.
2274
2275 =cut
2276
2277 sub sqlt_type {
2278   my ($self) = @_;
2279
2280   if (not $self->_driver_determined) {
2281     $self->_determine_driver;
2282     goto $self->can ('sqlt_type');
2283   }
2284
2285   $self->_get_dbh->{Driver}->{Name};
2286 }
2287
2288 =head2 bind_attribute_by_data_type
2289
2290 Given a datatype from column info, returns a database specific bind
2291 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
2292 let the database planner just handle it.
2293
2294 Generally only needed for special case column types, like bytea in postgres.
2295
2296 =cut
2297
2298 sub bind_attribute_by_data_type {
2299     return;
2300 }
2301
2302 =head2 is_datatype_numeric
2303
2304 Given a datatype from column_info, returns a boolean value indicating if
2305 the current RDBMS considers it a numeric value. This controls how
2306 L<DBIx::Class::Row/set_column> decides whether to mark the column as
2307 dirty - when the datatype is deemed numeric a C<< != >> comparison will
2308 be performed instead of the usual C<eq>.
2309
2310 =cut
2311
2312 sub is_datatype_numeric {
2313   my ($self, $dt) = @_;
2314
2315   return 0 unless $dt;
2316
2317   return $dt =~ /^ (?:
2318     numeric | int(?:eger)? | (?:tiny|small|medium|big)int | dec(?:imal)? | real | float | double (?: \s+ precision)? | (?:big)?serial
2319   ) $/ix;
2320 }
2321
2322
2323 =head2 create_ddl_dir (EXPERIMENTAL)
2324
2325 =over 4
2326
2327 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
2328
2329 =back
2330
2331 Creates a SQL file based on the Schema, for each of the specified
2332 database engines in C<\@databases> in the given directory.
2333 (note: specify L<SQL::Translator> names, not L<DBI> driver names).
2334
2335 Given a previous version number, this will also create a file containing
2336 the ALTER TABLE statements to transform the previous schema into the
2337 current one. Note that these statements may contain C<DROP TABLE> or
2338 C<DROP COLUMN> statements that can potentially destroy data.
2339
2340 The file names are created using the C<ddl_filename> method below, please
2341 override this method in your schema if you would like a different file
2342 name format. For the ALTER file, the same format is used, replacing
2343 $version in the name with "$preversion-$version".
2344
2345 See L<SQL::Translator/METHODS> for a list of values for C<\%sqlt_args>.
2346 The most common value for this would be C<< { add_drop_table => 1 } >>
2347 to have the SQL produced include a C<DROP TABLE> statement for each table
2348 created. For quoting purposes supply C<quote_table_names> and
2349 C<quote_field_names>.
2350
2351 If no arguments are passed, then the following default values are assumed:
2352
2353 =over 4
2354
2355 =item databases  - ['MySQL', 'SQLite', 'PostgreSQL']
2356
2357 =item version    - $schema->schema_version
2358
2359 =item directory  - './'
2360
2361 =item preversion - <none>
2362
2363 =back
2364
2365 By default, C<\%sqlt_args> will have
2366
2367  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
2368
2369 merged with the hash passed in. To disable any of those features, pass in a
2370 hashref like the following
2371
2372  { ignore_constraint_names => 0, # ... other options }
2373
2374
2375 Note that this feature is currently EXPERIMENTAL and may not work correctly
2376 across all databases, or fully handle complex relationships.
2377
2378 WARNING: Please check all SQL files created, before applying them.
2379
2380 =cut
2381
2382 sub create_ddl_dir {
2383   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
2384
2385   if(!$dir || !-d $dir) {
2386     carp "No directory given, using ./\n";
2387     $dir = "./";
2388   }
2389   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
2390   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
2391
2392   my $schema_version = $schema->schema_version || '1.x';
2393   $version ||= $schema_version;
2394
2395   $sqltargs = {
2396     add_drop_table => 1,
2397     ignore_constraint_names => 1,
2398     ignore_index_names => 1,
2399     %{$sqltargs || {}}
2400   };
2401
2402   $self->throw_exception("Can't create a ddl file without SQL::Translator: " . $self->_sqlt_version_error)
2403     if !$self->_sqlt_version_ok;
2404
2405   my $sqlt = SQL::Translator->new( $sqltargs );
2406
2407   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
2408   my $sqlt_schema = $sqlt->translate({ data => $schema })
2409     or $self->throw_exception ($sqlt->error);
2410
2411   foreach my $db (@$databases) {
2412     $sqlt->reset();
2413     $sqlt->{schema} = $sqlt_schema;
2414     $sqlt->producer($db);
2415
2416     my $file;
2417     my $filename = $schema->ddl_filename($db, $version, $dir);
2418     if (-e $filename && ($version eq $schema_version )) {
2419       # if we are dumping the current version, overwrite the DDL
2420       carp "Overwriting existing DDL file - $filename";
2421       unlink($filename);
2422     }
2423
2424     my $output = $sqlt->translate;
2425     if(!$output) {
2426       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
2427       next;
2428     }
2429     if(!open($file, ">$filename")) {
2430       $self->throw_exception("Can't open $filename for writing ($!)");
2431       next;
2432     }
2433     print $file $output;
2434     close($file);
2435
2436     next unless ($preversion);
2437
2438     require SQL::Translator::Diff;
2439
2440     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
2441     if(!-e $prefilename) {
2442       carp("No previous schema file found ($prefilename)");
2443       next;
2444     }
2445
2446     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
2447     if(-e $difffile) {
2448       carp("Overwriting existing diff file - $difffile");
2449       unlink($difffile);
2450     }
2451
2452     my $source_schema;
2453     {
2454       my $t = SQL::Translator->new($sqltargs);
2455       $t->debug( 0 );
2456       $t->trace( 0 );
2457
2458       $t->parser( $db )
2459         or $self->throw_exception ($t->error);
2460
2461       my $out = $t->translate( $prefilename )
2462         or $self->throw_exception ($t->error);
2463
2464       $source_schema = $t->schema;
2465
2466       $source_schema->name( $prefilename )
2467         unless ( $source_schema->name );
2468     }
2469
2470     # The "new" style of producers have sane normalization and can support
2471     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
2472     # And we have to diff parsed SQL against parsed SQL.
2473     my $dest_schema = $sqlt_schema;
2474
2475     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
2476       my $t = SQL::Translator->new($sqltargs);
2477       $t->debug( 0 );
2478       $t->trace( 0 );
2479
2480       $t->parser( $db )
2481         or $self->throw_exception ($t->error);
2482
2483       my $out = $t->translate( $filename )
2484         or $self->throw_exception ($t->error);
2485
2486       $dest_schema = $t->schema;
2487
2488       $dest_schema->name( $filename )
2489         unless $dest_schema->name;
2490     }
2491
2492     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
2493                                                   $dest_schema,   $db,
2494                                                   $sqltargs
2495                                                  );
2496     if(!open $file, ">$difffile") {
2497       $self->throw_exception("Can't write to $difffile ($!)");
2498       next;
2499     }
2500     print $file $diff;
2501     close($file);
2502   }
2503 }
2504
2505 =head2 deployment_statements
2506
2507 =over 4
2508
2509 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
2510
2511 =back
2512
2513 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
2514
2515 The L<SQL::Translator> (not L<DBI>) database driver name can be explicitly
2516 provided in C<$type>, otherwise the result of L</sqlt_type> is used as default.
2517
2518 C<$directory> is used to return statements from files in a previously created
2519 L</create_ddl_dir> directory and is optional. The filenames are constructed
2520 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
2521
2522 If no C<$directory> is specified then the statements are constructed on the
2523 fly using L<SQL::Translator> and C<$version> is ignored.
2524
2525 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
2526
2527 =cut
2528
2529 sub deployment_statements {
2530   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
2531   $type ||= $self->sqlt_type;
2532   $version ||= $schema->schema_version || '1.x';
2533   $dir ||= './';
2534   my $filename = $schema->ddl_filename($type, $version, $dir);
2535   if(-f $filename)
2536   {
2537       my $file;
2538       open($file, "<$filename")
2539         or $self->throw_exception("Can't open $filename ($!)");
2540       my @rows = <$file>;
2541       close($file);
2542       return join('', @rows);
2543   }
2544
2545   $self->throw_exception("Can't deploy without either SQL::Translator or a ddl_dir: " . $self->_sqlt_version_error )
2546     if !$self->_sqlt_version_ok;
2547
2548   # sources needs to be a parser arg, but for simplicty allow at top level
2549   # coming in
2550   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
2551       if exists $sqltargs->{sources};
2552
2553   my $tr = SQL::Translator->new(
2554     producer => "SQL::Translator::Producer::${type}",
2555     %$sqltargs,
2556     parser => 'SQL::Translator::Parser::DBIx::Class',
2557     data => $schema,
2558   );
2559   return $tr->translate;
2560 }
2561
2562 sub deploy {
2563   my ($self, $schema, $type, $sqltargs, $dir) = @_;
2564   my $deploy = sub {
2565     my $line = shift;
2566     return if($line =~ /^--/);
2567     return if(!$line);
2568     # next if($line =~ /^DROP/m);
2569     return if($line =~ /^BEGIN TRANSACTION/m);
2570     return if($line =~ /^COMMIT/m);
2571     return if $line =~ /^\s+$/; # skip whitespace only
2572     $self->_query_start($line);
2573     eval {
2574       # do a dbh_do cycle here, as we need some error checking in
2575       # place (even though we will ignore errors)
2576       $self->dbh_do (sub { $_[1]->do($line) });
2577     };
2578     if ($@) {
2579       carp qq{$@ (running "${line}")};
2580     }
2581     $self->_query_end($line);
2582   };
2583   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
2584   if (@statements > 1) {
2585     foreach my $statement (@statements) {
2586       $deploy->( $statement );
2587     }
2588   }
2589   elsif (@statements == 1) {
2590     foreach my $line ( split(";\n", $statements[0])) {
2591       $deploy->( $line );
2592     }
2593   }
2594 }
2595
2596 =head2 datetime_parser
2597
2598 Returns the datetime parser class
2599
2600 =cut
2601
2602 sub datetime_parser {
2603   my $self = shift;
2604   return $self->{datetime_parser} ||= do {
2605     $self->build_datetime_parser(@_);
2606   };
2607 }
2608
2609 =head2 datetime_parser_type
2610
2611 Defines (returns) the datetime parser class - currently hardwired to
2612 L<DateTime::Format::MySQL>
2613
2614 =cut
2615
2616 sub datetime_parser_type { "DateTime::Format::MySQL"; }
2617
2618 =head2 build_datetime_parser
2619
2620 See L</datetime_parser>
2621
2622 =cut
2623
2624 sub build_datetime_parser {
2625   if (not $_[0]->_driver_determined) {
2626     $_[0]->_determine_driver;
2627     goto $_[0]->can('build_datetime_parser');
2628   }
2629
2630   my $self = shift;
2631   my $type = $self->datetime_parser_type(@_);
2632   $self->ensure_class_loaded ($type);
2633   return $type;
2634 }
2635
2636
2637 =head2 is_replicating
2638
2639 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
2640 replicate from a master database.  Default is undef, which is the result
2641 returned by databases that don't support replication.
2642
2643 =cut
2644
2645 sub is_replicating {
2646     return;
2647
2648 }
2649
2650 =head2 lag_behind_master
2651
2652 Returns a number that represents a certain amount of lag behind a master db
2653 when a given storage is replicating.  The number is database dependent, but
2654 starts at zero and increases with the amount of lag. Default in undef
2655
2656 =cut
2657
2658 sub lag_behind_master {
2659     return;
2660 }
2661
2662 sub DESTROY {
2663   my $self = shift;
2664
2665   $self->_verify_pid if $self->_dbh;
2666
2667   # some databases need this to stop spewing warnings
2668   if (my $dbh = $self->_dbh) {
2669     local $@;
2670     eval { $dbh->disconnect };
2671   }
2672
2673   $self->_dbh(undef);
2674 }
2675
2676 1;
2677
2678 =head1 USAGE NOTES
2679
2680 =head2 DBIx::Class and AutoCommit
2681
2682 DBIx::Class can do some wonderful magic with handling exceptions,
2683 disconnections, and transactions when you use C<< AutoCommit => 1 >>
2684 (the default) combined with C<txn_do> for transaction support.
2685
2686 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
2687 in an assumed transaction between commits, and you're telling us you'd
2688 like to manage that manually.  A lot of the magic protections offered by
2689 this module will go away.  We can't protect you from exceptions due to database
2690 disconnects because we don't know anything about how to restart your
2691 transactions.  You're on your own for handling all sorts of exceptional
2692 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
2693 be with raw DBI.
2694
2695
2696 =head1 AUTHORS
2697
2698 Matt S. Trout <mst@shadowcatsystems.co.uk>
2699
2700 Andy Grundman <andy@hybridized.org>
2701
2702 =head1 LICENSE
2703
2704 You may distribute this code under the same terms as Perl itself.
2705
2706 =cut