Merge 'trunk' into 'sybase'
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI.pm
1 package DBIx::Class::Storage::DBI;
2 # -*- mode: cperl; cperl-indent-level: 2 -*-
3
4 use strict;
5 use warnings;
6
7 use base 'DBIx::Class::Storage';
8 use mro 'c3';
9
10 use Carp::Clan qw/^DBIx::Class/;
11 use DBI;
12 use DBIx::Class::Storage::DBI::Cursor;
13 use DBIx::Class::Storage::Statistics;
14 use Scalar::Util();
15 use List::Util();
16
17 __PACKAGE__->mk_group_accessors('simple' =>
18   qw/_connect_info _dbi_connect_info _dbh _sql_maker _sql_maker_opts _conn_pid
19      _conn_tid transaction_depth _dbh_autocommit _driver_determined savepoints/
20 );
21
22 # the values for these accessors are picked out (and deleted) from
23 # the attribute hashref passed to connect_info
24 my @storage_options = qw/
25   on_connect_call on_disconnect_call on_connect_do on_disconnect_do
26   disable_sth_caching unsafe auto_savepoint
27 /;
28 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
29
30
31 # default cursor class, overridable in connect_info attributes
32 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
33
34 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
35 __PACKAGE__->sql_maker_class('DBIx::Class::SQLAHacks');
36
37
38 =head1 NAME
39
40 DBIx::Class::Storage::DBI - DBI storage handler
41
42 =head1 SYNOPSIS
43
44   my $schema = MySchema->connect('dbi:SQLite:my.db');
45
46   $schema->storage->debug(1);
47   $schema->dbh_do("DROP TABLE authors");
48
49   $schema->resultset('Book')->search({
50      written_on => $schema->storage->datetime_parser(DateTime->now)
51   });
52
53 =head1 DESCRIPTION
54
55 This class represents the connection to an RDBMS via L<DBI>.  See
56 L<DBIx::Class::Storage> for general information.  This pod only
57 documents DBI-specific methods and behaviors.
58
59 =head1 METHODS
60
61 =cut
62
63 sub new {
64   my $new = shift->next::method(@_);
65
66   $new->transaction_depth(0);
67   $new->_sql_maker_opts({});
68   $new->{savepoints} = [];
69   $new->{_in_dbh_do} = 0;
70   $new->{_dbh_gen} = 0;
71
72   $new;
73 }
74
75 =head2 connect_info
76
77 This method is normally called by L<DBIx::Class::Schema/connection>, which
78 encapsulates its argument list in an arrayref before passing them here.
79
80 The argument list may contain:
81
82 =over
83
84 =item *
85
86 The same 4-element argument set one would normally pass to
87 L<DBI/connect>, optionally followed by
88 L<extra attributes|/DBIx::Class specific connection attributes>
89 recognized by DBIx::Class:
90
91   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
92
93 =item *
94
95 A single code reference which returns a connected
96 L<DBI database handle|DBI/connect> optionally followed by
97 L<extra attributes|/DBIx::Class specific connection attributes> recognized
98 by DBIx::Class:
99
100   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
101
102 =item *
103
104 A single hashref with all the attributes and the dsn/user/password
105 mixed together:
106
107   $connect_info_args = [{
108     dsn => $dsn,
109     user => $user,
110     password => $pass,
111     %dbi_attributes,
112     %extra_attributes,
113   }];
114
115   $connect_info_args = [{
116     dbh_maker => sub { DBI->connect (...) },
117     %dbi_attributes,
118     %extra_attributes,
119   }];
120
121 This is particularly useful for L<Catalyst> based applications, allowing the
122 following config (L<Config::General> style):
123
124   <Model::DB>
125     schema_class   App::DB
126     <connect_info>
127       dsn          dbi:mysql:database=test
128       user         testuser
129       password     TestPass
130       AutoCommit   1
131     </connect_info>
132   </Model::DB>
133
134 The C<dsn>/C<user>/C<password> combination can be substituted by the
135 C<dbh_maker> key whose value is a coderef that returns a connected
136 L<DBI database handle|DBI/connect>
137
138 =back
139
140 Please note that the L<DBI> docs recommend that you always explicitly
141 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
142 recommends that it be set to I<1>, and that you perform transactions
143 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
144 to I<1> if you do not do explicitly set it to zero.  This is the default
145 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
146
147 =head3 DBIx::Class specific connection attributes
148
149 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
150 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
151 the following connection options. These options can be mixed in with your other
152 L<DBI> connection attributes, or placed in a seperate hashref
153 (C<\%extra_attributes>) as shown above.
154
155 Every time C<connect_info> is invoked, any previous settings for
156 these options will be cleared before setting the new ones, regardless of
157 whether any options are specified in the new C<connect_info>.
158
159
160 =over
161
162 =item on_connect_do
163
164 Specifies things to do immediately after connecting or re-connecting to
165 the database.  Its value may contain:
166
167 =over
168
169 =item a scalar
170
171 This contains one SQL statement to execute.
172
173 =item an array reference
174
175 This contains SQL statements to execute in order.  Each element contains
176 a string or a code reference that returns a string.
177
178 =item a code reference
179
180 This contains some code to execute.  Unlike code references within an
181 array reference, its return value is ignored.
182
183 =back
184
185 =item on_disconnect_do
186
187 Takes arguments in the same form as L</on_connect_do> and executes them
188 immediately before disconnecting from the database.
189
190 Note, this only runs if you explicitly call L</disconnect> on the
191 storage object.
192
193 =item on_connect_call
194
195 A more generalized form of L</on_connect_do> that calls the specified
196 C<connect_call_METHOD> methods in your storage driver.
197
198   on_connect_do => 'select 1'
199
200 is equivalent to:
201
202   on_connect_call => [ [ do_sql => 'select 1' ] ]
203
204 Its values may contain:
205
206 =over
207
208 =item a scalar
209
210 Will call the C<connect_call_METHOD> method.
211
212 =item a code reference
213
214 Will execute C<< $code->($storage) >>
215
216 =item an array reference
217
218 Each value can be a method name or code reference.
219
220 =item an array of arrays
221
222 For each array, the first item is taken to be the C<connect_call_> method name
223 or code reference, and the rest are parameters to it.
224
225 =back
226
227 Some predefined storage methods you may use:
228
229 =over
230
231 =item do_sql
232
233 Executes a SQL string or a code reference that returns a SQL string. This is
234 what L</on_connect_do> and L</on_disconnect_do> use.
235
236 It can take:
237
238 =over
239
240 =item a scalar
241
242 Will execute the scalar as SQL.
243
244 =item an arrayref
245
246 Taken to be arguments to L<DBI/do>, the SQL string optionally followed by the
247 attributes hashref and bind values.
248
249 =item a code reference
250
251 Will execute C<< $code->($storage) >> and execute the return array refs as
252 above.
253
254 =back
255
256 =item datetime_setup
257
258 Execute any statements necessary to initialize the database session to return
259 and accept datetime/timestamp values used with
260 L<DBIx::Class::InflateColumn::DateTime>.
261
262 Only necessary for some databases, see your specific storage driver for
263 implementation details.
264
265 =back
266
267 =item on_disconnect_call
268
269 Takes arguments in the same form as L</on_connect_call> and executes them
270 immediately before disconnecting from the database.
271
272 Calls the C<disconnect_call_METHOD> methods as opposed to the
273 C<connect_call_METHOD> methods called by L</on_connect_call>.
274
275 Note, this only runs if you explicitly call L</disconnect> on the
276 storage object.
277
278 =item disable_sth_caching
279
280 If set to a true value, this option will disable the caching of
281 statement handles via L<DBI/prepare_cached>.
282
283 =item limit_dialect
284
285 Sets the limit dialect. This is useful for JDBC-bridge among others
286 where the remote SQL-dialect cannot be determined by the name of the
287 driver alone. See also L<SQL::Abstract::Limit>.
288
289 =item quote_char
290
291 Specifies what characters to use to quote table and column names. If
292 you use this you will want to specify L</name_sep> as well.
293
294 C<quote_char> expects either a single character, in which case is it
295 is placed on either side of the table/column name, or an arrayref of length
296 2 in which case the table/column name is placed between the elements.
297
298 For example under MySQL you should use C<< quote_char => '`' >>, and for
299 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
300
301 =item name_sep
302
303 This only needs to be used in conjunction with C<quote_char>, and is used to
304 specify the charecter that seperates elements (schemas, tables, columns) from
305 each other. In most cases this is simply a C<.>.
306
307 The consequences of not supplying this value is that L<SQL::Abstract>
308 will assume DBIx::Class' uses of aliases to be complete column
309 names. The output will look like I<"me.name"> when it should actually
310 be I<"me"."name">.
311
312 =item unsafe
313
314 This Storage driver normally installs its own C<HandleError>, sets
315 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
316 all database handles, including those supplied by a coderef.  It does this
317 so that it can have consistent and useful error behavior.
318
319 If you set this option to a true value, Storage will not do its usual
320 modifications to the database handle's attributes, and instead relies on
321 the settings in your connect_info DBI options (or the values you set in
322 your connection coderef, in the case that you are connecting via coderef).
323
324 Note that your custom settings can cause Storage to malfunction,
325 especially if you set a C<HandleError> handler that suppresses exceptions
326 and/or disable C<RaiseError>.
327
328 =item auto_savepoint
329
330 If this option is true, L<DBIx::Class> will use savepoints when nesting
331 transactions, making it possible to recover from failure in the inner
332 transaction without having to abort all outer transactions.
333
334 =item cursor_class
335
336 Use this argument to supply a cursor class other than the default
337 L<DBIx::Class::Storage::DBI::Cursor>.
338
339 =back
340
341 Some real-life examples of arguments to L</connect_info> and
342 L<DBIx::Class::Schema/connect>
343
344   # Simple SQLite connection
345   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
346
347   # Connect via subref
348   ->connect_info([ sub { DBI->connect(...) } ]);
349
350   # Connect via subref in hashref
351   ->connect_info([{
352     dbh_maker => sub { DBI->connect(...) },
353     on_connect_do => 'alter session ...',
354   }]);
355
356   # A bit more complicated
357   ->connect_info(
358     [
359       'dbi:Pg:dbname=foo',
360       'postgres',
361       'my_pg_password',
362       { AutoCommit => 1 },
363       { quote_char => q{"}, name_sep => q{.} },
364     ]
365   );
366
367   # Equivalent to the previous example
368   ->connect_info(
369     [
370       'dbi:Pg:dbname=foo',
371       'postgres',
372       'my_pg_password',
373       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
374     ]
375   );
376
377   # Same, but with hashref as argument
378   # See parse_connect_info for explanation
379   ->connect_info(
380     [{
381       dsn         => 'dbi:Pg:dbname=foo',
382       user        => 'postgres',
383       password    => 'my_pg_password',
384       AutoCommit  => 1,
385       quote_char  => q{"},
386       name_sep    => q{.},
387     }]
388   );
389
390   # Subref + DBIx::Class-specific connection options
391   ->connect_info(
392     [
393       sub { DBI->connect(...) },
394       {
395           quote_char => q{`},
396           name_sep => q{@},
397           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
398           disable_sth_caching => 1,
399       },
400     ]
401   );
402
403
404
405 =cut
406
407 sub connect_info {
408   my ($self, $info_arg) = @_;
409
410   return $self->_connect_info if !$info_arg;
411
412   my @args = @$info_arg;  # take a shallow copy for further mutilation
413   $self->_connect_info([@args]); # copy for _connect_info
414
415
416   # combine/pre-parse arguments depending on invocation style
417
418   my %attrs;
419   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
420     %attrs = %{ $args[1] || {} };
421     @args = $args[0];
422   }
423   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
424     %attrs = %{$args[0]};
425     @args = ();
426     if (my $code = delete $attrs{dbh_maker}) {
427       @args = $code;
428
429       my @ignored = grep { delete $attrs{$_} } (qw/dsn user password/);
430       if (@ignored) {
431         carp sprintf (
432             'Attribute(s) %s in connect_info were ignored, as they can not be applied '
433           . "to the result of 'dbh_maker'",
434
435           join (', ', map { "'$_'" } (@ignored) ),
436         );
437       }
438     }
439     else {
440       @args = delete @attrs{qw/dsn user password/};
441     }
442   }
443   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
444     %attrs = (
445       % { $args[3] || {} },
446       % { $args[4] || {} },
447     );
448     @args = @args[0,1,2];
449   }
450
451   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
452   #  the new set of options
453   $self->_sql_maker(undef);
454   $self->_sql_maker_opts({});
455
456   if(keys %attrs) {
457     for my $storage_opt (@storage_options, 'cursor_class') {    # @storage_options is declared at the top of the module
458       if(my $value = delete $attrs{$storage_opt}) {
459         $self->$storage_opt($value);
460       }
461     }
462     for my $sql_maker_opt (qw/limit_dialect quote_char name_sep/) {
463       if(my $opt_val = delete $attrs{$sql_maker_opt}) {
464         $self->_sql_maker_opts->{$sql_maker_opt} = $opt_val;
465       }
466     }
467   }
468
469   if (ref $args[0] eq 'CODE') {
470     # _connect() never looks past $args[0] in this case
471     %attrs = ()
472   } else {
473     %attrs = (
474       %{ $self->_default_dbi_connect_attributes || {} },
475       %attrs,
476     );
477   }
478
479   $self->_dbi_connect_info([@args, keys %attrs ? \%attrs : ()]);
480   $self->_connect_info;
481 }
482
483 sub _default_dbi_connect_attributes {
484   return {
485     AutoCommit => 1,
486     RaiseError => 1,
487     PrintError => 0,
488   };
489 }
490
491 =head2 on_connect_do
492
493 This method is deprecated in favour of setting via L</connect_info>.
494
495 =cut
496
497 =head2 on_disconnect_do
498
499 This method is deprecated in favour of setting via L</connect_info>.
500
501 =cut
502
503 sub _parse_connect_do {
504   my ($self, $type) = @_;
505
506   my $val = $self->$type;
507   return () if not defined $val;
508
509   my @res;
510
511   if (not ref($val)) {
512     push @res, [ 'do_sql', $val ];
513   } elsif (ref($val) eq 'CODE') {
514     push @res, $val;
515   } elsif (ref($val) eq 'ARRAY') {
516     push @res, map { [ 'do_sql', $_ ] } @$val;
517   } else {
518     $self->throw_exception("Invalid type for $type: ".ref($val));
519   }
520
521   return \@res;
522 }
523
524 =head2 dbh_do
525
526 Arguments: ($subref | $method_name), @extra_coderef_args?
527
528 Execute the given $subref or $method_name using the new exception-based
529 connection management.
530
531 The first two arguments will be the storage object that C<dbh_do> was called
532 on and a database handle to use.  Any additional arguments will be passed
533 verbatim to the called subref as arguments 2 and onwards.
534
535 Using this (instead of $self->_dbh or $self->dbh) ensures correct
536 exception handling and reconnection (or failover in future subclasses).
537
538 Your subref should have no side-effects outside of the database, as
539 there is the potential for your subref to be partially double-executed
540 if the database connection was stale/dysfunctional.
541
542 Example:
543
544   my @stuff = $schema->storage->dbh_do(
545     sub {
546       my ($storage, $dbh, @cols) = @_;
547       my $cols = join(q{, }, @cols);
548       $dbh->selectrow_array("SELECT $cols FROM foo");
549     },
550     @column_list
551   );
552
553 =cut
554
555 sub dbh_do {
556   my $self = shift;
557   my $code = shift;
558
559   my $dbh = $self->_dbh;
560
561   return $self->$code($dbh, @_) if $self->{_in_dbh_do}
562       || $self->{transaction_depth};
563
564   local $self->{_in_dbh_do} = 1;
565
566   my @result;
567   my $want_array = wantarray;
568
569   eval {
570     $self->_verify_pid if $dbh;
571     if(!$self->_dbh) {
572         $self->_populate_dbh;
573         $dbh = $self->_dbh;
574     }
575
576     if($want_array) {
577         @result = $self->$code($dbh, @_);
578     }
579     elsif(defined $want_array) {
580         $result[0] = $self->$code($dbh, @_);
581     }
582     else {
583         $self->$code($dbh, @_);
584     }
585   };
586
587   # ->connected might unset $@ - copy
588   my $exception = $@;
589   if(!$exception) { return $want_array ? @result : $result[0] }
590
591   $self->throw_exception($exception) if $self->connected;
592
593   # We were not connected - reconnect and retry, but let any
594   #  exception fall right through this time
595   carp "Retrying $code after catching disconnected exception: $exception"
596     if $ENV{DBIC_DBIRETRY_DEBUG};
597   $self->_populate_dbh;
598   $self->$code($self->_dbh, @_);
599 }
600
601 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
602 # It also informs dbh_do to bypass itself while under the direction of txn_do,
603 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
604 sub txn_do {
605   my $self = shift;
606   my $coderef = shift;
607
608   ref $coderef eq 'CODE' or $self->throw_exception
609     ('$coderef must be a CODE reference');
610
611   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
612
613   local $self->{_in_dbh_do} = 1;
614
615   my @result;
616   my $want_array = wantarray;
617
618   my $tried = 0;
619   while(1) {
620     eval {
621       $self->_verify_pid if $self->_dbh;
622       $self->_populate_dbh if !$self->_dbh;
623
624       $self->txn_begin;
625       if($want_array) {
626           @result = $coderef->(@_);
627       }
628       elsif(defined $want_array) {
629           $result[0] = $coderef->(@_);
630       }
631       else {
632           $coderef->(@_);
633       }
634       $self->txn_commit;
635     };
636
637     # ->connected might unset $@ - copy
638     my $exception = $@;
639     if(!$exception) { return $want_array ? @result : $result[0] }
640
641     if($tried++ || $self->connected) {
642       eval { $self->txn_rollback };
643       my $rollback_exception = $@;
644       if($rollback_exception) {
645         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
646         $self->throw_exception($exception)  # propagate nested rollback
647           if $rollback_exception =~ /$exception_class/;
648
649         $self->throw_exception(
650           "Transaction aborted: ${exception}. "
651           . "Rollback failed: ${rollback_exception}"
652         );
653       }
654       $self->throw_exception($exception)
655     }
656
657     # We were not connected, and was first try - reconnect and retry
658     # via the while loop
659     carp "Retrying $coderef after catching disconnected exception: $exception"
660       if $ENV{DBIC_DBIRETRY_DEBUG};
661     $self->_populate_dbh;
662   }
663 }
664
665 =head2 disconnect
666
667 Our C<disconnect> method also performs a rollback first if the
668 database is not in C<AutoCommit> mode.
669
670 =cut
671
672 sub disconnect {
673   my ($self) = @_;
674
675   if( $self->_dbh ) {
676     my @actions;
677
678     push @actions, ( $self->on_disconnect_call || () );
679     push @actions, $self->_parse_connect_do ('on_disconnect_do');
680
681     $self->_do_connection_actions(disconnect_call_ => $_) for @actions;
682
683     $self->_dbh_rollback unless $self->_dbh_autocommit;
684
685     $self->_dbh->disconnect;
686     $self->_dbh(undef);
687     $self->{_dbh_gen}++;
688   }
689 }
690
691 =head2 with_deferred_fk_checks
692
693 =over 4
694
695 =item Arguments: C<$coderef>
696
697 =item Return Value: The return value of $coderef
698
699 =back
700
701 Storage specific method to run the code ref with FK checks deferred or
702 in MySQL's case disabled entirely.
703
704 =cut
705
706 # Storage subclasses should override this
707 sub with_deferred_fk_checks {
708   my ($self, $sub) = @_;
709
710   $sub->();
711 }
712
713 =head2 connected
714
715 =over
716
717 =item Arguments: none
718
719 =item Return Value: 1|0
720
721 =back
722
723 Verifies that the the current database handle is active and ready to execute
724 an SQL statement (i.e. the connection did not get stale, server is still
725 answering, etc.) This method is used internally by L</dbh>.
726
727 =cut
728
729 sub connected {
730   my $self = shift;
731   return 0 unless $self->_seems_connected;
732
733   #be on the safe side
734   local $self->_dbh->{RaiseError} = 1;
735
736   return $self->_ping;
737 }
738
739 sub _seems_connected {
740   my $self = shift;
741
742   my $dbh = $self->_dbh
743     or return 0;
744
745   if(defined $self->_conn_tid && $self->_conn_tid != threads->tid) {
746     $self->_dbh(undef);
747     $self->{_dbh_gen}++;
748     return 0;
749   }
750   else {
751     $self->_verify_pid;
752     return 0 if !$self->_dbh;
753   }
754
755   return $dbh->FETCH('Active');
756 }
757
758 sub _ping {
759   my $self = shift;
760
761   my $dbh = $self->_dbh or return 0;
762
763   return $dbh->ping;
764 }
765
766 # handle pid changes correctly
767 #  NOTE: assumes $self->_dbh is a valid $dbh
768 sub _verify_pid {
769   my ($self) = @_;
770
771   return if defined $self->_conn_pid && $self->_conn_pid == $$;
772
773   $self->_dbh->{InactiveDestroy} = 1;
774   $self->_dbh(undef);
775   $self->{_dbh_gen}++;
776
777   return;
778 }
779
780 sub ensure_connected {
781   my ($self) = @_;
782
783   unless ($self->connected) {
784     $self->_populate_dbh;
785   }
786 }
787
788 =head2 dbh
789
790 Returns a C<$dbh> - a data base handle of class L<DBI>. The returned handle
791 is guaranteed to be healthy by implicitly calling L</connected>, and if
792 necessary performing a reconnection before returning. Keep in mind that this
793 is very B<expensive> on some database engines. Consider using L<dbh_do>
794 instead.
795
796 =cut
797
798 sub dbh {
799   my ($self) = @_;
800
801   if (not $self->_dbh) {
802     $self->_populate_dbh;
803   } else {
804     $self->ensure_connected;
805   }
806   return $self->_dbh;
807 }
808
809 # this is the internal "get dbh or connect (don't check)" method
810 sub _get_dbh {
811   my $self = shift;
812   $self->_populate_dbh unless $self->_dbh;
813   return $self->_dbh;
814 }
815
816 sub _sql_maker_args {
817     my ($self) = @_;
818
819     return (
820       bindtype=>'columns',
821       array_datatypes => 1,
822       limit_dialect => $self->_get_dbh,
823       %{$self->_sql_maker_opts}
824     );
825 }
826
827 sub sql_maker {
828   my ($self) = @_;
829   unless ($self->_sql_maker) {
830     my $sql_maker_class = $self->sql_maker_class;
831     $self->ensure_class_loaded ($sql_maker_class);
832     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
833   }
834   return $self->_sql_maker;
835 }
836
837 sub _rebless {}
838
839 sub _populate_dbh {
840   my ($self) = @_;
841
842   my @info = @{$self->_dbi_connect_info || []};
843   $self->_dbh(undef); # in case ->connected failed we might get sent here
844   $self->_dbh($self->_connect(@info));
845
846   $self->_conn_pid($$);
847   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
848
849   $self->_determine_driver;
850
851   # Always set the transaction depth on connect, since
852   #  there is no transaction in progress by definition
853   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
854
855   $self->_run_connection_actions unless $self->{_in_determine_driver};
856 }
857
858 sub _run_connection_actions {
859   my $self = shift;
860   my @actions;
861
862   push @actions, ( $self->on_connect_call || () );
863   push @actions, $self->_parse_connect_do ('on_connect_do');
864
865   $self->_do_connection_actions(connect_call_ => $_) for @actions;
866 }
867
868 sub _determine_driver {
869   my ($self) = @_;
870
871   if ((not $self->_driver_determined) && (not $self->{_in_determine_driver})) {
872     my $started_unconnected = 0;
873     local $self->{_in_determine_driver} = 1;
874
875     if (ref($self) eq __PACKAGE__) {
876       my $driver;
877       if ($self->_dbh) { # we are connected
878         $driver = $self->_dbh->{Driver}{Name};
879       } else {
880         # try to use dsn to not require being connected, the driver may still
881         # force a connection in _rebless to determine version
882         ($driver) = $self->_dbi_connect_info->[0] =~ /dbi:([^:]+):/i;
883         $started_unconnected = 1;
884       }
885
886       my $storage_class = "DBIx::Class::Storage::DBI::${driver}";
887       if ($self->load_optional_class($storage_class)) {
888         mro::set_mro($storage_class, 'c3');
889         bless $self, $storage_class;
890         $self->_rebless();
891       }
892     }
893
894     $self->_driver_determined(1);
895
896     $self->_run_connection_actions
897         if $started_unconnected && defined $self->_dbh;
898   }
899 }
900
901 sub _do_connection_actions {
902   my $self          = shift;
903   my $method_prefix = shift;
904   my $call          = shift;
905
906   if (not ref($call)) {
907     my $method = $method_prefix . $call;
908     $self->$method(@_);
909   } elsif (ref($call) eq 'CODE') {
910     $self->$call(@_);
911   } elsif (ref($call) eq 'ARRAY') {
912     if (ref($call->[0]) ne 'ARRAY') {
913       $self->_do_connection_actions($method_prefix, $_) for @$call;
914     } else {
915       $self->_do_connection_actions($method_prefix, @$_) for @$call;
916     }
917   } else {
918     $self->throw_exception (sprintf ("Don't know how to process conection actions of type '%s'", ref($call)) );
919   }
920
921   return $self;
922 }
923
924 sub connect_call_do_sql {
925   my $self = shift;
926   $self->_do_query(@_);
927 }
928
929 sub disconnect_call_do_sql {
930   my $self = shift;
931   $self->_do_query(@_);
932 }
933
934 # override in db-specific backend when necessary
935 sub connect_call_datetime_setup { 1 }
936
937 sub _do_query {
938   my ($self, $action) = @_;
939
940   if (ref $action eq 'CODE') {
941     $action = $action->($self);
942     $self->_do_query($_) foreach @$action;
943   }
944   else {
945     # Most debuggers expect ($sql, @bind), so we need to exclude
946     # the attribute hash which is the second argument to $dbh->do
947     # furthermore the bind values are usually to be presented
948     # as named arrayref pairs, so wrap those here too
949     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
950     my $sql = shift @do_args;
951     my $attrs = shift @do_args;
952     my @bind = map { [ undef, $_ ] } @do_args;
953
954     $self->_query_start($sql, @bind);
955     $self->_dbh->do($sql, $attrs, @do_args);
956     $self->_query_end($sql, @bind);
957   }
958
959   return $self;
960 }
961
962 sub _connect {
963   my ($self, @info) = @_;
964
965   $self->throw_exception("You failed to provide any connection info")
966     if !@info;
967
968   my ($old_connect_via, $dbh);
969
970   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
971     $old_connect_via = $DBI::connect_via;
972     $DBI::connect_via = 'connect';
973   }
974
975   eval {
976     if(ref $info[0] eq 'CODE') {
977        $dbh = &{$info[0]}
978     }
979     else {
980        $dbh = DBI->connect(@info);
981     }
982
983     if($dbh && !$self->unsafe) {
984       my $weak_self = $self;
985       Scalar::Util::weaken($weak_self);
986       $dbh->{HandleError} = sub {
987           if ($weak_self) {
988             $weak_self->throw_exception("DBI Exception: $_[0]");
989           }
990           else {
991             croak ("DBI Exception: $_[0]");
992           }
993       };
994       $dbh->{ShowErrorStatement} = 1;
995       $dbh->{RaiseError} = 1;
996       $dbh->{PrintError} = 0;
997     }
998   };
999
1000   $DBI::connect_via = $old_connect_via if $old_connect_via;
1001
1002   $self->throw_exception("DBI Connection failed: " . ($@||$DBI::errstr))
1003     if !$dbh || $@;
1004
1005   $self->_dbh_autocommit($dbh->{AutoCommit});
1006
1007   $dbh;
1008 }
1009
1010 sub svp_begin {
1011   my ($self, $name) = @_;
1012
1013   $name = $self->_svp_generate_name
1014     unless defined $name;
1015
1016   $self->throw_exception ("You can't use savepoints outside a transaction")
1017     if $self->{transaction_depth} == 0;
1018
1019   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1020     unless $self->can('_svp_begin');
1021
1022   push @{ $self->{savepoints} }, $name;
1023
1024   $self->debugobj->svp_begin($name) if $self->debug;
1025
1026   return $self->_svp_begin($name);
1027 }
1028
1029 sub svp_release {
1030   my ($self, $name) = @_;
1031
1032   $self->throw_exception ("You can't use savepoints outside a transaction")
1033     if $self->{transaction_depth} == 0;
1034
1035   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1036     unless $self->can('_svp_release');
1037
1038   if (defined $name) {
1039     $self->throw_exception ("Savepoint '$name' does not exist")
1040       unless grep { $_ eq $name } @{ $self->{savepoints} };
1041
1042     # Dig through the stack until we find the one we are releasing.  This keeps
1043     # the stack up to date.
1044     my $svp;
1045
1046     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1047   } else {
1048     $name = pop @{ $self->{savepoints} };
1049   }
1050
1051   $self->debugobj->svp_release($name) if $self->debug;
1052
1053   return $self->_svp_release($name);
1054 }
1055
1056 sub svp_rollback {
1057   my ($self, $name) = @_;
1058
1059   $self->throw_exception ("You can't use savepoints outside a transaction")
1060     if $self->{transaction_depth} == 0;
1061
1062   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1063     unless $self->can('_svp_rollback');
1064
1065   if (defined $name) {
1066       # If they passed us a name, verify that it exists in the stack
1067       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1068           $self->throw_exception("Savepoint '$name' does not exist!");
1069       }
1070
1071       # Dig through the stack until we find the one we are releasing.  This keeps
1072       # the stack up to date.
1073       while(my $s = pop(@{ $self->{savepoints} })) {
1074           last if($s eq $name);
1075       }
1076       # Add the savepoint back to the stack, as a rollback doesn't remove the
1077       # named savepoint, only everything after it.
1078       push(@{ $self->{savepoints} }, $name);
1079   } else {
1080       # We'll assume they want to rollback to the last savepoint
1081       $name = $self->{savepoints}->[-1];
1082   }
1083
1084   $self->debugobj->svp_rollback($name) if $self->debug;
1085
1086   return $self->_svp_rollback($name);
1087 }
1088
1089 sub _svp_generate_name {
1090     my ($self) = @_;
1091
1092     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1093 }
1094
1095 sub txn_begin {
1096   my $self = shift;
1097   if($self->{transaction_depth} == 0) {
1098     $self->debugobj->txn_begin()
1099       if $self->debug;
1100     $self->_dbh_begin_work;
1101   }
1102   elsif ($self->auto_savepoint) {
1103     $self->svp_begin;
1104   }
1105   $self->{transaction_depth}++;
1106 }
1107
1108 sub _dbh_begin_work {
1109   my $self = shift;
1110   if ($self->{_in_dbh_do}) {
1111     $self->_dbh->begin_work;
1112   } else {
1113     $self->dbh_do(sub { $_[1]->begin_work });
1114   }
1115 }
1116
1117 sub txn_commit {
1118   my $self = shift;
1119   if ($self->{transaction_depth} == 1) {
1120     my $dbh = $self->_dbh;
1121     $self->debugobj->txn_commit()
1122       if ($self->debug);
1123     $self->_dbh_commit;
1124     $self->{transaction_depth} = 0
1125       if $self->_dbh_autocommit;
1126   }
1127   elsif($self->{transaction_depth} > 1) {
1128     $self->{transaction_depth}--;
1129     $self->svp_release
1130       if $self->auto_savepoint;
1131   }
1132 }
1133
1134 sub _dbh_commit {
1135   my $self = shift;
1136   $self->_dbh->commit;
1137 }
1138
1139 sub txn_rollback {
1140   my $self = shift;
1141   my $dbh = $self->_dbh;
1142   eval {
1143     if ($self->{transaction_depth} == 1) {
1144       $self->debugobj->txn_rollback()
1145         if ($self->debug);
1146       $self->{transaction_depth} = 0
1147         if $self->_dbh_autocommit;
1148       $self->_dbh_rollback;
1149     }
1150     elsif($self->{transaction_depth} > 1) {
1151       $self->{transaction_depth}--;
1152       if ($self->auto_savepoint) {
1153         $self->svp_rollback;
1154         $self->svp_release;
1155       }
1156     }
1157     else {
1158       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1159     }
1160   };
1161   if ($@) {
1162     my $error = $@;
1163     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1164     $error =~ /$exception_class/ and $self->throw_exception($error);
1165     # ensure that a failed rollback resets the transaction depth
1166     $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1167     $self->throw_exception($error);
1168   }
1169 }
1170
1171 sub _dbh_rollback {
1172   my $self = shift;
1173   $self->_dbh->rollback;
1174 }
1175
1176 # This used to be the top-half of _execute.  It was split out to make it
1177 #  easier to override in NoBindVars without duping the rest.  It takes up
1178 #  all of _execute's args, and emits $sql, @bind.
1179 sub _prep_for_execute {
1180   my ($self, $op, $extra_bind, $ident, $args) = @_;
1181
1182   if( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1183     $ident = $ident->from();
1184   }
1185
1186   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1187
1188   unshift(@bind,
1189     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1190       if $extra_bind;
1191   return ($sql, \@bind);
1192 }
1193
1194
1195 sub _fix_bind_params {
1196     my ($self, @bind) = @_;
1197
1198     ### Turn @bind from something like this:
1199     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1200     ### to this:
1201     ###   ( "'1'", "'1'", "'3'" )
1202     return
1203         map {
1204             if ( defined( $_ && $_->[1] ) ) {
1205                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1206             }
1207             else { q{'NULL'}; }
1208         } @bind;
1209 }
1210
1211 sub _query_start {
1212     my ( $self, $sql, @bind ) = @_;
1213
1214     if ( $self->debug ) {
1215         @bind = $self->_fix_bind_params(@bind);
1216
1217         $self->debugobj->query_start( $sql, @bind );
1218     }
1219 }
1220
1221 sub _query_end {
1222     my ( $self, $sql, @bind ) = @_;
1223
1224     if ( $self->debug ) {
1225         @bind = $self->_fix_bind_params(@bind);
1226         $self->debugobj->query_end( $sql, @bind );
1227     }
1228 }
1229
1230 sub _dbh_execute {
1231   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1232
1233   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1234
1235   $self->_query_start( $sql, @$bind );
1236
1237   my $sth = $self->sth($sql,$op);
1238
1239   my $placeholder_index = 1;
1240
1241   foreach my $bound (@$bind) {
1242     my $attributes = {};
1243     my($column_name, @data) = @$bound;
1244
1245     if ($bind_attributes) {
1246       $attributes = $bind_attributes->{$column_name}
1247       if defined $bind_attributes->{$column_name};
1248     }
1249
1250     foreach my $data (@data) {
1251       my $ref = ref $data;
1252       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1253
1254       $sth->bind_param($placeholder_index, $data, $attributes);
1255       $placeholder_index++;
1256     }
1257   }
1258
1259   # Can this fail without throwing an exception anyways???
1260   my $rv = $sth->execute();
1261   $self->throw_exception($sth->errstr) if !$rv;
1262
1263   $self->_query_end( $sql, @$bind );
1264
1265   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1266 }
1267
1268 sub _execute {
1269     my $self = shift;
1270     $self->dbh_do('_dbh_execute', @_);  # retry over disconnects
1271 }
1272
1273 sub insert {
1274   my ($self, $source, $to_insert) = @_;
1275
1276 # redispatch to insert method of storage we reblessed into, if necessary
1277   if (not $self->_driver_determined) {
1278     $self->_determine_driver;
1279     goto $self->can('insert');
1280   }
1281
1282   my $ident = $source->from;
1283   my $bind_attributes = $self->source_bind_attributes($source);
1284
1285   my $updated_cols = {};
1286
1287   foreach my $col ( $source->columns ) {
1288     if ( !defined $to_insert->{$col} ) {
1289       my $col_info = $source->column_info($col);
1290
1291       if ( $col_info->{auto_nextval} ) {
1292         $updated_cols->{$col} = $to_insert->{$col} = $self->_sequence_fetch(
1293           'nextval',
1294           $col_info->{sequence} ||
1295             $self->_dbh_get_autoinc_seq($self->_get_dbh, $source)
1296         );
1297       }
1298     }
1299   }
1300
1301   $self->_execute('insert' => [], $source, $bind_attributes, $to_insert);
1302
1303   return $updated_cols;
1304 }
1305
1306 ## Still not quite perfect, and EXPERIMENTAL
1307 ## Currently it is assumed that all values passed will be "normal", i.e. not
1308 ## scalar refs, or at least, all the same type as the first set, the statement is
1309 ## only prepped once.
1310 sub insert_bulk {
1311   my ($self, $source, $cols, $data) = @_;
1312   my %colvalues;
1313   my $table = $source->from;
1314   @colvalues{@$cols} = (0..$#$cols);
1315   my ($sql, @bind) = $self->sql_maker->insert($table, \%colvalues);
1316
1317   $self->_determine_driver;
1318
1319   $self->_query_start( $sql, @bind );
1320   my $sth = $self->sth($sql);
1321
1322 #  @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1323
1324   ## This must be an arrayref, else nothing works!
1325   my $tuple_status = [];
1326
1327   ## Get the bind_attributes, if any exist
1328   my $bind_attributes = $self->source_bind_attributes($source);
1329
1330   ## Bind the values and execute
1331   my $placeholder_index = 1;
1332
1333   foreach my $bound (@bind) {
1334
1335     my $attributes = {};
1336     my ($column_name, $data_index) = @$bound;
1337
1338     if( $bind_attributes ) {
1339       $attributes = $bind_attributes->{$column_name}
1340       if defined $bind_attributes->{$column_name};
1341     }
1342
1343     my @data = map { $_->[$data_index] } @$data;
1344
1345     $sth->bind_param_array( $placeholder_index, [@data], $attributes );
1346     $placeholder_index++;
1347   }
1348   my $rv = eval { $sth->execute_array({ArrayTupleStatus => $tuple_status}) };
1349   if (my $err = $@) {
1350     my $i = 0;
1351     ++$i while $i <= $#$tuple_status && !ref $tuple_status->[$i];
1352
1353     $self->throw_exception($sth->errstr || "Unexpected populate error: $err")
1354       if ($i > $#$tuple_status);
1355
1356     require Data::Dumper;
1357     local $Data::Dumper::Terse = 1;
1358     local $Data::Dumper::Indent = 1;
1359     local $Data::Dumper::Useqq = 1;
1360     local $Data::Dumper::Quotekeys = 0;
1361
1362     $self->throw_exception(sprintf "%s for populate slice:\n%s",
1363       $tuple_status->[$i][1],
1364       Data::Dumper::Dumper(
1365         { map { $cols->[$_] => $data->[$i][$_] } (0 .. $#$cols) }
1366       ),
1367     );
1368   }
1369   $self->throw_exception($sth->errstr) if !$rv;
1370
1371   $self->_query_end( $sql, @bind );
1372   return (wantarray ? ($rv, $sth, @bind) : $rv);
1373 }
1374
1375 sub update {
1376   my ($self, $source, @args) = @_; 
1377
1378 # redispatch to update method of storage we reblessed into, if necessary
1379   if (not $self->_driver_determined) {
1380     $self->_determine_driver;
1381     goto $self->can('update');
1382   }
1383
1384   my $bind_attributes = $self->source_bind_attributes($source);
1385
1386   return $self->_execute('update' => [], $source, $bind_attributes, @args);
1387 }
1388
1389
1390 sub delete {
1391   my $self = shift @_;
1392   my $source = shift @_;
1393   $self->_determine_driver;
1394   my $bind_attrs = $self->source_bind_attributes($source);
1395
1396   return $self->_execute('delete' => [], $source, $bind_attrs, @_);
1397 }
1398
1399 # We were sent here because the $rs contains a complex search
1400 # which will require a subquery to select the correct rows
1401 # (i.e. joined or limited resultsets)
1402 #
1403 # Genarating a single PK column subquery is trivial and supported
1404 # by all RDBMS. However if we have a multicolumn PK, things get ugly.
1405 # Look at _multipk_update_delete()
1406 sub _subq_update_delete {
1407   my $self = shift;
1408   my ($rs, $op, $values) = @_;
1409
1410   my $rsrc = $rs->result_source;
1411
1412   # we already check this, but double check naively just in case. Should be removed soon
1413   my $sel = $rs->_resolved_attrs->{select};
1414   $sel = [ $sel ] unless ref $sel eq 'ARRAY';
1415   my @pcols = $rsrc->primary_columns;
1416   if (@$sel != @pcols) {
1417     $self->throw_exception (
1418       'Subquery update/delete can not be called on resultsets selecting a'
1419      .' number of columns different than the number of primary keys'
1420     );
1421   }
1422
1423   if (@pcols == 1) {
1424     return $self->$op (
1425       $rsrc,
1426       $op eq 'update' ? $values : (),
1427       { $pcols[0] => { -in => $rs->as_query } },
1428     );
1429   }
1430
1431   else {
1432     return $self->_multipk_update_delete (@_);
1433   }
1434 }
1435
1436 # ANSI SQL does not provide a reliable way to perform a multicol-PK
1437 # resultset update/delete involving subqueries. So by default resort
1438 # to simple (and inefficient) delete_all style per-row opearations,
1439 # while allowing specific storages to override this with a faster
1440 # implementation.
1441 #
1442 sub _multipk_update_delete {
1443   return shift->_per_row_update_delete (@_);
1444 }
1445
1446 # This is the default loop used to delete/update rows for multi PK
1447 # resultsets, and used by mysql exclusively (because it can't do anything
1448 # else).
1449 #
1450 # We do not use $row->$op style queries, because resultset update/delete
1451 # is not expected to cascade (this is what delete_all/update_all is for).
1452 #
1453 # There should be no race conditions as the entire operation is rolled
1454 # in a transaction.
1455 #
1456 sub _per_row_update_delete {
1457   my $self = shift;
1458   my ($rs, $op, $values) = @_;
1459
1460   my $rsrc = $rs->result_source;
1461   my @pcols = $rsrc->primary_columns;
1462
1463   my $guard = $self->txn_scope_guard;
1464
1465   # emulate the return value of $sth->execute for non-selects
1466   my $row_cnt = '0E0';
1467
1468   my $subrs_cur = $rs->cursor;
1469   while (my @pks = $subrs_cur->next) {
1470
1471     my $cond;
1472     for my $i (0.. $#pcols) {
1473       $cond->{$pcols[$i]} = $pks[$i];
1474     }
1475
1476     $self->$op (
1477       $rsrc,
1478       $op eq 'update' ? $values : (),
1479       $cond,
1480     );
1481
1482     $row_cnt++;
1483   }
1484
1485   $guard->commit;
1486
1487   return $row_cnt;
1488 }
1489
1490 sub _select {
1491   my $self = shift;
1492
1493   # localization is neccessary as
1494   # 1) there is no infrastructure to pass this around before SQLA2
1495   # 2) _select_args sets it and _prep_for_execute consumes it
1496   my $sql_maker = $self->sql_maker;
1497   local $sql_maker->{_dbic_rs_attrs};
1498
1499   return $self->_execute($self->_select_args(@_));
1500 }
1501
1502 sub _select_args_to_query {
1503   my $self = shift;
1504
1505   # localization is neccessary as
1506   # 1) there is no infrastructure to pass this around before SQLA2
1507   # 2) _select_args sets it and _prep_for_execute consumes it
1508   my $sql_maker = $self->sql_maker;
1509   local $sql_maker->{_dbic_rs_attrs};
1510
1511   # my ($op, $bind, $ident, $bind_attrs, $select, $cond, $order, $rows, $offset)
1512   #  = $self->_select_args($ident, $select, $cond, $attrs);
1513   my ($op, $bind, $ident, $bind_attrs, @args) =
1514     $self->_select_args(@_);
1515
1516   # my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, [ $select, $cond, $order, $rows, $offset ]);
1517   my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, \@args);
1518   $prepared_bind ||= [];
1519
1520   return wantarray
1521     ? ($sql, $prepared_bind, $bind_attrs)
1522     : \[ "($sql)", @$prepared_bind ]
1523   ;
1524 }
1525
1526 sub _select_args {
1527   my ($self, $ident, $select, $where, $attrs) = @_;
1528
1529   my ($alias2source, $rs_alias) = $self->_resolve_ident_sources ($ident);
1530
1531   my $sql_maker = $self->sql_maker;
1532   $sql_maker->{_dbic_rs_attrs} = {
1533     %$attrs,
1534     select => $select,
1535     from => $ident,
1536     where => $where,
1537     $rs_alias
1538       ? ( _source_handle => $alias2source->{$rs_alias}->handle )
1539       : ()
1540     ,
1541   };
1542
1543   # calculate bind_attrs before possible $ident mangling
1544   my $bind_attrs = {};
1545   for my $alias (keys %$alias2source) {
1546     my $bindtypes = $self->source_bind_attributes ($alias2source->{$alias}) || {};
1547     for my $col (keys %$bindtypes) {
1548
1549       my $fqcn = join ('.', $alias, $col);
1550       $bind_attrs->{$fqcn} = $bindtypes->{$col} if $bindtypes->{$col};
1551
1552       # Unqialified column names are nice, but at the same time can be
1553       # rather ambiguous. What we do here is basically go along with
1554       # the loop, adding an unqualified column slot to $bind_attrs,
1555       # alongside the fully qualified name. As soon as we encounter
1556       # another column by that name (which would imply another table)
1557       # we unset the unqualified slot and never add any info to it
1558       # to avoid erroneous type binding. If this happens the users
1559       # only choice will be to fully qualify his column name
1560
1561       if (exists $bind_attrs->{$col}) {
1562         $bind_attrs->{$col} = {};
1563       }
1564       else {
1565         $bind_attrs->{$col} = $bind_attrs->{$fqcn};
1566       }
1567     }
1568   }
1569
1570   # adjust limits
1571   if (
1572     $attrs->{software_limit}
1573       ||
1574     $sql_maker->_default_limit_syntax eq "GenericSubQ"
1575   ) {
1576     $attrs->{software_limit} = 1;
1577   }
1578   else {
1579     $self->throw_exception("rows attribute must be positive if present")
1580       if (defined($attrs->{rows}) && !($attrs->{rows} > 0));
1581
1582     # MySQL actually recommends this approach.  I cringe.
1583     $attrs->{rows} = 2**48 if not defined $attrs->{rows} and defined $attrs->{offset};
1584   }
1585
1586   my @limit;
1587
1588   # see if we need to tear the prefetch apart (either limited has_many or grouped prefetch)
1589   # otherwise delegate the limiting to the storage, unless software limit was requested
1590   if (
1591     ( $attrs->{rows} && keys %{$attrs->{collapse}} )
1592        ||
1593     ( $attrs->{group_by} && @{$attrs->{group_by}} &&
1594       $attrs->{_prefetch_select} && @{$attrs->{_prefetch_select}} )
1595   ) {
1596     ($ident, $select, $where, $attrs)
1597       = $self->_adjust_select_args_for_complex_prefetch ($ident, $select, $where, $attrs);
1598   }
1599   elsif (! $attrs->{software_limit} ) {
1600     push @limit, $attrs->{rows}, $attrs->{offset};
1601   }
1602
1603 ###
1604   # This would be the point to deflate anything found in $where
1605   # (and leave $attrs->{bind} intact). Problem is - inflators historically
1606   # expect a row object. And all we have is a resultsource (it is trivial
1607   # to extract deflator coderefs via $alias2source above).
1608   #
1609   # I don't see a way forward other than changing the way deflators are
1610   # invoked, and that's just bad...
1611 ###
1612
1613   my $order = { map
1614     { $attrs->{$_} ? ( $_ => $attrs->{$_} ) : ()  }
1615     (qw/order_by group_by having/ )
1616   };
1617
1618   return ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $where, $order, @limit);
1619 }
1620
1621 #
1622 # This is the code producing joined subqueries like:
1623 # SELECT me.*, other.* FROM ( SELECT me.* FROM ... ) JOIN other ON ... 
1624 #
1625 sub _adjust_select_args_for_complex_prefetch {
1626   my ($self, $from, $select, $where, $attrs) = @_;
1627
1628   $self->throw_exception ('Nothing to prefetch... how did we get here?!')
1629     if not @{$attrs->{_prefetch_select}};
1630
1631   $self->throw_exception ('Complex prefetches are not supported on resultsets with a custom from attribute')
1632     if (ref $from ne 'ARRAY' || ref $from->[0] ne 'HASH' || ref $from->[1] ne 'ARRAY');
1633
1634
1635   # generate inner/outer attribute lists, remove stuff that doesn't apply
1636   my $outer_attrs = { %$attrs };
1637   delete $outer_attrs->{$_} for qw/where bind rows offset group_by having/;
1638
1639   my $inner_attrs = { %$attrs };
1640   delete $inner_attrs->{$_} for qw/for collapse _prefetch_select _collapse_order_by select as/;
1641
1642
1643   # bring over all non-collapse-induced order_by into the inner query (if any)
1644   # the outer one will have to keep them all
1645   delete $inner_attrs->{order_by};
1646   if (my $ord_cnt = @{$outer_attrs->{order_by}} - @{$outer_attrs->{_collapse_order_by}} ) {
1647     $inner_attrs->{order_by} = [
1648       @{$outer_attrs->{order_by}}[ 0 .. $ord_cnt - 1]
1649     ];
1650   }
1651
1652
1653   # generate the inner/outer select lists
1654   # for inside we consider only stuff *not* brought in by the prefetch
1655   # on the outside we substitute any function for its alias
1656   my $outer_select = [ @$select ];
1657   my $inner_select = [];
1658   for my $i (0 .. ( @$outer_select - @{$outer_attrs->{_prefetch_select}} - 1) ) {
1659     my $sel = $outer_select->[$i];
1660
1661     if (ref $sel eq 'HASH' ) {
1662       $sel->{-as} ||= $attrs->{as}[$i];
1663       $outer_select->[$i] = join ('.', $attrs->{alias}, ($sel->{-as} || "inner_column_$i") );
1664     }
1665
1666     push @$inner_select, $sel;
1667   }
1668
1669   # normalize a copy of $from, so it will be easier to work with further
1670   # down (i.e. promote the initial hashref to an AoH)
1671   $from = [ @$from ];
1672   $from->[0] = [ $from->[0] ];
1673   my %original_join_info = map { $_->[0]{-alias} => $_->[0] } (@$from);
1674
1675
1676   # decide which parts of the join will remain in either part of
1677   # the outer/inner query
1678
1679   # First we compose a list of which aliases are used in restrictions
1680   # (i.e. conditions/order/grouping/etc). Since we do not have
1681   # introspectable SQLA, we fall back to ugly scanning of raw SQL for
1682   # WHERE, and for pieces of ORDER BY in order to determine which aliases
1683   # need to appear in the resulting sql.
1684   # It may not be very efficient, but it's a reasonable stop-gap
1685   # Also unqualified column names will not be considered, but more often
1686   # than not this is actually ok
1687   #
1688   # In the same loop we enumerate part of the selection aliases, as
1689   # it requires the same sqla hack for the time being
1690   my ($restrict_aliases, $select_aliases, $prefetch_aliases);
1691   {
1692     # produce stuff unquoted, so it can be scanned
1693     my $sql_maker = $self->sql_maker;
1694     local $sql_maker->{quote_char};
1695     my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1696     $sep = "\Q$sep\E";
1697
1698     my $non_prefetch_select_sql = $sql_maker->_recurse_fields ($inner_select);
1699     my $prefetch_select_sql = $sql_maker->_recurse_fields ($outer_attrs->{_prefetch_select});
1700     my $where_sql = $sql_maker->where ($where);
1701     my $group_by_sql = $sql_maker->_order_by({
1702       map { $_ => $inner_attrs->{$_} } qw/group_by having/
1703     });
1704     my @non_prefetch_order_by_chunks = (map
1705       { ref $_ ? $_->[0] : $_ }
1706       $sql_maker->_order_by_chunks ($inner_attrs->{order_by})
1707     );
1708
1709
1710     for my $alias (keys %original_join_info) {
1711       my $seen_re = qr/\b $alias $sep/x;
1712
1713       for my $piece ($where_sql, $group_by_sql, @non_prefetch_order_by_chunks ) {
1714         if ($piece =~ $seen_re) {
1715           $restrict_aliases->{$alias} = 1;
1716         }
1717       }
1718
1719       if ($non_prefetch_select_sql =~ $seen_re) {
1720           $select_aliases->{$alias} = 1;
1721       }
1722
1723       if ($prefetch_select_sql =~ $seen_re) {
1724           $prefetch_aliases->{$alias} = 1;
1725       }
1726
1727     }
1728   }
1729
1730   # Add any non-left joins to the restriction list (such joins are indeed restrictions)
1731   for my $j (values %original_join_info) {
1732     my $alias = $j->{-alias} or next;
1733     $restrict_aliases->{$alias} = 1 if (
1734       (not $j->{-join_type})
1735         or
1736       ($j->{-join_type} !~ /^left (?: \s+ outer)? $/xi)
1737     );
1738   }
1739
1740   # mark all join parents as mentioned
1741   # (e.g.  join => { cds => 'tracks' } - tracks will need to bring cds too )
1742   for my $collection ($restrict_aliases, $select_aliases) {
1743     for my $alias (keys %$collection) {
1744       $collection->{$_} = 1
1745         for (@{ $original_join_info{$alias}{-join_path} || [] });
1746     }
1747   }
1748
1749   # construct the inner $from for the subquery
1750   my %inner_joins = (map { %{$_ || {}} } ($restrict_aliases, $select_aliases) );
1751   my @inner_from;
1752   for my $j (@$from) {
1753     push @inner_from, $j if $inner_joins{$j->[0]{-alias}};
1754   }
1755
1756   # if a multi-type join was needed in the subquery ("multi" is indicated by
1757   # presence in {collapse}) - add a group_by to simulate the collapse in the subq
1758   unless ($inner_attrs->{group_by}) {
1759     for my $alias (keys %inner_joins) {
1760
1761       # the dot comes from some weirdness in collapse
1762       # remove after the rewrite
1763       if ($attrs->{collapse}{".$alias"}) {
1764         $inner_attrs->{group_by} ||= $inner_select;
1765         last;
1766       }
1767     }
1768   }
1769
1770   # demote the inner_from head
1771   $inner_from[0] = $inner_from[0][0];
1772
1773   # generate the subquery
1774   my $subq = $self->_select_args_to_query (
1775     \@inner_from,
1776     $inner_select,
1777     $where,
1778     $inner_attrs,
1779   );
1780
1781   my $subq_joinspec = {
1782     -alias => $attrs->{alias},
1783     -source_handle => $inner_from[0]{-source_handle},
1784     $attrs->{alias} => $subq,
1785   };
1786
1787   # Generate the outer from - this is relatively easy (really just replace
1788   # the join slot with the subquery), with a major caveat - we can not
1789   # join anything that is non-selecting (not part of the prefetch), but at
1790   # the same time is a multi-type relationship, as it will explode the result.
1791   #
1792   # There are two possibilities here
1793   # - either the join is non-restricting, in which case we simply throw it away
1794   # - it is part of the restrictions, in which case we need to collapse the outer
1795   #   result by tackling yet another group_by to the outside of the query
1796
1797   # so first generate the outer_from, up to the substitution point
1798   my @outer_from;
1799   while (my $j = shift @$from) {
1800     if ($j->[0]{-alias} eq $attrs->{alias}) { # time to swap
1801       push @outer_from, [
1802         $subq_joinspec,
1803         @{$j}[1 .. $#$j],
1804       ];
1805       last; # we'll take care of what's left in $from below
1806     }
1807     else {
1808       push @outer_from, $j;
1809     }
1810   }
1811
1812   # see what's left - throw away if not selecting/restricting
1813   # also throw in a group_by if restricting to guard against
1814   # cross-join explosions
1815   #
1816   while (my $j = shift @$from) {
1817     my $alias = $j->[0]{-alias};
1818
1819     if ($select_aliases->{$alias} || $prefetch_aliases->{$alias}) {
1820       push @outer_from, $j;
1821     }
1822     elsif ($restrict_aliases->{$alias}) {
1823       push @outer_from, $j;
1824
1825       # FIXME - this should be obviated by SQLA2, as I'll be able to 
1826       # have restrict_inner and restrict_outer... or something to that
1827       # effect... I think...
1828
1829       # FIXME2 - I can't find a clean way to determine if a particular join
1830       # is a multi - instead I am just treating everything as a potential
1831       # explosive join (ribasushi)
1832       #
1833       # if (my $handle = $j->[0]{-source_handle}) {
1834       #   my $rsrc = $handle->resolve;
1835       #   ... need to bail out of the following if this is not a multi,
1836       #       as it will be much easier on the db ...
1837
1838           $outer_attrs->{group_by} ||= $outer_select;
1839       # }
1840     }
1841   }
1842
1843   # demote the outer_from head
1844   $outer_from[0] = $outer_from[0][0];
1845
1846   # This is totally horrific - the $where ends up in both the inner and outer query
1847   # Unfortunately not much can be done until SQLA2 introspection arrives, and even
1848   # then if where conditions apply to the *right* side of the prefetch, you may have
1849   # to both filter the inner select (e.g. to apply a limit) and then have to re-filter
1850   # the outer select to exclude joins you didin't want in the first place
1851   #
1852   # OTOH it can be seen as a plus: <ash> (notes that this query would make a DBA cry ;)
1853   return (\@outer_from, $outer_select, $where, $outer_attrs);
1854 }
1855
1856 sub _resolve_ident_sources {
1857   my ($self, $ident) = @_;
1858
1859   my $alias2source = {};
1860   my $rs_alias;
1861
1862   # the reason this is so contrived is that $ident may be a {from}
1863   # structure, specifying multiple tables to join
1864   if ( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1865     # this is compat mode for insert/update/delete which do not deal with aliases
1866     $alias2source->{me} = $ident;
1867     $rs_alias = 'me';
1868   }
1869   elsif (ref $ident eq 'ARRAY') {
1870
1871     for (@$ident) {
1872       my $tabinfo;
1873       if (ref $_ eq 'HASH') {
1874         $tabinfo = $_;
1875         $rs_alias = $tabinfo->{-alias};
1876       }
1877       if (ref $_ eq 'ARRAY' and ref $_->[0] eq 'HASH') {
1878         $tabinfo = $_->[0];
1879       }
1880
1881       $alias2source->{$tabinfo->{-alias}} = $tabinfo->{-source_handle}->resolve
1882         if ($tabinfo->{-source_handle});
1883     }
1884   }
1885
1886   return ($alias2source, $rs_alias);
1887 }
1888
1889 # Takes $ident, \@column_names
1890 #
1891 # returns { $column_name => \%column_info, ... }
1892 # also note: this adds -result_source => $rsrc to the column info
1893 #
1894 # usage:
1895 #   my $col_sources = $self->_resolve_column_info($ident, @column_names);
1896 sub _resolve_column_info {
1897   my ($self, $ident, $colnames) = @_;
1898   my ($alias2src, $root_alias) = $self->_resolve_ident_sources($ident);
1899
1900   my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1901   $sep = "\Q$sep\E";
1902
1903   my (%return, %seen_cols);
1904
1905   # compile a global list of column names, to be able to properly
1906   # disambiguate unqualified column names (if at all possible)
1907   for my $alias (keys %$alias2src) {
1908     my $rsrc = $alias2src->{$alias};
1909     for my $colname ($rsrc->columns) {
1910       push @{$seen_cols{$colname}}, $alias;
1911     }
1912   }
1913
1914   COLUMN:
1915   foreach my $col (@$colnames) {
1916     my ($alias, $colname) = $col =~ m/^ (?: ([^$sep]+) $sep)? (.+) $/x;
1917
1918     unless ($alias) {
1919       # see if the column was seen exactly once (so we know which rsrc it came from)
1920       if ($seen_cols{$colname} and @{$seen_cols{$colname}} == 1) {
1921         $alias = $seen_cols{$colname}[0];
1922       }
1923       else {
1924         next COLUMN;
1925       }
1926     }
1927
1928     my $rsrc = $alias2src->{$alias};
1929     $return{$col} = $rsrc && {
1930       %{$rsrc->column_info($colname)},
1931       -result_source => $rsrc,
1932       -source_alias => $alias,
1933     };
1934   }
1935
1936   return \%return;
1937 }
1938
1939 # Returns a counting SELECT for a simple count
1940 # query. Abstracted so that a storage could override
1941 # this to { count => 'firstcol' } or whatever makes
1942 # sense as a performance optimization
1943 sub _count_select {
1944   #my ($self, $source, $rs_attrs) = @_;
1945   return { count => '*' };
1946 }
1947
1948 # Returns a SELECT which will end up in the subselect
1949 # There may or may not be a group_by, as the subquery
1950 # might have been called to accomodate a limit
1951 #
1952 # Most databases would be happy with whatever ends up
1953 # here, but some choke in various ways.
1954 #
1955 sub _subq_count_select {
1956   my ($self, $source, $rs_attrs) = @_;
1957   return $rs_attrs->{group_by} if $rs_attrs->{group_by};
1958
1959   my @pcols = map { join '.', $rs_attrs->{alias}, $_ } ($source->primary_columns);
1960   return @pcols ? \@pcols : [ 1 ];
1961 }
1962
1963 #
1964 # Returns an ordered list of column names before they are used
1965 # in a SELECT statement. By default simply returns the list
1966 # passed in.
1967 #
1968 # This may be overridden in a specific storage when there are
1969 # requirements such as moving BLOB columns to the end of the 
1970 # SELECT list.
1971 sub _order_select_columns {
1972   #my ($self, $source, $columns) = @_;
1973   return @{$_[2]};
1974 }
1975
1976 sub source_bind_attributes {
1977   my ($self, $source) = @_;
1978
1979   my $bind_attributes;
1980   foreach my $column ($source->columns) {
1981
1982     my $data_type = $source->column_info($column)->{data_type} || '';
1983     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
1984      if $data_type;
1985   }
1986
1987   return $bind_attributes;
1988 }
1989
1990 =head2 select
1991
1992 =over 4
1993
1994 =item Arguments: $ident, $select, $condition, $attrs
1995
1996 =back
1997
1998 Handle a SQL select statement.
1999
2000 =cut
2001
2002 sub select {
2003   my $self = shift;
2004   my ($ident, $select, $condition, $attrs) = @_;
2005   return $self->cursor_class->new($self, \@_, $attrs);
2006 }
2007
2008 sub select_single {
2009   my $self = shift;
2010   my ($rv, $sth, @bind) = $self->_select(@_);
2011   my @row = $sth->fetchrow_array;
2012   my @nextrow = $sth->fetchrow_array if @row;
2013   if(@row && @nextrow) {
2014     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
2015   }
2016   # Need to call finish() to work round broken DBDs
2017   $sth->finish();
2018   return @row;
2019 }
2020
2021 =head2 sth
2022
2023 =over 4
2024
2025 =item Arguments: $sql
2026
2027 =back
2028
2029 Returns a L<DBI> sth (statement handle) for the supplied SQL.
2030
2031 =cut
2032
2033 sub _dbh_sth {
2034   my ($self, $dbh, $sql) = @_;
2035
2036   # 3 is the if_active parameter which avoids active sth re-use
2037   my $sth = $self->disable_sth_caching
2038     ? $dbh->prepare($sql)
2039     : $dbh->prepare_cached($sql, {}, 3);
2040
2041   # XXX You would think RaiseError would make this impossible,
2042   #  but apparently that's not true :(
2043   $self->throw_exception($dbh->errstr) if !$sth;
2044
2045   $sth;
2046 }
2047
2048 sub sth {
2049   my ($self, $sql) = @_;
2050   $self->dbh_do('_dbh_sth', $sql);  # retry over disconnects
2051 }
2052
2053 sub _dbh_columns_info_for {
2054   my ($self, $dbh, $table) = @_;
2055
2056   if ($dbh->can('column_info')) {
2057     my %result;
2058     eval {
2059       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
2060       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
2061       $sth->execute();
2062       while ( my $info = $sth->fetchrow_hashref() ){
2063         my %column_info;
2064         $column_info{data_type}   = $info->{TYPE_NAME};
2065         $column_info{size}      = $info->{COLUMN_SIZE};
2066         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
2067         $column_info{default_value} = $info->{COLUMN_DEF};
2068         my $col_name = $info->{COLUMN_NAME};
2069         $col_name =~ s/^\"(.*)\"$/$1/;
2070
2071         $result{$col_name} = \%column_info;
2072       }
2073     };
2074     return \%result if !$@ && scalar keys %result;
2075   }
2076
2077   my %result;
2078   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
2079   $sth->execute;
2080   my @columns = @{$sth->{NAME_lc}};
2081   for my $i ( 0 .. $#columns ){
2082     my %column_info;
2083     $column_info{data_type} = $sth->{TYPE}->[$i];
2084     $column_info{size} = $sth->{PRECISION}->[$i];
2085     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
2086
2087     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
2088       $column_info{data_type} = $1;
2089       $column_info{size}    = $2;
2090     }
2091
2092     $result{$columns[$i]} = \%column_info;
2093   }
2094   $sth->finish;
2095
2096   foreach my $col (keys %result) {
2097     my $colinfo = $result{$col};
2098     my $type_num = $colinfo->{data_type};
2099     my $type_name;
2100     if(defined $type_num && $dbh->can('type_info')) {
2101       my $type_info = $dbh->type_info($type_num);
2102       $type_name = $type_info->{TYPE_NAME} if $type_info;
2103       $colinfo->{data_type} = $type_name if $type_name;
2104     }
2105   }
2106
2107   return \%result;
2108 }
2109
2110 sub columns_info_for {
2111   my ($self, $table) = @_;
2112   $self->_dbh_columns_info_for ($self->_get_dbh, $table);
2113 }
2114
2115 =head2 last_insert_id
2116
2117 Return the row id of the last insert.
2118
2119 =cut
2120
2121 sub _dbh_last_insert_id {
2122     # All Storage's need to register their own _dbh_last_insert_id
2123     # the old SQLite-based method was highly inappropriate
2124
2125     my $self = shift;
2126     my $class = ref $self;
2127     $self->throw_exception (<<EOE);
2128
2129 No _dbh_last_insert_id() method found in $class.
2130 Since the method of obtaining the autoincrement id of the last insert
2131 operation varies greatly between different databases, this method must be
2132 individually implemented for every storage class.
2133 EOE
2134 }
2135
2136 sub last_insert_id {
2137   my $self = shift;
2138   $self->_dbh_last_insert_id ($self->_dbh, @_);
2139 }
2140
2141 =head2 _native_data_type
2142
2143 =over 4
2144
2145 =item Arguments: $type_name
2146
2147 =back
2148
2149 This API is B<EXPERIMENTAL>, will almost definitely change in the future, and
2150 currently only used by L<::AutoCast|DBIx::Class::Storage::DBI::AutoCast> and
2151 L<::Sybase|DBIx::Class::Storage::DBI::Sybase>.
2152
2153 The default implementation returns C<undef>, implement in your Storage driver if
2154 you need this functionality.
2155
2156 Should map types from other databases to the native RDBMS type, for example
2157 C<VARCHAR2> to C<VARCHAR>.
2158
2159 Types with modifiers should map to the underlying data type. For example,
2160 C<INTEGER AUTO_INCREMENT> should become C<INTEGER>.
2161
2162 Composite types should map to the container type, for example
2163 C<ENUM(foo,bar,baz)> becomes C<ENUM>.
2164
2165 =cut
2166
2167 sub _native_data_type {
2168   #my ($self, $data_type) = @_;
2169   return undef
2170 }
2171
2172 # Check if placeholders are supported at all
2173 sub _placeholders_supported {
2174   my $self = shift;
2175   my $dbh  = $self->_get_dbh;
2176
2177   # some drivers provide a $dbh attribute (e.g. Sybase and $dbh->{syb_dynamic_supported})
2178   # but it is inaccurate more often than not
2179   eval {
2180     local $dbh->{PrintError} = 0;
2181     local $dbh->{RaiseError} = 1;
2182     $dbh->do('select ?', {}, 1);
2183   };
2184   return $@ ? 0 : 1;
2185 }
2186
2187 # Check if placeholders bound to non-string types throw exceptions
2188 #
2189 sub _typeless_placeholders_supported {
2190   my $self = shift;
2191   my $dbh  = $self->_get_dbh;
2192
2193   eval {
2194     local $dbh->{PrintError} = 0;
2195     local $dbh->{RaiseError} = 1;
2196     # this specifically tests a bind that is NOT a string
2197     $dbh->do('select 1 where 1 = ?', {}, 1);
2198   };
2199   return $@ ? 0 : 1;
2200 }
2201
2202 =head2 sqlt_type
2203
2204 Returns the database driver name.
2205
2206 =cut
2207
2208 sub sqlt_type {
2209   my ($self) = @_;
2210
2211   if (not $self->_driver_determined) {
2212     $self->_determine_driver;
2213     goto $self->can ('sqlt_type');
2214   }
2215
2216   $self->_get_dbh->{Driver}->{Name};
2217 }
2218
2219 =head2 bind_attribute_by_data_type
2220
2221 Given a datatype from column info, returns a database specific bind
2222 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
2223 let the database planner just handle it.
2224
2225 Generally only needed for special case column types, like bytea in postgres.
2226
2227 =cut
2228
2229 sub bind_attribute_by_data_type {
2230     return;
2231 }
2232
2233 =head2 is_datatype_numeric
2234
2235 Given a datatype from column_info, returns a boolean value indicating if
2236 the current RDBMS considers it a numeric value. This controls how
2237 L<DBIx::Class::Row/set_column> decides whether to mark the column as
2238 dirty - when the datatype is deemed numeric a C<< != >> comparison will
2239 be performed instead of the usual C<eq>.
2240
2241 =cut
2242
2243 sub is_datatype_numeric {
2244   my ($self, $dt) = @_;
2245
2246   return 0 unless $dt;
2247
2248   return $dt =~ /^ (?:
2249     numeric | int(?:eger)? | (?:tiny|small|medium|big)int | dec(?:imal)? | real | float | double (?: \s+ precision)? | (?:big)?serial
2250   ) $/ix;
2251 }
2252
2253
2254 =head2 create_ddl_dir (EXPERIMENTAL)
2255
2256 =over 4
2257
2258 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
2259
2260 =back
2261
2262 Creates a SQL file based on the Schema, for each of the specified
2263 database engines in C<\@databases> in the given directory.
2264 (note: specify L<SQL::Translator> names, not L<DBI> driver names).
2265
2266 Given a previous version number, this will also create a file containing
2267 the ALTER TABLE statements to transform the previous schema into the
2268 current one. Note that these statements may contain C<DROP TABLE> or
2269 C<DROP COLUMN> statements that can potentially destroy data.
2270
2271 The file names are created using the C<ddl_filename> method below, please
2272 override this method in your schema if you would like a different file
2273 name format. For the ALTER file, the same format is used, replacing
2274 $version in the name with "$preversion-$version".
2275
2276 See L<SQL::Translator/METHODS> for a list of values for C<\%sqlt_args>.
2277 The most common value for this would be C<< { add_drop_table => 1 } >>
2278 to have the SQL produced include a C<DROP TABLE> statement for each table
2279 created. For quoting purposes supply C<quote_table_names> and
2280 C<quote_field_names>.
2281
2282 If no arguments are passed, then the following default values are assumed:
2283
2284 =over 4
2285
2286 =item databases  - ['MySQL', 'SQLite', 'PostgreSQL']
2287
2288 =item version    - $schema->schema_version
2289
2290 =item directory  - './'
2291
2292 =item preversion - <none>
2293
2294 =back
2295
2296 By default, C<\%sqlt_args> will have
2297
2298  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
2299
2300 merged with the hash passed in. To disable any of those features, pass in a
2301 hashref like the following
2302
2303  { ignore_constraint_names => 0, # ... other options }
2304
2305
2306 Note that this feature is currently EXPERIMENTAL and may not work correctly
2307 across all databases, or fully handle complex relationships.
2308
2309 WARNING: Please check all SQL files created, before applying them.
2310
2311 =cut
2312
2313 sub create_ddl_dir {
2314   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
2315
2316   if(!$dir || !-d $dir) {
2317     carp "No directory given, using ./\n";
2318     $dir = "./";
2319   }
2320   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
2321   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
2322
2323   my $schema_version = $schema->schema_version || '1.x';
2324   $version ||= $schema_version;
2325
2326   $sqltargs = {
2327     add_drop_table => 1,
2328     ignore_constraint_names => 1,
2329     ignore_index_names => 1,
2330     %{$sqltargs || {}}
2331   };
2332
2333   $self->throw_exception(q{Can't create a ddl file without SQL::Translator 0.09003: '}
2334       . $self->_check_sqlt_message . q{'})
2335           if !$self->_check_sqlt_version;
2336
2337   my $sqlt = SQL::Translator->new( $sqltargs );
2338
2339   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
2340   my $sqlt_schema = $sqlt->translate({ data => $schema })
2341     or $self->throw_exception ($sqlt->error);
2342
2343   foreach my $db (@$databases) {
2344     $sqlt->reset();
2345     $sqlt->{schema} = $sqlt_schema;
2346     $sqlt->producer($db);
2347
2348     my $file;
2349     my $filename = $schema->ddl_filename($db, $version, $dir);
2350     if (-e $filename && ($version eq $schema_version )) {
2351       # if we are dumping the current version, overwrite the DDL
2352       carp "Overwriting existing DDL file - $filename";
2353       unlink($filename);
2354     }
2355
2356     my $output = $sqlt->translate;
2357     if(!$output) {
2358       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
2359       next;
2360     }
2361     if(!open($file, ">$filename")) {
2362       $self->throw_exception("Can't open $filename for writing ($!)");
2363       next;
2364     }
2365     print $file $output;
2366     close($file);
2367
2368     next unless ($preversion);
2369
2370     require SQL::Translator::Diff;
2371
2372     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
2373     if(!-e $prefilename) {
2374       carp("No previous schema file found ($prefilename)");
2375       next;
2376     }
2377
2378     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
2379     if(-e $difffile) {
2380       carp("Overwriting existing diff file - $difffile");
2381       unlink($difffile);
2382     }
2383
2384     my $source_schema;
2385     {
2386       my $t = SQL::Translator->new($sqltargs);
2387       $t->debug( 0 );
2388       $t->trace( 0 );
2389
2390       $t->parser( $db )
2391         or $self->throw_exception ($t->error);
2392
2393       my $out = $t->translate( $prefilename )
2394         or $self->throw_exception ($t->error);
2395
2396       $source_schema = $t->schema;
2397
2398       $source_schema->name( $prefilename )
2399         unless ( $source_schema->name );
2400     }
2401
2402     # The "new" style of producers have sane normalization and can support
2403     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
2404     # And we have to diff parsed SQL against parsed SQL.
2405     my $dest_schema = $sqlt_schema;
2406
2407     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
2408       my $t = SQL::Translator->new($sqltargs);
2409       $t->debug( 0 );
2410       $t->trace( 0 );
2411
2412       $t->parser( $db )
2413         or $self->throw_exception ($t->error);
2414
2415       my $out = $t->translate( $filename )
2416         or $self->throw_exception ($t->error);
2417
2418       $dest_schema = $t->schema;
2419
2420       $dest_schema->name( $filename )
2421         unless $dest_schema->name;
2422     }
2423
2424     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
2425                                                   $dest_schema,   $db,
2426                                                   $sqltargs
2427                                                  );
2428     if(!open $file, ">$difffile") {
2429       $self->throw_exception("Can't write to $difffile ($!)");
2430       next;
2431     }
2432     print $file $diff;
2433     close($file);
2434   }
2435 }
2436
2437 =head2 deployment_statements
2438
2439 =over 4
2440
2441 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
2442
2443 =back
2444
2445 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
2446
2447 The L<SQL::Translator> (not L<DBI>) database driver name can be explicitly
2448 provided in C<$type>, otherwise the result of L</sqlt_type> is used as default.
2449
2450 C<$directory> is used to return statements from files in a previously created
2451 L</create_ddl_dir> directory and is optional. The filenames are constructed
2452 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
2453
2454 If no C<$directory> is specified then the statements are constructed on the
2455 fly using L<SQL::Translator> and C<$version> is ignored.
2456
2457 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
2458
2459 =cut
2460
2461 sub deployment_statements {
2462   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
2463   $type ||= $self->sqlt_type;
2464   $version ||= $schema->schema_version || '1.x';
2465   $dir ||= './';
2466   my $filename = $schema->ddl_filename($type, $version, $dir);
2467   if(-f $filename)
2468   {
2469       my $file;
2470       open($file, "<$filename")
2471         or $self->throw_exception("Can't open $filename ($!)");
2472       my @rows = <$file>;
2473       close($file);
2474       return join('', @rows);
2475   }
2476
2477   $self->throw_exception(q{Can't deploy without SQL::Translator 0.09003: '}
2478       . $self->_check_sqlt_message . q{'})
2479           if !$self->_check_sqlt_version;
2480
2481   # sources needs to be a parser arg, but for simplicty allow at top level
2482   # coming in
2483   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
2484       if exists $sqltargs->{sources};
2485
2486   my $tr = SQL::Translator->new(
2487     producer => "SQL::Translator::Producer::${type}",
2488     %$sqltargs,
2489     parser => 'SQL::Translator::Parser::DBIx::Class',
2490     data => $schema,
2491   );
2492   return $tr->translate;
2493 }
2494
2495 sub deploy {
2496   my ($self, $schema, $type, $sqltargs, $dir) = @_;
2497   my $deploy = sub {
2498     my $line = shift;
2499     return if($line =~ /^--/);
2500     return if(!$line);
2501     # next if($line =~ /^DROP/m);
2502     return if($line =~ /^BEGIN TRANSACTION/m);
2503     return if($line =~ /^COMMIT/m);
2504     return if $line =~ /^\s+$/; # skip whitespace only
2505     $self->_query_start($line);
2506     eval {
2507       # do a dbh_do cycle here, as we need some error checking in
2508       # place (even though we will ignore errors)
2509       $self->dbh_do (sub { $_[1]->do($line) });
2510     };
2511     if ($@) {
2512       carp qq{$@ (running "${line}")};
2513     }
2514     $self->_query_end($line);
2515   };
2516   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
2517   if (@statements > 1) {
2518     foreach my $statement (@statements) {
2519       $deploy->( $statement );
2520     }
2521   }
2522   elsif (@statements == 1) {
2523     foreach my $line ( split(";\n", $statements[0])) {
2524       $deploy->( $line );
2525     }
2526   }
2527 }
2528
2529 =head2 datetime_parser
2530
2531 Returns the datetime parser class
2532
2533 =cut
2534
2535 sub datetime_parser {
2536   my $self = shift;
2537   return $self->{datetime_parser} ||= do {
2538     $self->_populate_dbh unless $self->_dbh;
2539     $self->build_datetime_parser(@_);
2540   };
2541 }
2542
2543 =head2 datetime_parser_type
2544
2545 Defines (returns) the datetime parser class - currently hardwired to
2546 L<DateTime::Format::MySQL>
2547
2548 =cut
2549
2550 sub datetime_parser_type { "DateTime::Format::MySQL"; }
2551
2552 =head2 build_datetime_parser
2553
2554 See L</datetime_parser>
2555
2556 =cut
2557
2558 sub build_datetime_parser {
2559   my $self = shift;
2560   my $type = $self->datetime_parser_type(@_);
2561   eval "use ${type}";
2562   $self->throw_exception("Couldn't load ${type}: $@") if $@;
2563   return $type;
2564 }
2565
2566 {
2567     my $_check_sqlt_version; # private
2568     my $_check_sqlt_message; # private
2569     sub _check_sqlt_version {
2570         return $_check_sqlt_version if defined $_check_sqlt_version;
2571         eval 'use SQL::Translator "0.09003"';
2572         $_check_sqlt_message = $@ || '';
2573         $_check_sqlt_version = !$@;
2574     }
2575
2576     sub _check_sqlt_message {
2577         _check_sqlt_version if !defined $_check_sqlt_message;
2578         $_check_sqlt_message;
2579     }
2580 }
2581
2582 =head2 is_replicating
2583
2584 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
2585 replicate from a master database.  Default is undef, which is the result
2586 returned by databases that don't support replication.
2587
2588 =cut
2589
2590 sub is_replicating {
2591     return;
2592
2593 }
2594
2595 =head2 lag_behind_master
2596
2597 Returns a number that represents a certain amount of lag behind a master db
2598 when a given storage is replicating.  The number is database dependent, but
2599 starts at zero and increases with the amount of lag. Default in undef
2600
2601 =cut
2602
2603 sub lag_behind_master {
2604     return;
2605 }
2606
2607 sub DESTROY {
2608   my $self = shift;
2609   $self->_verify_pid if $self->_dbh;
2610
2611   # some databases need this to stop spewing warnings
2612   if (my $dbh = $self->_dbh) {
2613     eval { $dbh->disconnect };
2614   }
2615
2616   $self->_dbh(undef);
2617 }
2618
2619 1;
2620
2621 =head1 USAGE NOTES
2622
2623 =head2 DBIx::Class and AutoCommit
2624
2625 DBIx::Class can do some wonderful magic with handling exceptions,
2626 disconnections, and transactions when you use C<< AutoCommit => 1 >>
2627 (the default) combined with C<txn_do> for transaction support.
2628
2629 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
2630 in an assumed transaction between commits, and you're telling us you'd
2631 like to manage that manually.  A lot of the magic protections offered by
2632 this module will go away.  We can't protect you from exceptions due to database
2633 disconnects because we don't know anything about how to restart your
2634 transactions.  You're on your own for handling all sorts of exceptional
2635 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
2636 be with raw DBI.
2637
2638
2639 =head1 AUTHORS
2640
2641 Matt S. Trout <mst@shadowcatsystems.co.uk>
2642
2643 Andy Grundman <andy@hybridized.org>
2644
2645 =head1 LICENSE
2646
2647 You may distribute this code under the same terms as Perl itself.
2648
2649 =cut