New $dbh capability handling - allows someone to say
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI.pm
1 package DBIx::Class::Storage::DBI;
2 # -*- mode: cperl; cperl-indent-level: 2 -*-
3
4 use strict;
5 use warnings;
6
7 use base qw/DBIx::Class::Storage::DBIHacks DBIx::Class::Storage/;
8 use mro 'c3';
9
10 use Carp::Clan qw/^DBIx::Class/;
11 use DBI;
12 use DBIx::Class::Storage::DBI::Cursor;
13 use DBIx::Class::Storage::Statistics;
14 use Scalar::Util qw/refaddr weaken reftype blessed/;
15 use Data::Dumper::Concise 'Dumper';
16 use Sub::Name 'subname';
17 use Try::Tiny;
18 use File::Path 'make_path';
19 use namespace::clean;
20
21 # default cursor class, overridable in connect_info attributes
22 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
23
24 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
25 # default
26 __PACKAGE__->sql_maker_class('DBIx::Class::SQLAHacks');
27
28 __PACKAGE__->mk_group_accessors('simple' => qw/
29   _connect_info _dbi_connect_info _dbic_connect_attributes _driver_determined
30   _dbh _dbh_details _conn_pid _conn_tid _sql_maker _sql_maker_opts
31   transaction_depth _dbh_autocommit  savepoints
32 /);
33
34 # the values for these accessors are picked out (and deleted) from
35 # the attribute hashref passed to connect_info
36 my @storage_options = qw/
37   on_connect_call on_disconnect_call on_connect_do on_disconnect_do
38   disable_sth_caching unsafe auto_savepoint
39 /;
40 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
41
42
43 # capability definitions, using a 2-tiered accessor system
44 # The rationale is:
45 #
46 # A driver/user may define _use_X, which blindly without any checks says:
47 # "(do not) use this capability", (use_dbms_capability is an "inherited"
48 # type accessor)
49 #
50 # If _use_X is undef, _supports_X is then queried. This is a "simple" style
51 # accessor, which in turn calls _determine_supports_X, and stores the return
52 # in a special slot on the storage object, which is wiped every time a $dbh
53 # reconnection takes place (it is not guaranteed that upon reconnection we
54 # will get the same rdbms version). _determine_supports_X does not need to
55 # exist on a driver, as we ->can for it before calling.
56
57 my @capabilities = (qw/insert_returning placeholders typeless_placeholders/);
58 __PACKAGE__->mk_group_accessors( dbms_capability => map { "_supports_$_" } @capabilities );
59 __PACKAGE__->mk_group_accessors( use_dbms_capability => map { "_use_$_" } @capabilities );
60
61
62 # Each of these methods need _determine_driver called before itself
63 # in order to function reliably. This is a purely DRY optimization
64 #
65 # get_(use)_dbms_capability need to be called on the correct Storage
66 # class, as _use_X may be hardcoded class-wide, and _supports_X calls
67 # _determine_supports_X which obv. needs a correct driver as well
68 my @rdbms_specific_methods = qw/
69   deployment_statements
70   sqlt_type
71   sql_maker
72   build_datetime_parser
73   datetime_parser_type
74
75
76   insert
77   insert_bulk
78   update
79   delete
80   select
81   select_single
82
83   get_use_dbms_capability
84   get_dbms_capability
85 /;
86
87 for my $meth (@rdbms_specific_methods) {
88
89   my $orig = __PACKAGE__->can ($meth)
90     or die "$meth is not a ::Storage::DBI method!";
91
92   no strict qw/refs/;
93   no warnings qw/redefine/;
94   *{__PACKAGE__ ."::$meth"} = subname $meth => sub {
95     if (not $_[0]->_driver_determined and not $_[0]->{_in_determine_driver}) {
96       $_[0]->_determine_driver;
97       goto $_[0]->can($meth);
98     }
99     $orig->(@_);
100   };
101 }
102
103
104 =head1 NAME
105
106 DBIx::Class::Storage::DBI - DBI storage handler
107
108 =head1 SYNOPSIS
109
110   my $schema = MySchema->connect('dbi:SQLite:my.db');
111
112   $schema->storage->debug(1);
113
114   my @stuff = $schema->storage->dbh_do(
115     sub {
116       my ($storage, $dbh, @args) = @_;
117       $dbh->do("DROP TABLE authors");
118     },
119     @column_list
120   );
121
122   $schema->resultset('Book')->search({
123      written_on => $schema->storage->datetime_parser->format_datetime(DateTime->now)
124   });
125
126 =head1 DESCRIPTION
127
128 This class represents the connection to an RDBMS via L<DBI>.  See
129 L<DBIx::Class::Storage> for general information.  This pod only
130 documents DBI-specific methods and behaviors.
131
132 =head1 METHODS
133
134 =cut
135
136 sub new {
137   my $new = shift->next::method(@_);
138
139   $new->transaction_depth(0);
140   $new->_sql_maker_opts({});
141   $new->_dbh_details({});
142   $new->{savepoints} = [];
143   $new->{_in_dbh_do} = 0;
144   $new->{_dbh_gen} = 0;
145
146   # read below to see what this does
147   $new->_arm_global_destructor;
148
149   $new;
150 }
151
152 # This is hack to work around perl shooting stuff in random
153 # order on exit(). If we do not walk the remaining storage
154 # objects in an END block, there is a *small but real* chance
155 # of a fork()ed child to kill the parent's shared DBI handle,
156 # *before perl reaches the DESTROY in this package*
157 # Yes, it is ugly and effective.
158 {
159   my %seek_and_destroy;
160
161   sub _arm_global_destructor {
162     my $self = shift;
163     my $key = Scalar::Util::refaddr ($self);
164     $seek_and_destroy{$key} = $self;
165     Scalar::Util::weaken ($seek_and_destroy{$key});
166   }
167
168   END {
169     local $?; # just in case the DBI destructor changes it somehow
170
171     # destroy just the object if not native to this process/thread
172     $_->_preserve_foreign_dbh for (grep
173       { defined $_ }
174       values %seek_and_destroy
175     );
176   }
177 }
178
179 sub DESTROY {
180   my $self = shift;
181
182   # destroy just the object if not native to this process/thread
183   $self->_preserve_foreign_dbh;
184
185   # some databases need this to stop spewing warnings
186   if (my $dbh = $self->_dbh) {
187     try {
188       %{ $dbh->{CachedKids} } = ();
189       $dbh->disconnect;
190     };
191   }
192
193   $self->_dbh(undef);
194 }
195
196 sub _preserve_foreign_dbh {
197   my $self = shift;
198
199   return unless $self->_dbh;
200
201   $self->_verify_tid;
202
203   return unless $self->_dbh;
204
205   $self->_verify_pid;
206
207 }
208
209 # handle pid changes correctly - do not destroy parent's connection
210 sub _verify_pid {
211   my $self = shift;
212
213   return if ( defined $self->_conn_pid and $self->_conn_pid == $$ );
214
215   $self->_dbh->{InactiveDestroy} = 1;
216   $self->_dbh(undef);
217   $self->{_dbh_gen}++;
218
219   return;
220 }
221
222 # very similar to above, but seems to FAIL if I set InactiveDestroy
223 sub _verify_tid {
224   my $self = shift;
225
226   if ( ! defined $self->_conn_tid ) {
227     return; # no threads
228   }
229   elsif ( $self->_conn_tid == threads->tid ) {
230     return; # same thread
231   }
232
233   #$self->_dbh->{InactiveDestroy} = 1;  # why does t/51threads.t fail...?
234   $self->_dbh(undef);
235   $self->{_dbh_gen}++;
236
237   return;
238 }
239
240
241 =head2 connect_info
242
243 This method is normally called by L<DBIx::Class::Schema/connection>, which
244 encapsulates its argument list in an arrayref before passing them here.
245
246 The argument list may contain:
247
248 =over
249
250 =item *
251
252 The same 4-element argument set one would normally pass to
253 L<DBI/connect>, optionally followed by
254 L<extra attributes|/DBIx::Class specific connection attributes>
255 recognized by DBIx::Class:
256
257   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
258
259 =item *
260
261 A single code reference which returns a connected
262 L<DBI database handle|DBI/connect> optionally followed by
263 L<extra attributes|/DBIx::Class specific connection attributes> recognized
264 by DBIx::Class:
265
266   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
267
268 =item *
269
270 A single hashref with all the attributes and the dsn/user/password
271 mixed together:
272
273   $connect_info_args = [{
274     dsn => $dsn,
275     user => $user,
276     password => $pass,
277     %dbi_attributes,
278     %extra_attributes,
279   }];
280
281   $connect_info_args = [{
282     dbh_maker => sub { DBI->connect (...) },
283     %dbi_attributes,
284     %extra_attributes,
285   }];
286
287 This is particularly useful for L<Catalyst> based applications, allowing the
288 following config (L<Config::General> style):
289
290   <Model::DB>
291     schema_class   App::DB
292     <connect_info>
293       dsn          dbi:mysql:database=test
294       user         testuser
295       password     TestPass
296       AutoCommit   1
297     </connect_info>
298   </Model::DB>
299
300 The C<dsn>/C<user>/C<password> combination can be substituted by the
301 C<dbh_maker> key whose value is a coderef that returns a connected
302 L<DBI database handle|DBI/connect>
303
304 =back
305
306 Please note that the L<DBI> docs recommend that you always explicitly
307 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
308 recommends that it be set to I<1>, and that you perform transactions
309 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
310 to I<1> if you do not do explicitly set it to zero.  This is the default
311 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
312
313 =head3 DBIx::Class specific connection attributes
314
315 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
316 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
317 the following connection options. These options can be mixed in with your other
318 L<DBI> connection attributes, or placed in a separate hashref
319 (C<\%extra_attributes>) as shown above.
320
321 Every time C<connect_info> is invoked, any previous settings for
322 these options will be cleared before setting the new ones, regardless of
323 whether any options are specified in the new C<connect_info>.
324
325
326 =over
327
328 =item on_connect_do
329
330 Specifies things to do immediately after connecting or re-connecting to
331 the database.  Its value may contain:
332
333 =over
334
335 =item a scalar
336
337 This contains one SQL statement to execute.
338
339 =item an array reference
340
341 This contains SQL statements to execute in order.  Each element contains
342 a string or a code reference that returns a string.
343
344 =item a code reference
345
346 This contains some code to execute.  Unlike code references within an
347 array reference, its return value is ignored.
348
349 =back
350
351 =item on_disconnect_do
352
353 Takes arguments in the same form as L</on_connect_do> and executes them
354 immediately before disconnecting from the database.
355
356 Note, this only runs if you explicitly call L</disconnect> on the
357 storage object.
358
359 =item on_connect_call
360
361 A more generalized form of L</on_connect_do> that calls the specified
362 C<connect_call_METHOD> methods in your storage driver.
363
364   on_connect_do => 'select 1'
365
366 is equivalent to:
367
368   on_connect_call => [ [ do_sql => 'select 1' ] ]
369
370 Its values may contain:
371
372 =over
373
374 =item a scalar
375
376 Will call the C<connect_call_METHOD> method.
377
378 =item a code reference
379
380 Will execute C<< $code->($storage) >>
381
382 =item an array reference
383
384 Each value can be a method name or code reference.
385
386 =item an array of arrays
387
388 For each array, the first item is taken to be the C<connect_call_> method name
389 or code reference, and the rest are parameters to it.
390
391 =back
392
393 Some predefined storage methods you may use:
394
395 =over
396
397 =item do_sql
398
399 Executes a SQL string or a code reference that returns a SQL string. This is
400 what L</on_connect_do> and L</on_disconnect_do> use.
401
402 It can take:
403
404 =over
405
406 =item a scalar
407
408 Will execute the scalar as SQL.
409
410 =item an arrayref
411
412 Taken to be arguments to L<DBI/do>, the SQL string optionally followed by the
413 attributes hashref and bind values.
414
415 =item a code reference
416
417 Will execute C<< $code->($storage) >> and execute the return array refs as
418 above.
419
420 =back
421
422 =item datetime_setup
423
424 Execute any statements necessary to initialize the database session to return
425 and accept datetime/timestamp values used with
426 L<DBIx::Class::InflateColumn::DateTime>.
427
428 Only necessary for some databases, see your specific storage driver for
429 implementation details.
430
431 =back
432
433 =item on_disconnect_call
434
435 Takes arguments in the same form as L</on_connect_call> and executes them
436 immediately before disconnecting from the database.
437
438 Calls the C<disconnect_call_METHOD> methods as opposed to the
439 C<connect_call_METHOD> methods called by L</on_connect_call>.
440
441 Note, this only runs if you explicitly call L</disconnect> on the
442 storage object.
443
444 =item disable_sth_caching
445
446 If set to a true value, this option will disable the caching of
447 statement handles via L<DBI/prepare_cached>.
448
449 =item limit_dialect
450
451 Sets the limit dialect. This is useful for JDBC-bridge among others
452 where the remote SQL-dialect cannot be determined by the name of the
453 driver alone. See also L<SQL::Abstract::Limit>.
454
455 =item quote_char
456
457 Specifies what characters to use to quote table and column names. If
458 you use this you will want to specify L</name_sep> as well.
459
460 C<quote_char> expects either a single character, in which case is it
461 is placed on either side of the table/column name, or an arrayref of length
462 2 in which case the table/column name is placed between the elements.
463
464 For example under MySQL you should use C<< quote_char => '`' >>, and for
465 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
466
467 =item name_sep
468
469 This only needs to be used in conjunction with C<quote_char>, and is used to
470 specify the character that separates elements (schemas, tables, columns) from
471 each other. In most cases this is simply a C<.>.
472
473 The consequences of not supplying this value is that L<SQL::Abstract>
474 will assume DBIx::Class' uses of aliases to be complete column
475 names. The output will look like I<"me.name"> when it should actually
476 be I<"me"."name">.
477
478 =item unsafe
479
480 This Storage driver normally installs its own C<HandleError>, sets
481 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
482 all database handles, including those supplied by a coderef.  It does this
483 so that it can have consistent and useful error behavior.
484
485 If you set this option to a true value, Storage will not do its usual
486 modifications to the database handle's attributes, and instead relies on
487 the settings in your connect_info DBI options (or the values you set in
488 your connection coderef, in the case that you are connecting via coderef).
489
490 Note that your custom settings can cause Storage to malfunction,
491 especially if you set a C<HandleError> handler that suppresses exceptions
492 and/or disable C<RaiseError>.
493
494 =item auto_savepoint
495
496 If this option is true, L<DBIx::Class> will use savepoints when nesting
497 transactions, making it possible to recover from failure in the inner
498 transaction without having to abort all outer transactions.
499
500 =item cursor_class
501
502 Use this argument to supply a cursor class other than the default
503 L<DBIx::Class::Storage::DBI::Cursor>.
504
505 =back
506
507 Some real-life examples of arguments to L</connect_info> and
508 L<DBIx::Class::Schema/connect>
509
510   # Simple SQLite connection
511   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
512
513   # Connect via subref
514   ->connect_info([ sub { DBI->connect(...) } ]);
515
516   # Connect via subref in hashref
517   ->connect_info([{
518     dbh_maker => sub { DBI->connect(...) },
519     on_connect_do => 'alter session ...',
520   }]);
521
522   # A bit more complicated
523   ->connect_info(
524     [
525       'dbi:Pg:dbname=foo',
526       'postgres',
527       'my_pg_password',
528       { AutoCommit => 1 },
529       { quote_char => q{"}, name_sep => q{.} },
530     ]
531   );
532
533   # Equivalent to the previous example
534   ->connect_info(
535     [
536       'dbi:Pg:dbname=foo',
537       'postgres',
538       'my_pg_password',
539       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
540     ]
541   );
542
543   # Same, but with hashref as argument
544   # See parse_connect_info for explanation
545   ->connect_info(
546     [{
547       dsn         => 'dbi:Pg:dbname=foo',
548       user        => 'postgres',
549       password    => 'my_pg_password',
550       AutoCommit  => 1,
551       quote_char  => q{"},
552       name_sep    => q{.},
553     }]
554   );
555
556   # Subref + DBIx::Class-specific connection options
557   ->connect_info(
558     [
559       sub { DBI->connect(...) },
560       {
561           quote_char => q{`},
562           name_sep => q{@},
563           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
564           disable_sth_caching => 1,
565       },
566     ]
567   );
568
569
570
571 =cut
572
573 sub connect_info {
574   my ($self, $info) = @_;
575
576   return $self->_connect_info if !$info;
577
578   $self->_connect_info($info); # copy for _connect_info
579
580   $info = $self->_normalize_connect_info($info)
581     if ref $info eq 'ARRAY';
582
583   for my $storage_opt (keys %{ $info->{storage_options} }) {
584     my $value = $info->{storage_options}{$storage_opt};
585
586     $self->$storage_opt($value);
587   }
588
589   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
590   #  the new set of options
591   $self->_sql_maker(undef);
592   $self->_sql_maker_opts({});
593
594   for my $sql_maker_opt (keys %{ $info->{sql_maker_options} }) {
595     my $value = $info->{sql_maker_options}{$sql_maker_opt};
596
597     $self->_sql_maker_opts->{$sql_maker_opt} = $value;
598   }
599
600   my %attrs = (
601     %{ $self->_default_dbi_connect_attributes || {} },
602     %{ $info->{attributes} || {} },
603   );
604
605   my @args = @{ $info->{arguments} };
606
607   $self->_dbi_connect_info([@args,
608     %attrs && !(ref $args[0] eq 'CODE') ? \%attrs : ()]);
609
610   # FIXME - dirty:
611   # save attributes them in a separate accessor so they are always
612   # introspectable, even in case of a CODE $dbhmaker
613   $self->_dbic_connect_attributes (\%attrs);
614
615   return $self->_connect_info;
616 }
617
618 sub _normalize_connect_info {
619   my ($self, $info_arg) = @_;
620   my %info;
621
622   my @args = @$info_arg;  # take a shallow copy for further mutilation
623
624   # combine/pre-parse arguments depending on invocation style
625
626   my %attrs;
627   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
628     %attrs = %{ $args[1] || {} };
629     @args = $args[0];
630   }
631   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
632     %attrs = %{$args[0]};
633     @args = ();
634     if (my $code = delete $attrs{dbh_maker}) {
635       @args = $code;
636
637       my @ignored = grep { delete $attrs{$_} } (qw/dsn user password/);
638       if (@ignored) {
639         carp sprintf (
640             'Attribute(s) %s in connect_info were ignored, as they can not be applied '
641           . "to the result of 'dbh_maker'",
642
643           join (', ', map { "'$_'" } (@ignored) ),
644         );
645       }
646     }
647     else {
648       @args = delete @attrs{qw/dsn user password/};
649     }
650   }
651   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
652     %attrs = (
653       % { $args[3] || {} },
654       % { $args[4] || {} },
655     );
656     @args = @args[0,1,2];
657   }
658
659   $info{arguments} = \@args;
660
661   my @storage_opts = grep exists $attrs{$_},
662     @storage_options, 'cursor_class';
663
664   @{ $info{storage_options} }{@storage_opts} =
665     delete @attrs{@storage_opts} if @storage_opts;
666
667   my @sql_maker_opts = grep exists $attrs{$_},
668     qw/limit_dialect quote_char name_sep/;
669
670   @{ $info{sql_maker_options} }{@sql_maker_opts} =
671     delete @attrs{@sql_maker_opts} if @sql_maker_opts;
672
673   $info{attributes} = \%attrs if %attrs;
674
675   return \%info;
676 }
677
678 sub _default_dbi_connect_attributes {
679   return {
680     AutoCommit => 1,
681     RaiseError => 1,
682     PrintError => 0,
683   };
684 }
685
686 =head2 on_connect_do
687
688 This method is deprecated in favour of setting via L</connect_info>.
689
690 =cut
691
692 =head2 on_disconnect_do
693
694 This method is deprecated in favour of setting via L</connect_info>.
695
696 =cut
697
698 sub _parse_connect_do {
699   my ($self, $type) = @_;
700
701   my $val = $self->$type;
702   return () if not defined $val;
703
704   my @res;
705
706   if (not ref($val)) {
707     push @res, [ 'do_sql', $val ];
708   } elsif (ref($val) eq 'CODE') {
709     push @res, $val;
710   } elsif (ref($val) eq 'ARRAY') {
711     push @res, map { [ 'do_sql', $_ ] } @$val;
712   } else {
713     $self->throw_exception("Invalid type for $type: ".ref($val));
714   }
715
716   return \@res;
717 }
718
719 =head2 dbh_do
720
721 Arguments: ($subref | $method_name), @extra_coderef_args?
722
723 Execute the given $subref or $method_name using the new exception-based
724 connection management.
725
726 The first two arguments will be the storage object that C<dbh_do> was called
727 on and a database handle to use.  Any additional arguments will be passed
728 verbatim to the called subref as arguments 2 and onwards.
729
730 Using this (instead of $self->_dbh or $self->dbh) ensures correct
731 exception handling and reconnection (or failover in future subclasses).
732
733 Your subref should have no side-effects outside of the database, as
734 there is the potential for your subref to be partially double-executed
735 if the database connection was stale/dysfunctional.
736
737 Example:
738
739   my @stuff = $schema->storage->dbh_do(
740     sub {
741       my ($storage, $dbh, @cols) = @_;
742       my $cols = join(q{, }, @cols);
743       $dbh->selectrow_array("SELECT $cols FROM foo");
744     },
745     @column_list
746   );
747
748 =cut
749
750 sub dbh_do {
751   my $self = shift;
752   my $code = shift;
753
754   my $dbh = $self->_get_dbh;
755
756   return $self->$code($dbh, @_)
757     if ( $self->{_in_dbh_do} || $self->{transaction_depth} );
758
759   local $self->{_in_dbh_do} = 1;
760
761   # take a ref instead of a copy, to preserve coderef @_ aliasing semantics
762   my $args = \@_;
763   return try {
764     $self->$code ($dbh, @$args);
765   } catch {
766     $self->throw_exception($_) if $self->connected;
767
768     # We were not connected - reconnect and retry, but let any
769     #  exception fall right through this time
770     carp "Retrying $code after catching disconnected exception: $_"
771       if $ENV{DBIC_DBIRETRY_DEBUG};
772
773     $self->_populate_dbh;
774     $self->$code($self->_dbh, @$args);
775   };
776 }
777
778 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
779 # It also informs dbh_do to bypass itself while under the direction of txn_do,
780 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
781 sub txn_do {
782   my $self = shift;
783   my $coderef = shift;
784
785   ref $coderef eq 'CODE' or $self->throw_exception
786     ('$coderef must be a CODE reference');
787
788   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
789
790   local $self->{_in_dbh_do} = 1;
791
792   my @result;
793   my $want_array = wantarray;
794
795   my $tried = 0;
796   while(1) {
797     my $exception;
798
799     # take a ref instead of a copy, to preserve coderef @_ aliasing semantics
800     my $args = \@_;
801
802     try {
803       $self->_get_dbh;
804
805       $self->txn_begin;
806       if($want_array) {
807           @result = $coderef->(@$args);
808       }
809       elsif(defined $want_array) {
810           $result[0] = $coderef->(@$args);
811       }
812       else {
813           $coderef->(@$args);
814       }
815       $self->txn_commit;
816     } catch {
817       $exception = $_;
818     };
819
820     if(! defined $exception) { return $want_array ? @result : $result[0] }
821
822     if($tried++ || $self->connected) {
823       my $rollback_exception;
824       try { $self->txn_rollback } catch { $rollback_exception = shift };
825       if(defined $rollback_exception) {
826         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
827         $self->throw_exception($exception)  # propagate nested rollback
828           if $rollback_exception =~ /$exception_class/;
829
830         $self->throw_exception(
831           "Transaction aborted: ${exception}. "
832           . "Rollback failed: ${rollback_exception}"
833         );
834       }
835       $self->throw_exception($exception)
836     }
837
838     # We were not connected, and was first try - reconnect and retry
839     # via the while loop
840     carp "Retrying $coderef after catching disconnected exception: $exception"
841       if $ENV{DBIC_DBIRETRY_DEBUG};
842     $self->_populate_dbh;
843   }
844 }
845
846 =head2 disconnect
847
848 Our C<disconnect> method also performs a rollback first if the
849 database is not in C<AutoCommit> mode.
850
851 =cut
852
853 sub disconnect {
854   my ($self) = @_;
855
856   if( $self->_dbh ) {
857     my @actions;
858
859     push @actions, ( $self->on_disconnect_call || () );
860     push @actions, $self->_parse_connect_do ('on_disconnect_do');
861
862     $self->_do_connection_actions(disconnect_call_ => $_) for @actions;
863
864     $self->_dbh_rollback unless $self->_dbh_autocommit;
865
866     %{ $self->_dbh->{CachedKids} } = ();
867     $self->_dbh->disconnect;
868     $self->_dbh(undef);
869     $self->{_dbh_gen}++;
870   }
871 }
872
873 =head2 with_deferred_fk_checks
874
875 =over 4
876
877 =item Arguments: C<$coderef>
878
879 =item Return Value: The return value of $coderef
880
881 =back
882
883 Storage specific method to run the code ref with FK checks deferred or
884 in MySQL's case disabled entirely.
885
886 =cut
887
888 # Storage subclasses should override this
889 sub with_deferred_fk_checks {
890   my ($self, $sub) = @_;
891   $sub->();
892 }
893
894 =head2 connected
895
896 =over
897
898 =item Arguments: none
899
900 =item Return Value: 1|0
901
902 =back
903
904 Verifies that the current database handle is active and ready to execute
905 an SQL statement (e.g. the connection did not get stale, server is still
906 answering, etc.) This method is used internally by L</dbh>.
907
908 =cut
909
910 sub connected {
911   my $self = shift;
912   return 0 unless $self->_seems_connected;
913
914   #be on the safe side
915   local $self->_dbh->{RaiseError} = 1;
916
917   return $self->_ping;
918 }
919
920 sub _seems_connected {
921   my $self = shift;
922
923   $self->_preserve_foreign_dbh;
924
925   my $dbh = $self->_dbh
926     or return 0;
927
928   return $dbh->FETCH('Active');
929 }
930
931 sub _ping {
932   my $self = shift;
933
934   my $dbh = $self->_dbh or return 0;
935
936   return $dbh->ping;
937 }
938
939 sub ensure_connected {
940   my ($self) = @_;
941
942   unless ($self->connected) {
943     $self->_populate_dbh;
944   }
945 }
946
947 =head2 dbh
948
949 Returns a C<$dbh> - a data base handle of class L<DBI>. The returned handle
950 is guaranteed to be healthy by implicitly calling L</connected>, and if
951 necessary performing a reconnection before returning. Keep in mind that this
952 is very B<expensive> on some database engines. Consider using L</dbh_do>
953 instead.
954
955 =cut
956
957 sub dbh {
958   my ($self) = @_;
959
960   if (not $self->_dbh) {
961     $self->_populate_dbh;
962   } else {
963     $self->ensure_connected;
964   }
965   return $self->_dbh;
966 }
967
968 # this is the internal "get dbh or connect (don't check)" method
969 sub _get_dbh {
970   my $self = shift;
971   $self->_preserve_foreign_dbh;
972   $self->_populate_dbh unless $self->_dbh;
973   return $self->_dbh;
974 }
975
976 sub _sql_maker_args {
977     my ($self) = @_;
978
979     return (
980       bindtype=>'columns',
981       array_datatypes => 1,
982       limit_dialect => $self->_get_dbh,
983       %{$self->_sql_maker_opts}
984     );
985 }
986
987 sub sql_maker {
988   my ($self) = @_;
989   unless ($self->_sql_maker) {
990     my $sql_maker_class = $self->sql_maker_class;
991     $self->ensure_class_loaded ($sql_maker_class);
992     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
993   }
994   return $self->_sql_maker;
995 }
996
997 # nothing to do by default
998 sub _rebless {}
999 sub _init {}
1000
1001 sub _populate_dbh {
1002   my ($self) = @_;
1003
1004   my @info = @{$self->_dbi_connect_info || []};
1005   $self->_dbh(undef); # in case ->connected failed we might get sent here
1006   $self->_dbh_details({}); # reset everything we know
1007
1008   $self->_dbh($self->_connect(@info));
1009
1010   $self->_conn_pid($$);
1011   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
1012
1013   $self->_determine_driver;
1014
1015   # Always set the transaction depth on connect, since
1016   #  there is no transaction in progress by definition
1017   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1018
1019   $self->_run_connection_actions unless $self->{_in_determine_driver};
1020 }
1021
1022 sub _run_connection_actions {
1023   my $self = shift;
1024   my @actions;
1025
1026   push @actions, ( $self->on_connect_call || () );
1027   push @actions, $self->_parse_connect_do ('on_connect_do');
1028
1029   $self->_do_connection_actions(connect_call_ => $_) for @actions;
1030 }
1031
1032
1033
1034 sub set_use_dbms_capability {
1035   $_[0]->set_inherited ($_[1], $_[2]);
1036 }
1037
1038 sub get_use_dbms_capability {
1039   my ($self, $capname) = @_;
1040
1041   my $use = $self->get_inherited ($capname);
1042   return defined $use
1043     ? $use
1044     : do { $capname =~ s/^_use_/_supports_/; $self->get_dbms_capability ($capname) }
1045   ;
1046 }
1047
1048 sub set_dbms_capability {
1049   $_[0]->_dbh_details->{capability}{$_[1]} = $_[2];
1050 }
1051
1052 sub get_dbms_capability {
1053   my ($self, $capname) = @_;
1054
1055   my $cap = $self->_dbh_details->{capability}{$capname};
1056
1057   unless (defined $cap) {
1058     if (my $meth = $self->can ("_determine$capname")) {
1059       $cap = $self->$meth ? 1 : 0;
1060     }
1061     else {
1062       $cap = 0;
1063     }
1064
1065     $self->set_dbms_capability ($capname, $cap);
1066   }
1067
1068   return $cap;
1069 }
1070
1071 sub _server_info {
1072   my $self = shift;
1073
1074   my $info;
1075   unless ($info = $self->_dbh_details->{info}) {
1076
1077     $info = {};
1078
1079     my $server_version = try { $self->_get_server_version };
1080
1081     if (defined $server_version) {
1082       $info->{dbms_version} = $server_version;
1083
1084       my ($numeric_version) = $server_version =~ /^([\d\.]+)/;
1085       my @verparts = split (/\./, $numeric_version);
1086       if (
1087         @verparts
1088           &&
1089         $verparts[0] <= 999
1090       ) {
1091         # consider only up to 3 version parts, iff not more than 3 digits
1092         my @use_parts;
1093         while (@verparts && @use_parts < 3) {
1094           my $p = shift @verparts;
1095           last if $p > 999;
1096           push @use_parts, $p;
1097         }
1098         push @use_parts, 0 while @use_parts < 3;
1099
1100         $info->{normalized_dbms_version} = sprintf "%d.%03d%03d", @use_parts;
1101       }
1102     }
1103
1104     $self->_dbh_details->{info} = $info;
1105   }
1106
1107   return $info;
1108 }
1109
1110 sub _get_server_version {
1111   shift->_get_dbh->get_info(18);
1112 }
1113
1114 sub _determine_driver {
1115   my ($self) = @_;
1116
1117   if ((not $self->_driver_determined) && (not $self->{_in_determine_driver})) {
1118     my $started_connected = 0;
1119     local $self->{_in_determine_driver} = 1;
1120
1121     if (ref($self) eq __PACKAGE__) {
1122       my $driver;
1123       if ($self->_dbh) { # we are connected
1124         $driver = $self->_dbh->{Driver}{Name};
1125         $started_connected = 1;
1126       } else {
1127         # if connect_info is a CODEREF, we have no choice but to connect
1128         if (ref $self->_dbi_connect_info->[0] &&
1129             reftype $self->_dbi_connect_info->[0] eq 'CODE') {
1130           $self->_populate_dbh;
1131           $driver = $self->_dbh->{Driver}{Name};
1132         }
1133         else {
1134           # try to use dsn to not require being connected, the driver may still
1135           # force a connection in _rebless to determine version
1136           # (dsn may not be supplied at all if all we do is make a mock-schema)
1137           my $dsn = $self->_dbi_connect_info->[0] || $ENV{DBI_DSN} || '';
1138           ($driver) = $dsn =~ /dbi:([^:]+):/i;
1139           $driver ||= $ENV{DBI_DRIVER};
1140         }
1141       }
1142
1143       if ($driver) {
1144         my $storage_class = "DBIx::Class::Storage::DBI::${driver}";
1145         if ($self->load_optional_class($storage_class)) {
1146           mro::set_mro($storage_class, 'c3');
1147           bless $self, $storage_class;
1148           $self->_rebless();
1149         }
1150       }
1151     }
1152
1153     $self->_driver_determined(1);
1154
1155     $self->_init; # run driver-specific initializations
1156
1157     $self->_run_connection_actions
1158         if !$started_connected && defined $self->_dbh;
1159   }
1160 }
1161
1162 sub _do_connection_actions {
1163   my $self          = shift;
1164   my $method_prefix = shift;
1165   my $call          = shift;
1166
1167   if (not ref($call)) {
1168     my $method = $method_prefix . $call;
1169     $self->$method(@_);
1170   } elsif (ref($call) eq 'CODE') {
1171     $self->$call(@_);
1172   } elsif (ref($call) eq 'ARRAY') {
1173     if (ref($call->[0]) ne 'ARRAY') {
1174       $self->_do_connection_actions($method_prefix, $_) for @$call;
1175     } else {
1176       $self->_do_connection_actions($method_prefix, @$_) for @$call;
1177     }
1178   } else {
1179     $self->throw_exception (sprintf ("Don't know how to process conection actions of type '%s'", ref($call)) );
1180   }
1181
1182   return $self;
1183 }
1184
1185 sub connect_call_do_sql {
1186   my $self = shift;
1187   $self->_do_query(@_);
1188 }
1189
1190 sub disconnect_call_do_sql {
1191   my $self = shift;
1192   $self->_do_query(@_);
1193 }
1194
1195 # override in db-specific backend when necessary
1196 sub connect_call_datetime_setup { 1 }
1197
1198 sub _do_query {
1199   my ($self, $action) = @_;
1200
1201   if (ref $action eq 'CODE') {
1202     $action = $action->($self);
1203     $self->_do_query($_) foreach @$action;
1204   }
1205   else {
1206     # Most debuggers expect ($sql, @bind), so we need to exclude
1207     # the attribute hash which is the second argument to $dbh->do
1208     # furthermore the bind values are usually to be presented
1209     # as named arrayref pairs, so wrap those here too
1210     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
1211     my $sql = shift @do_args;
1212     my $attrs = shift @do_args;
1213     my @bind = map { [ undef, $_ ] } @do_args;
1214
1215     $self->_query_start($sql, @bind);
1216     $self->_get_dbh->do($sql, $attrs, @do_args);
1217     $self->_query_end($sql, @bind);
1218   }
1219
1220   return $self;
1221 }
1222
1223 sub _connect {
1224   my ($self, @info) = @_;
1225
1226   $self->throw_exception("You failed to provide any connection info")
1227     if !@info;
1228
1229   my ($old_connect_via, $dbh);
1230
1231   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
1232     $old_connect_via = $DBI::connect_via;
1233     $DBI::connect_via = 'connect';
1234   }
1235
1236   try {
1237     if(ref $info[0] eq 'CODE') {
1238        $dbh = $info[0]->();
1239     }
1240     else {
1241        $dbh = DBI->connect(@info);
1242     }
1243
1244     if (!$dbh) {
1245       die $DBI::errstr;
1246     }
1247
1248     unless ($self->unsafe) {
1249
1250       # this odd anonymous coderef dereference is in fact really
1251       # necessary to avoid the unwanted effect described in perl5
1252       # RT#75792
1253       sub {
1254         my $weak_self = $_[0];
1255         weaken $weak_self;
1256
1257         $_[1]->{HandleError} = sub {
1258           if ($weak_self) {
1259             $weak_self->throw_exception("DBI Exception: $_[0]");
1260           }
1261           else {
1262             # the handler may be invoked by something totally out of
1263             # the scope of DBIC
1264             croak ("DBI Exception (unhandled by DBIC, ::Schema GCed): $_[0]");
1265           }
1266         };
1267       }->($self, $dbh);
1268
1269       $dbh->{ShowErrorStatement} = 1;
1270       $dbh->{RaiseError} = 1;
1271       $dbh->{PrintError} = 0;
1272     }
1273   }
1274   catch {
1275     $self->throw_exception("DBI Connection failed: $_")
1276   }
1277   finally {
1278     $DBI::connect_via = $old_connect_via if $old_connect_via;
1279   };
1280
1281   $self->_dbh_autocommit($dbh->{AutoCommit});
1282   $dbh;
1283 }
1284
1285 sub svp_begin {
1286   my ($self, $name) = @_;
1287
1288   $name = $self->_svp_generate_name
1289     unless defined $name;
1290
1291   $self->throw_exception ("You can't use savepoints outside a transaction")
1292     if $self->{transaction_depth} == 0;
1293
1294   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1295     unless $self->can('_svp_begin');
1296
1297   push @{ $self->{savepoints} }, $name;
1298
1299   $self->debugobj->svp_begin($name) if $self->debug;
1300
1301   return $self->_svp_begin($name);
1302 }
1303
1304 sub svp_release {
1305   my ($self, $name) = @_;
1306
1307   $self->throw_exception ("You can't use savepoints outside a transaction")
1308     if $self->{transaction_depth} == 0;
1309
1310   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1311     unless $self->can('_svp_release');
1312
1313   if (defined $name) {
1314     $self->throw_exception ("Savepoint '$name' does not exist")
1315       unless grep { $_ eq $name } @{ $self->{savepoints} };
1316
1317     # Dig through the stack until we find the one we are releasing.  This keeps
1318     # the stack up to date.
1319     my $svp;
1320
1321     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1322   } else {
1323     $name = pop @{ $self->{savepoints} };
1324   }
1325
1326   $self->debugobj->svp_release($name) if $self->debug;
1327
1328   return $self->_svp_release($name);
1329 }
1330
1331 sub svp_rollback {
1332   my ($self, $name) = @_;
1333
1334   $self->throw_exception ("You can't use savepoints outside a transaction")
1335     if $self->{transaction_depth} == 0;
1336
1337   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1338     unless $self->can('_svp_rollback');
1339
1340   if (defined $name) {
1341       # If they passed us a name, verify that it exists in the stack
1342       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1343           $self->throw_exception("Savepoint '$name' does not exist!");
1344       }
1345
1346       # Dig through the stack until we find the one we are releasing.  This keeps
1347       # the stack up to date.
1348       while(my $s = pop(@{ $self->{savepoints} })) {
1349           last if($s eq $name);
1350       }
1351       # Add the savepoint back to the stack, as a rollback doesn't remove the
1352       # named savepoint, only everything after it.
1353       push(@{ $self->{savepoints} }, $name);
1354   } else {
1355       # We'll assume they want to rollback to the last savepoint
1356       $name = $self->{savepoints}->[-1];
1357   }
1358
1359   $self->debugobj->svp_rollback($name) if $self->debug;
1360
1361   return $self->_svp_rollback($name);
1362 }
1363
1364 sub _svp_generate_name {
1365     my ($self) = @_;
1366
1367     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1368 }
1369
1370 sub txn_begin {
1371   my $self = shift;
1372
1373   # this means we have not yet connected and do not know the AC status
1374   # (e.g. coderef $dbh)
1375   $self->ensure_connected if (! defined $self->_dbh_autocommit);
1376
1377   if($self->{transaction_depth} == 0) {
1378     $self->debugobj->txn_begin()
1379       if $self->debug;
1380     $self->_dbh_begin_work;
1381   }
1382   elsif ($self->auto_savepoint) {
1383     $self->svp_begin;
1384   }
1385   $self->{transaction_depth}++;
1386 }
1387
1388 sub _dbh_begin_work {
1389   my $self = shift;
1390
1391   # if the user is utilizing txn_do - good for him, otherwise we need to
1392   # ensure that the $dbh is healthy on BEGIN.
1393   # We do this via ->dbh_do instead of ->dbh, so that the ->dbh "ping"
1394   # will be replaced by a failure of begin_work itself (which will be
1395   # then retried on reconnect)
1396   if ($self->{_in_dbh_do}) {
1397     $self->_dbh->begin_work;
1398   } else {
1399     $self->dbh_do(sub { $_[1]->begin_work });
1400   }
1401 }
1402
1403 sub txn_commit {
1404   my $self = shift;
1405   if ($self->{transaction_depth} == 1) {
1406     $self->debugobj->txn_commit()
1407       if ($self->debug);
1408     $self->_dbh_commit;
1409     $self->{transaction_depth} = 0
1410       if $self->_dbh_autocommit;
1411   }
1412   elsif($self->{transaction_depth} > 1) {
1413     $self->{transaction_depth}--;
1414     $self->svp_release
1415       if $self->auto_savepoint;
1416   }
1417 }
1418
1419 sub _dbh_commit {
1420   my $self = shift;
1421   my $dbh  = $self->_dbh
1422     or $self->throw_exception('cannot COMMIT on a disconnected handle');
1423   $dbh->commit;
1424 }
1425
1426 sub txn_rollback {
1427   my $self = shift;
1428   my $dbh = $self->_dbh;
1429   try {
1430     if ($self->{transaction_depth} == 1) {
1431       $self->debugobj->txn_rollback()
1432         if ($self->debug);
1433       $self->{transaction_depth} = 0
1434         if $self->_dbh_autocommit;
1435       $self->_dbh_rollback;
1436     }
1437     elsif($self->{transaction_depth} > 1) {
1438       $self->{transaction_depth}--;
1439       if ($self->auto_savepoint) {
1440         $self->svp_rollback;
1441         $self->svp_release;
1442       }
1443     }
1444     else {
1445       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1446     }
1447   }
1448   catch {
1449     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1450
1451     if ($_ !~ /$exception_class/) {
1452       # ensure that a failed rollback resets the transaction depth
1453       $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1454     }
1455
1456     $self->throw_exception($_)
1457   };
1458 }
1459
1460 sub _dbh_rollback {
1461   my $self = shift;
1462   my $dbh  = $self->_dbh
1463     or $self->throw_exception('cannot ROLLBACK on a disconnected handle');
1464   $dbh->rollback;
1465 }
1466
1467 # This used to be the top-half of _execute.  It was split out to make it
1468 #  easier to override in NoBindVars without duping the rest.  It takes up
1469 #  all of _execute's args, and emits $sql, @bind.
1470 sub _prep_for_execute {
1471   my ($self, $op, $extra_bind, $ident, $args) = @_;
1472
1473   if( blessed $ident && $ident->isa("DBIx::Class::ResultSource") ) {
1474     $ident = $ident->from();
1475   }
1476
1477   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1478
1479   unshift(@bind,
1480     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1481       if $extra_bind;
1482   return ($sql, \@bind);
1483 }
1484
1485
1486 sub _fix_bind_params {
1487     my ($self, @bind) = @_;
1488
1489     ### Turn @bind from something like this:
1490     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1491     ### to this:
1492     ###   ( "'1'", "'1'", "'3'" )
1493     return
1494         map {
1495             if ( defined( $_ && $_->[1] ) ) {
1496                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1497             }
1498             else { q{'NULL'}; }
1499         } @bind;
1500 }
1501
1502 sub _query_start {
1503     my ( $self, $sql, @bind ) = @_;
1504
1505     if ( $self->debug ) {
1506         @bind = $self->_fix_bind_params(@bind);
1507
1508         $self->debugobj->query_start( $sql, @bind );
1509     }
1510 }
1511
1512 sub _query_end {
1513     my ( $self, $sql, @bind ) = @_;
1514
1515     if ( $self->debug ) {
1516         @bind = $self->_fix_bind_params(@bind);
1517         $self->debugobj->query_end( $sql, @bind );
1518     }
1519 }
1520
1521 sub _dbh_execute {
1522   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1523
1524   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1525
1526   $self->_query_start( $sql, @$bind );
1527
1528   my $sth = $self->sth($sql,$op);
1529
1530   my $placeholder_index = 1;
1531
1532   foreach my $bound (@$bind) {
1533     my $attributes = {};
1534     my($column_name, @data) = @$bound;
1535
1536     if ($bind_attributes) {
1537       $attributes = $bind_attributes->{$column_name}
1538       if defined $bind_attributes->{$column_name};
1539     }
1540
1541     foreach my $data (@data) {
1542       my $ref = ref $data;
1543       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1544
1545       $sth->bind_param($placeholder_index, $data, $attributes);
1546       $placeholder_index++;
1547     }
1548   }
1549
1550   # Can this fail without throwing an exception anyways???
1551   my $rv = $sth->execute();
1552   $self->throw_exception(
1553     $sth->errstr || $sth->err || 'Unknown error: execute() returned false, but error flags were not set...'
1554   ) if !$rv;
1555
1556   $self->_query_end( $sql, @$bind );
1557
1558   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1559 }
1560
1561 sub _execute {
1562     my $self = shift;
1563     $self->dbh_do('_dbh_execute', @_);  # retry over disconnects
1564 }
1565
1566 sub _prefetch_insert_auto_nextvals {
1567   my ($self, $source, $to_insert) = @_;
1568
1569   my $upd = {};
1570
1571   foreach my $col ( $source->columns ) {
1572     if ( !defined $to_insert->{$col} ) {
1573       my $col_info = $source->column_info($col);
1574
1575       if ( $col_info->{auto_nextval} ) {
1576         $upd->{$col} = $to_insert->{$col} = $self->_sequence_fetch(
1577           'nextval',
1578           $col_info->{sequence} ||=
1579             $self->_dbh_get_autoinc_seq($self->_get_dbh, $source, $col)
1580         );
1581       }
1582     }
1583   }
1584
1585   return $upd;
1586 }
1587
1588 sub insert {
1589   my $self = shift;
1590   my ($source, $to_insert, $opts) = @_;
1591
1592   my $updated_cols = $self->_prefetch_insert_auto_nextvals (@_);
1593
1594   my $bind_attributes = $self->source_bind_attributes($source);
1595
1596   my ($rv, $sth) = $self->_execute('insert' => [], $source, $bind_attributes, $to_insert, $opts);
1597
1598   if ($opts->{returning}) {
1599     my @ret_cols = @{$opts->{returning}};
1600
1601     my @ret_vals = try {
1602       local $SIG{__WARN__} = sub {};
1603       my @r = $sth->fetchrow_array;
1604       $sth->finish;
1605       @r;
1606     };
1607
1608     my %ret;
1609     @ret{@ret_cols} = @ret_vals if (@ret_vals);
1610
1611     $updated_cols = {
1612       %$updated_cols,
1613       %ret,
1614     };
1615   }
1616
1617   return $updated_cols;
1618 }
1619
1620 ## Currently it is assumed that all values passed will be "normal", i.e. not
1621 ## scalar refs, or at least, all the same type as the first set, the statement is
1622 ## only prepped once.
1623 sub insert_bulk {
1624   my ($self, $source, $cols, $data) = @_;
1625
1626   my %colvalues;
1627   @colvalues{@$cols} = (0..$#$cols);
1628
1629   for my $i (0..$#$cols) {
1630     my $first_val = $data->[0][$i];
1631     next unless ref $first_val eq 'SCALAR';
1632
1633     $colvalues{ $cols->[$i] } = $first_val;
1634   }
1635
1636   # check for bad data and stringify stringifiable objects
1637   my $bad_slice = sub {
1638     my ($msg, $col_idx, $slice_idx) = @_;
1639     $self->throw_exception(sprintf "%s for column '%s' in populate slice:\n%s",
1640       $msg,
1641       $cols->[$col_idx],
1642       do {
1643         local $Data::Dumper::Maxdepth = 1; # don't dump objects, if any
1644         Dumper {
1645           map { $cols->[$_] => $data->[$slice_idx][$_] } (0 .. $#$cols)
1646         },
1647       }
1648     );
1649   };
1650
1651   for my $datum_idx (0..$#$data) {
1652     my $datum = $data->[$datum_idx];
1653
1654     for my $col_idx (0..$#$cols) {
1655       my $val            = $datum->[$col_idx];
1656       my $sqla_bind      = $colvalues{ $cols->[$col_idx] };
1657       my $is_literal_sql = (ref $sqla_bind) eq 'SCALAR';
1658
1659       if ($is_literal_sql) {
1660         if (not ref $val) {
1661           $bad_slice->('bind found where literal SQL expected', $col_idx, $datum_idx);
1662         }
1663         elsif ((my $reftype = ref $val) ne 'SCALAR') {
1664           $bad_slice->("$reftype reference found where literal SQL expected",
1665             $col_idx, $datum_idx);
1666         }
1667         elsif ($$val ne $$sqla_bind){
1668           $bad_slice->("inconsistent literal SQL value, expecting: '$$sqla_bind'",
1669             $col_idx, $datum_idx);
1670         }
1671       }
1672       elsif (my $reftype = ref $val) {
1673         require overload;
1674         if (overload::Method($val, '""')) {
1675           $datum->[$col_idx] = "".$val;
1676         }
1677         else {
1678           $bad_slice->("$reftype reference found where bind expected",
1679             $col_idx, $datum_idx);
1680         }
1681       }
1682     }
1683   }
1684
1685   my ($sql, $bind) = $self->_prep_for_execute (
1686     'insert', undef, $source, [\%colvalues]
1687   );
1688   my @bind = @$bind;
1689
1690   my $empty_bind = 1 if (not @bind) &&
1691     (grep { ref $_ eq 'SCALAR' } values %colvalues) == @$cols;
1692
1693   if ((not @bind) && (not $empty_bind)) {
1694     $self->throw_exception(
1695       'Cannot insert_bulk without support for placeholders'
1696     );
1697   }
1698
1699   # neither _execute_array, nor _execute_inserts_with_no_binds are
1700   # atomic (even if _execute _array is a single call). Thus a safety
1701   # scope guard
1702   my $guard = $self->txn_scope_guard;
1703
1704   $self->_query_start( $sql, [ dummy => '__BULK_INSERT__' ] );
1705   my $sth = $self->sth($sql);
1706   my $rv = do {
1707     if ($empty_bind) {
1708       # bind_param_array doesn't work if there are no binds
1709       $self->_dbh_execute_inserts_with_no_binds( $sth, scalar @$data );
1710     }
1711     else {
1712 #      @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1713       $self->_execute_array( $source, $sth, \@bind, $cols, $data );
1714     }
1715   };
1716
1717   $self->_query_end( $sql, [ dummy => '__BULK_INSERT__' ] );
1718
1719   $guard->commit;
1720
1721   return (wantarray ? ($rv, $sth, @bind) : $rv);
1722 }
1723
1724 sub _execute_array {
1725   my ($self, $source, $sth, $bind, $cols, $data, @extra) = @_;
1726
1727   ## This must be an arrayref, else nothing works!
1728   my $tuple_status = [];
1729
1730   ## Get the bind_attributes, if any exist
1731   my $bind_attributes = $self->source_bind_attributes($source);
1732
1733   ## Bind the values and execute
1734   my $placeholder_index = 1;
1735
1736   foreach my $bound (@$bind) {
1737
1738     my $attributes = {};
1739     my ($column_name, $data_index) = @$bound;
1740
1741     if( $bind_attributes ) {
1742       $attributes = $bind_attributes->{$column_name}
1743       if defined $bind_attributes->{$column_name};
1744     }
1745
1746     my @data = map { $_->[$data_index] } @$data;
1747
1748     $sth->bind_param_array(
1749       $placeholder_index,
1750       [@data],
1751       (%$attributes ?  $attributes : ()),
1752     );
1753     $placeholder_index++;
1754   }
1755
1756   my ($rv, $err);
1757   try {
1758     $rv = $self->_dbh_execute_array($sth, $tuple_status, @extra);
1759   }
1760   catch {
1761     $err = shift;
1762   }
1763   finally {
1764     # Statement must finish even if there was an exception.
1765     try {
1766       $sth->finish
1767     }
1768     catch {
1769       $err = shift unless defined $err
1770     };
1771   };
1772
1773   $err = $sth->errstr
1774     if (! defined $err and $sth->err);
1775
1776   if (defined $err) {
1777     my $i = 0;
1778     ++$i while $i <= $#$tuple_status && !ref $tuple_status->[$i];
1779
1780     $self->throw_exception("Unexpected populate error: $err")
1781       if ($i > $#$tuple_status);
1782
1783     $self->throw_exception(sprintf "%s for populate slice:\n%s",
1784       ($tuple_status->[$i][1] || $err),
1785       Dumper { map { $cols->[$_] => $data->[$i][$_] } (0 .. $#$cols) },
1786     );
1787   }
1788
1789   return $rv;
1790 }
1791
1792 sub _dbh_execute_array {
1793     my ($self, $sth, $tuple_status, @extra) = @_;
1794
1795     return $sth->execute_array({ArrayTupleStatus => $tuple_status});
1796 }
1797
1798 sub _dbh_execute_inserts_with_no_binds {
1799   my ($self, $sth, $count) = @_;
1800
1801   my $err;
1802   try {
1803     my $dbh = $self->_get_dbh;
1804     local $dbh->{RaiseError} = 1;
1805     local $dbh->{PrintError} = 0;
1806
1807     $sth->execute foreach 1..$count;
1808   }
1809   catch {
1810     $err = shift;
1811   }
1812   finally {
1813     # Make sure statement is finished even if there was an exception.
1814     try {
1815       $sth->finish
1816     }
1817     catch {
1818       $err = shift unless defined $err;
1819     };
1820   };
1821
1822   $self->throw_exception($err) if defined $err;
1823
1824   return $count;
1825 }
1826
1827 sub update {
1828   my ($self, $source, @args) = @_;
1829
1830   my $bind_attrs = $self->source_bind_attributes($source);
1831
1832   return $self->_execute('update' => [], $source, $bind_attrs, @args);
1833 }
1834
1835
1836 sub delete {
1837   my ($self, $source, @args) = @_;
1838
1839   my $bind_attrs = $self->source_bind_attributes($source);
1840
1841   return $self->_execute('delete' => [], $source, $bind_attrs, @args);
1842 }
1843
1844 # We were sent here because the $rs contains a complex search
1845 # which will require a subquery to select the correct rows
1846 # (i.e. joined or limited resultsets, or non-introspectable conditions)
1847 #
1848 # Generating a single PK column subquery is trivial and supported
1849 # by all RDBMS. However if we have a multicolumn PK, things get ugly.
1850 # Look at _multipk_update_delete()
1851 sub _subq_update_delete {
1852   my $self = shift;
1853   my ($rs, $op, $values) = @_;
1854
1855   my $rsrc = $rs->result_source;
1856
1857   # quick check if we got a sane rs on our hands
1858   my @pcols = $rsrc->_pri_cols;
1859
1860   my $sel = $rs->_resolved_attrs->{select};
1861   $sel = [ $sel ] unless ref $sel eq 'ARRAY';
1862
1863   if (
1864       join ("\x00", map { join '.', $rs->{attrs}{alias}, $_ } sort @pcols)
1865         ne
1866       join ("\x00", sort @$sel )
1867   ) {
1868     $self->throw_exception (
1869       '_subq_update_delete can not be called on resultsets selecting columns other than the primary keys'
1870     );
1871   }
1872
1873   if (@pcols == 1) {
1874     return $self->$op (
1875       $rsrc,
1876       $op eq 'update' ? $values : (),
1877       { $pcols[0] => { -in => $rs->as_query } },
1878     );
1879   }
1880
1881   else {
1882     return $self->_multipk_update_delete (@_);
1883   }
1884 }
1885
1886 # ANSI SQL does not provide a reliable way to perform a multicol-PK
1887 # resultset update/delete involving subqueries. So by default resort
1888 # to simple (and inefficient) delete_all style per-row opearations,
1889 # while allowing specific storages to override this with a faster
1890 # implementation.
1891 #
1892 sub _multipk_update_delete {
1893   return shift->_per_row_update_delete (@_);
1894 }
1895
1896 # This is the default loop used to delete/update rows for multi PK
1897 # resultsets, and used by mysql exclusively (because it can't do anything
1898 # else).
1899 #
1900 # We do not use $row->$op style queries, because resultset update/delete
1901 # is not expected to cascade (this is what delete_all/update_all is for).
1902 #
1903 # There should be no race conditions as the entire operation is rolled
1904 # in a transaction.
1905 #
1906 sub _per_row_update_delete {
1907   my $self = shift;
1908   my ($rs, $op, $values) = @_;
1909
1910   my $rsrc = $rs->result_source;
1911   my @pcols = $rsrc->_pri_cols;
1912
1913   my $guard = $self->txn_scope_guard;
1914
1915   # emulate the return value of $sth->execute for non-selects
1916   my $row_cnt = '0E0';
1917
1918   my $subrs_cur = $rs->cursor;
1919   my @all_pk = $subrs_cur->all;
1920   for my $pks ( @all_pk) {
1921
1922     my $cond;
1923     for my $i (0.. $#pcols) {
1924       $cond->{$pcols[$i]} = $pks->[$i];
1925     }
1926
1927     $self->$op (
1928       $rsrc,
1929       $op eq 'update' ? $values : (),
1930       $cond,
1931     );
1932
1933     $row_cnt++;
1934   }
1935
1936   $guard->commit;
1937
1938   return $row_cnt;
1939 }
1940
1941 sub _select {
1942   my $self = shift;
1943   $self->_execute($self->_select_args(@_));
1944 }
1945
1946 sub _select_args_to_query {
1947   my $self = shift;
1948
1949   # my ($op, $bind, $ident, $bind_attrs, $select, $cond, $rs_attrs, $rows, $offset)
1950   #  = $self->_select_args($ident, $select, $cond, $attrs);
1951   my ($op, $bind, $ident, $bind_attrs, @args) =
1952     $self->_select_args(@_);
1953
1954   # my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, [ $select, $cond, $rs_attrs, $rows, $offset ]);
1955   my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, \@args);
1956   $prepared_bind ||= [];
1957
1958   return wantarray
1959     ? ($sql, $prepared_bind, $bind_attrs)
1960     : \[ "($sql)", @$prepared_bind ]
1961   ;
1962 }
1963
1964 sub _select_args {
1965   my ($self, $ident, $select, $where, $attrs) = @_;
1966
1967   my $sql_maker = $self->sql_maker;
1968   my ($alias2source, $rs_alias) = $self->_resolve_ident_sources ($ident);
1969
1970   $attrs = {
1971     %$attrs,
1972     select => $select,
1973     from => $ident,
1974     where => $where,
1975     $rs_alias && $alias2source->{$rs_alias}
1976       ? ( _rsroot_source_handle => $alias2source->{$rs_alias}->handle )
1977       : ()
1978     ,
1979   };
1980
1981   # calculate bind_attrs before possible $ident mangling
1982   my $bind_attrs = {};
1983   for my $alias (keys %$alias2source) {
1984     my $bindtypes = $self->source_bind_attributes ($alias2source->{$alias}) || {};
1985     for my $col (keys %$bindtypes) {
1986
1987       my $fqcn = join ('.', $alias, $col);
1988       $bind_attrs->{$fqcn} = $bindtypes->{$col} if $bindtypes->{$col};
1989
1990       # Unqialified column names are nice, but at the same time can be
1991       # rather ambiguous. What we do here is basically go along with
1992       # the loop, adding an unqualified column slot to $bind_attrs,
1993       # alongside the fully qualified name. As soon as we encounter
1994       # another column by that name (which would imply another table)
1995       # we unset the unqualified slot and never add any info to it
1996       # to avoid erroneous type binding. If this happens the users
1997       # only choice will be to fully qualify his column name
1998
1999       if (exists $bind_attrs->{$col}) {
2000         $bind_attrs->{$col} = {};
2001       }
2002       else {
2003         $bind_attrs->{$col} = $bind_attrs->{$fqcn};
2004       }
2005     }
2006   }
2007
2008   # adjust limits
2009   if (defined $attrs->{rows}) {
2010     $self->throw_exception("rows attribute must be positive if present")
2011       unless $attrs->{rows} > 0;
2012   }
2013   elsif (defined $attrs->{offset}) {
2014     # MySQL actually recommends this approach.  I cringe.
2015     $attrs->{rows} = $sql_maker->__max_int;
2016   }
2017
2018   my @limit;
2019
2020   # see if we need to tear the prefetch apart otherwise delegate the limiting to the
2021   # storage, unless software limit was requested
2022   if (
2023     #limited has_many
2024     ( $attrs->{rows} && keys %{$attrs->{collapse}} )
2025        ||
2026     # grouped prefetch (to satisfy group_by == select)
2027     ( $attrs->{group_by}
2028         &&
2029       @{$attrs->{group_by}}
2030         &&
2031       $attrs->{_prefetch_select}
2032         &&
2033       @{$attrs->{_prefetch_select}}
2034     )
2035   ) {
2036     ($ident, $select, $where, $attrs)
2037       = $self->_adjust_select_args_for_complex_prefetch ($ident, $select, $where, $attrs);
2038   }
2039   elsif (! $attrs->{software_limit} ) {
2040     push @limit, $attrs->{rows}, $attrs->{offset};
2041   }
2042
2043   # try to simplify the joinmap further (prune unreferenced type-single joins)
2044   $ident = $self->_prune_unused_joins ($ident, $select, $where, $attrs);
2045
2046 ###
2047   # This would be the point to deflate anything found in $where
2048   # (and leave $attrs->{bind} intact). Problem is - inflators historically
2049   # expect a row object. And all we have is a resultsource (it is trivial
2050   # to extract deflator coderefs via $alias2source above).
2051   #
2052   # I don't see a way forward other than changing the way deflators are
2053   # invoked, and that's just bad...
2054 ###
2055
2056   return ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $where, $attrs, @limit);
2057 }
2058
2059 # Returns a counting SELECT for a simple count
2060 # query. Abstracted so that a storage could override
2061 # this to { count => 'firstcol' } or whatever makes
2062 # sense as a performance optimization
2063 sub _count_select {
2064   #my ($self, $source, $rs_attrs) = @_;
2065   return { count => '*' };
2066 }
2067
2068
2069 sub source_bind_attributes {
2070   my ($self, $source) = @_;
2071
2072   my $bind_attributes;
2073   foreach my $column ($source->columns) {
2074
2075     my $data_type = $source->column_info($column)->{data_type} || '';
2076     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
2077      if $data_type;
2078   }
2079
2080   return $bind_attributes;
2081 }
2082
2083 =head2 select
2084
2085 =over 4
2086
2087 =item Arguments: $ident, $select, $condition, $attrs
2088
2089 =back
2090
2091 Handle a SQL select statement.
2092
2093 =cut
2094
2095 sub select {
2096   my $self = shift;
2097   my ($ident, $select, $condition, $attrs) = @_;
2098   return $self->cursor_class->new($self, \@_, $attrs);
2099 }
2100
2101 sub select_single {
2102   my $self = shift;
2103   my ($rv, $sth, @bind) = $self->_select(@_);
2104   my @row = $sth->fetchrow_array;
2105   my @nextrow = $sth->fetchrow_array if @row;
2106   if(@row && @nextrow) {
2107     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
2108   }
2109   # Need to call finish() to work round broken DBDs
2110   $sth->finish();
2111   return @row;
2112 }
2113
2114 =head2 sth
2115
2116 =over 4
2117
2118 =item Arguments: $sql
2119
2120 =back
2121
2122 Returns a L<DBI> sth (statement handle) for the supplied SQL.
2123
2124 =cut
2125
2126 sub _dbh_sth {
2127   my ($self, $dbh, $sql) = @_;
2128
2129   # 3 is the if_active parameter which avoids active sth re-use
2130   my $sth = $self->disable_sth_caching
2131     ? $dbh->prepare($sql)
2132     : $dbh->prepare_cached($sql, {}, 3);
2133
2134   # XXX You would think RaiseError would make this impossible,
2135   #  but apparently that's not true :(
2136   $self->throw_exception($dbh->errstr) if !$sth;
2137
2138   $sth;
2139 }
2140
2141 sub sth {
2142   my ($self, $sql) = @_;
2143   $self->dbh_do('_dbh_sth', $sql);  # retry over disconnects
2144 }
2145
2146 sub _dbh_columns_info_for {
2147   my ($self, $dbh, $table) = @_;
2148
2149   if ($dbh->can('column_info')) {
2150     my %result;
2151     my $caught;
2152     try {
2153       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
2154       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
2155       $sth->execute();
2156       while ( my $info = $sth->fetchrow_hashref() ){
2157         my %column_info;
2158         $column_info{data_type}   = $info->{TYPE_NAME};
2159         $column_info{size}      = $info->{COLUMN_SIZE};
2160         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
2161         $column_info{default_value} = $info->{COLUMN_DEF};
2162         my $col_name = $info->{COLUMN_NAME};
2163         $col_name =~ s/^\"(.*)\"$/$1/;
2164
2165         $result{$col_name} = \%column_info;
2166       }
2167     } catch {
2168       $caught = 1;
2169     };
2170     return \%result if !$caught && scalar keys %result;
2171   }
2172
2173   my %result;
2174   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
2175   $sth->execute;
2176   my @columns = @{$sth->{NAME_lc}};
2177   for my $i ( 0 .. $#columns ){
2178     my %column_info;
2179     $column_info{data_type} = $sth->{TYPE}->[$i];
2180     $column_info{size} = $sth->{PRECISION}->[$i];
2181     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
2182
2183     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
2184       $column_info{data_type} = $1;
2185       $column_info{size}    = $2;
2186     }
2187
2188     $result{$columns[$i]} = \%column_info;
2189   }
2190   $sth->finish;
2191
2192   foreach my $col (keys %result) {
2193     my $colinfo = $result{$col};
2194     my $type_num = $colinfo->{data_type};
2195     my $type_name;
2196     if(defined $type_num && $dbh->can('type_info')) {
2197       my $type_info = $dbh->type_info($type_num);
2198       $type_name = $type_info->{TYPE_NAME} if $type_info;
2199       $colinfo->{data_type} = $type_name if $type_name;
2200     }
2201   }
2202
2203   return \%result;
2204 }
2205
2206 sub columns_info_for {
2207   my ($self, $table) = @_;
2208   $self->_dbh_columns_info_for ($self->_get_dbh, $table);
2209 }
2210
2211 =head2 last_insert_id
2212
2213 Return the row id of the last insert.
2214
2215 =cut
2216
2217 sub _dbh_last_insert_id {
2218     my ($self, $dbh, $source, $col) = @_;
2219
2220     my $id = try { $dbh->last_insert_id (undef, undef, $source->name, $col) };
2221
2222     return $id if defined $id;
2223
2224     my $class = ref $self;
2225     $self->throw_exception ("No storage specific _dbh_last_insert_id() method implemented in $class, and the generic DBI::last_insert_id() failed");
2226 }
2227
2228 sub last_insert_id {
2229   my $self = shift;
2230   $self->_dbh_last_insert_id ($self->_dbh, @_);
2231 }
2232
2233 =head2 _native_data_type
2234
2235 =over 4
2236
2237 =item Arguments: $type_name
2238
2239 =back
2240
2241 This API is B<EXPERIMENTAL>, will almost definitely change in the future, and
2242 currently only used by L<::AutoCast|DBIx::Class::Storage::DBI::AutoCast> and
2243 L<::Sybase::ASE|DBIx::Class::Storage::DBI::Sybase::ASE>.
2244
2245 The default implementation returns C<undef>, implement in your Storage driver if
2246 you need this functionality.
2247
2248 Should map types from other databases to the native RDBMS type, for example
2249 C<VARCHAR2> to C<VARCHAR>.
2250
2251 Types with modifiers should map to the underlying data type. For example,
2252 C<INTEGER AUTO_INCREMENT> should become C<INTEGER>.
2253
2254 Composite types should map to the container type, for example
2255 C<ENUM(foo,bar,baz)> becomes C<ENUM>.
2256
2257 =cut
2258
2259 sub _native_data_type {
2260   #my ($self, $data_type) = @_;
2261   return undef
2262 }
2263
2264 # Check if placeholders are supported at all
2265 sub _determine_supports_placeholders {
2266   my $self = shift;
2267   my $dbh  = $self->_get_dbh;
2268
2269   # some drivers provide a $dbh attribute (e.g. Sybase and $dbh->{syb_dynamic_supported})
2270   # but it is inaccurate more often than not
2271   return try {
2272     local $dbh->{PrintError} = 0;
2273     local $dbh->{RaiseError} = 1;
2274     $dbh->do('select ?', {}, 1);
2275     1;
2276   }
2277   catch {
2278     0;
2279   };
2280 }
2281
2282 # Check if placeholders bound to non-string types throw exceptions
2283 #
2284 sub _determine_supports_typeless_placeholders {
2285   my $self = shift;
2286   my $dbh  = $self->_get_dbh;
2287
2288   return try {
2289     local $dbh->{PrintError} = 0;
2290     local $dbh->{RaiseError} = 1;
2291     # this specifically tests a bind that is NOT a string
2292     $dbh->do('select 1 where 1 = ?', {}, 1);
2293     1;
2294   }
2295   catch {
2296     0;
2297   };
2298 }
2299
2300 =head2 sqlt_type
2301
2302 Returns the database driver name.
2303
2304 =cut
2305
2306 sub sqlt_type {
2307   shift->_get_dbh->{Driver}->{Name};
2308 }
2309
2310 =head2 bind_attribute_by_data_type
2311
2312 Given a datatype from column info, returns a database specific bind
2313 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
2314 let the database planner just handle it.
2315
2316 Generally only needed for special case column types, like bytea in postgres.
2317
2318 =cut
2319
2320 sub bind_attribute_by_data_type {
2321     return;
2322 }
2323
2324 =head2 is_datatype_numeric
2325
2326 Given a datatype from column_info, returns a boolean value indicating if
2327 the current RDBMS considers it a numeric value. This controls how
2328 L<DBIx::Class::Row/set_column> decides whether to mark the column as
2329 dirty - when the datatype is deemed numeric a C<< != >> comparison will
2330 be performed instead of the usual C<eq>.
2331
2332 =cut
2333
2334 sub is_datatype_numeric {
2335   my ($self, $dt) = @_;
2336
2337   return 0 unless $dt;
2338
2339   return $dt =~ /^ (?:
2340     numeric | int(?:eger)? | (?:tiny|small|medium|big)int | dec(?:imal)? | real | float | double (?: \s+ precision)? | (?:big)?serial
2341   ) $/ix;
2342 }
2343
2344
2345 =head2 create_ddl_dir
2346
2347 =over 4
2348
2349 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
2350
2351 =back
2352
2353 Creates a SQL file based on the Schema, for each of the specified
2354 database engines in C<\@databases> in the given directory.
2355 (note: specify L<SQL::Translator> names, not L<DBI> driver names).
2356
2357 Given a previous version number, this will also create a file containing
2358 the ALTER TABLE statements to transform the previous schema into the
2359 current one. Note that these statements may contain C<DROP TABLE> or
2360 C<DROP COLUMN> statements that can potentially destroy data.
2361
2362 The file names are created using the C<ddl_filename> method below, please
2363 override this method in your schema if you would like a different file
2364 name format. For the ALTER file, the same format is used, replacing
2365 $version in the name with "$preversion-$version".
2366
2367 See L<SQL::Translator/METHODS> for a list of values for C<\%sqlt_args>.
2368 The most common value for this would be C<< { add_drop_table => 1 } >>
2369 to have the SQL produced include a C<DROP TABLE> statement for each table
2370 created. For quoting purposes supply C<quote_table_names> and
2371 C<quote_field_names>.
2372
2373 If no arguments are passed, then the following default values are assumed:
2374
2375 =over 4
2376
2377 =item databases  - ['MySQL', 'SQLite', 'PostgreSQL']
2378
2379 =item version    - $schema->schema_version
2380
2381 =item directory  - './'
2382
2383 =item preversion - <none>
2384
2385 =back
2386
2387 By default, C<\%sqlt_args> will have
2388
2389  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
2390
2391 merged with the hash passed in. To disable any of those features, pass in a
2392 hashref like the following
2393
2394  { ignore_constraint_names => 0, # ... other options }
2395
2396
2397 WARNING: You are strongly advised to check all SQL files created, before applying
2398 them.
2399
2400 =cut
2401
2402 sub create_ddl_dir {
2403   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
2404
2405   unless ($dir) {
2406     carp "No directory given, using ./\n";
2407     $dir = './';
2408   } else {
2409       -d $dir
2410         or
2411       make_path ("$dir")  # make_path does not like objects (i.e. Path::Class::Dir)
2412         or
2413       $self->throw_exception(
2414         "Failed to create '$dir': " . ($! || $@ || 'error unknow')
2415       );
2416   }
2417
2418   $self->throw_exception ("Directory '$dir' does not exist\n") unless(-d $dir);
2419
2420   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
2421   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
2422
2423   my $schema_version = $schema->schema_version || '1.x';
2424   $version ||= $schema_version;
2425
2426   $sqltargs = {
2427     add_drop_table => 1,
2428     ignore_constraint_names => 1,
2429     ignore_index_names => 1,
2430     %{$sqltargs || {}}
2431   };
2432
2433   unless (DBIx::Class::Optional::Dependencies->req_ok_for ('deploy')) {
2434     $self->throw_exception("Can't create a ddl file without " . DBIx::Class::Optional::Dependencies->req_missing_for ('deploy') );
2435   }
2436
2437   my $sqlt = SQL::Translator->new( $sqltargs );
2438
2439   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
2440   my $sqlt_schema = $sqlt->translate({ data => $schema })
2441     or $self->throw_exception ($sqlt->error);
2442
2443   foreach my $db (@$databases) {
2444     $sqlt->reset();
2445     $sqlt->{schema} = $sqlt_schema;
2446     $sqlt->producer($db);
2447
2448     my $file;
2449     my $filename = $schema->ddl_filename($db, $version, $dir);
2450     if (-e $filename && ($version eq $schema_version )) {
2451       # if we are dumping the current version, overwrite the DDL
2452       carp "Overwriting existing DDL file - $filename";
2453       unlink($filename);
2454     }
2455
2456     my $output = $sqlt->translate;
2457     if(!$output) {
2458       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
2459       next;
2460     }
2461     if(!open($file, ">$filename")) {
2462       $self->throw_exception("Can't open $filename for writing ($!)");
2463       next;
2464     }
2465     print $file $output;
2466     close($file);
2467
2468     next unless ($preversion);
2469
2470     require SQL::Translator::Diff;
2471
2472     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
2473     if(!-e $prefilename) {
2474       carp("No previous schema file found ($prefilename)");
2475       next;
2476     }
2477
2478     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
2479     if(-e $difffile) {
2480       carp("Overwriting existing diff file - $difffile");
2481       unlink($difffile);
2482     }
2483
2484     my $source_schema;
2485     {
2486       my $t = SQL::Translator->new($sqltargs);
2487       $t->debug( 0 );
2488       $t->trace( 0 );
2489
2490       $t->parser( $db )
2491         or $self->throw_exception ($t->error);
2492
2493       my $out = $t->translate( $prefilename )
2494         or $self->throw_exception ($t->error);
2495
2496       $source_schema = $t->schema;
2497
2498       $source_schema->name( $prefilename )
2499         unless ( $source_schema->name );
2500     }
2501
2502     # The "new" style of producers have sane normalization and can support
2503     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
2504     # And we have to diff parsed SQL against parsed SQL.
2505     my $dest_schema = $sqlt_schema;
2506
2507     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
2508       my $t = SQL::Translator->new($sqltargs);
2509       $t->debug( 0 );
2510       $t->trace( 0 );
2511
2512       $t->parser( $db )
2513         or $self->throw_exception ($t->error);
2514
2515       my $out = $t->translate( $filename )
2516         or $self->throw_exception ($t->error);
2517
2518       $dest_schema = $t->schema;
2519
2520       $dest_schema->name( $filename )
2521         unless $dest_schema->name;
2522     }
2523
2524     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
2525                                                   $dest_schema,   $db,
2526                                                   $sqltargs
2527                                                  );
2528     if(!open $file, ">$difffile") {
2529       $self->throw_exception("Can't write to $difffile ($!)");
2530       next;
2531     }
2532     print $file $diff;
2533     close($file);
2534   }
2535 }
2536
2537 =head2 deployment_statements
2538
2539 =over 4
2540
2541 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
2542
2543 =back
2544
2545 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
2546
2547 The L<SQL::Translator> (not L<DBI>) database driver name can be explicitly
2548 provided in C<$type>, otherwise the result of L</sqlt_type> is used as default.
2549
2550 C<$directory> is used to return statements from files in a previously created
2551 L</create_ddl_dir> directory and is optional. The filenames are constructed
2552 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
2553
2554 If no C<$directory> is specified then the statements are constructed on the
2555 fly using L<SQL::Translator> and C<$version> is ignored.
2556
2557 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
2558
2559 =cut
2560
2561 sub deployment_statements {
2562   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
2563   $type ||= $self->sqlt_type;
2564   $version ||= $schema->schema_version || '1.x';
2565   $dir ||= './';
2566   my $filename = $schema->ddl_filename($type, $version, $dir);
2567   if(-f $filename)
2568   {
2569       my $file;
2570       open($file, "<$filename")
2571         or $self->throw_exception("Can't open $filename ($!)");
2572       my @rows = <$file>;
2573       close($file);
2574       return join('', @rows);
2575   }
2576
2577   unless (DBIx::Class::Optional::Dependencies->req_ok_for ('deploy') ) {
2578     $self->throw_exception("Can't deploy without a ddl_dir or " . DBIx::Class::Optional::Dependencies->req_missing_for ('deploy') );
2579   }
2580
2581   # sources needs to be a parser arg, but for simplicty allow at top level
2582   # coming in
2583   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
2584       if exists $sqltargs->{sources};
2585
2586   my $tr = SQL::Translator->new(
2587     producer => "SQL::Translator::Producer::${type}",
2588     %$sqltargs,
2589     parser => 'SQL::Translator::Parser::DBIx::Class',
2590     data => $schema,
2591   );
2592
2593   my @ret;
2594   my $wa = wantarray;
2595   if ($wa) {
2596     @ret = $tr->translate;
2597   }
2598   else {
2599     $ret[0] = $tr->translate;
2600   }
2601
2602   $self->throw_exception( 'Unable to produce deployment statements: ' . $tr->error)
2603     unless (@ret && defined $ret[0]);
2604
2605   return $wa ? @ret : $ret[0];
2606 }
2607
2608 sub deploy {
2609   my ($self, $schema, $type, $sqltargs, $dir) = @_;
2610   my $deploy = sub {
2611     my $line = shift;
2612     return if($line =~ /^--/);
2613     return if(!$line);
2614     # next if($line =~ /^DROP/m);
2615     return if($line =~ /^BEGIN TRANSACTION/m);
2616     return if($line =~ /^COMMIT/m);
2617     return if $line =~ /^\s+$/; # skip whitespace only
2618     $self->_query_start($line);
2619     try {
2620       # do a dbh_do cycle here, as we need some error checking in
2621       # place (even though we will ignore errors)
2622       $self->dbh_do (sub { $_[1]->do($line) });
2623     } catch {
2624       carp qq{$_ (running "${line}")};
2625     };
2626     $self->_query_end($line);
2627   };
2628   my @statements = $schema->deployment_statements($type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
2629   if (@statements > 1) {
2630     foreach my $statement (@statements) {
2631       $deploy->( $statement );
2632     }
2633   }
2634   elsif (@statements == 1) {
2635     foreach my $line ( split(";\n", $statements[0])) {
2636       $deploy->( $line );
2637     }
2638   }
2639 }
2640
2641 =head2 datetime_parser
2642
2643 Returns the datetime parser class
2644
2645 =cut
2646
2647 sub datetime_parser {
2648   my $self = shift;
2649   return $self->{datetime_parser} ||= do {
2650     $self->build_datetime_parser(@_);
2651   };
2652 }
2653
2654 =head2 datetime_parser_type
2655
2656 Defines (returns) the datetime parser class - currently hardwired to
2657 L<DateTime::Format::MySQL>
2658
2659 =cut
2660
2661 sub datetime_parser_type { "DateTime::Format::MySQL"; }
2662
2663 =head2 build_datetime_parser
2664
2665 See L</datetime_parser>
2666
2667 =cut
2668
2669 sub build_datetime_parser {
2670   my $self = shift;
2671   my $type = $self->datetime_parser_type(@_);
2672   $self->ensure_class_loaded ($type);
2673   return $type;
2674 }
2675
2676
2677 =head2 is_replicating
2678
2679 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
2680 replicate from a master database.  Default is undef, which is the result
2681 returned by databases that don't support replication.
2682
2683 =cut
2684
2685 sub is_replicating {
2686     return;
2687
2688 }
2689
2690 =head2 lag_behind_master
2691
2692 Returns a number that represents a certain amount of lag behind a master db
2693 when a given storage is replicating.  The number is database dependent, but
2694 starts at zero and increases with the amount of lag. Default in undef
2695
2696 =cut
2697
2698 sub lag_behind_master {
2699     return;
2700 }
2701
2702 =head2 relname_to_table_alias
2703
2704 =over 4
2705
2706 =item Arguments: $relname, $join_count
2707
2708 =back
2709
2710 L<DBIx::Class> uses L<DBIx::Class::Relationship> names as table aliases in
2711 queries.
2712
2713 This hook is to allow specific L<DBIx::Class::Storage> drivers to change the
2714 way these aliases are named.
2715
2716 The default behavior is C<< "$relname_$join_count" if $join_count > 1 >>,
2717 otherwise C<"$relname">.
2718
2719 =cut
2720
2721 sub relname_to_table_alias {
2722   my ($self, $relname, $join_count) = @_;
2723
2724   my $alias = ($join_count && $join_count > 1 ?
2725     join('_', $relname, $join_count) : $relname);
2726
2727   return $alias;
2728 }
2729
2730 1;
2731
2732 =head1 USAGE NOTES
2733
2734 =head2 DBIx::Class and AutoCommit
2735
2736 DBIx::Class can do some wonderful magic with handling exceptions,
2737 disconnections, and transactions when you use C<< AutoCommit => 1 >>
2738 (the default) combined with C<txn_do> for transaction support.
2739
2740 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
2741 in an assumed transaction between commits, and you're telling us you'd
2742 like to manage that manually.  A lot of the magic protections offered by
2743 this module will go away.  We can't protect you from exceptions due to database
2744 disconnects because we don't know anything about how to restart your
2745 transactions.  You're on your own for handling all sorts of exceptional
2746 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
2747 be with raw DBI.
2748
2749
2750 =head1 AUTHORS
2751
2752 Matt S. Trout <mst@shadowcatsystems.co.uk>
2753
2754 Andy Grundman <andy@hybridized.org>
2755
2756 =head1 LICENSE
2757
2758 You may distribute this code under the same terms as Perl itself.
2759
2760 =cut