lib/DBIx/Class/Storage/DBI.pm

   1 package DBIx::Class::Storage::DBI;
   2 # -*- mode: cperl; cperl-indent-level: 2 -*-
   3
   4 use strict;
   5 use warnings;
   6
   7 use base 'DBIx::Class::Storage';
   8 use mro 'c3';
   9
  10 use Carp::Clan qw/^DBIx::Class/;
  11 use DBI;
  12 use DBIx::Class::Storage::DBI::Cursor;
  13 use DBIx::Class::Storage::Statistics;
  14 use Scalar::Util();
  15 use List::Util();
  16
  17 # what version of sqlt do we require if deploy() without a ddl_dir is invoked
  18 # when changing also adjust the corresponding author_require in Makefile.PL
  19 my $minimum_sqlt_version = '0.11002';
  20
  21
  22 __PACKAGE__->mk_group_accessors('simple' =>
  23   qw/_connect_info _dbi_connect_info _dbh _sql_maker _sql_maker_opts _conn_pid
  24      _conn_tid transaction_depth _dbh_autocommit _driver_determined savepoints/
  25 );
  26
  27 # the values for these accessors are picked out (and deleted) from
  28 # the attribute hashref passed to connect_info
  29 my @storage_options = qw/
  30   on_connect_call on_disconnect_call on_connect_do on_disconnect_do
  31   disable_sth_caching unsafe auto_savepoint
  32 /;
  33 __PACKAGE__->mk_group_accessors('simple' => @storage_options);
  34
  35
  36 # default cursor class, overridable in connect_info attributes
  37 __PACKAGE__->cursor_class('DBIx::Class::Storage::DBI::Cursor');
  38
  39 __PACKAGE__->mk_group_accessors('inherited' => qw/sql_maker_class/);
  40 __PACKAGE__->sql_maker_class('DBIx::Class::SQLAHacks');
  41
  42
  43 =head1 NAME
  44
  45 DBIx::Class::Storage::DBI - DBI storage handler
  46
  47 =head1 SYNOPSIS
  48
  49   my $schema = MySchema->connect('dbi:SQLite:my.db');
  50
  51   $schema->storage->debug(1);
  52
  53   my @stuff = $schema->storage->dbh_do(
  54     sub {
  55       my ($storage, $dbh, @args) = @_;
  56       $dbh->do("DROP TABLE authors");
  57     },
  58     @column_list
  59   );
  60
  61   $schema->resultset('Book')->search({
  62      written_on => $schema->storage->datetime_parser(DateTime->now)
  63   });
  64
  65 =head1 DESCRIPTION
  66
  67 This class represents the connection to an RDBMS via L<DBI>.  See
  68 L<DBIx::Class::Storage> for general information.  This pod only
  69 documents DBI-specific methods and behaviors.
  70
  71 =head1 METHODS
  72
  73 =cut
  74
  75 sub new {
  76   my $new = shift->next::method(@_);
  77
  78   $new->transaction_depth(0);
  79   $new->_sql_maker_opts({});
  80   $new->{savepoints} = [];
  81   $new->{_in_dbh_do} = 0;
  82   $new->{_dbh_gen} = 0;
  83
  84   $new;
  85 }
  86
  87 =head2 connect_info
  88
  89 This method is normally called by L<DBIx::Class::Schema/connection>, which
  90 encapsulates its argument list in an arrayref before passing them here.
  91
  92 The argument list may contain:
  93
  94 =over
  95
  96 =item *
  97
  98 The same 4-element argument set one would normally pass to
  99 L<DBI/connect>, optionally followed by
 100 L<extra attributes|/DBIx::Class specific connection attributes>
 101 recognized by DBIx::Class:
 102
 103   $connect_info_args = [ $dsn, $user, $password, \%dbi_attributes?, \%extra_attributes? ];
 104
 105 =item *
 106
 107 A single code reference which returns a connected
 108 L<DBI database handle|DBI/connect> optionally followed by
 109 L<extra attributes|/DBIx::Class specific connection attributes> recognized
 110 by DBIx::Class:
 111
 112   $connect_info_args = [ sub { DBI->connect (...) }, \%extra_attributes? ];
 113
 114 =item *
 115
 116 A single hashref with all the attributes and the dsn/user/password
 117 mixed together:
 118
 119   $connect_info_args = [{
 120     dsn => $dsn,
 121     user => $user,
 122     password => $pass,
 123     %dbi_attributes,
 124     %extra_attributes,
 125   }];
 126
 127   $connect_info_args = [{
 128     dbh_maker => sub { DBI->connect (...) },
 129     %dbi_attributes,
 130     %extra_attributes,
 131   }];
 132
 133 This is particularly useful for L<Catalyst> based applications, allowing the
 134 following config (L<Config::General> style):
 135
 136   <Model::DB>
 137     schema_class   App::DB
 138     <connect_info>
 139       dsn          dbi:mysql:database=test
 140       user         testuser
 141       password     TestPass
 142       AutoCommit   1
 143     </connect_info>
 144   </Model::DB>
 145
 146 The C<dsn>/C<user>/C<password> combination can be substituted by the
 147 C<dbh_maker> key whose value is a coderef that returns a connected
 148 L<DBI database handle|DBI/connect>
 149
 150 =back
 151
 152 Please note that the L<DBI> docs recommend that you always explicitly
 153 set C<AutoCommit> to either I<0> or I<1>.  L<DBIx::Class> further
 154 recommends that it be set to I<1>, and that you perform transactions
 155 via our L<DBIx::Class::Schema/txn_do> method.  L<DBIx::Class> will set it
 156 to I<1> if you do not do explicitly set it to zero.  This is the default
 157 for most DBDs. See L</DBIx::Class and AutoCommit> for details.
 158
 159 =head3 DBIx::Class specific connection attributes
 160
 161 In addition to the standard L<DBI|DBI/ATTRIBUTES_COMMON_TO_ALL_HANDLES>
 162 L<connection|DBI/Database_Handle_Attributes> attributes, DBIx::Class recognizes
 163 the following connection options. These options can be mixed in with your other
 164 L<DBI> connection attributes, or placed in a seperate hashref
 165 (C<\%extra_attributes>) as shown above.
 166
 167 Every time C<connect_info> is invoked, any previous settings for
 168 these options will be cleared before setting the new ones, regardless of
 169 whether any options are specified in the new C<connect_info>.
 170
 171
 172 =over
 173
 174 =item on_connect_do
 175
 176 Specifies things to do immediately after connecting or re-connecting to
 177 the database.  Its value may contain:
 178
 179 =over
 180
 181 =item a scalar
 182
 183 This contains one SQL statement to execute.
 184
 185 =item an array reference
 186
 187 This contains SQL statements to execute in order.  Each element contains
 188 a string or a code reference that returns a string.
 189
 190 =item a code reference
 191
 192 This contains some code to execute.  Unlike code references within an
 193 array reference, its return value is ignored.
 194
 195 =back
 196
 197 =item on_disconnect_do
 198
 199 Takes arguments in the same form as L</on_connect_do> and executes them
 200 immediately before disconnecting from the database.
 201
 202 Note, this only runs if you explicitly call L</disconnect> on the
 203 storage object.
 204
 205 =item on_connect_call
 206
 207 A more generalized form of L</on_connect_do> that calls the specified
 208 C<connect_call_METHOD> methods in your storage driver.
 209
 210   on_connect_do => 'select 1'
 211
 212 is equivalent to:
 213
 214   on_connect_call => [ [ do_sql => 'select 1' ] ]
 215
 216 Its values may contain:
 217
 218 =over
 219
 220 =item a scalar
 221
 222 Will call the C<connect_call_METHOD> method.
 223
 224 =item a code reference
 225
 226 Will execute C<< $code->($storage) >>
 227
 228 =item an array reference
 229
 230 Each value can be a method name or code reference.
 231
 232 =item an array of arrays
 233
 234 For each array, the first item is taken to be the C<connect_call_> method name
 235 or code reference, and the rest are parameters to it.
 236
 237 =back
 238
 239 Some predefined storage methods you may use:
 240
 241 =over
 242
 243 =item do_sql
 244
 245 Executes a SQL string or a code reference that returns a SQL string. This is
 246 what L</on_connect_do> and L</on_disconnect_do> use.
 247
 248 It can take:
 249
 250 =over
 251
 252 =item a scalar
 253
 254 Will execute the scalar as SQL.
 255
 256 =item an arrayref
 257
 258 Taken to be arguments to L<DBI/do>, the SQL string optionally followed by the
 259 attributes hashref and bind values.
 260
 261 =item a code reference
 262
 263 Will execute C<< $code->($storage) >> and execute the return array refs as
 264 above.
 265
 266 =back
 267
 268 =item datetime_setup
 269
 270 Execute any statements necessary to initialize the database session to return
 271 and accept datetime/timestamp values used with
 272 L<DBIx::Class::InflateColumn::DateTime>.
 273
 274 Only necessary for some databases, see your specific storage driver for
 275 implementation details.
 276
 277 =back
 278
 279 =item on_disconnect_call
 280
 281 Takes arguments in the same form as L</on_connect_call> and executes them
 282 immediately before disconnecting from the database.
 283
 284 Calls the C<disconnect_call_METHOD> methods as opposed to the
 285 C<connect_call_METHOD> methods called by L</on_connect_call>.
 286
 287 Note, this only runs if you explicitly call L</disconnect> on the
 288 storage object.
 289
 290 =item disable_sth_caching
 291
 292 If set to a true value, this option will disable the caching of
 293 statement handles via L<DBI/prepare_cached>.
 294
 295 =item limit_dialect
 296
 297 Sets the limit dialect. This is useful for JDBC-bridge among others
 298 where the remote SQL-dialect cannot be determined by the name of the
 299 driver alone. See also L<SQL::Abstract::Limit>.
 300
 301 =item quote_char
 302
 303 Specifies what characters to use to quote table and column names. If
 304 you use this you will want to specify L</name_sep> as well.
 305
 306 C<quote_char> expects either a single character, in which case is it
 307 is placed on either side of the table/column name, or an arrayref of length
 308 2 in which case the table/column name is placed between the elements.
 309
 310 For example under MySQL you should use C<< quote_char => '`' >>, and for
 311 SQL Server you should use C<< quote_char => [qw/[ ]/] >>.
 312
 313 =item name_sep
 314
 315 This only needs to be used in conjunction with C<quote_char>, and is used to
 316 specify the charecter that seperates elements (schemas, tables, columns) from
 317 each other. In most cases this is simply a C<.>.
 318
 319 The consequences of not supplying this value is that L<SQL::Abstract>
 320 will assume DBIx::Class' uses of aliases to be complete column
 321 names. The output will look like I<"me.name"> when it should actually
 322 be I<"me"."name">.
 323
 324 =item unsafe
 325
 326 This Storage driver normally installs its own C<HandleError>, sets
 327 C<RaiseError> and C<ShowErrorStatement> on, and sets C<PrintError> off on
 328 all database handles, including those supplied by a coderef.  It does this
 329 so that it can have consistent and useful error behavior.
 330
 331 If you set this option to a true value, Storage will not do its usual
 332 modifications to the database handle's attributes, and instead relies on
 333 the settings in your connect_info DBI options (or the values you set in
 334 your connection coderef, in the case that you are connecting via coderef).
 335
 336 Note that your custom settings can cause Storage to malfunction,
 337 especially if you set a C<HandleError> handler that suppresses exceptions
 338 and/or disable C<RaiseError>.
 339
 340 =item auto_savepoint
 341
 342 If this option is true, L<DBIx::Class> will use savepoints when nesting
 343 transactions, making it possible to recover from failure in the inner
 344 transaction without having to abort all outer transactions.
 345
 346 =item cursor_class
 347
 348 Use this argument to supply a cursor class other than the default
 349 L<DBIx::Class::Storage::DBI::Cursor>.
 350
 351 =back
 352
 353 Some real-life examples of arguments to L</connect_info> and
 354 L<DBIx::Class::Schema/connect>
 355
 356   # Simple SQLite connection
 357   ->connect_info([ 'dbi:SQLite:./foo.db' ]);
 358
 359   # Connect via subref
 360   ->connect_info([ sub { DBI->connect(...) } ]);
 361
 362   # Connect via subref in hashref
 363   ->connect_info([{
 364     dbh_maker => sub { DBI->connect(...) },
 365     on_connect_do => 'alter session ...',
 366   }]);
 367
 368   # A bit more complicated
 369   ->connect_info(
 370     [
 371       'dbi:Pg:dbname=foo',
 372       'postgres',
 373       'my_pg_password',
 374       { AutoCommit => 1 },
 375       { quote_char => q{"}, name_sep => q{.} },
 376     ]
 377   );
 378
 379   # Equivalent to the previous example
 380   ->connect_info(
 381     [
 382       'dbi:Pg:dbname=foo',
 383       'postgres',
 384       'my_pg_password',
 385       { AutoCommit => 1, quote_char => q{"}, name_sep => q{.} },
 386     ]
 387   );
 388
 389   # Same, but with hashref as argument
 390   # See parse_connect_info for explanation
 391   ->connect_info(
 392     [{
 393       dsn         => 'dbi:Pg:dbname=foo',
 394       user        => 'postgres',
 395       password    => 'my_pg_password',
 396       AutoCommit  => 1,
 397       quote_char  => q{"},
 398       name_sep    => q{.},
 399     }]
 400   );
 401
 402   # Subref + DBIx::Class-specific connection options
 403   ->connect_info(
 404     [
 405       sub { DBI->connect(...) },
 406       {
 407           quote_char => q{`},
 408           name_sep => q{@},
 409           on_connect_do => ['SET search_path TO myschema,otherschema,public'],
 410           disable_sth_caching => 1,
 411       },
 412     ]
 413   );
 414
 415
 416
 417 =cut
 418
 419 sub connect_info {
 420   my ($self, $info_arg) = @_;
 421
 422   return $self->_connect_info if !$info_arg;
 423
 424   my @args = @$info_arg;  # take a shallow copy for further mutilation
 425   $self->_connect_info([@args]); # copy for _connect_info
 426
 427
 428   # combine/pre-parse arguments depending on invocation style
 429
 430   my %attrs;
 431   if (ref $args[0] eq 'CODE') {     # coderef with optional \%extra_attributes
 432     %attrs = %{ $args[1] || {} };
 433     @args = $args[0];
 434   }
 435   elsif (ref $args[0] eq 'HASH') { # single hashref (i.e. Catalyst config)
 436     %attrs = %{$args[0]};
 437     @args = ();
 438     if (my $code = delete $attrs{dbh_maker}) {
 439       @args = $code;
 440
 441       my @ignored = grep { delete $attrs{$_} } (qw/dsn user password/);
 442       if (@ignored) {
 443         carp sprintf (
 444             'Attribute(s) %s in connect_info were ignored, as they can not be applied '
 445           . "to the result of 'dbh_maker'",
 446
 447           join (', ', map { "'$_'" } (@ignored) ),
 448         );
 449       }
 450     }
 451     else {
 452       @args = delete @attrs{qw/dsn user password/};
 453     }
 454   }
 455   else {                # otherwise assume dsn/user/password + \%attrs + \%extra_attrs
 456     %attrs = (
 457       % { $args[3] || {} },
 458       % { $args[4] || {} },
 459     );
 460     @args = @args[0,1,2];
 461   }
 462
 463   # Kill sql_maker/_sql_maker_opts, so we get a fresh one with only
 464   #  the new set of options
 465   $self->_sql_maker(undef);
 466   $self->_sql_maker_opts({});
 467
 468   if(keys %attrs) {
 469     for my $storage_opt (@storage_options, 'cursor_class') {    # @storage_options is declared at the top of the module
 470       if(my $value = delete $attrs{$storage_opt}) {
 471         $self->$storage_opt($value);
 472       }
 473     }
 474     for my $sql_maker_opt (qw/limit_dialect quote_char name_sep/) {
 475       if(my $opt_val = delete $attrs{$sql_maker_opt}) {
 476         $self->_sql_maker_opts->{$sql_maker_opt} = $opt_val;
 477       }
 478     }
 479   }
 480
 481   if (ref $args[0] eq 'CODE') {
 482     # _connect() never looks past $args[0] in this case
 483     %attrs = ()
 484   } else {
 485     %attrs = (
 486       %{ $self->_default_dbi_connect_attributes || {} },
 487       %attrs,
 488     );
 489   }
 490
 491   $self->_dbi_connect_info([@args, keys %attrs ? \%attrs : ()]);
 492   $self->_connect_info;
 493 }
 494
 495 sub _default_dbi_connect_attributes {
 496   return {
 497     AutoCommit => 1,
 498     RaiseError => 1,
 499     PrintError => 0,
 500   };
 501 }
 502
 503 =head2 on_connect_do
 504
 505 This method is deprecated in favour of setting via L</connect_info>.
 506
 507 =cut
 508
 509 =head2 on_disconnect_do
 510
 511 This method is deprecated in favour of setting via L</connect_info>.
 512
 513 =cut
 514
 515 sub _parse_connect_do {
 516   my ($self, $type) = @_;
 517
 518   my $val = $self->$type;
 519   return () if not defined $val;
 520
 521   my @res;
 522
 523   if (not ref($val)) {
 524     push @res, [ 'do_sql', $val ];
 525   } elsif (ref($val) eq 'CODE') {
 526     push @res, $val;
 527   } elsif (ref($val) eq 'ARRAY') {
 528     push @res, map { [ 'do_sql', $_ ] } @$val;
 529   } else {
 530     $self->throw_exception("Invalid type for $type: ".ref($val));
 531   }
 532
 533   return \@res;
 534 }
 535
 536 =head2 dbh_do
 537
 538 Arguments: ($subref | $method_name), @extra_coderef_args?
 539
 540 Execute the given $subref or $method_name using the new exception-based
 541 connection management.
 542
 543 The first two arguments will be the storage object that C<dbh_do> was called
 544 on and a database handle to use.  Any additional arguments will be passed
 545 verbatim to the called subref as arguments 2 and onwards.
 546
 547 Using this (instead of $self->_dbh or $self->dbh) ensures correct
 548 exception handling and reconnection (or failover in future subclasses).
 549
 550 Your subref should have no side-effects outside of the database, as
 551 there is the potential for your subref to be partially double-executed
 552 if the database connection was stale/dysfunctional.
 553
 554 Example:
 555
 556   my @stuff = $schema->storage->dbh_do(
 557     sub {
 558       my ($storage, $dbh, @cols) = @_;
 559       my $cols = join(q{, }, @cols);
 560       $dbh->selectrow_array("SELECT $cols FROM foo");
 561     },
 562     @column_list
 563   );
 564
 565 =cut
 566
 567 sub dbh_do {
 568   my $self = shift;
 569   my $code = shift;
 570
 571   my $dbh = $self->_get_dbh;
 572
 573   return $self->$code($dbh, @_) if $self->{_in_dbh_do}
 574       || $self->{transaction_depth};
 575
 576   local $self->{_in_dbh_do} = 1;
 577
 578   my @result;
 579   my $want_array = wantarray;
 580
 581   eval {
 582
 583     if($want_array) {
 584         @result = $self->$code($dbh, @_);
 585     }
 586     elsif(defined $want_array) {
 587         $result[0] = $self->$code($dbh, @_);
 588     }
 589     else {
 590         $self->$code($dbh, @_);
 591     }
 592   };
 593
 594   # ->connected might unset $@ - copy
 595   my $exception = $@;
 596   if(!$exception) { return $want_array ? @result : $result[0] }
 597
 598   $self->throw_exception($exception) if $self->connected;
 599
 600   # We were not connected - reconnect and retry, but let any
 601   #  exception fall right through this time
 602   carp "Retrying $code after catching disconnected exception: $exception"
 603     if $ENV{DBIC_DBIRETRY_DEBUG};
 604   $self->_populate_dbh;
 605   $self->$code($self->_dbh, @_);
 606 }
 607
 608 # This is basically a blend of dbh_do above and DBIx::Class::Storage::txn_do.
 609 # It also informs dbh_do to bypass itself while under the direction of txn_do,
 610 #  via $self->{_in_dbh_do} (this saves some redundant eval and errorcheck, etc)
 611 sub txn_do {
 612   my $self = shift;
 613   my $coderef = shift;
 614
 615   ref $coderef eq 'CODE' or $self->throw_exception
 616     ('$coderef must be a CODE reference');
 617
 618   return $coderef->(@_) if $self->{transaction_depth} && ! $self->auto_savepoint;
 619
 620   local $self->{_in_dbh_do} = 1;
 621
 622   my @result;
 623   my $want_array = wantarray;
 624
 625   my $tried = 0;
 626   while(1) {
 627     eval {
 628       $self->_get_dbh;
 629
 630       $self->txn_begin;
 631       if($want_array) {
 632           @result = $coderef->(@_);
 633       }
 634       elsif(defined $want_array) {
 635           $result[0] = $coderef->(@_);
 636       }
 637       else {
 638           $coderef->(@_);
 639       }
 640       $self->txn_commit;
 641     };
 642
 643     # ->connected might unset $@ - copy
 644     my $exception = $@;
 645     if(!$exception) { return $want_array ? @result : $result[0] }
 646
 647     if($tried++ || $self->connected) {
 648       eval { $self->txn_rollback };
 649       my $rollback_exception = $@;
 650       if($rollback_exception) {
 651         my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
 652         $self->throw_exception($exception)  # propagate nested rollback
 653           if $rollback_exception =~ /$exception_class/;
 654
 655         $self->throw_exception(
 656           "Transaction aborted: ${exception}. "
 657           . "Rollback failed: ${rollback_exception}"
 658         );
 659       }
 660       $self->throw_exception($exception)
 661     }
 662
 663     # We were not connected, and was first try - reconnect and retry
 664     # via the while loop
 665     carp "Retrying $coderef after catching disconnected exception: $exception"
 666       if $ENV{DBIC_DBIRETRY_DEBUG};
 667     $self->_populate_dbh;
 668   }
 669 }
 670
 671 =head2 disconnect
 672
 673 Our C<disconnect> method also performs a rollback first if the
 674 database is not in C<AutoCommit> mode.
 675
 676 =cut
 677
 678 sub disconnect {
 679   my ($self) = @_;
 680
 681   if( $self->_dbh ) {
 682     my @actions;
 683
 684     push @actions, ( $self->on_disconnect_call || () );
 685     push @actions, $self->_parse_connect_do ('on_disconnect_do');
 686
 687     $self->_do_connection_actions(disconnect_call_ => $_) for @actions;
 688
 689     $self->_dbh_rollback unless $self->_dbh_autocommit;
 690
 691     $self->_dbh->disconnect;
 692     $self->_dbh(undef);
 693     $self->{_dbh_gen}++;
 694   }
 695 }
 696
 697 =head2 with_deferred_fk_checks
 698
 699 =over 4
 700
 701 =item Arguments: C<$coderef>
 702
 703 =item Return Value: The return value of $coderef
 704
 705 =back
 706
 707 Storage specific method to run the code ref with FK checks deferred or
 708 in MySQL's case disabled entirely.
 709
 710 =cut
 711
 712 # Storage subclasses should override this
 713 sub with_deferred_fk_checks {
 714   my ($self, $sub) = @_;
 715
 716   $sub->();
 717 }
 718
 719 =head2 connected
 720
 721 =over
 722
 723 =item Arguments: none
 724
 725 =item Return Value: 1|0
 726
 727 =back
 728
 729 Verifies that the the current database handle is active and ready to execute
 730 an SQL statement (i.e. the connection did not get stale, server is still
 731 answering, etc.) This method is used internally by L</dbh>.
 732
 733 =cut
 734
 735 sub connected {
 736   my $self = shift;
 737   return 0 unless $self->_seems_connected;
 738
 739   #be on the safe side
 740   local $self->_dbh->{RaiseError} = 1;
 741
 742   return $self->_ping;
 743 }
 744
 745 sub _seems_connected {
 746   my $self = shift;
 747
 748   my $dbh = $self->_dbh
 749     or return 0;
 750
 751   if(defined $self->_conn_tid && $self->_conn_tid != threads->tid) {
 752     $self->_dbh(undef);
 753     $self->{_dbh_gen}++;
 754     return 0;
 755   }
 756   else {
 757     $self->_verify_pid;
 758     return 0 if !$self->_dbh;
 759   }
 760
 761   return $dbh->FETCH('Active');
 762 }
 763
 764 sub _ping {
 765   my $self = shift;
 766
 767   my $dbh = $self->_dbh or return 0;
 768
 769   return $dbh->ping;
 770 }
 771
 772 # handle pid changes correctly
 773 #  NOTE: assumes $self->_dbh is a valid $dbh
 774 sub _verify_pid {
 775   my ($self) = @_;
 776
 777   return if defined $self->_conn_pid && $self->_conn_pid == $$;
 778
 779   $self->_dbh->{InactiveDestroy} = 1;
 780   $self->_dbh(undef);
 781   $self->{_dbh_gen}++;
 782
 783   return;
 784 }
 785
 786 sub ensure_connected {
 787   my ($self) = @_;
 788
 789   unless ($self->connected) {
 790     $self->_populate_dbh;
 791   }
 792 }
 793
 794 =head2 dbh
 795
 796 Returns a C<$dbh> - a data base handle of class L<DBI>. The returned handle
 797 is guaranteed to be healthy by implicitly calling L</connected>, and if
 798 necessary performing a reconnection before returning. Keep in mind that this
 799 is very B<expensive> on some database engines. Consider using L<dbh_do>
 800 instead.
 801
 802 =cut
 803
 804 sub dbh {
 805   my ($self) = @_;
 806
 807   if (not $self->_dbh) {
 808     $self->_populate_dbh;
 809   } else {
 810     $self->ensure_connected;
 811   }
 812   return $self->_dbh;
 813 }
 814
 815 # this is the internal "get dbh or connect (don't check)" method
 816 sub _get_dbh {
 817   my $self = shift;
 818   $self->_verify_pid if $self->_dbh;
 819   $self->_populate_dbh unless $self->_dbh;
 820   return $self->_dbh;
 821 }
 822
 823 sub _sql_maker_args {
 824     my ($self) = @_;
 825
 826     return (
 827       bindtype=>'columns',
 828       array_datatypes => 1,
 829       limit_dialect => $self->_get_dbh,
 830       %{$self->_sql_maker_opts}
 831     );
 832 }
 833
 834 sub sql_maker {
 835   my ($self) = @_;
 836   unless ($self->_sql_maker) {
 837     my $sql_maker_class = $self->sql_maker_class;
 838     $self->ensure_class_loaded ($sql_maker_class);
 839     $self->_sql_maker($sql_maker_class->new( $self->_sql_maker_args ));
 840   }
 841   return $self->_sql_maker;
 842 }
 843
 844 # nothing to do by default
 845 sub _rebless {}
 846 sub _init {}
 847
 848 sub _populate_dbh {
 849   my ($self) = @_;
 850
 851   my @info = @{$self->_dbi_connect_info || []};
 852   $self->_dbh(undef); # in case ->connected failed we might get sent here
 853   $self->_dbh($self->_connect(@info));
 854
 855   $self->_conn_pid($$);
 856   $self->_conn_tid(threads->tid) if $INC{'threads.pm'};
 857
 858   $self->_determine_driver;
 859
 860   # Always set the transaction depth on connect, since
 861   #  there is no transaction in progress by definition
 862   $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
 863
 864   $self->_run_connection_actions unless $self->{_in_determine_driver};
 865 }
 866
 867 sub _run_connection_actions {
 868   my $self = shift;
 869   my @actions;
 870
 871   push @actions, ( $self->on_connect_call || () );
 872   push @actions, $self->_parse_connect_do ('on_connect_do');
 873
 874   $self->_do_connection_actions(connect_call_ => $_) for @actions;
 875 }
 876
 877 sub _determine_driver {
 878   my ($self) = @_;
 879
 880   if ((not $self->_driver_determined) && (not $self->{_in_determine_driver})) {
 881     my $started_unconnected = 0;
 882     local $self->{_in_determine_driver} = 1;
 883
 884     if (ref($self) eq __PACKAGE__) {
 885       my $driver;
 886       if ($self->_dbh) { # we are connected
 887         $driver = $self->_dbh->{Driver}{Name};
 888       } else {
 889         # if connect_info is a CODEREF, we have no choice but to connect
 890         if (ref $self->_dbi_connect_info->[0] &&
 891             Scalar::Util::reftype($self->_dbi_connect_info->[0]) eq 'CODE') {
 892           $self->_populate_dbh;
 893           $driver = $self->_dbh->{Driver}{Name};
 894         }
 895         else {
 896           # try to use dsn to not require being connected, the driver may still
 897           # force a connection in _rebless to determine version
 898           ($driver) = $self->_dbi_connect_info->[0] =~ /dbi:([^:]+):/i;
 899           $started_unconnected = 1;
 900         }
 901       }
 902
 903       my $storage_class = "DBIx::Class::Storage::DBI::${driver}";
 904       if ($self->load_optional_class($storage_class)) {
 905         mro::set_mro($storage_class, 'c3');
 906         bless $self, $storage_class;
 907         $self->_rebless();
 908       }
 909     }
 910
 911     $self->_driver_determined(1);
 912
 913     $self->_init; # run driver-specific initializations
 914
 915     $self->_run_connection_actions
 916         if $started_unconnected && defined $self->_dbh;
 917   }
 918 }
 919
 920 sub _do_connection_actions {
 921   my $self          = shift;
 922   my $method_prefix = shift;
 923   my $call          = shift;
 924
 925   if (not ref($call)) {
 926     my $method = $method_prefix . $call;
 927     $self->$method(@_);
 928   } elsif (ref($call) eq 'CODE') {
 929     $self->$call(@_);
 930   } elsif (ref($call) eq 'ARRAY') {
 931     if (ref($call->[0]) ne 'ARRAY') {
 932       $self->_do_connection_actions($method_prefix, $_) for @$call;
 933     } else {
 934       $self->_do_connection_actions($method_prefix, @$_) for @$call;
 935     }
 936   } else {
 937     $self->throw_exception (sprintf ("Don't know how to process conection actions of type '%s'", ref($call)) );
 938   }
 939
 940   return $self;
 941 }
 942
 943 sub connect_call_do_sql {
 944   my $self = shift;
 945   $self->_do_query(@_);
 946 }
 947
 948 sub disconnect_call_do_sql {
 949   my $self = shift;
 950   $self->_do_query(@_);
 951 }
 952
 953 # override in db-specific backend when necessary
 954 sub connect_call_datetime_setup { 1 }
 955
 956 sub _do_query {
 957   my ($self, $action) = @_;
 958
 959   if (ref $action eq 'CODE') {
 960     $action = $action->($self);
 961     $self->_do_query($_) foreach @$action;
 962   }
 963   else {
 964     # Most debuggers expect ($sql, @bind), so we need to exclude
 965     # the attribute hash which is the second argument to $dbh->do
 966     # furthermore the bind values are usually to be presented
 967     # as named arrayref pairs, so wrap those here too
 968     my @do_args = (ref $action eq 'ARRAY') ? (@$action) : ($action);
 969     my $sql = shift @do_args;
 970     my $attrs = shift @do_args;
 971     my @bind = map { [ undef, $_ ] } @do_args;
 972
 973     $self->_query_start($sql, @bind);
 974     $self->_get_dbh->do($sql, $attrs, @do_args);
 975     $self->_query_end($sql, @bind);
 976   }
 977
 978   return $self;
 979 }
 980
 981 sub _connect {
 982   my ($self, @info) = @_;
 983
 984   $self->throw_exception("You failed to provide any connection info")
 985     if !@info;
 986
 987   my ($old_connect_via, $dbh);
 988
 989   if ($INC{'Apache/DBI.pm'} && $ENV{MOD_PERL}) {
 990     $old_connect_via = $DBI::connect_via;
 991     $DBI::connect_via = 'connect';
 992   }
 993
 994   eval {
 995     if(ref $info[0] eq 'CODE') {
 996        $dbh = &{$info[0]}
 997     }
 998     else {
 999        $dbh = DBI->connect(@info);
1000     }
1001
1002     if($dbh && !$self->unsafe) {
1003       my $weak_self = $self;
1004       Scalar::Util::weaken($weak_self);
1005       $dbh->{HandleError} = sub {
1006           if ($weak_self) {
1007             $weak_self->throw_exception("DBI Exception: $_[0]");
1008           }
1009           else {
1010             # the handler may be invoked by something totally out of
1011             # the scope of DBIC
1012             croak ("DBI Exception: $_[0]");
1013           }
1014       };
1015       $dbh->{ShowErrorStatement} = 1;
1016       $dbh->{RaiseError} = 1;
1017       $dbh->{PrintError} = 0;
1018     }
1019   };
1020
1021   $DBI::connect_via = $old_connect_via if $old_connect_via;
1022
1023   $self->throw_exception("DBI Connection failed: " . ($@||$DBI::errstr))
1024     if !$dbh || $@;
1025
1026   $self->_dbh_autocommit($dbh->{AutoCommit});
1027
1028   $dbh;
1029 }
1030
1031 sub svp_begin {
1032   my ($self, $name) = @_;
1033
1034   $name = $self->_svp_generate_name
1035     unless defined $name;
1036
1037   $self->throw_exception ("You can't use savepoints outside a transaction")
1038     if $self->{transaction_depth} == 0;
1039
1040   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1041     unless $self->can('_svp_begin');
1042
1043   push @{ $self->{savepoints} }, $name;
1044
1045   $self->debugobj->svp_begin($name) if $self->debug;
1046
1047   return $self->_svp_begin($name);
1048 }
1049
1050 sub svp_release {
1051   my ($self, $name) = @_;
1052
1053   $self->throw_exception ("You can't use savepoints outside a transaction")
1054     if $self->{transaction_depth} == 0;
1055
1056   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1057     unless $self->can('_svp_release');
1058
1059   if (defined $name) {
1060     $self->throw_exception ("Savepoint '$name' does not exist")
1061       unless grep { $_ eq $name } @{ $self->{savepoints} };
1062
1063     # Dig through the stack until we find the one we are releasing.  This keeps
1064     # the stack up to date.
1065     my $svp;
1066
1067     do { $svp = pop @{ $self->{savepoints} } } while $svp ne $name;
1068   } else {
1069     $name = pop @{ $self->{savepoints} };
1070   }
1071
1072   $self->debugobj->svp_release($name) if $self->debug;
1073
1074   return $self->_svp_release($name);
1075 }
1076
1077 sub svp_rollback {
1078   my ($self, $name) = @_;
1079
1080   $self->throw_exception ("You can't use savepoints outside a transaction")
1081     if $self->{transaction_depth} == 0;
1082
1083   $self->throw_exception ("Your Storage implementation doesn't support savepoints")
1084     unless $self->can('_svp_rollback');
1085
1086   if (defined $name) {
1087       # If they passed us a name, verify that it exists in the stack
1088       unless(grep({ $_ eq $name } @{ $self->{savepoints} })) {
1089           $self->throw_exception("Savepoint '$name' does not exist!");
1090       }
1091
1092       # Dig through the stack until we find the one we are releasing.  This keeps
1093       # the stack up to date.
1094       while(my $s = pop(@{ $self->{savepoints} })) {
1095           last if($s eq $name);
1096       }
1097       # Add the savepoint back to the stack, as a rollback doesn't remove the
1098       # named savepoint, only everything after it.
1099       push(@{ $self->{savepoints} }, $name);
1100   } else {
1101       # We'll assume they want to rollback to the last savepoint
1102       $name = $self->{savepoints}->[-1];
1103   }
1104
1105   $self->debugobj->svp_rollback($name) if $self->debug;
1106
1107   return $self->_svp_rollback($name);
1108 }
1109
1110 sub _svp_generate_name {
1111     my ($self) = @_;
1112
1113     return 'savepoint_'.scalar(@{ $self->{'savepoints'} });
1114 }
1115
1116 sub txn_begin {
1117   my $self = shift;
1118   if($self->{transaction_depth} == 0) {
1119     $self->debugobj->txn_begin()
1120       if $self->debug;
1121     $self->_dbh_begin_work;
1122   }
1123   elsif ($self->auto_savepoint) {
1124     $self->svp_begin;
1125   }
1126   $self->{transaction_depth}++;
1127 }
1128
1129 sub _dbh_begin_work {
1130   my $self = shift;
1131
1132   # if the user is utilizing txn_do - good for him, otherwise we need to
1133   # ensure that the $dbh is healthy on BEGIN.
1134   # We do this via ->dbh_do instead of ->dbh, so that the ->dbh "ping"
1135   # will be replaced by a failure of begin_work itself (which will be
1136   # then retried on reconnect)
1137   if ($self->{_in_dbh_do}) {
1138     $self->_dbh->begin_work;
1139   } else {
1140     $self->dbh_do(sub { $_[1]->begin_work });
1141   }
1142 }
1143
1144 sub txn_commit {
1145   my $self = shift;
1146   if ($self->{transaction_depth} == 1) {
1147     my $dbh = $self->_dbh;
1148     $self->debugobj->txn_commit()
1149       if ($self->debug);
1150     $self->_dbh_commit;
1151     $self->{transaction_depth} = 0
1152       if $self->_dbh_autocommit;
1153   }
1154   elsif($self->{transaction_depth} > 1) {
1155     $self->{transaction_depth}--;
1156     $self->svp_release
1157       if $self->auto_savepoint;
1158   }
1159 }
1160
1161 sub _dbh_commit {
1162   my $self = shift;
1163   $self->_dbh->commit;
1164 }
1165
1166 sub txn_rollback {
1167   my $self = shift;
1168   my $dbh = $self->_dbh;
1169   eval {
1170     if ($self->{transaction_depth} == 1) {
1171       $self->debugobj->txn_rollback()
1172         if ($self->debug);
1173       $self->{transaction_depth} = 0
1174         if $self->_dbh_autocommit;
1175       $self->_dbh_rollback;
1176     }
1177     elsif($self->{transaction_depth} > 1) {
1178       $self->{transaction_depth}--;
1179       if ($self->auto_savepoint) {
1180         $self->svp_rollback;
1181         $self->svp_release;
1182       }
1183     }
1184     else {
1185       die DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION->new;
1186     }
1187   };
1188   if ($@) {
1189     my $error = $@;
1190     my $exception_class = "DBIx::Class::Storage::NESTED_ROLLBACK_EXCEPTION";
1191     $error =~ /$exception_class/ and $self->throw_exception($error);
1192     # ensure that a failed rollback resets the transaction depth
1193     $self->{transaction_depth} = $self->_dbh_autocommit ? 0 : 1;
1194     $self->throw_exception($error);
1195   }
1196 }
1197
1198 sub _dbh_rollback {
1199   my $self = shift;
1200   $self->_dbh->rollback;
1201 }
1202
1203 # This used to be the top-half of _execute.  It was split out to make it
1204 #  easier to override in NoBindVars without duping the rest.  It takes up
1205 #  all of _execute's args, and emits $sql, @bind.
1206 sub _prep_for_execute {
1207   my ($self, $op, $extra_bind, $ident, $args) = @_;
1208
1209   if( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1210     $ident = $ident->from();
1211   }
1212
1213   my ($sql, @bind) = $self->sql_maker->$op($ident, @$args);
1214
1215   unshift(@bind,
1216     map { ref $_ eq 'ARRAY' ? $_ : [ '!!dummy', $_ ] } @$extra_bind)
1217       if $extra_bind;
1218   return ($sql, \@bind);
1219 }
1220
1221
1222 sub _fix_bind_params {
1223     my ($self, @bind) = @_;
1224
1225     ### Turn @bind from something like this:
1226     ###   ( [ "artist", 1 ], [ "cdid", 1, 3 ] )
1227     ### to this:
1228     ###   ( "'1'", "'1'", "'3'" )
1229     return
1230         map {
1231             if ( defined( $_ && $_->[1] ) ) {
1232                 map { qq{'$_'}; } @{$_}[ 1 .. $#$_ ];
1233             }
1234             else { q{'NULL'}; }
1235         } @bind;
1236 }
1237
1238 sub _query_start {
1239     my ( $self, $sql, @bind ) = @_;
1240
1241     if ( $self->debug ) {
1242         @bind = $self->_fix_bind_params(@bind);
1243
1244         $self->debugobj->query_start( $sql, @bind );
1245     }
1246 }
1247
1248 sub _query_end {
1249     my ( $self, $sql, @bind ) = @_;
1250
1251     if ( $self->debug ) {
1252         @bind = $self->_fix_bind_params(@bind);
1253         $self->debugobj->query_end( $sql, @bind );
1254     }
1255 }
1256
1257 sub _dbh_execute {
1258   my ($self, $dbh, $op, $extra_bind, $ident, $bind_attributes, @args) = @_;
1259
1260   my ($sql, $bind) = $self->_prep_for_execute($op, $extra_bind, $ident, \@args);
1261
1262   $self->_query_start( $sql, @$bind );
1263
1264   my $sth = $self->sth($sql,$op);
1265
1266   my $placeholder_index = 1;
1267
1268   foreach my $bound (@$bind) {
1269     my $attributes = {};
1270     my($column_name, @data) = @$bound;
1271
1272     if ($bind_attributes) {
1273       $attributes = $bind_attributes->{$column_name}
1274       if defined $bind_attributes->{$column_name};
1275     }
1276
1277     foreach my $data (@data) {
1278       my $ref = ref $data;
1279       $data = $ref && $ref ne 'ARRAY' ? ''.$data : $data; # stringify args (except arrayrefs)
1280
1281       $sth->bind_param($placeholder_index, $data, $attributes);
1282       $placeholder_index++;
1283     }
1284   }
1285
1286   # Can this fail without throwing an exception anyways???
1287   my $rv = $sth->execute();
1288   $self->throw_exception($sth->errstr) if !$rv;
1289
1290   $self->_query_end( $sql, @$bind );
1291
1292   return (wantarray ? ($rv, $sth, @$bind) : $rv);
1293 }
1294
1295 sub _execute {
1296     my $self = shift;
1297     $self->dbh_do('_dbh_execute', @_);  # retry over disconnects
1298 }
1299
1300 sub insert {
1301   my ($self, $source, $to_insert) = @_;
1302
1303 # redispatch to insert method of storage we reblessed into, if necessary
1304   if (not $self->_driver_determined) {
1305     $self->_determine_driver;
1306     goto $self->can('insert');
1307   }
1308
1309   my $ident = $source->from;
1310   my $bind_attributes = $self->source_bind_attributes($source);
1311
1312   my $updated_cols = {};
1313
1314   foreach my $col ( $source->columns ) {
1315     if ( !defined $to_insert->{$col} ) {
1316       my $col_info = $source->column_info($col);
1317
1318       if ( $col_info->{auto_nextval} ) {
1319         $updated_cols->{$col} = $to_insert->{$col} = $self->_sequence_fetch(
1320           'nextval',
1321           $col_info->{sequence} ||
1322             $self->_dbh_get_autoinc_seq($self->_get_dbh, $source)
1323         );
1324       }
1325     }
1326   }
1327
1328   $self->_execute('insert' => [], $source, $bind_attributes, $to_insert);
1329
1330   return $updated_cols;
1331 }
1332
1333 ## Still not quite perfect, and EXPERIMENTAL
1334 ## Currently it is assumed that all values passed will be "normal", i.e. not
1335 ## scalar refs, or at least, all the same type as the first set, the statement is
1336 ## only prepped once.
1337 sub insert_bulk {
1338   my ($self, $source, $cols, $data) = @_;
1339
1340 # redispatch to insert_bulk method of storage we reblessed into, if necessary
1341   if (not $self->_driver_determined) {
1342     $self->_determine_driver;
1343     goto $self->can('insert_bulk');
1344   }
1345
1346   my %colvalues;
1347   @colvalues{@$cols} = (0..$#$cols);
1348
1349   # pass scalarref to SQLA for literal sql if it's the same in all slices
1350   for my $i (0..$#$cols) {
1351     my $first_val = $data->[0][$i];
1352     next unless ref $first_val eq 'SCALAR';
1353
1354     $colvalues{ $cols->[$i] } = $first_val
1355       if (grep {
1356         ref $_ eq 'SCALAR' && $$_ eq $$first_val
1357       } map $data->[$_][$i], (1..$#$data)) == (@$data - 1);
1358   }
1359
1360   my ($sql, $bind) = $self->_prep_for_execute (
1361     'insert', undef, $source, [\%colvalues]
1362   );
1363   my @bind = @$bind;
1364
1365   my $empty_bind = 1 if (not @bind) &&
1366     (grep { ref $_ eq 'SCALAR' } values %colvalues) == @$cols;
1367
1368   if ((not @bind) && (not $empty_bind)) {
1369     $self->throw_exception(
1370       'Cannot insert_bulk without support for placeholders'
1371     );
1372   }
1373
1374   $self->_query_start( $sql, @bind );
1375   my $sth = $self->sth($sql);
1376
1377   my $rv = do {
1378     if ($empty_bind) {
1379       # bind_param_array doesn't work if there are no binds
1380       $self->_execute_array_empty( $sth, scalar @$data );
1381     }
1382     else {
1383 #      @bind = map { ref $_ ? ''.$_ : $_ } @bind; # stringify args
1384       $self->_execute_array( $source, $sth, \@bind, $cols, $data );
1385     }
1386   };
1387
1388   $self->_query_end( $sql, @bind );
1389
1390   return (wantarray ? ($rv, $sth, @bind) : $rv);
1391 }
1392
1393 sub _execute_array {
1394   my ($self, $source, $sth, $bind, $cols, $data, $after_exec_cb) = @_;
1395
1396   my $guard = $self->txn_scope_guard unless $self->{transaction_depth} != 0;
1397
1398   ## This must be an arrayref, else nothing works!
1399   my $tuple_status = [];
1400
1401   ## Get the bind_attributes, if any exist
1402   my $bind_attributes = $self->source_bind_attributes($source);
1403
1404   ## Bind the values and execute
1405   my $placeholder_index = 1;
1406
1407   foreach my $bound (@$bind) {
1408
1409     my $attributes = {};
1410     my ($column_name, $data_index) = @$bound;
1411
1412     if( $bind_attributes ) {
1413       $attributes = $bind_attributes->{$column_name}
1414       if defined $bind_attributes->{$column_name};
1415     }
1416
1417     my @data = map { $_->[$data_index] } @$data;
1418
1419     $sth->bind_param_array( $placeholder_index, [@data], $attributes );
1420     $placeholder_index++;
1421   }
1422
1423   my $rv;
1424   eval {
1425     $rv = $sth->execute_array({ArrayTupleStatus => $tuple_status});
1426     $after_exec_cb->() if $after_exec_cb;
1427   };
1428   my $err = $@ || $sth->errstr;
1429
1430 # Statement must finish even if there was an exception.
1431   eval { $sth->finish };
1432   $err = $@ unless $err;
1433
1434   if ($err) {
1435     my $i = 0;
1436     ++$i while $i <= $#$tuple_status && !ref $tuple_status->[$i];
1437
1438     $self->throw_exception("Unexpected populate error: $err")
1439       if ($i > $#$tuple_status);
1440
1441     $self->throw_exception(sprintf "%s for populate slice:\n%s",
1442       ($tuple_status->[$i][1] || $err),
1443       $self->_pretty_print ({
1444         map { $cols->[$_] => $data->[$i][$_] } (0 .. $#$cols)
1445       }),
1446     );
1447   }
1448
1449   $guard->commit if $guard;
1450
1451   return $rv;
1452 }
1453
1454 sub _execute_array_empty {
1455   my ($self, $sth, $count) = @_;
1456
1457   my $guard = $self->txn_scope_guard unless $self->{transaction_depth} != 0;
1458
1459   eval {
1460     my $dbh = $self->_get_dbh;
1461     local $dbh->{RaiseError} = 1;
1462     local $dbh->{PrintError} = 0;
1463
1464 # In case of a multi-statement with a select, some DBDs (namely Sybase) require
1465 # the statement to be exhausted.
1466     my $fetch = 0;
1467     if ($self->_exhaust_statements && $sth->{Statement} =~ /(?:\n|;)select/i) {
1468       $fetch = 1;
1469     }
1470
1471     foreach (1..$count) {
1472       $sth->execute;
1473       $sth->fetchall_arrayref if $fetch;
1474     }
1475   };
1476   my $exception = $@;
1477
1478 # Make sure statement is finished even if there was an exception.
1479   eval { $sth->finish };
1480   $exception = $@ unless $exception;
1481
1482   $self->throw_exception($exception) if $exception;
1483
1484   $guard->commit if $guard;
1485
1486   return $count;
1487 }
1488
1489 # Whether we prefer to exhaust cursors with results, or they can be
1490 # reused/finished without fetching anything. To be overridden to '1' in storages
1491 # that need it.
1492 sub _exhaust_statements { 0 }
1493
1494 sub update {
1495   my ($self, $source, @args) = @_;
1496
1497 # redispatch to update method of storage we reblessed into, if necessary
1498   if (not $self->_driver_determined) {
1499     $self->_determine_driver;
1500     goto $self->can('update');
1501   }
1502
1503   my $bind_attributes = $self->source_bind_attributes($source);
1504
1505   return $self->_execute('update' => [], $source, $bind_attributes, @args);
1506 }
1507
1508
1509 sub delete {
1510   my $self = shift @_;
1511   my $source = shift @_;
1512   $self->_determine_driver;
1513   my $bind_attrs = $self->source_bind_attributes($source);
1514
1515   return $self->_execute('delete' => [], $source, $bind_attrs, @_);
1516 }
1517
1518 # We were sent here because the $rs contains a complex search
1519 # which will require a subquery to select the correct rows
1520 # (i.e. joined or limited resultsets)
1521 #
1522 # Genarating a single PK column subquery is trivial and supported
1523 # by all RDBMS. However if we have a multicolumn PK, things get ugly.
1524 # Look at _multipk_update_delete()
1525 sub _subq_update_delete {
1526   my $self = shift;
1527   my ($rs, $op, $values) = @_;
1528
1529   my $rsrc = $rs->result_source;
1530
1531   # we already check this, but double check naively just in case. Should be removed soon
1532   my $sel = $rs->_resolved_attrs->{select};
1533   $sel = [ $sel ] unless ref $sel eq 'ARRAY';
1534   my @pcols = $rsrc->primary_columns;
1535   if (@$sel != @pcols) {
1536     $self->throw_exception (
1537       'Subquery update/delete can not be called on resultsets selecting a'
1538      .' number of columns different than the number of primary keys'
1539     );
1540   }
1541
1542   if (@pcols == 1) {
1543     return $self->$op (
1544       $rsrc,
1545       $op eq 'update' ? $values : (),
1546       { $pcols[0] => { -in => $rs->as_query } },
1547     );
1548   }
1549
1550   else {
1551     return $self->_multipk_update_delete (@_);
1552   }
1553 }
1554
1555 # ANSI SQL does not provide a reliable way to perform a multicol-PK
1556 # resultset update/delete involving subqueries. So by default resort
1557 # to simple (and inefficient) delete_all style per-row opearations,
1558 # while allowing specific storages to override this with a faster
1559 # implementation.
1560 #
1561 sub _multipk_update_delete {
1562   return shift->_per_row_update_delete (@_);
1563 }
1564
1565 # This is the default loop used to delete/update rows for multi PK
1566 # resultsets, and used by mysql exclusively (because it can't do anything
1567 # else).
1568 #
1569 # We do not use $row->$op style queries, because resultset update/delete
1570 # is not expected to cascade (this is what delete_all/update_all is for).
1571 #
1572 # There should be no race conditions as the entire operation is rolled
1573 # in a transaction.
1574 #
1575 sub _per_row_update_delete {
1576   my $self = shift;
1577   my ($rs, $op, $values) = @_;
1578
1579   my $rsrc = $rs->result_source;
1580   my @pcols = $rsrc->primary_columns;
1581
1582   my $guard = $self->txn_scope_guard;
1583
1584   # emulate the return value of $sth->execute for non-selects
1585   my $row_cnt = '0E0';
1586
1587   my $subrs_cur = $rs->cursor;
1588   while (my @pks = $subrs_cur->next) {
1589
1590     my $cond;
1591     for my $i (0.. $#pcols) {
1592       $cond->{$pcols[$i]} = $pks[$i];
1593     }
1594
1595     $self->$op (
1596       $rsrc,
1597       $op eq 'update' ? $values : (),
1598       $cond,
1599     );
1600
1601     $row_cnt++;
1602   }
1603
1604   $guard->commit;
1605
1606   return $row_cnt;
1607 }
1608
1609 sub _select {
1610   my $self = shift;
1611
1612   # localization is neccessary as
1613   # 1) there is no infrastructure to pass this around before SQLA2
1614   # 2) _select_args sets it and _prep_for_execute consumes it
1615   my $sql_maker = $self->sql_maker;
1616   local $sql_maker->{_dbic_rs_attrs};
1617
1618   return $self->_execute($self->_select_args(@_));
1619 }
1620
1621 sub _select_args_to_query {
1622   my $self = shift;
1623
1624   # localization is neccessary as
1625   # 1) there is no infrastructure to pass this around before SQLA2
1626   # 2) _select_args sets it and _prep_for_execute consumes it
1627   my $sql_maker = $self->sql_maker;
1628   local $sql_maker->{_dbic_rs_attrs};
1629
1630   # my ($op, $bind, $ident, $bind_attrs, $select, $cond, $order, $rows, $offset)
1631   #  = $self->_select_args($ident, $select, $cond, $attrs);
1632   my ($op, $bind, $ident, $bind_attrs, @args) =
1633     $self->_select_args(@_);
1634
1635   # my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, [ $select, $cond, $order, $rows, $offset ]);
1636   my ($sql, $prepared_bind) = $self->_prep_for_execute($op, $bind, $ident, \@args);
1637   $prepared_bind ||= [];
1638
1639   return wantarray
1640     ? ($sql, $prepared_bind, $bind_attrs)
1641     : \[ "($sql)", @$prepared_bind ]
1642   ;
1643 }
1644
1645 sub _select_args {
1646   my ($self, $ident, $select, $where, $attrs) = @_;
1647
1648   my ($alias2source, $rs_alias) = $self->_resolve_ident_sources ($ident);
1649
1650   my $sql_maker = $self->sql_maker;
1651   $sql_maker->{_dbic_rs_attrs} = {
1652     %$attrs,
1653     select => $select,
1654     from => $ident,
1655     where => $where,
1656     $rs_alias
1657       ? ( _source_handle => $alias2source->{$rs_alias}->handle )
1658       : ()
1659     ,
1660   };
1661
1662   # calculate bind_attrs before possible $ident mangling
1663   my $bind_attrs = {};
1664   for my $alias (keys %$alias2source) {
1665     my $bindtypes = $self->source_bind_attributes ($alias2source->{$alias}) || {};
1666     for my $col (keys %$bindtypes) {
1667
1668       my $fqcn = join ('.', $alias, $col);
1669       $bind_attrs->{$fqcn} = $bindtypes->{$col} if $bindtypes->{$col};
1670
1671       # Unqialified column names are nice, but at the same time can be
1672       # rather ambiguous. What we do here is basically go along with
1673       # the loop, adding an unqualified column slot to $bind_attrs,
1674       # alongside the fully qualified name. As soon as we encounter
1675       # another column by that name (which would imply another table)
1676       # we unset the unqualified slot and never add any info to it
1677       # to avoid erroneous type binding. If this happens the users
1678       # only choice will be to fully qualify his column name
1679
1680       if (exists $bind_attrs->{$col}) {
1681         $bind_attrs->{$col} = {};
1682       }
1683       else {
1684         $bind_attrs->{$col} = $bind_attrs->{$fqcn};
1685       }
1686     }
1687   }
1688
1689   # adjust limits
1690   if (
1691     $attrs->{software_limit}
1692       ||
1693     $sql_maker->_default_limit_syntax eq "GenericSubQ"
1694   ) {
1695     $attrs->{software_limit} = 1;
1696   }
1697   else {
1698     $self->throw_exception("rows attribute must be positive if present")
1699       if (defined($attrs->{rows}) && !($attrs->{rows} > 0));
1700
1701     # MySQL actually recommends this approach.  I cringe.
1702     $attrs->{rows} = 2**48 if not defined $attrs->{rows} and defined $attrs->{offset};
1703   }
1704
1705   my @limit;
1706
1707   # see if we need to tear the prefetch apart (either limited has_many or grouped prefetch)
1708   # otherwise delegate the limiting to the storage, unless software limit was requested
1709   if (
1710     ( $attrs->{rows} && keys %{$attrs->{collapse}} )
1711        ||
1712     ( $attrs->{group_by} && @{$attrs->{group_by}} &&
1713       $attrs->{_prefetch_select} && @{$attrs->{_prefetch_select}} )
1714   ) {
1715     ($ident, $select, $where, $attrs)
1716       = $self->_adjust_select_args_for_complex_prefetch ($ident, $select, $where, $attrs);
1717   }
1718   elsif (! $attrs->{software_limit} ) {
1719     push @limit, $attrs->{rows}, $attrs->{offset};
1720   }
1721
1722 ###
1723   # This would be the point to deflate anything found in $where
1724   # (and leave $attrs->{bind} intact). Problem is - inflators historically
1725   # expect a row object. And all we have is a resultsource (it is trivial
1726   # to extract deflator coderefs via $alias2source above).
1727   #
1728   # I don't see a way forward other than changing the way deflators are
1729   # invoked, and that's just bad...
1730 ###
1731
1732   my $order = { map
1733     { $attrs->{$_} ? ( $_ => $attrs->{$_} ) : ()  }
1734     (qw/order_by group_by having/ )
1735   };
1736
1737   return ('select', $attrs->{bind}, $ident, $bind_attrs, $select, $where, $order, @limit);
1738 }
1739
1740 #
1741 # This is the code producing joined subqueries like:
1742 # SELECT me.*, other.* FROM ( SELECT me.* FROM ... ) JOIN other ON ...
1743 #
1744 sub _adjust_select_args_for_complex_prefetch {
1745   my ($self, $from, $select, $where, $attrs) = @_;
1746
1747   $self->throw_exception ('Nothing to prefetch... how did we get here?!')
1748     if not @{$attrs->{_prefetch_select}};
1749
1750   $self->throw_exception ('Complex prefetches are not supported on resultsets with a custom from attribute')
1751     if (ref $from ne 'ARRAY' || ref $from->[0] ne 'HASH' || ref $from->[1] ne 'ARRAY');
1752
1753
1754   # generate inner/outer attribute lists, remove stuff that doesn't apply
1755   my $outer_attrs = { %$attrs };
1756   delete $outer_attrs->{$_} for qw/where bind rows offset group_by having/;
1757
1758   my $inner_attrs = { %$attrs };
1759   delete $inner_attrs->{$_} for qw/for collapse _prefetch_select _collapse_order_by select as/;
1760
1761
1762   # bring over all non-collapse-induced order_by into the inner query (if any)
1763   # the outer one will have to keep them all
1764   delete $inner_attrs->{order_by};
1765   if (my $ord_cnt = @{$outer_attrs->{order_by}} - @{$outer_attrs->{_collapse_order_by}} ) {
1766     $inner_attrs->{order_by} = [
1767       @{$outer_attrs->{order_by}}[ 0 .. $ord_cnt - 1]
1768     ];
1769   }
1770
1771
1772   # generate the inner/outer select lists
1773   # for inside we consider only stuff *not* brought in by the prefetch
1774   # on the outside we substitute any function for its alias
1775   my $outer_select = [ @$select ];
1776   my $inner_select = [];
1777   for my $i (0 .. ( @$outer_select - @{$outer_attrs->{_prefetch_select}} - 1) ) {
1778     my $sel = $outer_select->[$i];
1779
1780     if (ref $sel eq 'HASH' ) {
1781       $sel->{-as} ||= $attrs->{as}[$i];
1782       $outer_select->[$i] = join ('.', $attrs->{alias}, ($sel->{-as} || "inner_column_$i") );
1783     }
1784
1785     push @$inner_select, $sel;
1786   }
1787
1788   # normalize a copy of $from, so it will be easier to work with further
1789   # down (i.e. promote the initial hashref to an AoH)
1790   $from = [ @$from ];
1791   $from->[0] = [ $from->[0] ];
1792   my %original_join_info = map { $_->[0]{-alias} => $_->[0] } (@$from);
1793
1794
1795   # decide which parts of the join will remain in either part of
1796   # the outer/inner query
1797
1798   # First we compose a list of which aliases are used in restrictions
1799   # (i.e. conditions/order/grouping/etc). Since we do not have
1800   # introspectable SQLA, we fall back to ugly scanning of raw SQL for
1801   # WHERE, and for pieces of ORDER BY in order to determine which aliases
1802   # need to appear in the resulting sql.
1803   # It may not be very efficient, but it's a reasonable stop-gap
1804   # Also unqualified column names will not be considered, but more often
1805   # than not this is actually ok
1806   #
1807   # In the same loop we enumerate part of the selection aliases, as
1808   # it requires the same sqla hack for the time being
1809   my ($restrict_aliases, $select_aliases, $prefetch_aliases);
1810   {
1811     # produce stuff unquoted, so it can be scanned
1812     my $sql_maker = $self->sql_maker;
1813     local $sql_maker->{quote_char};
1814     my $sep = $self->_sql_maker_opts->{name_sep} || '.';
1815     $sep = "\Q$sep\E";
1816
1817     my $non_prefetch_select_sql = $sql_maker->_recurse_fields ($inner_select);
1818     my $prefetch_select_sql = $sql_maker->_recurse_fields ($outer_attrs->{_prefetch_select});
1819     my $where_sql = $sql_maker->where ($where);
1820     my $group_by_sql = $sql_maker->_order_by({
1821       map { $_ => $inner_attrs->{$_} } qw/group_by having/
1822     });
1823     my @non_prefetch_order_by_chunks = (map
1824       { ref $_ ? $_->[0] : $_ }
1825       $sql_maker->_order_by_chunks ($inner_attrs->{order_by})
1826     );
1827
1828
1829     for my $alias (keys %original_join_info) {
1830       my $seen_re = qr/\b $alias $sep/x;
1831
1832       for my $piece ($where_sql, $group_by_sql, @non_prefetch_order_by_chunks ) {
1833         if ($piece =~ $seen_re) {
1834           $restrict_aliases->{$alias} = 1;
1835         }
1836       }
1837
1838       if ($non_prefetch_select_sql =~ $seen_re) {
1839           $select_aliases->{$alias} = 1;
1840       }
1841
1842       if ($prefetch_select_sql =~ $seen_re) {
1843           $prefetch_aliases->{$alias} = 1;
1844       }
1845
1846     }
1847   }
1848
1849   # Add any non-left joins to the restriction list (such joins are indeed restrictions)
1850   for my $j (values %original_join_info) {
1851     my $alias = $j->{-alias} or next;
1852     $restrict_aliases->{$alias} = 1 if (
1853       (not $j->{-join_type})
1854         or
1855       ($j->{-join_type} !~ /^left (?: \s+ outer)? $/xi)
1856     );
1857   }
1858
1859   # mark all join parents as mentioned
1860   # (e.g.  join => { cds => 'tracks' } - tracks will need to bring cds too )
1861   for my $collection ($restrict_aliases, $select_aliases) {
1862     for my $alias (keys %$collection) {
1863       $collection->{$_} = 1
1864         for (@{ $original_join_info{$alias}{-join_path} || [] });
1865     }
1866   }
1867
1868   # construct the inner $from for the subquery
1869   my %inner_joins = (map { %{$_ || {}} } ($restrict_aliases, $select_aliases) );
1870   my @inner_from;
1871   for my $j (@$from) {
1872     push @inner_from, $j if $inner_joins{$j->[0]{-alias}};
1873   }
1874
1875   # if a multi-type join was needed in the subquery ("multi" is indicated by
1876   # presence in {collapse}) - add a group_by to simulate the collapse in the subq
1877   unless ($inner_attrs->{group_by}) {
1878     for my $alias (keys %inner_joins) {
1879
1880       # the dot comes from some weirdness in collapse
1881       # remove after the rewrite
1882       if ($attrs->{collapse}{".$alias"}) {
1883         $inner_attrs->{group_by} ||= $inner_select;
1884         last;
1885       }
1886     }
1887   }
1888
1889   # demote the inner_from head
1890   $inner_from[0] = $inner_from[0][0];
1891
1892   # generate the subquery
1893   my $subq = $self->_select_args_to_query (
1894     \@inner_from,
1895     $inner_select,
1896     $where,
1897     $inner_attrs,
1898   );
1899
1900   my $subq_joinspec = {
1901     -alias => $attrs->{alias},
1902     -source_handle => $inner_from[0]{-source_handle},
1903     $attrs->{alias} => $subq,
1904   };
1905
1906   # Generate the outer from - this is relatively easy (really just replace
1907   # the join slot with the subquery), with a major caveat - we can not
1908   # join anything that is non-selecting (not part of the prefetch), but at
1909   # the same time is a multi-type relationship, as it will explode the result.
1910   #
1911   # There are two possibilities here
1912   # - either the join is non-restricting, in which case we simply throw it away
1913   # - it is part of the restrictions, in which case we need to collapse the outer
1914   #   result by tackling yet another group_by to the outside of the query
1915
1916   # so first generate the outer_from, up to the substitution point
1917   my @outer_from;
1918   while (my $j = shift @$from) {
1919     if ($j->[0]{-alias} eq $attrs->{alias}) { # time to swap
1920       push @outer_from, [
1921         $subq_joinspec,
1922         @{$j}[1 .. $#$j],
1923       ];
1924       last; # we'll take care of what's left in $from below
1925     }
1926     else {
1927       push @outer_from, $j;
1928     }
1929   }
1930
1931   # see what's left - throw away if not selecting/restricting
1932   # also throw in a group_by if restricting to guard against
1933   # cross-join explosions
1934   #
1935   while (my $j = shift @$from) {
1936     my $alias = $j->[0]{-alias};
1937
1938     if ($select_aliases->{$alias} || $prefetch_aliases->{$alias}) {
1939       push @outer_from, $j;
1940     }
1941     elsif ($restrict_aliases->{$alias}) {
1942       push @outer_from, $j;
1943
1944       # FIXME - this should be obviated by SQLA2, as I'll be able to
1945       # have restrict_inner and restrict_outer... or something to that
1946       # effect... I think...
1947
1948       # FIXME2 - I can't find a clean way to determine if a particular join
1949       # is a multi - instead I am just treating everything as a potential
1950       # explosive join (ribasushi)
1951       #
1952       # if (my $handle = $j->[0]{-source_handle}) {
1953       #   my $rsrc = $handle->resolve;
1954       #   ... need to bail out of the following if this is not a multi,
1955       #       as it will be much easier on the db ...
1956
1957           $outer_attrs->{group_by} ||= $outer_select;
1958       # }
1959     }
1960   }
1961
1962   # demote the outer_from head
1963   $outer_from[0] = $outer_from[0][0];
1964
1965   # This is totally horrific - the $where ends up in both the inner and outer query
1966   # Unfortunately not much can be done until SQLA2 introspection arrives, and even
1967   # then if where conditions apply to the *right* side of the prefetch, you may have
1968   # to both filter the inner select (e.g. to apply a limit) and then have to re-filter
1969   # the outer select to exclude joins you didin't want in the first place
1970   #
1971   # OTOH it can be seen as a plus: <ash> (notes that this query would make a DBA cry ;)
1972   return (\@outer_from, $outer_select, $where, $outer_attrs);
1973 }
1974
1975 sub _resolve_ident_sources {
1976   my ($self, $ident) = @_;
1977
1978   my $alias2source = {};
1979   my $rs_alias;
1980
1981   # the reason this is so contrived is that $ident may be a {from}
1982   # structure, specifying multiple tables to join
1983   if ( Scalar::Util::blessed($ident) && $ident->isa("DBIx::Class::ResultSource") ) {
1984     # this is compat mode for insert/update/delete which do not deal with aliases
1985     $alias2source->{me} = $ident;
1986     $rs_alias = 'me';
1987   }
1988   elsif (ref $ident eq 'ARRAY') {
1989
1990     for (@$ident) {
1991       my $tabinfo;
1992       if (ref $_ eq 'HASH') {
1993         $tabinfo = $_;
1994         $rs_alias = $tabinfo->{-alias};
1995       }
1996       if (ref $_ eq 'ARRAY' and ref $_->[0] eq 'HASH') {
1997         $tabinfo = $_->[0];
1998       }
1999
2000       $alias2source->{$tabinfo->{-alias}} = $tabinfo->{-source_handle}->resolve
2001         if ($tabinfo->{-source_handle});
2002     }
2003   }
2004
2005   return ($alias2source, $rs_alias);
2006 }
2007
2008 # Takes $ident, \@column_names
2009 #
2010 # returns { $column_name => \%column_info, ... }
2011 # also note: this adds -result_source => $rsrc to the column info
2012 #
2013 # usage:
2014 #   my $col_sources = $self->_resolve_column_info($ident, @column_names);
2015 sub _resolve_column_info {
2016   my ($self, $ident, $colnames) = @_;
2017   my ($alias2src, $root_alias) = $self->_resolve_ident_sources($ident);
2018
2019   my $sep = $self->_sql_maker_opts->{name_sep} || '.';
2020   $sep = "\Q$sep\E";
2021
2022   my (%return, %seen_cols);
2023
2024   # compile a global list of column names, to be able to properly
2025   # disambiguate unqualified column names (if at all possible)
2026   for my $alias (keys %$alias2src) {
2027     my $rsrc = $alias2src->{$alias};
2028     for my $colname ($rsrc->columns) {
2029       push @{$seen_cols{$colname}}, $alias;
2030     }
2031   }
2032
2033   COLUMN:
2034   foreach my $col (@$colnames) {
2035     my ($alias, $colname) = $col =~ m/^ (?: ([^$sep]+) $sep)? (.+) $/x;
2036
2037     unless ($alias) {
2038       # see if the column was seen exactly once (so we know which rsrc it came from)
2039       if ($seen_cols{$colname} and @{$seen_cols{$colname}} == 1) {
2040         $alias = $seen_cols{$colname}[0];
2041       }
2042       else {
2043         next COLUMN;
2044       }
2045     }
2046
2047     my $rsrc = $alias2src->{$alias};
2048     $return{$col} = $rsrc && {
2049       %{$rsrc->column_info($colname)},
2050       -result_source => $rsrc,
2051       -source_alias => $alias,
2052     };
2053   }
2054
2055   return \%return;
2056 }
2057
2058 # Returns a counting SELECT for a simple count
2059 # query. Abstracted so that a storage could override
2060 # this to { count => 'firstcol' } or whatever makes
2061 # sense as a performance optimization
2062 sub _count_select {
2063   #my ($self, $source, $rs_attrs) = @_;
2064   return { count => '*' };
2065 }
2066
2067 # Returns a SELECT which will end up in the subselect
2068 # There may or may not be a group_by, as the subquery
2069 # might have been called to accomodate a limit
2070 #
2071 # Most databases would be happy with whatever ends up
2072 # here, but some choke in various ways.
2073 #
2074 sub _subq_count_select {
2075   my ($self, $source, $rs_attrs) = @_;
2076   return $rs_attrs->{group_by} if $rs_attrs->{group_by};
2077
2078   my @pcols = map { join '.', $rs_attrs->{alias}, $_ } ($source->primary_columns);
2079   return @pcols ? \@pcols : [ 1 ];
2080 }
2081
2082 sub source_bind_attributes {
2083   my ($self, $source) = @_;
2084
2085   my $bind_attributes;
2086   foreach my $column ($source->columns) {
2087
2088     my $data_type = $source->column_info($column)->{data_type} || '';
2089     $bind_attributes->{$column} = $self->bind_attribute_by_data_type($data_type)
2090      if $data_type;
2091   }
2092
2093   return $bind_attributes;
2094 }
2095
2096 =head2 select
2097
2098 =over 4
2099
2100 =item Arguments: $ident, $select, $condition, $attrs
2101
2102 =back
2103
2104 Handle a SQL select statement.
2105
2106 =cut
2107
2108 sub select {
2109   my $self = shift;
2110   my ($ident, $select, $condition, $attrs) = @_;
2111   return $self->cursor_class->new($self, \@_, $attrs);
2112 }
2113
2114 sub select_single {
2115   my $self = shift;
2116   my ($rv, $sth, @bind) = $self->_select(@_);
2117   my @row = $sth->fetchrow_array;
2118   my @nextrow = $sth->fetchrow_array if @row;
2119   if(@row && @nextrow) {
2120     carp "Query returned more than one row.  SQL that returns multiple rows is DEPRECATED for ->find and ->single";
2121   }
2122   # Need to call finish() to work round broken DBDs
2123   $sth->finish();
2124   return @row;
2125 }
2126
2127 =head2 sth
2128
2129 =over 4
2130
2131 =item Arguments: $sql
2132
2133 =back
2134
2135 Returns a L<DBI> sth (statement handle) for the supplied SQL.
2136
2137 =cut
2138
2139 sub _dbh_sth {
2140   my ($self, $dbh, $sql) = @_;
2141
2142   # 3 is the if_active parameter which avoids active sth re-use
2143   my $sth = $self->disable_sth_caching
2144     ? $dbh->prepare($sql)
2145     : $dbh->prepare_cached($sql, {}, 3);
2146
2147   # XXX You would think RaiseError would make this impossible,
2148   #  but apparently that's not true :(
2149   $self->throw_exception($dbh->errstr) if !$sth;
2150
2151   $sth;
2152 }
2153
2154 sub sth {
2155   my ($self, $sql) = @_;
2156   $self->dbh_do('_dbh_sth', $sql);  # retry over disconnects
2157 }
2158
2159 sub _dbh_columns_info_for {
2160   my ($self, $dbh, $table) = @_;
2161
2162   if ($dbh->can('column_info')) {
2163     my %result;
2164     eval {
2165       my ($schema,$tab) = $table =~ /^(.+?)\.(.+)$/ ? ($1,$2) : (undef,$table);
2166       my $sth = $dbh->column_info( undef,$schema, $tab, '%' );
2167       $sth->execute();
2168       while ( my $info = $sth->fetchrow_hashref() ){
2169         my %column_info;
2170         $column_info{data_type}   = $info->{TYPE_NAME};
2171         $column_info{size}      = $info->{COLUMN_SIZE};
2172         $column_info{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
2173         $column_info{default_value} = $info->{COLUMN_DEF};
2174         my $col_name = $info->{COLUMN_NAME};
2175         $col_name =~ s/^\"(.*)\"$/$1/;
2176
2177         $result{$col_name} = \%column_info;
2178       }
2179     };
2180     return \%result if !$@ && scalar keys %result;
2181   }
2182
2183   my %result;
2184   my $sth = $dbh->prepare($self->sql_maker->select($table, undef, \'1 = 0'));
2185   $sth->execute;
2186   my @columns = @{$sth->{NAME_lc}};
2187   for my $i ( 0 .. $#columns ){
2188     my %column_info;
2189     $column_info{data_type} = $sth->{TYPE}->[$i];
2190     $column_info{size} = $sth->{PRECISION}->[$i];
2191     $column_info{is_nullable} = $sth->{NULLABLE}->[$i] ? 1 : 0;
2192
2193     if ($column_info{data_type} =~ m/^(.*?)\((.*?)\)$/) {
2194       $column_info{data_type} = $1;
2195       $column_info{size}    = $2;
2196     }
2197
2198     $result{$columns[$i]} = \%column_info;
2199   }
2200   $sth->finish;
2201
2202   foreach my $col (keys %result) {
2203     my $colinfo = $result{$col};
2204     my $type_num = $colinfo->{data_type};
2205     my $type_name;
2206     if(defined $type_num && $dbh->can('type_info')) {
2207       my $type_info = $dbh->type_info($type_num);
2208       $type_name = $type_info->{TYPE_NAME} if $type_info;
2209       $colinfo->{data_type} = $type_name if $type_name;
2210     }
2211   }
2212
2213   return \%result;
2214 }
2215
2216 sub columns_info_for {
2217   my ($self, $table) = @_;
2218   $self->_dbh_columns_info_for ($self->_get_dbh, $table);
2219 }
2220
2221 =head2 last_insert_id
2222
2223 Return the row id of the last insert.
2224
2225 =cut
2226
2227 sub _dbh_last_insert_id {
2228     # All Storage's need to register their own _dbh_last_insert_id
2229     # the old SQLite-based method was highly inappropriate
2230
2231     my $self = shift;
2232     my $class = ref $self;
2233     $self->throw_exception (<<EOE);
2234
2235 No _dbh_last_insert_id() method found in $class.
2236 Since the method of obtaining the autoincrement id of the last insert
2237 operation varies greatly between different databases, this method must be
2238 individually implemented for every storage class.
2239 EOE
2240 }
2241
2242 sub last_insert_id {
2243   my $self = shift;
2244   $self->_dbh_last_insert_id ($self->_dbh, @_);
2245 }
2246
2247 =head2 _native_data_type
2248
2249 =over 4
2250
2251 =item Arguments: $type_name
2252
2253 =back
2254
2255 This API is B<EXPERIMENTAL>, will almost definitely change in the future, and
2256 currently only used by L<::AutoCast|DBIx::Class::Storage::DBI::AutoCast> and
2257 L<::Sybase|DBIx::Class::Storage::DBI::Sybase>.
2258
2259 The default implementation returns C<undef>, implement in your Storage driver if
2260 you need this functionality.
2261
2262 Should map types from other databases to the native RDBMS type, for example
2263 C<VARCHAR2> to C<VARCHAR>.
2264
2265 Types with modifiers should map to the underlying data type. For example,
2266 C<INTEGER AUTO_INCREMENT> should become C<INTEGER>.
2267
2268 Composite types should map to the container type, for example
2269 C<ENUM(foo,bar,baz)> becomes C<ENUM>.
2270
2271 =cut
2272
2273 sub _native_data_type {
2274   #my ($self, $data_type) = @_;
2275   return undef
2276 }
2277
2278 # Check if placeholders are supported at all
2279 sub _placeholders_supported {
2280   my $self = shift;
2281   my $dbh  = $self->_get_dbh;
2282
2283   # some drivers provide a $dbh attribute (e.g. Sybase and $dbh->{syb_dynamic_supported})
2284   # but it is inaccurate more often than not
2285   eval {
2286     local $dbh->{PrintError} = 0;
2287     local $dbh->{RaiseError} = 1;
2288     $dbh->do('select ?', {}, 1);
2289   };
2290   return $@ ? 0 : 1;
2291 }
2292
2293 # Check if placeholders bound to non-string types throw exceptions
2294 #
2295 sub _typeless_placeholders_supported {
2296   my $self = shift;
2297   my $dbh  = $self->_get_dbh;
2298
2299   eval {
2300     local $dbh->{PrintError} = 0;
2301     local $dbh->{RaiseError} = 1;
2302     # this specifically tests a bind that is NOT a string
2303     $dbh->do('select 1 where 1 = ?', {}, 1);
2304   };
2305   return $@ ? 0 : 1;
2306 }
2307
2308 =head2 sqlt_type
2309
2310 Returns the database driver name.
2311
2312 =cut
2313
2314 sub sqlt_type {
2315   my ($self) = @_;
2316
2317   if (not $self->_driver_determined) {
2318     $self->_determine_driver;
2319     goto $self->can ('sqlt_type');
2320   }
2321
2322   $self->_get_dbh->{Driver}->{Name};
2323 }
2324
2325 =head2 bind_attribute_by_data_type
2326
2327 Given a datatype from column info, returns a database specific bind
2328 attribute for C<< $dbh->bind_param($val,$attribute) >> or nothing if we will
2329 let the database planner just handle it.
2330
2331 Generally only needed for special case column types, like bytea in postgres.
2332
2333 =cut
2334
2335 sub bind_attribute_by_data_type {
2336     return;
2337 }
2338
2339 =head2 is_datatype_numeric
2340
2341 Given a datatype from column_info, returns a boolean value indicating if
2342 the current RDBMS considers it a numeric value. This controls how
2343 L<DBIx::Class::Row/set_column> decides whether to mark the column as
2344 dirty - when the datatype is deemed numeric a C<< != >> comparison will
2345 be performed instead of the usual C<eq>.
2346
2347 =cut
2348
2349 sub is_datatype_numeric {
2350   my ($self, $dt) = @_;
2351
2352   return 0 unless $dt;
2353
2354   return $dt =~ /^ (?:
2355     numeric | int(?:eger)? | (?:tiny|small|medium|big)int | dec(?:imal)? | real | float | double (?: \s+ precision)? | (?:big)?serial
2356   ) $/ix;
2357 }
2358
2359
2360 =head2 create_ddl_dir (EXPERIMENTAL)
2361
2362 =over 4
2363
2364 =item Arguments: $schema \@databases, $version, $directory, $preversion, \%sqlt_args
2365
2366 =back
2367
2368 Creates a SQL file based on the Schema, for each of the specified
2369 database engines in C<\@databases> in the given directory.
2370 (note: specify L<SQL::Translator> names, not L<DBI> driver names).
2371
2372 Given a previous version number, this will also create a file containing
2373 the ALTER TABLE statements to transform the previous schema into the
2374 current one. Note that these statements may contain C<DROP TABLE> or
2375 C<DROP COLUMN> statements that can potentially destroy data.
2376
2377 The file names are created using the C<ddl_filename> method below, please
2378 override this method in your schema if you would like a different file
2379 name format. For the ALTER file, the same format is used, replacing
2380 $version in the name with "$preversion-$version".
2381
2382 See L<SQL::Translator/METHODS> for a list of values for C<\%sqlt_args>.
2383 The most common value for this would be C<< { add_drop_table => 1 } >>
2384 to have the SQL produced include a C<DROP TABLE> statement for each table
2385 created. For quoting purposes supply C<quote_table_names> and
2386 C<quote_field_names>.
2387
2388 If no arguments are passed, then the following default values are assumed:
2389
2390 =over 4
2391
2392 =item databases  - ['MySQL', 'SQLite', 'PostgreSQL']
2393
2394 =item version    - $schema->schema_version
2395
2396 =item directory  - './'
2397
2398 =item preversion - <none>
2399
2400 =back
2401
2402 By default, C<\%sqlt_args> will have
2403
2404  { add_drop_table => 1, ignore_constraint_names => 1, ignore_index_names => 1 }
2405
2406 merged with the hash passed in. To disable any of those features, pass in a
2407 hashref like the following
2408
2409  { ignore_constraint_names => 0, # ... other options }
2410
2411
2412 Note that this feature is currently EXPERIMENTAL and may not work correctly
2413 across all databases, or fully handle complex relationships.
2414
2415 WARNING: Please check all SQL files created, before applying them.
2416
2417 =cut
2418
2419 sub create_ddl_dir {
2420   my ($self, $schema, $databases, $version, $dir, $preversion, $sqltargs) = @_;
2421
2422   if(!$dir || !-d $dir) {
2423     carp "No directory given, using ./\n";
2424     $dir = "./";
2425   }
2426   $databases ||= ['MySQL', 'SQLite', 'PostgreSQL'];
2427   $databases = [ $databases ] if(ref($databases) ne 'ARRAY');
2428
2429   my $schema_version = $schema->schema_version || '1.x';
2430   $version ||= $schema_version;
2431
2432   $sqltargs = {
2433     add_drop_table => 1,
2434     ignore_constraint_names => 1,
2435     ignore_index_names => 1,
2436     %{$sqltargs || {}}
2437   };
2438
2439   $self->throw_exception("Can't create a ddl file without SQL::Translator: " . $self->_sqlt_version_error)
2440     if !$self->_sqlt_version_ok;
2441
2442   my $sqlt = SQL::Translator->new( $sqltargs );
2443
2444   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
2445   my $sqlt_schema = $sqlt->translate({ data => $schema })
2446     or $self->throw_exception ($sqlt->error);
2447
2448   foreach my $db (@$databases) {
2449     $sqlt->reset();
2450     $sqlt->{schema} = $sqlt_schema;
2451     $sqlt->producer($db);
2452
2453     my $file;
2454     my $filename = $schema->ddl_filename($db, $version, $dir);
2455     if (-e $filename && ($version eq $schema_version )) {
2456       # if we are dumping the current version, overwrite the DDL
2457       carp "Overwriting existing DDL file - $filename";
2458       unlink($filename);
2459     }
2460
2461     my $output = $sqlt->translate;
2462     if(!$output) {
2463       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
2464       next;
2465     }
2466     if(!open($file, ">$filename")) {
2467       $self->throw_exception("Can't open $filename for writing ($!)");
2468       next;
2469     }
2470     print $file $output;
2471     close($file);
2472
2473     next unless ($preversion);
2474
2475     require SQL::Translator::Diff;
2476
2477     my $prefilename = $schema->ddl_filename($db, $preversion, $dir);
2478     if(!-e $prefilename) {
2479       carp("No previous schema file found ($prefilename)");
2480       next;
2481     }
2482
2483     my $difffile = $schema->ddl_filename($db, $version, $dir, $preversion);
2484     if(-e $difffile) {
2485       carp("Overwriting existing diff file - $difffile");
2486       unlink($difffile);
2487     }
2488
2489     my $source_schema;
2490     {
2491       my $t = SQL::Translator->new($sqltargs);
2492       $t->debug( 0 );
2493       $t->trace( 0 );
2494
2495       $t->parser( $db )
2496         or $self->throw_exception ($t->error);
2497
2498       my $out = $t->translate( $prefilename )
2499         or $self->throw_exception ($t->error);
2500
2501       $source_schema = $t->schema;
2502
2503       $source_schema->name( $prefilename )
2504         unless ( $source_schema->name );
2505     }
2506
2507     # The "new" style of producers have sane normalization and can support
2508     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
2509     # And we have to diff parsed SQL against parsed SQL.
2510     my $dest_schema = $sqlt_schema;
2511
2512     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
2513       my $t = SQL::Translator->new($sqltargs);
2514       $t->debug( 0 );
2515       $t->trace( 0 );
2516
2517       $t->parser( $db )
2518         or $self->throw_exception ($t->error);
2519
2520       my $out = $t->translate( $filename )
2521         or $self->throw_exception ($t->error);
2522
2523       $dest_schema = $t->schema;
2524
2525       $dest_schema->name( $filename )
2526         unless $dest_schema->name;
2527     }
2528
2529     my $diff = SQL::Translator::Diff::schema_diff($source_schema, $db,
2530                                                   $dest_schema,   $db,
2531                                                   $sqltargs
2532                                                  );
2533     if(!open $file, ">$difffile") {
2534       $self->throw_exception("Can't write to $difffile ($!)");
2535       next;
2536     }
2537     print $file $diff;
2538     close($file);
2539   }
2540 }
2541
2542 =head2 deployment_statements
2543
2544 =over 4
2545
2546 =item Arguments: $schema, $type, $version, $directory, $sqlt_args
2547
2548 =back
2549
2550 Returns the statements used by L</deploy> and L<DBIx::Class::Schema/deploy>.
2551
2552 The L<SQL::Translator> (not L<DBI>) database driver name can be explicitly
2553 provided in C<$type>, otherwise the result of L</sqlt_type> is used as default.
2554
2555 C<$directory> is used to return statements from files in a previously created
2556 L</create_ddl_dir> directory and is optional. The filenames are constructed
2557 from L<DBIx::Class::Schema/ddl_filename>, the schema name and the C<$version>.
2558
2559 If no C<$directory> is specified then the statements are constructed on the
2560 fly using L<SQL::Translator> and C<$version> is ignored.
2561
2562 See L<SQL::Translator/METHODS> for a list of values for C<$sqlt_args>.
2563
2564 =cut
2565
2566 sub deployment_statements {
2567   my ($self, $schema, $type, $version, $dir, $sqltargs) = @_;
2568   $type ||= $self->sqlt_type;
2569   $version ||= $schema->schema_version || '1.x';
2570   $dir ||= './';
2571   my $filename = $schema->ddl_filename($type, $version, $dir);
2572   if(-f $filename)
2573   {
2574       my $file;
2575       open($file, "<$filename")
2576         or $self->throw_exception("Can't open $filename ($!)");
2577       my @rows = <$file>;
2578       close($file);
2579       return join('', @rows);
2580   }
2581
2582   $self->throw_exception("Can't deploy without either SQL::Translator or a ddl_dir: " . $self->_sqlt_version_error )
2583     if !$self->_sqlt_version_ok;
2584
2585   # sources needs to be a parser arg, but for simplicty allow at top level
2586   # coming in
2587   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
2588       if exists $sqltargs->{sources};
2589
2590   my $tr = SQL::Translator->new(
2591     producer => "SQL::Translator::Producer::${type}",
2592     %$sqltargs,
2593     parser => 'SQL::Translator::Parser::DBIx::Class',
2594     data => $schema,
2595   );
2596   return $tr->translate;
2597 }
2598
2599 sub deploy {
2600   my ($self, $schema, $type, $sqltargs, $dir) = @_;
2601   my $deploy = sub {
2602     my $line = shift;
2603     return if($line =~ /^--/);
2604     return if(!$line);
2605     # next if($line =~ /^DROP/m);
2606     return if($line =~ /^BEGIN TRANSACTION/m);
2607     return if($line =~ /^COMMIT/m);
2608     return if $line =~ /^\s+$/; # skip whitespace only
2609     $self->_query_start($line);
2610     eval {
2611       # do a dbh_do cycle here, as we need some error checking in
2612       # place (even though we will ignore errors)
2613       $self->dbh_do (sub { $_[1]->do($line) });
2614     };
2615     if ($@) {
2616       carp qq{$@ (running "${line}")};
2617     }
2618     $self->_query_end($line);
2619   };
2620   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
2621   if (@statements > 1) {
2622     foreach my $statement (@statements) {
2623       $deploy->( $statement );
2624     }
2625   }
2626   elsif (@statements == 1) {
2627     foreach my $line ( split(";\n", $statements[0])) {
2628       $deploy->( $line );
2629     }
2630   }
2631 }
2632
2633 =head2 datetime_parser
2634
2635 Returns the datetime parser class
2636
2637 =cut
2638
2639 sub datetime_parser {
2640   my $self = shift;
2641   return $self->{datetime_parser} ||= do {
2642     $self->build_datetime_parser(@_);
2643   };
2644 }
2645
2646 =head2 datetime_parser_type
2647
2648 Defines (returns) the datetime parser class - currently hardwired to
2649 L<DateTime::Format::MySQL>
2650
2651 =cut
2652
2653 sub datetime_parser_type { "DateTime::Format::MySQL"; }
2654
2655 =head2 build_datetime_parser
2656
2657 See L</datetime_parser>
2658
2659 =cut
2660
2661 sub build_datetime_parser {
2662   if (not $_[0]->_driver_determined) {
2663     $_[0]->_determine_driver;
2664     goto $_[0]->can('build_datetime_parser');
2665   }
2666
2667   my $self = shift;
2668   my $type = $self->datetime_parser_type(@_);
2669   $self->ensure_class_loaded ($type);
2670   return $type;
2671 }
2672
2673
2674 =head2 is_replicating
2675
2676 A boolean that reports if a particular L<DBIx::Class::Storage::DBI> is set to
2677 replicate from a master database.  Default is undef, which is the result
2678 returned by databases that don't support replication.
2679
2680 =cut
2681
2682 sub is_replicating {
2683     return;
2684
2685 }
2686
2687 =head2 lag_behind_master
2688
2689 Returns a number that represents a certain amount of lag behind a master db
2690 when a given storage is replicating.  The number is database dependent, but
2691 starts at zero and increases with the amount of lag. Default in undef
2692
2693 =cut
2694
2695 sub lag_behind_master {
2696     return;
2697 }
2698
2699 # SQLT version handling
2700 {
2701   my $_sqlt_version_ok;     # private
2702   my $_sqlt_version_error;  # private
2703
2704   sub _sqlt_version_ok {
2705     if (!defined $_sqlt_version_ok) {
2706       eval "use SQL::Translator $minimum_sqlt_version";
2707       if ($@) {
2708         $_sqlt_version_ok = 0;
2709         $_sqlt_version_error = $@;
2710       }
2711       else {
2712         $_sqlt_version_ok = 1;
2713       }
2714     }
2715     return $_sqlt_version_ok;
2716   }
2717
2718   sub _sqlt_version_error {
2719     shift->_sqlt_version_ok unless defined $_sqlt_version_ok;
2720     return $_sqlt_version_error;
2721   }
2722
2723   sub _sqlt_minimum_version { $minimum_sqlt_version };
2724 }
2725
2726 sub DESTROY {
2727   my $self = shift;
2728
2729   $self->_verify_pid if $self->_dbh;
2730
2731   # some databases need this to stop spewing warnings
2732   if (my $dbh = $self->_dbh) {
2733     local $@;
2734     eval { $dbh->disconnect };
2735   }
2736
2737   $self->_dbh(undef);
2738 }
2739
2740 1;
2741
2742 =head1 USAGE NOTES
2743
2744 =head2 DBIx::Class and AutoCommit
2745
2746 DBIx::Class can do some wonderful magic with handling exceptions,
2747 disconnections, and transactions when you use C<< AutoCommit => 1 >>
2748 (the default) combined with C<txn_do> for transaction support.
2749
2750 If you set C<< AutoCommit => 0 >> in your connect info, then you are always
2751 in an assumed transaction between commits, and you're telling us you'd
2752 like to manage that manually.  A lot of the magic protections offered by
2753 this module will go away.  We can't protect you from exceptions due to database
2754 disconnects because we don't know anything about how to restart your
2755 transactions.  You're on your own for handling all sorts of exceptional
2756 cases if you choose the C<< AutoCommit => 0 >> path, just as you would
2757 be with raw DBI.
2758
2759
2760 =head1 AUTHORS
2761
2762 Matt S. Trout <mst@shadowcatsystems.co.uk>
2763
2764 Andy Grundman <andy@hybridized.org>
2765
2766 =head1 LICENSE
2767
2768 You may distribute this code under the same terms as Perl itself.
2769
2770 =cut