Merge 'sybase_insert_bulk' into 'sybase_support'
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / Storage / DBI / Sybase.pm
index e9b35e3..9851303 100644 (file)
@@ -10,11 +10,21 @@ use base qw/
 use mro 'c3';
 use Carp::Clan qw/^DBIx::Class/;
 use List::Util ();
+use Sub::Name ();
 
 __PACKAGE__->mk_group_accessors('simple' =>
-    qw/_identity _blob_log_on_update unsafe_insert/
+    qw/_identity _blob_log_on_update _writer_storage _is_writer_storage
+       _identity_method/
 );
 
+my @also_proxy_to_writer_storage = qw/
+  connect_call_set_auto_cast auto_cast connect_call_blob_setup
+  connect_call_datetime_setup
+
+  disconnect _connect_info _sql_maker _sql_maker_opts disable_sth_caching
+  auto_savepoint unsafe cursor_class debug debugobj schema
+/;
+
 =head1 NAME
 
 DBIx::Class::Storage::DBI::Sybase - Sybase support for DBIx::Class
@@ -33,11 +43,7 @@ also enable that driver explicitly, see the documentation for more details.
 
 With this driver there is unfortunately no way to get the C<last_insert_id>
 without doing a C<SELECT MAX(col)>. This is done safely in a transaction
-(locking the table.) The transaction can be turned off if concurrency is not an
-issue, or you don't need the C<IDENTITY> value, see
-L<DBIx::Class::Storage::DBI::Sybase/connect_call_unsafe_insert>.
-
-But your queries will be cached.
+(locking the table.) See L</INSERTS WITH PLACEHOLDERS>.
 
 A recommended L<DBIx::Class::Storage::DBI/connect_info> setting:
 
@@ -92,9 +98,6 @@ EOF
             $self->_rebless;
           }
         }
-
-        $self->set_textsize; # based on LongReadLen in connect_info
-
       }
       elsif (not $self->_get_dbh->{syb_dynamic_supported}) {
         # not necessarily FreeTDS, but no placeholders nevertheless
@@ -105,12 +108,43 @@ EOF
 # this is highly unlikely, but we check just in case
         $self->auto_cast(1);
       }
-
-      $self->_set_max_connect(256);
     }
   }
 }
 
+sub _init {
+  my $self = shift;
+  $self->_set_max_connect(256);
+
+  # based on LongReadLen in connect_info
+  $self->set_textsize if $self->using_freetds;
+
+# create storage for insert/(update blob) transactions,
+# unless this is that storage
+  return if $self->_is_writer_storage;
+
+  my $writer_storage = (ref $self)->new;
+
+  $writer_storage->_is_writer_storage(1);
+  $writer_storage->connect_info($self->connect_info);
+  $writer_storage->auto_cast($self->auto_cast);
+
+  $self->_writer_storage($writer_storage);
+}
+
+for my $method (@also_proxy_to_writer_storage) {
+  no strict 'refs';
+  no warnings 'redefine';
+
+  my $replaced = __PACKAGE__->can($method);
+
+  *{$method} = Sub::Name::subname __PACKAGE__."::$method" => sub {
+    my $self = shift;
+    $self->_writer_storage->$replaced(@_) if $self->_writer_storage;
+    return $self->$replaced(@_);
+  };
+}
+
 # Make sure we have CHAINED mode turned on if AutoCommit is off in non-FreeTDS
 # DBD::Sybase (since we don't know how DBD::Sybase was compiled.) If however
 # we're using FreeTDS, CHAINED mode turns on an implicit transaction which we
@@ -160,38 +194,18 @@ sub connect_call_blob_setup {
     if exists $args{log_on_update};
 }
 
-=head2 connect_call_unsafe_insert
-
-With placeholders enabled, inserts are done in a transaction so that there are
-no concurrency issues with getting the inserted identity value using
-C<SELECT MAX(col)> when placeholders are enabled.
-
-When using C<DBIx::Class::Storage::DBI::Sybase::NoBindVars> transactions are
-disabled.
-
-To turn off transactions for inserts (for an application that doesn't need
-concurrency, or a loader, for example) use this setting in
-L<DBIx::Class::Storage::DBI/connect_info>,
-
-  on_connect_call => ['unsafe_insert']
-
-To manipulate this setting at runtime, use:
-
-  $schema->storage->unsafe_insert(0|1);
-
-=cut
-
-sub connect_call_unsafe_insert {
-  my $self = shift;
-  $self->unsafe_insert(1);
-}
-
 sub _is_lob_type {
   my $self = shift;
   my $type = shift;
   $type && $type =~ /(?:text|image|lob|bytea|binary|memo)/i;
 }
 
+sub _is_lob_column {
+  my ($self, $source, $column) = @_;
+
+  return $self->_is_lob_type($source->column_info($column)->{data_type});
+}
+
 sub _prep_for_execute {
   my $self = shift;
   my ($op, $extra_bind, $ident, $args) = @_;
@@ -258,7 +272,7 @@ sub _native_data_type {
   my ($self, $type) = @_;
 
   $type = lc $type;
-  $type =~ s/ identity//;
+  $type =~ s/\s* identity//x;
 
   return uc($TYPE_MAPPING{$type} || $type);
 }
@@ -266,7 +280,9 @@ sub _native_data_type {
 sub _fetch_identity_sql {
   my ($self, $source, $col) = @_;
 
-  return "SELECT MAX($col) FROM ".$source->from;
+  return sprintf ("SELECT MAX(%s) FROM %s",
+    map { $self->sql_maker->_quote ($_) } ($col, $source->from)
+  );
 }
 
 sub _execute {
@@ -292,72 +308,200 @@ sub insert {
 
   my $blob_cols = $self->_remove_blob_cols($source, $to_insert);
 
-# insert+blob insert done atomically
-  my $guard = $self->txn_scope_guard if %$blob_cols;
+  my $identity_col = List::Util::first
+    { $source->column_info($_)->{is_auto_increment} }
+    $source->columns;
 
-  my $need_last_insert_id = 0;
+  # do we need the horrific SELECT MAX(COL) hack?
+  my $dumb_last_insert_id =
+       $identity_col
+    && (not exists $to_insert->{$identity_col})
+    && ($self->_identity_method||'') ne '@@IDENTITY';
+
+  my $next = $self->next::can;
+
+  # we are already in a transaction, or there are no blobs
+  # and we don't need the PK - just (try to) do it
+  if ($self->{transaction_depth}
+        || (!$blob_cols && !$dumb_last_insert_id) 
+  ) {
+    return $self->_insert (
+      $next, $source, $to_insert, $blob_cols, $identity_col
+    );
+  }
 
-  my ($identity_col) =
-    map $_->[0],
-    grep $_->[1]{is_auto_increment},
-    map [ $_, $source->column_info($_) ],
-    $source->columns;
+  # otherwise use the _writer_storage to do the insert+transaction on another
+  # connection
+  my $guard = $self->_writer_storage->txn_scope_guard;
 
-  $need_last_insert_id = 1
-    if $identity_col && (not exists $to_insert->{$identity_col});
-
-  # We have to do the insert in a transaction to avoid race conditions with the
-  # SELECT MAX(COL) identity method used when placeholders are enabled.
-  my $updated_cols = do {
-    if (
-      $need_last_insert_id && !$self->unsafe_insert && !$self->{transaction_depth}
-    ) {
-      my $guard = $self->txn_scope_guard;
-      my $upd_cols = $self->next::method (@_);
-      $guard->commit;
-      $upd_cols;
-    }
-    else {
-      $self->next::method(@_);
-    }
-  };
+  my $updated_cols = $self->_writer_storage->_insert (
+    $next, $source, $to_insert, $blob_cols, $identity_col
+  );
 
-  $self->_insert_blobs($source, $blob_cols, $to_insert) if %$blob_cols;
+  $self->_identity($self->_writer_storage->_identity);
 
-  $guard->commit if $guard;
+  $guard->commit;
+
+  return $updated_cols;
+}
+
+sub _insert {
+  my ($self, $next, $source, $to_insert, $blob_cols, $identity_col) = @_;
+
+  my $updated_cols = $self->$next ($source, $to_insert);
+
+  my $final_row = {
+    $identity_col => $self->last_insert_id($source, $identity_col),
+    %$to_insert,
+    %$updated_cols,
+  };
+
+  $self->_insert_blobs ($source, $blob_cols, $final_row) if $blob_cols;
 
   return $updated_cols;
 }
 
 sub update {
   my $self = shift;
-  my ($source, $fields, $where) = @_;
+  my ($source, $fields, $where, @rest) = @_;
 
   my $wantarray = wantarray;
 
   my $blob_cols = $self->_remove_blob_cols($source, $fields);
 
-# update+blob update(s) done atomically
-  my $guard = $self->txn_scope_guard if %$blob_cols;
+  my $table = $source->name;
 
-  my @res;
-  if ($wantarray) {
-    @res    = $self->next::method(@_);
-  }
-  elsif (defined $wantarray) {
-    $res[0] = $self->next::method(@_);
+  my $identity_col = List::Util::first
+    { $source->column_info($_)->{is_auto_increment} }
+    $source->columns;
+
+  my $is_identity_update = $identity_col && defined $fields->{$identity_col};
+
+  if (not $blob_cols) {
+    $self->_set_identity_insert($table, 'update')   if $is_identity_update;
+    return $self->next::method(@_);
+    $self->_unset_identity_insert($table, 'update') if $is_identity_update;
   }
-  else {
-    $self->next::method(@_);
+
+# check that we're not updating a blob column that's also in $where
+  for my $blob (grep $self->_is_lob_column($source, $_), $source->columns) {
+    if (exists $where->{$blob} && exists $fields->{$blob}) {
+      croak
+'Update of TEXT/IMAGE column that is also in search condition impossible';
+    }
   }
 
-  $self->_update_blobs($source, $blob_cols, $where) if %$blob_cols;
+# update+blob update(s) done atomically on separate connection
+  $self = $self->_writer_storage;
 
-  $guard->commit if %$blob_cols;
+  my $guard = $self->txn_scope_guard;
+
+# First update the blob columns to be updated to '' (taken from $fields, where
+# it is originally put by _remove_blob_cols .)
+  my %blobs_to_empty = map { ($_ => delete $fields->{$_}) } keys %$blob_cols;
+
+  $self->next::method($source, \%blobs_to_empty, $where, @rest);
+
+# Now update the blobs before the other columns in case the update of other
+# columns makes the search condition invalid.
+  $self->_update_blobs($source, $blob_cols, $where);
+
+  my @res;
+  if (%$fields) {
+    $self->_set_identity_insert($table, 'update')   if $is_identity_update;
+
+    if ($wantarray) {
+      @res    = $self->next::method(@_);
+    }
+    elsif (defined $wantarray) {
+      $res[0] = $self->next::method(@_);
+    }
+    else {
+      $self->next::method(@_);
+    }
+
+    $self->_unset_identity_insert($table, 'update') if $is_identity_update;
+  }
+
+  $guard->commit;
 
   return $wantarray ? @res : $res[0];
 }
 
+### the insert_bulk stuff stolen from DBI/MSSQL.pm
+
+sub _set_identity_insert {
+  my ($self, $table, $op) = @_;
+
+  my $sql = sprintf (
+    'SET IDENTITY_%s %s ON',
+    (uc($op) || 'INSERT'),
+    $self->sql_maker->_quote ($table),
+  );
+
+  $self->_query_start($sql);
+
+  my $dbh = $self->_get_dbh;
+  eval { $dbh->do ($sql) };
+  my $exception = $@;
+
+  $self->_query_end($sql);
+
+  if ($exception) {
+    $self->throw_exception (sprintf "Error executing '%s': %s",
+      $sql,
+      $dbh->errstr,
+    );
+  }
+}
+
+sub _unset_identity_insert {
+  my ($self, $table, $op) = @_;
+
+  my $sql = sprintf (
+    'SET IDENTITY_%s %s OFF',
+    (uc($op) || 'INSERT'),
+    $self->sql_maker->_quote ($table),
+  );
+
+  $self->_query_start($sql);
+
+  my $dbh = $self->_get_dbh;
+  $dbh->do ($sql);
+
+  $self->_query_end($sql);
+}
+
+# for tests
+sub _can_insert_bulk { 1 }
+
+# XXX this should use the DBD::Sybase bulk API, where possible
+sub insert_bulk {
+  my $self = shift;
+  my ($source, $cols, $data) = @_;
+
+  my $is_identity_insert = (List::Util::first
+      { $source->column_info ($_)->{is_auto_increment} }
+      (@{$cols})
+  )
+     ? 1
+     : 0;
+
+  if ($is_identity_insert) {
+     $self->_set_identity_insert ($source->name);
+  }
+
+  $self->next::method(@_);
+
+  if ($is_identity_insert) {
+     $self->_unset_identity_insert ($source->name);
+  }
+}
+
+### end of stolen insert_bulk section
+
+# Make sure blobs are not bound as placeholders, and return any non-empty ones
+# as a hash.
 sub _remove_blob_cols {
   my ($self, $source, $fields) = @_;
 
@@ -365,12 +509,18 @@ sub _remove_blob_cols {
 
   for my $col (keys %$fields) {
     if ($self->_is_lob_type($source->column_info($col)->{data_type})) {
-      $blob_cols{$col} = delete $fields->{$col};
-      $fields->{$col} = \"''";
+      my $blob_val = delete $fields->{$col};
+      if (not defined $blob_val) {
+        $fields->{$col} = \'NULL';
+      }
+      else {
+        $fields->{$col} = \"''";
+        $blob_cols{$col} = $blob_val unless $blob_val eq '';
+      }
     }
   }
 
-  return \%blob_cols;
+  return keys %blob_cols ? \%blob_cols : undef;
 }
 
 sub _update_blobs {
@@ -378,7 +528,7 @@ sub _update_blobs {
 
   my (@primary_cols) = $source->primary_columns;
 
-  croak "Cannot update TEXT/IMAGE column(s) without a primary key"
+  $self->throw_exception('Cannot update TEXT/IMAGE column(s) without a primary key')
     unless @primary_cols;
 
 # check if we're updating a single row by PK
@@ -393,14 +543,10 @@ sub _update_blobs {
     @row_to_update{@primary_cols} = @{$where}{@primary_cols};
     @rows = \%row_to_update;
   } else {
-    my $rs = $source->resultset->search(
-      $where,
-      {
-        result_class => 'DBIx::Class::ResultClass::HashRefInflator',
-        select => \@primary_cols
-      }
-    );
-    @rows = $rs->all; # statement must finish
+    my $cursor = $self->select ($source, \@primary_cols, $where, {});
+    @rows = map {
+      my %row; @row{@primary_cols} = @$_; \%row
+    } $cursor->all;
   }
 
   for my $row (@rows) {
@@ -412,33 +558,34 @@ sub _insert_blobs {
   my ($self, $source, $blob_cols, $row) = @_;
   my $dbh = $self->_get_dbh;
 
-  my $table = $source->from;
+  my $table = $source->name;
 
   my %row = %$row;
   my (@primary_cols) = $source->primary_columns;
 
-  croak "Cannot update TEXT/IMAGE column(s) without a primary key"
+  $self->throw_exception('Cannot update TEXT/IMAGE column(s) without a primary key')
     unless @primary_cols;
 
-  if ((grep { defined $row{$_} } @primary_cols) != @primary_cols) {
-    if (@primary_cols == 1) {
-      my $col = $primary_cols[0];
-      $row{$col} = $self->last_insert_id($source, $col);
-    } else {
-      croak "Cannot update TEXT/IMAGE column(s) without primary key values";
-    }
-  }
+  $self->throw_exception('Cannot update TEXT/IMAGE column(s) without primary key values')
+    if ((grep { defined $row{$_} } @primary_cols) != @primary_cols);
 
   for my $col (keys %$blob_cols) {
     my $blob = $blob_cols->{$col};
 
     my %where = map { ($_, $row{$_}) } @primary_cols;
-    my $cursor = $source->resultset->search(\%where, {
-      select => [$col]
-    })->cursor;
+
+    my $cursor = $self->select ($source, [$col], \%where, {});
     $cursor->next;
     my $sth = $cursor->sth;
 
+    if (not $sth) {
+
+      $self->throw_exception(
+          "Could not find row in table '$table' for blob update:\n"
+        . $self->_pretty_print (\%where)
+      );
+    }
+
     eval {
       do {
         $sth->func('CS_GET', 1, 'ct_data_info') or die $sth->errstr;
@@ -462,12 +609,12 @@ sub _insert_blobs {
     $sth->finish if $sth;
     if ($exception) {
       if ($self->using_freetds) {
-        croak (
+        $self->throw_exception (
           'TEXT/IMAGE operation failed, probably because you are using FreeTDS: '
           . $exception
         );
       } else {
-        croak $exception;
+        $self->throw_exception($exception);
       }
     }
   }
@@ -609,6 +756,20 @@ Open Client libraries.
 
 Inserts or updates of TEXT/IMAGE columns will B<NOT> work with FreeTDS.
 
+=head1 INSERTS WITH PLACEHOLDERS
+
+With placeholders enabled, inserts are done in a transaction so that there are
+no concurrency issues with getting the inserted identity value using
+C<SELECT MAX(col)>, which is the only way to get the C<IDENTITY> value in this
+mode.
+
+In addition, they are done on a separate connection so that it's possible to
+have active cursors when doing an insert.
+
+When using C<DBIx::Class::Storage::DBI::Sybase::NoBindVars> transactions are
+disabled, as there are no concurrency issues with C<SELECT @@IDENTITY> as it's a
+session variable.
+
 =head1 TRANSACTIONS
 
 Due to limitations of the TDS protocol, L<DBD::Sybase>, or both; you cannot
@@ -617,28 +778,31 @@ example, a L<ResultSet|DBIx::Class::ResultSet> that has been executed using
 C<next> or C<first> but has not been exhausted or
 L<reset|DBIx::Class::ResultSet/reset>.
 
-Transactions done for inserts in C<AutoCommit> mode when placeholders are in use
-are also affected, so this won't work:
+For example, this will not work:
 
-  while (my $row = $rs1->next) {
-    $rs2->create({ foo => $row->foo });
-  }
+  $schema->txn_do(sub {
+    my $rs = $schema->resultset('Book');
+    while (my $row = $rs->next) {
+      $schema->resultset('MetaData')->create({
+        book_id => $row->id,
+        ...
+      });
+    }
+  });
+
+Transactions done for inserts in C<AutoCommit> mode when placeholders are in use
+are not affected, as they are done on an extra database handle.
 
 Some workarounds:
 
 =over 4
 
-=item * set C<< $schema->storage->unsafe_insert(1) >> temporarily (see
-L</connect_call_unsafe_insert>)
-
 =item * use L<DBIx::Class::Storage::DBI::Replicated>
 
 =item * L<connect|DBIx::Class::Schema/connect> another L<Schema|DBIx::Class::Schema>
 
 =item * load the data from your cursor with L<DBIx::Class::ResultSet/all>
 
-=item * enlarge the scope of the transaction
-
 =back
 
 =head1 MAXIMUM CONNECTIONS