lib/DBIx/Class/Storage/DBI/Sybase/ASE.pm

   1 package DBIx::Class::Storage::DBI::Sybase::ASE;
   2
   3 use strict;
   4 use warnings;
   5
   6 use base qw/
   7   DBIx::Class::Storage::DBI::Sybase
   8   DBIx::Class::Storage::DBI::AutoCast
   9   DBIx::Class::Storage::DBI::IdentityInsert
  10 /;
  11 use mro 'c3';
  12 use DBIx::Class::Carp;
  13 use Scalar::Util qw/blessed weaken/;
  14 use List::Util 'first';
  15 use Sub::Name();
  16 use Data::Dumper::Concise 'Dumper';
  17 use Try::Tiny;
  18 use Context::Preserve 'preserve_context';
  19 use DBIx::Class::_Util 'sigwarn_silencer';
  20 use namespace::clean;
  21
  22 __PACKAGE__->sql_limit_dialect ('GenericSubQ');
  23 __PACKAGE__->sql_quote_char ([qw/[ ]/]);
  24 __PACKAGE__->datetime_parser_type(
  25   'DBIx::Class::Storage::DBI::Sybase::ASE::DateTime::Format'
  26 );
  27
  28 __PACKAGE__->mk_group_accessors('simple' =>
  29     qw/_identity _identity_method _blob_log_on_update _parent_storage
  30        _writer_storage _is_writer_storage
  31        _bulk_storage _is_bulk_storage _began_bulk_work
  32     /
  33 );
  34
  35
  36 my @also_proxy_to_extra_storages = qw/
  37   connect_call_set_auto_cast auto_cast connect_call_blob_setup
  38   connect_call_datetime_setup
  39
  40   disconnect _connect_info _sql_maker _sql_maker_opts disable_sth_caching
  41   auto_savepoint unsafe cursor_class debug debugobj schema
  42 /;
  43
  44 =head1 NAME
  45
  46 DBIx::Class::Storage::DBI::Sybase::ASE - Sybase ASE SQL Server support for
  47 DBIx::Class
  48
  49 =head1 SYNOPSIS
  50
  51 This subclass supports L<DBD::Sybase> for real (non-Microsoft) Sybase databases.
  52
  53 =head1 DESCRIPTION
  54
  55 If your version of Sybase does not support placeholders, then your storage will
  56 be reblessed to L<DBIx::Class::Storage::DBI::Sybase::ASE::NoBindVars>.
  57 You can also enable that driver explicitly, see the documentation for more
  58 details.
  59
  60 With this driver there is unfortunately no way to get the C<last_insert_id>
  61 without doing a C<SELECT MAX(col)>. This is done safely in a transaction
  62 (locking the table.) See L</INSERTS WITH PLACEHOLDERS>.
  63
  64 A recommended L<connect_info|DBIx::Class::Storage::DBI/connect_info> setting:
  65
  66   on_connect_call => [['datetime_setup'], ['blob_setup', log_on_update => 0]]
  67
  68 =head1 METHODS
  69
  70 =cut
  71
  72 sub _rebless {
  73   my $self = shift;
  74
  75   my $no_bind_vars = __PACKAGE__ . '::NoBindVars';
  76
  77   if ($self->_using_freetds) {
  78     carp_once <<'EOF' unless $ENV{DBIC_SYBASE_FREETDS_NOWARN};
  79
  80 You are using FreeTDS with Sybase.
  81
  82 We will do our best to support this configuration, but please consider this
  83 support experimental.
  84
  85 TEXT/IMAGE columns will definitely not work.
  86
  87 You are encouraged to recompile DBD::Sybase with the Sybase Open Client libraries
  88 instead.
  89
  90 See perldoc DBIx::Class::Storage::DBI::Sybase::ASE for more details.
  91
  92 To turn off this warning set the DBIC_SYBASE_FREETDS_NOWARN environment
  93 variable.
  94 EOF
  95
  96     if (not $self->_use_typeless_placeholders) {
  97       if ($self->_use_placeholders) {
  98         $self->auto_cast(1);
  99       }
 100       else {
 101         $self->ensure_class_loaded($no_bind_vars);
 102         bless $self, $no_bind_vars;
 103         $self->_rebless;
 104       }
 105     }
 106   }
 107
 108   elsif (not $self->_get_dbh->{syb_dynamic_supported}) {
 109     # not necessarily FreeTDS, but no placeholders nevertheless
 110     $self->ensure_class_loaded($no_bind_vars);
 111     bless $self, $no_bind_vars;
 112     $self->_rebless;
 113   }
 114   # this is highly unlikely, but we check just in case
 115   elsif (not $self->_use_typeless_placeholders) {
 116     $self->auto_cast(1);
 117   }
 118 }
 119
 120 sub _init {
 121   my $self = shift;
 122
 123   $self->next::method(@_);
 124
 125   if ($self->_using_freetds && (my $ver = $self->_using_freetds_version||999) > 0.82) {
 126     carp_once(
 127       "Buggy FreeTDS version $ver detected, statement caching will not work and "
 128     . 'will be disabled.'
 129     );
 130     $self->disable_sth_caching(1);
 131   }
 132
 133   $self->_set_max_connect(256);
 134
 135 # create storage for insert/(update blob) transactions,
 136 # unless this is that storage
 137   return if $self->_parent_storage;
 138
 139   my $writer_storage = (ref $self)->new;
 140
 141   $writer_storage->_is_writer_storage(1); # just info
 142   $writer_storage->connect_info($self->connect_info);
 143   $writer_storage->auto_cast($self->auto_cast);
 144
 145   weaken ($writer_storage->{_parent_storage} = $self);
 146   $self->_writer_storage($writer_storage);
 147
 148 # create a bulk storage unless connect_info is a coderef
 149   return if ref($self->_dbi_connect_info->[0]) eq 'CODE';
 150
 151   my $bulk_storage = (ref $self)->new;
 152
 153   $bulk_storage->_is_bulk_storage(1); # for special ->disconnect acrobatics
 154   $bulk_storage->connect_info($self->connect_info);
 155
 156 # this is why
 157   $bulk_storage->_dbi_connect_info->[0] .= ';bulkLogin=1';
 158
 159   weaken ($bulk_storage->{_parent_storage} = $self);
 160   $self->_bulk_storage($bulk_storage);
 161 }
 162
 163 for my $method (@also_proxy_to_extra_storages) {
 164   no strict 'refs';
 165   no warnings 'redefine';
 166
 167   my $replaced = __PACKAGE__->can($method);
 168
 169   *{$method} = Sub::Name::subname $method => sub {
 170     my $self = shift;
 171     $self->_writer_storage->$replaced(@_) if $self->_writer_storage;
 172     $self->_bulk_storage->$replaced(@_)   if $self->_bulk_storage;
 173     return $self->$replaced(@_);
 174   };
 175 }
 176
 177 sub disconnect {
 178   my $self = shift;
 179
 180 # Even though we call $sth->finish for uses off the bulk API, there's still an
 181 # "active statement" warning on disconnect, which we throw away here.
 182 # This is due to the bug described in _insert_bulk.
 183 # Currently a noop because 'prepare' is used instead of 'prepare_cached'.
 184   local $SIG{__WARN__} = sigwarn_silencer(qr/active statement/i)
 185     if $self->_is_bulk_storage;
 186
 187 # so that next transaction gets a dbh
 188   $self->_began_bulk_work(0) if $self->_is_bulk_storage;
 189
 190   $self->next::method;
 191 }
 192
 193 # This is only invoked for FreeTDS drivers by ::Storage::DBI::Sybase::FreeTDS
 194 sub _set_autocommit_stmt {
 195   my ($self, $on) = @_;
 196
 197   return 'SET CHAINED ' . ($on ? 'OFF' : 'ON');
 198 }
 199
 200 # Set up session settings for Sybase databases for the connection.
 201 #
 202 # Make sure we have CHAINED mode turned on if AutoCommit is off in non-FreeTDS
 203 # DBD::Sybase (since we don't know how DBD::Sybase was compiled.) If however
 204 # we're using FreeTDS, CHAINED mode turns on an implicit transaction which we
 205 # only want when AutoCommit is off.
 206 sub _run_connection_actions {
 207   my $self = shift;
 208
 209   if ($self->_is_bulk_storage) {
 210     # this should be cleared on every reconnect
 211     $self->_began_bulk_work(0);
 212     return;
 213   }
 214
 215   $self->_dbh->{syb_chained_txn} = 1
 216     unless $self->_using_freetds;
 217
 218   $self->next::method(@_);
 219 }
 220
 221 =head2 connect_call_blob_setup
 222
 223 Used as:
 224
 225   on_connect_call => [ [ 'blob_setup', log_on_update => 0 ] ]
 226
 227 Does C<< $dbh->{syb_binary_images} = 1; >> to return C<IMAGE> data as raw binary
 228 instead of as a hex string.
 229
 230 Recommended.
 231
 232 Also sets the C<log_on_update> value for blob write operations. The default is
 233 C<1>, but C<0> is better if your database is configured for it.
 234
 235 See
 236 L<DBD::Sybase/Handling IMAGE/TEXT data with syb_ct_get_data()/syb_ct_send_data()>.
 237
 238 =cut
 239
 240 sub connect_call_blob_setup {
 241   my $self = shift;
 242   my %args = @_;
 243   my $dbh = $self->_dbh;
 244   $dbh->{syb_binary_images} = 1;
 245
 246   $self->_blob_log_on_update($args{log_on_update})
 247     if exists $args{log_on_update};
 248 }
 249
 250 sub _is_lob_column {
 251   my ($self, $source, $column) = @_;
 252
 253   return $self->_is_lob_type($source->column_info($column)->{data_type});
 254 }
 255
 256 sub _prep_for_execute {
 257   my ($self, $op, $ident, $args) = @_;
 258
 259   #
 260 ### This is commented out because all tests pass. However I am leaving it
 261 ### here as it may prove necessary (can't think through all combinations)
 262 ### BTW it doesn't currently work exactly - need better sensitivity to
 263   # currently set value
 264   #
 265   #my ($op, $ident) = @_;
 266   #
 267   # inherit these from the parent for the duration of _prep_for_execute
 268   # Don't know how to make a localizing loop with if's, otherwise I would
 269   #local $self->{_autoinc_supplied_for_op}
 270   #  = $self->_parent_storage->_autoinc_supplied_for_op
 271   #if ($op eq 'insert' or $op eq 'update') and $self->_parent_storage;
 272   #local $self->{_perform_autoinc_retrieval}
 273   #  = $self->_parent_storage->_perform_autoinc_retrieval
 274   #if ($op eq 'insert' or $op eq 'update') and $self->_parent_storage;
 275
 276   my $limit;  # extract and use shortcut on limit without offset
 277   if ($op eq 'select' and ! $args->[4] and $limit = $args->[3]) {
 278     $args = [ @$args ];
 279     $args->[3] = undef;
 280   }
 281
 282   my ($sql, $bind) = $self->next::method($op, $ident, $args);
 283
 284   # $limit is already sanitized by now
 285   $sql = join( "\n",
 286     "SET ROWCOUNT $limit",
 287     $sql,
 288     "SET ROWCOUNT 0",
 289   ) if $limit;
 290
 291   if (my $identity_col = $self->_perform_autoinc_retrieval) {
 292     $sql .= "\n" . $self->_fetch_identity_sql($ident, $identity_col)
 293   }
 294
 295   return ($sql, $bind);
 296 }
 297
 298 sub _fetch_identity_sql {
 299   my ($self, $source, $col) = @_;
 300
 301   return sprintf ("SELECT MAX(%s) FROM %s",
 302     map { $self->sql_maker->_quote ($_) } ($col, $source->from)
 303   );
 304 }
 305
 306 # Stolen from SQLT, with some modifications. This is a makeshift
 307 # solution before a sane type-mapping library is available, thus
 308 # the 'our' for easy overrides.
 309 our %TYPE_MAPPING  = (
 310     number    => 'numeric',
 311     money     => 'money',
 312     varchar   => 'varchar',
 313     varchar2  => 'varchar',
 314     timestamp => 'datetime',
 315     text      => 'varchar',
 316     real      => 'double precision',
 317     comment   => 'text',
 318     bit       => 'bit',
 319     tinyint   => 'smallint',
 320     float     => 'double precision',
 321     serial    => 'numeric',
 322     bigserial => 'numeric',
 323     boolean   => 'varchar',
 324     long      => 'varchar',
 325 );
 326
 327 sub _native_data_type {
 328   my ($self, $type) = @_;
 329
 330   $type = lc $type;
 331   $type =~ s/\s* identity//x;
 332
 333   return uc($TYPE_MAPPING{$type} || $type);
 334 }
 335
 336
 337 sub _execute {
 338   my $self = shift;
 339   my ($rv, $sth, @bind) = $self->next::method(@_);
 340
 341   $self->_identity( ($sth->fetchall_arrayref)->[0][0] )
 342     if $self->_perform_autoinc_retrieval;
 343
 344   return wantarray ? ($rv, $sth, @bind) : $rv;
 345 }
 346
 347 sub last_insert_id { shift->_identity }
 348
 349 # handles TEXT/IMAGE and transaction for last_insert_id
 350 sub insert {
 351   my $self = shift;
 352   my ($source, $to_insert) = @_;
 353
 354   my $columns_info = $source->columns_info;
 355
 356   my $identity_col =
 357     (first { $columns_info->{$_}{is_auto_increment} }
 358       keys %$columns_info )
 359     || '';
 360
 361   # FIXME - this is duplication from DBI.pm. When refactored towards
 362   # the LobWriter this can be folded back where it belongs.
 363   local $self->{_autoinc_supplied_for_op} = exists $to_insert->{$identity_col}
 364     ? 1
 365     : 0
 366   ;
 367   local $self->{_perform_autoinc_retrieval} =
 368     ($identity_col and ! exists $to_insert->{$identity_col})
 369       ? $identity_col
 370       : undef
 371   ;
 372
 373   # check for empty insert
 374   # INSERT INTO foo DEFAULT VALUES -- does not work with Sybase
 375   # try to insert explicit 'DEFAULT's instead (except for identity, timestamp
 376   # and computed columns)
 377   if (not %$to_insert) {
 378     for my $col ($source->columns) {
 379       next if $col eq $identity_col;
 380
 381       my $info = $source->column_info($col);
 382
 383       next if ref $info->{default_value} eq 'SCALAR'
 384         || (exists $info->{data_type} && (not defined $info->{data_type}));
 385
 386       next if $info->{data_type} && $info->{data_type} =~ /^timestamp\z/i;
 387
 388       $to_insert->{$col} = \'DEFAULT';
 389     }
 390   }
 391
 392   my $blob_cols = $self->_remove_blob_cols($source, $to_insert);
 393
 394   # do we need the horrific SELECT MAX(COL) hack?
 395   my $need_dumb_last_insert_id = (
 396     $self->_perform_autoinc_retrieval
 397       &&
 398     ($self->_identity_method||'') ne '@@IDENTITY'
 399   );
 400
 401   my $next = $self->next::can;
 402
 403   # we are already in a transaction, or there are no blobs
 404   # and we don't need the PK - just (try to) do it
 405   if ($self->{transaction_depth}
 406         || (!$blob_cols && !$need_dumb_last_insert_id)
 407   ) {
 408     return $self->_insert (
 409       $next, $source, $to_insert, $blob_cols, $identity_col
 410     );
 411   }
 412
 413   # otherwise use the _writer_storage to do the insert+transaction on another
 414   # connection
 415   my $guard = $self->_writer_storage->txn_scope_guard;
 416
 417   my $updated_cols = $self->_writer_storage->_insert (
 418     $next, $source, $to_insert, $blob_cols, $identity_col
 419   );
 420
 421   $self->_identity($self->_writer_storage->_identity);
 422
 423   $guard->commit;
 424
 425   return $updated_cols;
 426 }
 427
 428 sub _insert {
 429   my ($self, $next, $source, $to_insert, $blob_cols, $identity_col) = @_;
 430
 431   my $updated_cols = $self->$next ($source, $to_insert);
 432
 433   my $final_row = {
 434     ($identity_col ?
 435       ($identity_col => $self->last_insert_id($source, $identity_col)) : ()),
 436     %$to_insert,
 437     %$updated_cols,
 438   };
 439
 440   $self->_insert_blobs ($source, $blob_cols, $final_row) if $blob_cols;
 441
 442   return $updated_cols;
 443 }
 444
 445 sub update {
 446   my $self = shift;
 447   my ($source, $fields, $where, @rest) = @_;
 448
 449   #
 450   # When *updating* identities, ASE requires SET IDENTITY_UPDATE called
 451   #
 452   if (my $blob_cols = $self->_remove_blob_cols($source, $fields)) {
 453
 454     # If there are any blobs in $where, Sybase will return a descriptive error
 455     # message.
 456     # XXX blobs can still be used with a LIKE query, and this should be handled.
 457
 458     # update+blob update(s) done atomically on separate connection
 459     $self = $self->_writer_storage;
 460
 461     my $guard = $self->txn_scope_guard;
 462
 463     # First update the blob columns to be updated to '' (taken from $fields, where
 464     # it is originally put by _remove_blob_cols .)
 465     my %blobs_to_empty = map { ($_ => delete $fields->{$_}) } keys %$blob_cols;
 466
 467     # We can't only update NULL blobs, because blobs cannot be in the WHERE clause.
 468     $self->next::method($source, \%blobs_to_empty, $where, @rest);
 469
 470     # Now update the blobs before the other columns in case the update of other
 471     # columns makes the search condition invalid.
 472     my $rv = $self->_update_blobs($source, $blob_cols, $where);
 473
 474     if (keys %$fields) {
 475
 476       # Now set the identity update flags for the actual update
 477       local $self->{_autoinc_supplied_for_op} = (first
 478         { $_->{is_auto_increment} }
 479         values %{ $source->columns_info([ keys %$fields ]) }
 480       ) ? 1 : 0;
 481
 482       my $next = $self->next::can;
 483       my $args = \@_;
 484       return preserve_context {
 485         $self->$next(@$args);
 486       } after => sub { $guard->commit };
 487     }
 488     else {
 489       $guard->commit;
 490       return $rv;
 491     }
 492   }
 493   else {
 494     # Set the identity update flags for the actual update
 495     local $self->{_autoinc_supplied_for_op} = (first
 496       { $_->{is_auto_increment} }
 497       values %{ $source->columns_info([ keys %$fields ]) }
 498     ) ? 1 : 0;
 499
 500     return $self->next::method(@_);
 501   }
 502 }
 503
 504 sub _insert_bulk {
 505   my $self = shift;
 506   my ($source, $cols, $data) = @_;
 507
 508   my $columns_info = $source->columns_info;
 509
 510   my $identity_col =
 511     first { $columns_info->{$_}{is_auto_increment} }
 512       keys %$columns_info;
 513
 514   # FIXME - this is duplication from DBI.pm. When refactored towards
 515   # the LobWriter this can be folded back where it belongs.
 516   local $self->{_autoinc_supplied_for_op} =
 517     (first { $_ eq $identity_col } @$cols)
 518       ? 1
 519       : 0
 520   ;
 521
 522   my $use_bulk_api =
 523     $self->_bulk_storage &&
 524     $self->_get_dbh->{syb_has_blk};
 525
 526   if (! $use_bulk_api and ref($self->_dbi_connect_info->[0]) eq 'CODE') {
 527     carp_unique( join ' ',
 528       'Bulk API support disabled due to use of a CODEREF connect_info.',
 529       'Reverting to regular array inserts.',
 530     );
 531   }
 532
 533   if (not $use_bulk_api) {
 534     my $blob_cols = $self->_remove_blob_cols_array($source, $cols, $data);
 535
 536 # next::method uses a txn anyway, but it ends too early in case we need to
 537 # select max(col) to get the identity for inserting blobs.
 538     ($self, my $guard) = $self->{transaction_depth} == 0 ?
 539       ($self->_writer_storage, $self->_writer_storage->txn_scope_guard)
 540       :
 541       ($self, undef);
 542
 543     $self->next::method(@_);
 544
 545     if ($blob_cols) {
 546       if ($self->_autoinc_supplied_for_op) {
 547         $self->_insert_blobs_array ($source, $blob_cols, $cols, $data);
 548       }
 549       else {
 550         my @cols_with_identities = (@$cols, $identity_col);
 551
 552         ## calculate identities
 553         # XXX This assumes identities always increase by 1, which may or may not
 554         # be true.
 555         my ($last_identity) =
 556           $self->_dbh->selectrow_array (
 557             $self->_fetch_identity_sql($source, $identity_col)
 558           );
 559         my @identities = (($last_identity - @$data + 1) .. $last_identity);
 560
 561         my @data_with_identities = map [@$_, shift @identities], @$data;
 562
 563         $self->_insert_blobs_array (
 564           $source, $blob_cols, \@cols_with_identities, \@data_with_identities
 565         );
 566       }
 567     }
 568
 569     $guard->commit if $guard;
 570
 571     return;
 572   }
 573
 574 # otherwise, use the bulk API
 575
 576 # rearrange @$data so that columns are in database order
 577 # and so we submit a full column list
 578   my %orig_order = map { $cols->[$_] => $_ } 0..$#$cols;
 579
 580   my @source_columns = $source->columns;
 581
 582   # bcp identity index is 1-based
 583   my $identity_idx = first { $source_columns[$_] eq $identity_col } (0..$#source_columns);
 584   $identity_idx = defined $identity_idx ? $identity_idx + 1 : 0;
 585
 586   my @new_data;
 587   for my $slice_idx (0..$#$data) {
 588     push @new_data, [map {
 589       # identity data will be 'undef' if not _autoinc_supplied_for_op()
 590       # columns with defaults will also be 'undef'
 591       exists $orig_order{$_}
 592         ? $data->[$slice_idx][$orig_order{$_}]
 593         : undef
 594     } @source_columns];
 595   }
 596
 597   my $proto_bind = $self->_resolve_bindattrs(
 598     $source,
 599     [map {
 600       [ { dbic_colname => $source_columns[$_], _bind_data_slice_idx => $_ }
 601         => $new_data[0][$_] ]
 602     } (0 ..$#source_columns) ],
 603     $columns_info
 604   );
 605
 606 ## Set a client-side conversion error handler, straight from DBD::Sybase docs.
 607 # This ignores any data conversion errors detected by the client side libs, as
 608 # they are usually harmless.
 609   my $orig_cslib_cb = DBD::Sybase::set_cslib_cb(
 610     Sub::Name::subname _insert_bulk_cslib_errhandler => sub {
 611       my ($layer, $origin, $severity, $errno, $errmsg, $osmsg, $blkmsg) = @_;
 612
 613       return 1 if $errno == 36;
 614
 615       carp
 616         "Layer: $layer, Origin: $origin, Severity: $severity, Error: $errno" .
 617         ($errmsg ? "\n$errmsg" : '') .
 618         ($osmsg  ? "\n$osmsg"  : '')  .
 619         ($blkmsg ? "\n$blkmsg" : '');
 620
 621       return 0;
 622   });
 623
 624   my $exception = '';
 625   try {
 626     my $bulk = $self->_bulk_storage;
 627
 628     my $guard = $bulk->txn_scope_guard;
 629
 630 ## FIXME - once this is done - address the FIXME on finish() below
 631 ## XXX get this to work instead of our own $sth
 632 ## will require SQLA or *Hacks changes for ordered columns
 633 #    $bulk->next::method($source, \@source_columns, \@new_data, {
 634 #      syb_bcp_attribs => {
 635 #        identity_flag   => $self->_autoinc_supplied_for_op ? 1 : 0,
 636 #        identity_column => $identity_idx,
 637 #      }
 638 #    });
 639     my $sql = 'INSERT INTO ' .
 640       $bulk->sql_maker->_quote($source->name) . ' (' .
 641 # colname list is ignored for BCP, but does no harm
 642       (join ', ', map $bulk->sql_maker->_quote($_), @source_columns) . ') '.
 643       ' VALUES ('.  (join ', ', ('?') x @source_columns) . ')';
 644
 645 ## XXX there's a bug in the DBD::Sybase bulk support that makes $sth->finish for
 646 ## a prepare_cached statement ineffective. Replace with ->sth when fixed, or
 647 ## better yet the version above. Should be fixed in DBD::Sybase .
 648     my $sth = $bulk->_get_dbh->prepare($sql,
 649 #      'insert', # op
 650       {
 651         syb_bcp_attribs => {
 652           identity_flag   => $self->_autoinc_supplied_for_op ? 1 : 0,
 653           identity_column => $identity_idx,
 654         }
 655       }
 656     );
 657
 658     {
 659       # FIXME the $sth->finish in _execute_array does a rollback for some
 660       # reason. Disable it temporarily until we fix the SQLMaker thing above
 661       no warnings 'redefine';
 662       no strict 'refs';
 663       local *{ref($sth).'::finish'} = sub {};
 664
 665       $self->_dbh_execute_for_fetch(
 666         $source, $sth, $proto_bind, \@source_columns, \@new_data
 667       );
 668     }
 669
 670     $guard->commit;
 671
 672     $bulk->_query_end($sql);
 673   } catch {
 674     $exception = shift;
 675   };
 676
 677   DBD::Sybase::set_cslib_cb($orig_cslib_cb);
 678
 679   if ($exception =~ /-Y option/) {
 680     my $w = 'Sybase bulk API operation failed due to character set incompatibility, '
 681           . 'reverting to regular array inserts. Try unsetting the LANG environment variable'
 682     ;
 683     $w .= "\n$exception" if $self->debug;
 684     carp $w;
 685
 686     $self->_bulk_storage(undef);
 687     unshift @_, $self;
 688     goto \&_insert_bulk;
 689   }
 690   elsif ($exception) {
 691 # rollback makes the bulkLogin connection unusable
 692     $self->_bulk_storage->disconnect;
 693     $self->throw_exception($exception);
 694   }
 695 }
 696
 697 # Make sure blobs are not bound as placeholders, and return any non-empty ones
 698 # as a hash.
 699 sub _remove_blob_cols {
 700   my ($self, $source, $fields) = @_;
 701
 702   my %blob_cols;
 703
 704   for my $col (keys %$fields) {
 705     if ($self->_is_lob_column($source, $col)) {
 706       my $blob_val = delete $fields->{$col};
 707       if (not defined $blob_val) {
 708         $fields->{$col} = \'NULL';
 709       }
 710       else {
 711         $fields->{$col} = \"''";
 712         $blob_cols{$col} = $blob_val unless $blob_val eq '';
 713       }
 714     }
 715   }
 716
 717   return %blob_cols ? \%blob_cols : undef;
 718 }
 719
 720 # same for _insert_bulk
 721 sub _remove_blob_cols_array {
 722   my ($self, $source, $cols, $data) = @_;
 723
 724   my @blob_cols;
 725
 726   for my $i (0..$#$cols) {
 727     my $col = $cols->[$i];
 728
 729     if ($self->_is_lob_column($source, $col)) {
 730       for my $j (0..$#$data) {
 731         my $blob_val = delete $data->[$j][$i];
 732         if (not defined $blob_val) {
 733           $data->[$j][$i] = \'NULL';
 734         }
 735         else {
 736           $data->[$j][$i] = \"''";
 737           $blob_cols[$j][$i] = $blob_val
 738             unless $blob_val eq '';
 739         }
 740       }
 741     }
 742   }
 743
 744   return @blob_cols ? \@blob_cols : undef;
 745 }
 746
 747 sub _update_blobs {
 748   my ($self, $source, $blob_cols, $where) = @_;
 749
 750   my @primary_cols = try
 751     { $source->_pri_cols_or_die }
 752     catch {
 753       $self->throw_exception("Cannot update TEXT/IMAGE column(s): $_")
 754     };
 755
 756   my @pks_to_update;
 757   if (
 758     ref $where eq 'HASH'
 759       and
 760     @primary_cols == grep { defined $where->{$_} } @primary_cols
 761   ) {
 762     my %row_to_update;
 763     @row_to_update{@primary_cols} = @{$where}{@primary_cols};
 764     @pks_to_update = \%row_to_update;
 765   }
 766   else {
 767     my $cursor = $self->select ($source, \@primary_cols, $where, {});
 768     @pks_to_update = map {
 769       my %row; @row{@primary_cols} = @$_; \%row
 770     } $cursor->all;
 771   }
 772
 773   for my $ident (@pks_to_update) {
 774     $self->_insert_blobs($source, $blob_cols, $ident);
 775   }
 776 }
 777
 778 sub _insert_blobs {
 779   my ($self, $source, $blob_cols, $row) = @_;
 780   my $dbh = $self->_get_dbh;
 781
 782   my $table = $source->name;
 783
 784   my %row = %$row;
 785   my @primary_cols = try
 786     { $source->_pri_cols_or_die }
 787     catch {
 788       $self->throw_exception("Cannot update TEXT/IMAGE column(s): $_")
 789     };
 790
 791   $self->throw_exception('Cannot update TEXT/IMAGE column(s) without primary key values')
 792     if ((grep { defined $row{$_} } @primary_cols) != @primary_cols);
 793
 794   # if we are 2-phase inserting a blob - there is nothing to retrieve anymore,
 795   # regardless of the previous state of the flag
 796   local $self->{_perform_autoinc_retrieval}
 797     if $self->_perform_autoinc_retrieval;
 798
 799   for my $col (keys %$blob_cols) {
 800     my $blob = $blob_cols->{$col};
 801
 802     my %where = map { ($_, $row{$_}) } @primary_cols;
 803
 804     my $cursor = $self->select ($source, [$col], \%where, {});
 805     $cursor->next;
 806     my $sth = $cursor->sth;
 807
 808     if (not $sth) {
 809       $self->throw_exception(
 810           "Could not find row in table '$table' for blob update:\n"
 811         . (Dumper \%where)
 812       );
 813     }
 814
 815     try {
 816       do {
 817         $sth->func('CS_GET', 1, 'ct_data_info') or die $sth->errstr;
 818       } while $sth->fetch;
 819
 820       $sth->func('ct_prepare_send') or die $sth->errstr;
 821
 822       my $log_on_update = $self->_blob_log_on_update;
 823       $log_on_update    = 1 if not defined $log_on_update;
 824
 825       $sth->func('CS_SET', 1, {
 826         total_txtlen => length($blob),
 827         log_on_update => $log_on_update
 828       }, 'ct_data_info') or die $sth->errstr;
 829
 830       $sth->func($blob, length($blob), 'ct_send_data') or die $sth->errstr;
 831
 832       $sth->func('ct_finish_send') or die $sth->errstr;
 833     }
 834     catch {
 835       if ($self->_using_freetds) {
 836         $self->throw_exception (
 837           "TEXT/IMAGE operation failed, probably because you are using FreeTDS: $_"
 838         );
 839       }
 840       else {
 841         $self->throw_exception($_);
 842       }
 843     }
 844     finally {
 845       $sth->finish if $sth;
 846     };
 847   }
 848 }
 849
 850 sub _insert_blobs_array {
 851   my ($self, $source, $blob_cols, $cols, $data) = @_;
 852
 853   for my $i (0..$#$data) {
 854     my $datum = $data->[$i];
 855
 856     my %row;
 857     @row{ @$cols } = @$datum;
 858
 859     my %blob_vals;
 860     for my $j (0..$#$cols) {
 861       if (exists $blob_cols->[$i][$j]) {
 862         $blob_vals{ $cols->[$j] } = $blob_cols->[$i][$j];
 863       }
 864     }
 865
 866     $self->_insert_blobs ($source, \%blob_vals, \%row);
 867   }
 868 }
 869
 870 =head2 connect_call_datetime_setup
 871
 872 Used as:
 873
 874   on_connect_call => 'datetime_setup'
 875
 876 In L<connect_info|DBIx::Class::Storage::DBI/connect_info> to set:
 877
 878   $dbh->syb_date_fmt('ISO_strict'); # output fmt: 2004-08-21T14:36:48.080Z
 879   $dbh->do('set dateformat mdy');   # input fmt:  08/13/1979 18:08:55.080
 880
 881 This works for both C<DATETIME> and C<SMALLDATETIME> columns, note that
 882 C<SMALLDATETIME> columns only have minute precision.
 883
 884 =cut
 885
 886 sub connect_call_datetime_setup {
 887   my $self = shift;
 888   my $dbh = $self->_get_dbh;
 889
 890   if ($dbh->can('syb_date_fmt')) {
 891     # amazingly, this works with FreeTDS
 892     $dbh->syb_date_fmt('ISO_strict');
 893   }
 894   else {
 895     carp_once
 896       'Your DBD::Sybase is too old to support '
 897      .'DBIx::Class::InflateColumn::DateTime, please upgrade!';
 898
 899     # FIXME - in retrospect this is a rather bad US-centric choice
 900     # of format. Not changing as a bugwards compat, though in reality
 901     # the only piece that sees the results of $dt object formatting
 902     # (as opposed to parsing) is the database itself, so theoretically
 903     # changing both this SET command and the formatter definition of
 904     # ::S::D::Sybase::ASE::DateTime::Format below should be safe and
 905     # transparent
 906
 907     $dbh->do('SET DATEFORMAT mdy');
 908   }
 909 }
 910
 911
 912 sub _exec_txn_begin {
 913   my $self = shift;
 914
 915 # bulkLogin=1 connections are always in a transaction, and can only call BEGIN
 916 # TRAN once. However, we need to make sure there's a $dbh.
 917   return if $self->_is_bulk_storage && $self->_dbh && $self->_began_bulk_work;
 918
 919   $self->next::method(@_);
 920
 921   $self->_began_bulk_work(1) if $self->_is_bulk_storage;
 922 }
 923
 924 # savepoint support using ASE syntax
 925
 926 sub _exec_svp_begin {
 927   my ($self, $name) = @_;
 928
 929   $self->_dbh->do("SAVE TRANSACTION $name");
 930 }
 931
 932 # A new SAVE TRANSACTION with the same name releases the previous one.
 933 sub _exec_svp_release { 1 }
 934
 935 sub _exec_svp_rollback {
 936   my ($self, $name) = @_;
 937
 938   $self->_dbh->do("ROLLBACK TRANSACTION $name");
 939 }
 940
 941 package # hide from PAUSE
 942   DBIx::Class::Storage::DBI::Sybase::ASE::DateTime::Format;
 943
 944 my $datetime_parse_format  = '%Y-%m-%dT%H:%M:%S.%3NZ';
 945 my $datetime_format_format = '%m/%d/%Y %H:%M:%S.%3N';
 946
 947 my ($datetime_parser, $datetime_formatter);
 948
 949 sub parse_datetime {
 950   shift;
 951   require DateTime::Format::Strptime;
 952   $datetime_parser ||= DateTime::Format::Strptime->new(
 953     pattern  => $datetime_parse_format,
 954     on_error => 'croak',
 955   );
 956   return $datetime_parser->parse_datetime(shift);
 957 }
 958
 959 sub format_datetime {
 960   shift;
 961   require DateTime::Format::Strptime;
 962   $datetime_formatter ||= DateTime::Format::Strptime->new(
 963     pattern  => $datetime_format_format,
 964     on_error => 'croak',
 965   );
 966   return $datetime_formatter->format_datetime(shift);
 967 }
 968
 969 1;
 970
 971 =head1 Schema::Loader Support
 972
 973 As of version C<0.05000>, L<DBIx::Class::Schema::Loader> should work well with
 974 most versions of Sybase ASE.
 975
 976 =head1 FreeTDS
 977
 978 This driver supports L<DBD::Sybase> compiled against FreeTDS
 979 (L<http://www.freetds.org/>) to the best of our ability, however it is
 980 recommended that you recompile L<DBD::Sybase> against the Sybase Open Client
 981 libraries. They are a part of the Sybase ASE distribution:
 982
 983 The Open Client FAQ is here:
 984 L<http://www.isug.com/Sybase_FAQ/ASE/section7.html>.
 985
 986 Sybase ASE for Linux (which comes with the Open Client libraries) may be
 987 downloaded here: L<http://response.sybase.com/forms/ASE_Linux_Download>.
 988
 989 To see if you're using FreeTDS run:
 990
 991   perl -MDBI -le 'my $dbh = DBI->connect($dsn, $user, $pass); print $dbh->{syb_oc_version}'
 992
 993 It is recommended to set C<tds version> for your ASE server to C<5.0> in
 994 C</etc/freetds/freetds.conf>.
 995
 996 Some versions or configurations of the libraries involved will not support
 997 placeholders, in which case the storage will be reblessed to
 998 L<DBIx::Class::Storage::DBI::Sybase::ASE::NoBindVars>.
 999
1000 In some configurations, placeholders will work but will throw implicit type
1001 conversion errors for anything that's not expecting a string. In such a case,
1002 the C<auto_cast> option from L<DBIx::Class::Storage::DBI::AutoCast> is
1003 automatically set, which you may enable on connection with
1004 L<connect_call_set_auto_cast|DBIx::Class::Storage::DBI::AutoCast/connect_call_set_auto_cast>.
1005 The type info for the C<CAST>s is taken from the
1006 L<DBIx::Class::ResultSource/data_type> definitions in your Result classes, and
1007 are mapped to a Sybase type (if it isn't already) using a mapping based on
1008 L<SQL::Translator>.
1009
1010 In other configurations, placeholders will work just as they do with the Sybase
1011 Open Client libraries.
1012
1013 Inserts or updates of TEXT/IMAGE columns will B<NOT> work with FreeTDS.
1014
1015 =head1 INSERTS WITH PLACEHOLDERS
1016
1017 With placeholders enabled, inserts are done in a transaction so that there are
1018 no concurrency issues with getting the inserted identity value using
1019 C<SELECT MAX(col)>, which is the only way to get the C<IDENTITY> value in this
1020 mode.
1021
1022 In addition, they are done on a separate connection so that it's possible to
1023 have active cursors when doing an insert.
1024
1025 When using C<DBIx::Class::Storage::DBI::Sybase::ASE::NoBindVars> transactions
1026 are unnecessary and not used, as there are no concurrency issues with C<SELECT
1027 @@IDENTITY> which is a session variable.
1028
1029 =head1 TRANSACTIONS
1030
1031 Due to limitations of the TDS protocol and L<DBD::Sybase>, you cannot begin a
1032 transaction while there are active cursors, nor can you use multiple active
1033 cursors within a transaction. An active cursor is, for example, a
1034 L<ResultSet|DBIx::Class::ResultSet> that has been executed using C<next> or
1035 C<first> but has not been exhausted or L<reset|DBIx::Class::ResultSet/reset>.
1036
1037 For example, this will not work:
1038
1039   $schema->txn_do(sub {
1040     my $rs = $schema->resultset('Book');
1041     while (my $result = $rs->next) {
1042       $schema->resultset('MetaData')->create({
1043         book_id => $result->id,
1044         ...
1045       });
1046     }
1047   });
1048
1049 This won't either:
1050
1051   my $first_row = $large_rs->first;
1052   $schema->txn_do(sub { ... });
1053
1054 Transactions done for inserts in C<AutoCommit> mode when placeholders are in use
1055 are not affected, as they are done on an extra database handle.
1056
1057 Some workarounds:
1058
1059 =over 4
1060
1061 =item * use L<DBIx::Class::Storage::DBI::Replicated>
1062
1063 =item * L<connect|DBIx::Class::Schema/connect> another L<Schema|DBIx::Class::Schema>
1064
1065 =item * load the data from your cursor with L<DBIx::Class::ResultSet/all>
1066
1067 =back
1068
1069 =head1 MAXIMUM CONNECTIONS
1070
1071 The TDS protocol makes separate connections to the server for active statements
1072 in the background. By default the number of such connections is limited to 25,
1073 on both the client side and the server side.
1074
1075 This is a bit too low for a complex L<DBIx::Class> application, so on connection
1076 the client side setting is set to C<256> (see L<DBD::Sybase/maxConnect>.) You
1077 can override it to whatever setting you like in the DSN.
1078
1079 See
1080 L<http://infocenter.sybase.com/help/index.jsp?topic=/com.sybase.help.ase_15.0.sag1/html/sag1/sag1272.htm>
1081 for information on changing the setting on the server side.
1082
1083 =head1 DATES
1084
1085 See L</connect_call_datetime_setup> to setup date formats
1086 for L<DBIx::Class::InflateColumn::DateTime>.
1087
1088 =head1 LIMITED QUERIES
1089
1090 Because ASE does not have a good way to limit results in SQL that works for
1091 all types of queries, the limit dialect is set to
1092 L<GenericSubQ|DBIx::Class::SQLMaker::LimitDialects/GenericSubQ>.
1093
1094 Fortunately, ASE and L<DBD::Sybase> support cursors properly, so when
1095 L<GenericSubQ|DBIx::Class::SQLMaker::LimitDialects/GenericSubQ> is too slow
1096 you can use the L<software_limit|DBIx::Class::ResultSet/software_limit>
1097 L<DBIx::Class::ResultSet> attribute to simulate limited queries by skipping
1098 over records.
1099
1100 =head1 TEXT/IMAGE COLUMNS
1101
1102 L<DBD::Sybase> compiled with FreeTDS will B<NOT> allow you to insert or update
1103 C<TEXT/IMAGE> columns.
1104
1105 Setting C<< $dbh->{LongReadLen} >> will also not work with FreeTDS use either:
1106
1107   $schema->storage->dbh->do("SET TEXTSIZE $bytes");
1108
1109 or
1110
1111   $schema->storage->set_textsize($bytes);
1112
1113 instead.
1114
1115 However, the C<LongReadLen> you pass in
1116 L<connect_info|DBIx::Class::Storage::DBI/connect_info> is used to execute the
1117 equivalent C<SET TEXTSIZE> command on connection.
1118
1119 See L</connect_call_blob_setup> for a
1120 L<connect_info|DBIx::Class::Storage::DBI/connect_info> setting you need to work
1121 with C<IMAGE> columns.
1122
1123 =head1 BULK API
1124
1125 The experimental L<DBD::Sybase> Bulk API support is used for
1126 L<populate|DBIx::Class::ResultSet/populate> in B<void> context, in a transaction
1127 on a separate connection.
1128
1129 To use this feature effectively, use a large number of rows for each
1130 L<populate|DBIx::Class::ResultSet/populate> call, eg.:
1131
1132   while (my $rows = $data_source->get_100_rows()) {
1133     $rs->populate($rows);
1134   }
1135
1136 B<NOTE:> the L<add_columns|DBIx::Class::ResultSource/add_columns>
1137 calls in your C<Result> classes B<must> list columns in database order for this
1138 to work. Also, you may have to unset the C<LANG> environment variable before
1139 loading your app, as C<BCP -Y> is not yet supported in DBD::Sybase .
1140
1141 When inserting IMAGE columns using this method, you'll need to use
1142 L</connect_call_blob_setup> as well.
1143
1144 =head1 COMPUTED COLUMNS
1145
1146 If you have columns such as:
1147
1148   created_dtm AS getdate()
1149
1150 represent them in your Result classes as:
1151
1152   created_dtm => {
1153     data_type => undef,
1154     default_value => \'getdate()',
1155     is_nullable => 0,
1156     inflate_datetime => 1,
1157   }
1158
1159 The C<data_type> must exist and must be C<undef>. Then empty inserts will work
1160 on tables with such columns.
1161
1162 =head1 TIMESTAMP COLUMNS
1163
1164 C<timestamp> columns in Sybase ASE are not really timestamps, see:
1165 L<http://dba.fyicenter.com/Interview-Questions/SYBASE/The_timestamp_datatype_in_Sybase_.html>.
1166
1167 They should be defined in your Result classes as:
1168
1169   ts => {
1170     data_type => 'timestamp',
1171     is_nullable => 0,
1172     inflate_datetime => 0,
1173   }
1174
1175 The C<<inflate_datetime => 0>> is necessary if you use
1176 L<DBIx::Class::InflateColumn::DateTime>, and most people do, and still want to
1177 be able to read these values.
1178
1179 The values will come back as hexadecimal.
1180
1181 =head1 TODO
1182
1183 =over
1184
1185 =item *
1186
1187 Transitions to AutoCommit=0 (starting a transaction) mode by exhausting
1188 any active cursors, using eager cursors.
1189
1190 =item *
1191
1192 Real limits and limited counts using stored procedures deployed on startup.
1193
1194 =item *
1195
1196 Blob update with a LIKE query on a blob, without invalidating the WHERE condition.
1197
1198 =item *
1199
1200 bulk_insert using prepare_cached (see comments.)
1201
1202 =back
1203
1204 =head1 FURTHER QUESTIONS?
1205
1206 Check the list of L<additional DBIC resources|DBIx::Class/GETTING HELP/SUPPORT>.
1207
1208 =head1 COPYRIGHT AND LICENSE
1209
1210 This module is free software L<copyright|DBIx::Class/COPYRIGHT AND LICENSE>
1211 by the L<DBIx::Class (DBIC) authors|DBIx::Class/AUTHORS>. You can
1212 redistribute it and/or modify it under the same terms as the
1213 L<DBIx::Class library|DBIx::Class/COPYRIGHT AND LICENSE>.