lib/DBM/Deep.pm

   1 package DBM::Deep;
   2
   3 use 5.006_000;
   4
   5 use strict;
   6 use warnings FATAL => 'all';
   7
   8 our $VERSION = q(1.0015);
   9
  10 use Scalar::Util ();
  11
  12 use DBM::Deep::Engine::DBI ();
  13 use DBM::Deep::Engine::File ();
  14
  15 use DBM::Deep::SQL::Util;
  16 use DBM::Deep::SQL::Array;
  17 use DBM::Deep::SQL::Hash;
  18
  19 use overload
  20     '""' => sub { overload::StrVal( $_[0] ) },
  21     fallback => 1;
  22
  23 use constant DEBUG => 0;
  24
  25 sub TYPE_HASH   () { DBM::Deep::Engine->SIG_HASH  }
  26 sub TYPE_ARRAY  () { DBM::Deep::Engine->SIG_ARRAY }
  27
  28 # This is used in all the children of this class in their TIE<type> methods.
  29 sub _get_args {
  30     my $proto = shift;
  31
  32     my $args;
  33     if (scalar(@_) > 1) {
  34         if ( @_ % 2 ) {
  35             $proto->_throw_error( "Odd number of parameters to " . (caller(1))[2] );
  36         }
  37         $args = {@_};
  38     }
  39     elsif ( ref $_[0] ) {
  40         unless ( eval { local $SIG{'__DIE__'}; %{$_[0]} || 1 } ) {
  41             $proto->_throw_error( "Not a hashref in args to " . (caller(1))[2] );
  42         }
  43         $args = $_[0];
  44     }
  45     else {
  46         $args = { file => shift };
  47     }
  48
  49     return $args;
  50 }
  51
  52 # Class constructor method for Perl OO interface.
  53 # Calls tie() and returns blessed reference to tied hash or array,
  54 # providing a hybrid OO/tie interface.
  55 sub new {
  56     my $class = shift;
  57     my $args = $class->_get_args( @_ );
  58     my $self;
  59
  60 =pod
  61     if (exists $args->{dbi}) {
  62         eval {
  63             require DBIx::Abstract;
  64         }; if ( $@ ) {
  65             __PACKAGE__->_throw_error('DBIx::Abstract not installed. You cannot use the SQL mode.');
  66         }
  67         unless (UNIVERSAL::isa($args->{dbi}, 'DBIx::Abstract')) {
  68             $args->{dbi} = DBIx::Abstract->connect($args->{dbi});
  69         }
  70
  71         if (defined $args->{id}) {
  72             unless ($args->{id} =~ /^\d+$/ && $args->{id} > 0) {
  73                 __PACKAGE__->_throw_error('Invalid SQL record id');
  74             }
  75             my $util = {dbi => $args->{dbi}};
  76             bless $util, 'DBM::Deep::SQL::Util';
  77             my $q = $util->_select(
  78                 table  => 'rec_item',
  79                 fields => 'item_type',
  80                 where  => {id => $args->{id}},
  81             );
  82             if ($q->[0]->[0] eq 'array') {
  83                 $args->{type} = TYPE_ARRAY;
  84             }
  85             elsif ($q->[0]->[0] eq 'hash') {
  86                 $args->{type} = TYPE_HASH;
  87             }
  88             else {
  89                 DBM::Deep->_throw_error('Unknown SQL record id');
  90             }
  91         }
  92         else {
  93             my $util = {dbi => $args->{dbi}};
  94             bless $util, 'DBM::Deep::SQL::Util';
  95             if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
  96                 $args->{id} = $util->_create('array');
  97             }
  98             else {
  99                 $args->{id} = $util->_create('hash');
 100             }
 101         }
 102
 103         if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
 104             $class = 'DBM::Deep::SQL::Array';
 105             require DBM::Deep::SQL::Array;
 106             tie @$self, $class, %$args;
 107             if ($args->{prefetch}) {
 108                 (tied(@$self))->_prefetch();
 109             }
 110             return bless $self, $class;
 111         }
 112         else {
 113             $class = 'DBM::Deep::SQL::Hash';
 114             require DBM::Deep::SQL::Hash;
 115             tie %$self, $class, %$args;
 116             if ($args->{prefetch}) {
 117                 (tied(%$self))->_prefetch();
 118             }
 119             return bless $self, $class;
 120         }
 121     }
 122 =cut
 123
 124     ##
 125     # Check if we want a tied hash or array.
 126     ##
 127     if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
 128         $class = 'DBM::Deep::Array';
 129         require DBM::Deep::Array;
 130         tie @$self, $class, %$args;
 131     }
 132     else {
 133         $class = 'DBM::Deep::Hash';
 134         require DBM::Deep::Hash;
 135         tie %$self, $class, %$args;
 136     }
 137
 138     return bless $self, $class;
 139 }
 140
 141 # This initializer is called from the various TIE* methods. new() calls tie(),
 142 # which allows for a single point of entry.
 143 sub _init {
 144     my $class = shift;
 145     my ($args) = @_;
 146
 147     # locking implicitly enables autoflush
 148     if ($args->{locking}) { $args->{autoflush} = 1; }
 149
 150     # These are the defaults to be optionally overridden below
 151     my $self = bless {
 152         type        => TYPE_HASH,
 153         base_offset => undef,
 154         staleness   => undef,
 155         engine      => undef,
 156     }, $class;
 157
 158     unless ( exists $args->{engine} ) {
 159         my $class = exists $args->{dbi}
 160             ? 'DBM::Deep::Engine::DBI'
 161             : 'DBM::Deep::Engine::File';
 162
 163         $args->{engine} = $class->new({
 164             %{$args},
 165             obj => $self,
 166         });
 167     }
 168
 169     # Grab the parameters we want to use
 170     foreach my $param ( keys %$self ) {
 171         next unless exists $args->{$param};
 172         $self->{$param} = $args->{$param};
 173     }
 174
 175     eval {
 176         local $SIG{'__DIE__'};
 177
 178         $self->lock_exclusive;
 179         $self->_engine->setup( $self );
 180         $self->unlock;
 181     }; if ( $@ ) {
 182         my $e = $@;
 183         eval { local $SIG{'__DIE__'}; $self->unlock; };
 184         die $e;
 185     }
 186
 187     return $self;
 188 }
 189
 190 sub TIEHASH {
 191     shift;
 192     require DBM::Deep::Hash;
 193     return DBM::Deep::Hash->TIEHASH( @_ );
 194 }
 195
 196 sub TIEARRAY {
 197     shift;
 198     require DBM::Deep::Array;
 199     return DBM::Deep::Array->TIEARRAY( @_ );
 200 }
 201
 202 sub lock_exclusive {
 203     my $self = shift->_get_self;
 204     return $self->_engine->lock_exclusive( $self, @_ );
 205 }
 206 *lock = \&lock_exclusive;
 207 sub lock_shared {
 208     my $self = shift->_get_self;
 209     return $self->_engine->lock_shared( $self, @_ );
 210 }
 211
 212 sub unlock {
 213     my $self = shift->_get_self;
 214     return $self->_engine->unlock( $self, @_ );
 215 }
 216
 217 sub _copy_value {
 218     my $self = shift->_get_self;
 219     my ($spot, $value) = @_;
 220
 221     if ( !ref $value ) {
 222         ${$spot} = $value;
 223     }
 224     else {
 225         my $r = Scalar::Util::reftype( $value );
 226         my $tied;
 227         if ( $r eq 'ARRAY' ) {
 228             $tied = tied(@$value);
 229         }
 230         elsif ( $r eq 'HASH' ) {
 231             $tied = tied(%$value);
 232         }
 233         else {
 234             __PACKAGE__->_throw_error( "Unknown type for '$value'" );
 235         }
 236
 237         if ( eval { local $SIG{__DIE__}; $tied->isa( __PACKAGE__ ) } ) {
 238             ${$spot} = $tied->_repr;
 239             $tied->_copy_node( ${$spot} );
 240         }
 241         else {
 242             if ( $r eq 'ARRAY' ) {
 243                 ${$spot} = [ @{$value} ];
 244             }
 245             else {
 246                 ${$spot} = { %{$value} };
 247             }
 248         }
 249
 250         my $c = Scalar::Util::blessed( $value );
 251         if ( defined $c && !$c->isa( __PACKAGE__ ) ) {
 252             ${$spot} = bless ${$spot}, $c
 253         }
 254     }
 255
 256     return 1;
 257 }
 258
 259 #sub _copy_node {
 260 #    die "Must be implemented in a child class\n";
 261 #}
 262 #
 263 #sub _repr {
 264 #    die "Must be implemented in a child class\n";
 265 #}
 266
 267 sub export {
 268     my $self = shift->_get_self;
 269
 270     my $temp = $self->_repr;
 271
 272     $self->lock_exclusive;
 273     $self->_copy_node( $temp );
 274     $self->unlock;
 275
 276     my $classname = $self->_engine->get_classname( $self );
 277     if ( defined $classname ) {
 278       bless $temp, $classname;
 279     }
 280
 281     return $temp;
 282 }
 283
 284 sub _check_legality {
 285     my $self = shift;
 286     my ($val) = @_;
 287
 288     my $r = Scalar::Util::reftype( $val );
 289
 290     return $r if !defined $r || '' eq $r;
 291     return $r if 'HASH' eq $r;
 292     return $r if 'ARRAY' eq $r;
 293
 294     __PACKAGE__->_throw_error(
 295         "Storage of references of type '$r' is not supported."
 296     );
 297 }
 298
 299 sub import {
 300     return if !ref $_[0]; # Perl calls import() on use -- ignore
 301
 302     my $self = shift->_get_self;
 303     my ($struct) = @_;
 304
 305     my $type = $self->_check_legality( $struct );
 306     if ( !$type ) {
 307         __PACKAGE__->_throw_error( "Cannot import a scalar" );
 308     }
 309
 310     if ( substr( $type, 0, 1 ) ne $self->_type ) {
 311         __PACKAGE__->_throw_error(
 312             "Cannot import " . ('HASH' eq $type ? 'a hash' : 'an array')
 313             . " into " . ('HASH' eq $type ? 'an array' : 'a hash')
 314         );
 315     }
 316
 317     my %seen;
 318     my $recurse;
 319     $recurse = sub {
 320         my ($db, $val) = @_;
 321
 322         my $obj = 'HASH' eq Scalar::Util::reftype( $db ) ? tied(%$db) : tied(@$db);
 323         $obj ||= $db;
 324
 325         my $r = $self->_check_legality( $val );
 326         if ( 'HASH' eq $r ) {
 327             while ( my ($k, $v) = each %$val ) {
 328                 my $r = $self->_check_legality( $v );
 329                 if ( $r ) {
 330                     my $temp = 'HASH' eq $r ? {} : [];
 331                     if ( my $c = Scalar::Util::blessed( $v ) ) {
 332                         bless $temp, $c;
 333                     }
 334                     $obj->put( $k, $temp );
 335                     $recurse->( $temp, $v );
 336                 }
 337                 else {
 338                     $obj->put( $k, $v );
 339                 }
 340             }
 341         }
 342         elsif ( 'ARRAY' eq $r ) {
 343             foreach my $k ( 0 .. $#$val ) {
 344                 my $v = $val->[$k];
 345                 my $r = $self->_check_legality( $v );
 346                 if ( $r ) {
 347                     my $temp = 'HASH' eq $r ? {} : [];
 348                     if ( my $c = Scalar::Util::blessed( $v ) ) {
 349                         bless $temp, $c;
 350                     }
 351                     $obj->put( $k, $temp );
 352                     $recurse->( $temp, $v );
 353                 }
 354                 else {
 355                     $obj->put( $k, $v );
 356                 }
 357             }
 358         }
 359     };
 360     $recurse->( $self, $struct );
 361
 362     return 1;
 363 }
 364
 365 #XXX Need to keep track of who has a fh to this file in order to
 366 #XXX close them all prior to optimize on Win32/cygwin
 367 # Rebuild entire database into new file, then move
 368 # it back on top of original.
 369 sub optimize {
 370     my $self = shift->_get_self;
 371
 372     # Optimizing is only something we need to do when we're working with our
 373     # own file format. Otherwise, let the other guy do the optimizations.
 374     return unless $self->_engine->isa( 'DBM::Deep::Engine::File' );
 375
 376 #XXX Need to create a new test for this
 377 #    if ($self->_engine->storage->{links} > 1) {
 378 #        $self->_throw_error("Cannot optimize: reference count is greater than 1");
 379 #    }
 380
 381     #XXX Do we have to lock the tempfile?
 382
 383     #XXX Should we use tempfile() here instead of a hard-coded name?
 384     my $temp_filename = $self->_engine->storage->{file} . '.tmp';
 385     my $db_temp = __PACKAGE__->new(
 386         file => $temp_filename,
 387         type => $self->_type,
 388
 389         # Bring over all the parameters that we need to bring over
 390         ( map { $_ => $self->_engine->$_ } qw(
 391             byte_size max_buckets data_sector_size num_txns
 392         )),
 393     );
 394
 395     $self->lock_exclusive;
 396     $self->_engine->clear_cache;
 397     $self->_copy_node( $db_temp );
 398     $db_temp->_engine->storage->close;
 399     undef $db_temp;
 400
 401     ##
 402     # Attempt to copy user, group and permissions over to new file
 403     ##
 404     $self->_engine->storage->copy_stats( $temp_filename );
 405
 406     # q.v. perlport for more information on this variable
 407     if ( $^O eq 'MSWin32' || $^O eq 'cygwin' ) {
 408         ##
 409         # Potential race condition when optmizing on Win32 with locking.
 410         # The Windows filesystem requires that the filehandle be closed
 411         # before it is overwritten with rename().  This could be redone
 412         # with a soft copy.
 413         ##
 414         $self->unlock;
 415         $self->_engine->storage->close;
 416     }
 417
 418     if (!rename $temp_filename, $self->_engine->storage->{file}) {
 419         unlink $temp_filename;
 420         $self->unlock;
 421         $self->_throw_error("Optimize failed: Cannot copy temp file over original: $!");
 422     }
 423
 424     $self->unlock;
 425     $self->_engine->storage->close;
 426
 427     $self->_engine->storage->open;
 428     $self->lock_exclusive;
 429     $self->_engine->setup( $self );
 430     $self->unlock;
 431
 432     return 1;
 433 }
 434
 435 sub clone {
 436     ##
 437     # Make copy of object and return
 438     ##
 439     my $self = shift->_get_self;
 440
 441     return __PACKAGE__->new(
 442         type        => $self->_type,
 443         base_offset => $self->_base_offset,
 444         staleness   => $self->_staleness,
 445         engine      => $self->_engine,
 446     );
 447 }
 448
 449 #XXX Migrate this to the engine, where it really belongs and go through some
 450 # API - stop poking in the innards of someone else..
 451 {
 452     my %is_legal_filter = map {
 453         $_ => ~~1,
 454     } qw(
 455         store_key store_value
 456         fetch_key fetch_value
 457     );
 458
 459     sub set_filter {
 460         my $self = shift->_get_self;
 461         my $type = lc shift;
 462         my $func = shift;
 463
 464         if ( $is_legal_filter{$type} ) {
 465             $self->_engine->storage->{"filter_$type"} = $func;
 466             return 1;
 467         }
 468
 469         return;
 470     }
 471
 472     sub filter_store_key   { $_[0]->set_filter( store_key   => $_[1] ); }
 473     sub filter_store_value { $_[0]->set_filter( store_value => $_[1] ); }
 474     sub filter_fetch_key   { $_[0]->set_filter( fetch_key   => $_[1] ); }
 475     sub filter_fetch_value { $_[0]->set_filter( fetch_value => $_[1] ); }
 476 }
 477
 478 sub begin_work {
 479     my $self = shift->_get_self;
 480     $self->lock_exclusive;
 481     my $rv = eval { $self->_engine->begin_work( $self, @_ ) };
 482     my $e = $@;
 483     $self->unlock;
 484     die $e if $e;
 485     return $rv;
 486 }
 487
 488 sub rollback {
 489     my $self = shift->_get_self;
 490     $self->lock_exclusive;
 491     my $rv = eval { $self->_engine->rollback( $self, @_ ) };
 492     my $e = $@;
 493     $self->unlock;
 494     die $e if $e;
 495     return $rv;
 496 }
 497
 498 sub commit {
 499     my $self = shift->_get_self;
 500     $self->lock_exclusive;
 501     my $rv = eval { $self->_engine->commit( $self, @_ ) };
 502     my $e = $@;
 503     $self->unlock;
 504     die $e if $e;
 505     return $rv;
 506 }
 507
 508 # Accessor methods
 509 sub _engine {
 510     my $self = $_[0]->_get_self;
 511     return $self->{engine};
 512 }
 513
 514 sub _type {
 515     my $self = $_[0]->_get_self;
 516     return $self->{type};
 517 }
 518
 519 sub _base_offset {
 520     my $self = $_[0]->_get_self;
 521     return $self->{base_offset};
 522 }
 523
 524 sub _staleness {
 525     my $self = $_[0]->_get_self;
 526     return $self->{staleness};
 527 }
 528
 529 # Utility methods
 530 sub _throw_error {
 531     my $n = 0;
 532     while( 1 ) {
 533         my @caller = caller( ++$n );
 534         next if $caller[0] =~ m/^DBM::Deep/;
 535
 536         die "DBM::Deep: $_[1] at $0 line $caller[2]\n";
 537     }
 538 }
 539
 540 # Store single hash key/value or array element in database.
 541 sub STORE {
 542     my $self = shift->_get_self;
 543     my ($key, $value) = @_;
 544     warn "STORE($self, '$key', '@{[defined$value?$value:'undef']}')\n" if DEBUG;
 545
 546     unless ( $self->_engine->storage->is_writable ) {
 547         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 548     }
 549
 550     $self->lock_exclusive;
 551
 552     # User may be storing a complex value, in which case we do not want it run
 553     # through the filtering system.
 554     if ( !ref($value) && $self->_engine->storage->{filter_store_value} ) {
 555         $value = $self->_engine->storage->{filter_store_value}->( $value );
 556     }
 557
 558     $self->_engine->write_value( $self, $key, $value );
 559
 560     $self->unlock;
 561
 562     return 1;
 563 }
 564
 565 # Fetch single value or element given plain key or array index
 566 sub FETCH {
 567     my $self = shift->_get_self;
 568     my ($key) = @_;
 569     warn "FETCH($self, '$key')\n" if DEBUG;
 570
 571     $self->lock_shared;
 572
 573     my $result = $self->_engine->read_value( $self, $key );
 574
 575     $self->unlock;
 576
 577     # Filters only apply to scalar values, so the ref check is making
 578     # sure the fetched bucket is a scalar, not a child hash or array.
 579     return ($result && !ref($result) && $self->_engine->storage->{filter_fetch_value})
 580         ? $self->_engine->storage->{filter_fetch_value}->($result)
 581         : $result;
 582 }
 583
 584 # Delete single key/value pair or element given plain key or array index
 585 sub DELETE {
 586     my $self = shift->_get_self;
 587     my ($key) = @_;
 588     warn "DELETE($self, '$key')\n" if DEBUG;
 589
 590     unless ( $self->_engine->storage->is_writable ) {
 591         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 592     }
 593
 594     $self->lock_exclusive;
 595
 596     ##
 597     # Delete bucket
 598     ##
 599     my $value = $self->_engine->delete_key( $self, $key);
 600
 601     if (defined $value && !ref($value) && $self->_engine->storage->{filter_fetch_value}) {
 602         $value = $self->_engine->storage->{filter_fetch_value}->($value);
 603     }
 604
 605     $self->unlock;
 606
 607     return $value;
 608 }
 609
 610 # Check if a single key or element exists given plain key or array index
 611 sub EXISTS {
 612     my $self = shift->_get_self;
 613     my ($key) = @_;
 614     warn "EXISTS($self, '$key')\n" if DEBUG;
 615
 616     $self->lock_shared;
 617
 618     my $result = $self->_engine->key_exists( $self, $key );
 619
 620     $self->unlock;
 621
 622     return $result;
 623 }
 624
 625 # Clear all keys from hash, or all elements from array.
 626 sub CLEAR {
 627     my $self = shift->_get_self;
 628     warn "CLEAR($self)\n" if DEBUG;
 629
 630     unless ( $self->_engine->storage->is_writable ) {
 631         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 632     }
 633
 634     $self->lock_exclusive;
 635
 636     #XXX Rewrite this dreck to do it in the engine as a tight loop vs.
 637     # iterating over keys - such a WASTE - is this required for transactional
 638     # clearning?! Surely that can be detected in the engine ...
 639     if ( $self->_type eq TYPE_HASH ) {
 640         my $key = $self->first_key;
 641         while ( $key ) {
 642             # Retrieve the key before deleting because we depend on next_key
 643             my $next_key = $self->next_key( $key );
 644             $self->_engine->delete_key( $self, $key, $key );
 645             $key = $next_key;
 646         }
 647     }
 648     else {
 649         my $size = $self->FETCHSIZE;
 650         for my $key ( 0 .. $size - 1 ) {
 651             $self->_engine->delete_key( $self, $key, $key );
 652         }
 653         $self->STORESIZE( 0 );
 654     }
 655
 656     $self->unlock;
 657
 658     return 1;
 659 }
 660
 661 # Public method aliases
 662 sub put    { (shift)->STORE( @_ )  }
 663 sub get    { (shift)->FETCH( @_ )  }
 664 sub store  { (shift)->STORE( @_ )  }
 665 sub fetch  { (shift)->FETCH( @_ )  }
 666 sub delete { (shift)->DELETE( @_ ) }
 667 sub exists { (shift)->EXISTS( @_ ) }
 668 sub clear  { (shift)->CLEAR( @_ )  }
 669
 670 sub _dump_file {shift->_get_self->_engine->_dump_file;}
 671
 672 1;
 673 __END__