lib/DBM/Deep.pm

   1 package DBM::Deep;
   2
   3 use 5.006_000;
   4
   5 use strict;
   6 use warnings FATAL => 'all';
   7
   8 our $VERSION = q(1.0014);
   9
  10 use Data::Dumper ();
  11 use Scalar::Util ();
  12
  13 use DBM::Deep::Engine;
  14 use DBM::Deep::File;
  15
  16 use DBM::Deep::SQL::Util;
  17 use DBM::Deep::SQL::Array;
  18 use DBM::Deep::SQL::Hash;
  19
  20 use overload
  21     '""' => sub { overload::StrVal( $_[0] ) },
  22     fallback => 1;
  23
  24 use constant DEBUG => 0;
  25
  26 ##
  27 # Setup constants for users to pass to new()
  28 ##
  29 sub TYPE_HASH   () { DBM::Deep::Engine->SIG_HASH  }
  30 sub TYPE_ARRAY  () { DBM::Deep::Engine->SIG_ARRAY }
  31
  32 # This is used in all the children of this class in their TIE<type> methods.
  33 sub _get_args {
  34     my $proto = shift;
  35
  36     my $args;
  37     if (scalar(@_) > 1) {
  38         if ( @_ % 2 ) {
  39             $proto->_throw_error( "Odd number of parameters to " . (caller(1))[2] );
  40         }
  41         $args = {@_};
  42     }
  43     elsif ( ref $_[0] ) {
  44         unless ( eval { local $SIG{'__DIE__'}; %{$_[0]} || 1 } ) {
  45             $proto->_throw_error( "Not a hashref in args to " . (caller(1))[2] );
  46         }
  47         $args = $_[0];
  48     }
  49     else {
  50         $args = { file => shift };
  51     }
  52
  53     return $args;
  54 }
  55
  56 sub new {
  57     ##
  58     # Class constructor method for Perl OO interface.
  59     # Calls tie() and returns blessed reference to tied hash or array,
  60     # providing a hybrid OO/tie interface.
  61     ##
  62     my $class = shift;
  63     my $args = $class->_get_args( @_ );
  64     my $self;
  65
  66     ##
  67     # Check for SQL storage
  68     ##
  69     if (exists $args->{dbi}) {
  70         eval {
  71             require DBIx::Abstract;
  72         }; if ( $@ ) {
  73             DBM::Deep->_throw_error('DBIx::Abstract not installed. You cannot use the SQL mode.');
  74         }
  75         unless (UNIVERSAL::isa($args->{dbi}, 'DBIx::Abstract')) {
  76             $args->{dbi} = DBIx::Abstract->connect($args->{dbi});
  77         }
  78
  79         if (defined $args->{id}) {
  80             unless ($args->{id} =~ /^\d+$/ && $args->{id} > 0) {
  81                 DBM::Deep->_throw_error('Invalid SQL record id');
  82             }
  83             my $util = {dbi => $args->{dbi}};
  84             bless $util, 'DBM::Deep::SQL::Util';
  85             my $q = $util->_select(
  86                 table  => 'rec_item',
  87                 fields => 'item_type',
  88                 where  => {id => $args->{id}},
  89             );
  90             if ($q->[0]->[0] eq 'array') {
  91                 $args->{type} = TYPE_ARRAY;
  92             }
  93             elsif ($q->[0]->[0] eq 'hash') {
  94                 $args->{type} = TYPE_HASH;
  95             }
  96             else {
  97                 DBM::Deep->_throw_error('Unknown SQL record id');
  98             }
  99         }
 100         else {
 101             my $util = {dbi => $args->{dbi}};
 102             bless $util, 'DBM::Deep::SQL::Util';
 103             if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
 104                 $args->{id} = $util->_create('array');
 105             }
 106             else {
 107                 $args->{id} = $util->_create('hash');
 108             }
 109         }
 110
 111         if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
 112             $class = 'DBM::Deep::SQL::Array';
 113             require DBM::Deep::SQL::Array;
 114             tie @$self, $class, %$args;
 115             if ($args->{prefetch}) {
 116                 (tied(@$self))->_prefetch();
 117             }
 118             return bless $self, $class;
 119         }
 120         else {
 121             $class = 'DBM::Deep::SQL::Hash';
 122             require DBM::Deep::SQL::Hash;
 123             tie %$self, $class, %$args;
 124             if ($args->{prefetch}) {
 125                 (tied(%$self))->_prefetch();
 126             }
 127             return bless $self, $class;
 128         }
 129     }
 130
 131     ##
 132     # Check if we want a tied hash or array.
 133     ##
 134     if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
 135         $class = 'DBM::Deep::Array';
 136         require DBM::Deep::Array;
 137         tie @$self, $class, %$args;
 138     }
 139     else {
 140         $class = 'DBM::Deep::Hash';
 141         require DBM::Deep::Hash;
 142         tie %$self, $class, %$args;
 143     }
 144
 145     return bless $self, $class;
 146 }
 147
 148 # This initializer is called from the various TIE* methods. new() calls tie(),
 149 # which allows for a single point of entry.
 150 sub _init {
 151     my $class = shift;
 152     my ($args) = @_;
 153
 154     # locking implicitly enables autoflush
 155     if ($args->{locking}) { $args->{autoflush} = 1; }
 156
 157     # These are the defaults to be optionally overridden below
 158     my $self = bless {
 159         type        => TYPE_HASH,
 160         base_offset => undef,
 161         staleness   => undef,
 162         engine      => undef,
 163     }, $class;
 164
 165     $args->{engine} = DBM::Deep::Engine->new( { %{$args}, obj => $self } )
 166         unless exists $args->{engine};
 167
 168     # Grab the parameters we want to use
 169     foreach my $param ( keys %$self ) {
 170         next unless exists $args->{$param};
 171         $self->{$param} = $args->{$param};
 172     }
 173
 174     eval {
 175       local $SIG{'__DIE__'};
 176
 177       $self->lock_exclusive;
 178       $self->_engine->setup_fh( $self );
 179       $self->unlock;
 180     }; if ( $@ ) {
 181       my $e = $@;
 182       eval { local $SIG{'__DIE__'}; $self->unlock; };
 183       die $e;
 184     }
 185
 186     return $self;
 187 }
 188
 189 sub TIEHASH {
 190     shift;
 191     require DBM::Deep::Hash;
 192     return DBM::Deep::Hash->TIEHASH( @_ );
 193 }
 194
 195 sub TIEARRAY {
 196     shift;
 197     require DBM::Deep::Array;
 198     return DBM::Deep::Array->TIEARRAY( @_ );
 199 }
 200
 201 sub lock_exclusive {
 202     my $self = shift->_get_self;
 203     return $self->_engine->lock_exclusive( $self, @_ );
 204 }
 205 *lock = \&lock_exclusive;
 206 sub lock_shared {
 207     my $self = shift->_get_self;
 208     return $self->_engine->lock_shared( $self, @_ );
 209 }
 210
 211 sub unlock {
 212     my $self = shift->_get_self;
 213     return $self->_engine->unlock( $self, @_ );
 214 }
 215
 216 sub _copy_value {
 217     my $self = shift->_get_self;
 218     my ($spot, $value) = @_;
 219
 220     if ( !ref $value ) {
 221         ${$spot} = $value;
 222     }
 223     else {
 224         # This assumes hash or array only. This is a bad assumption moving forward.
 225         # -RobK, 2008-05-27
 226         my $r = Scalar::Util::reftype( $value );
 227         my $tied;
 228         if ( $r eq 'ARRAY' ) {
 229             $tied = tied(@$value);
 230         }
 231         else {
 232             $tied = tied(%$value);
 233         }
 234
 235         if ( eval { local $SIG{__DIE__}; $tied->isa( 'DBM::Deep' ) } ) {
 236             ${$spot} = $tied->_repr;
 237             $tied->_copy_node( ${$spot} );
 238         }
 239         else {
 240             if ( $r eq 'ARRAY' ) {
 241                 ${$spot} = [ @{$value} ];
 242             }
 243             else {
 244                 ${$spot} = { %{$value} };
 245             }
 246         }
 247
 248         my $c = Scalar::Util::blessed( $value );
 249         if ( defined $c && !$c->isa( 'DBM::Deep') ) {
 250             ${$spot} = bless ${$spot}, $c
 251         }
 252     }
 253
 254     return 1;
 255 }
 256
 257 #sub _copy_node {
 258 #    die "Must be implemented in a child class\n";
 259 #}
 260 #
 261 #sub _repr {
 262 #    die "Must be implemented in a child class\n";
 263 #}
 264
 265 sub export {
 266     ##
 267     # Recursively export into standard Perl hashes and arrays.
 268     ##
 269     my $self = shift->_get_self;
 270
 271     my $temp = $self->_repr;
 272
 273     $self->lock_exclusive;
 274     $self->_copy_node( $temp );
 275     $self->unlock;
 276
 277     my $classname = $self->_engine->get_classname( $self );
 278     if ( defined $classname ) {
 279       bless $temp, $classname;
 280     }
 281
 282     return $temp;
 283 }
 284
 285 sub _check_legality {
 286     my $self = shift;
 287     my ($val) = @_;
 288
 289     my $r = Scalar::Util::reftype( $val );
 290
 291     return $r if !defined $r || '' eq $r;
 292     return $r if 'HASH' eq $r;
 293     return $r if 'ARRAY' eq $r;
 294
 295     DBM::Deep->_throw_error(
 296         "Storage of references of type '$r' is not supported."
 297     );
 298 }
 299
 300 sub import {
 301     # Perl calls import() on use -- ignore
 302     return if !ref $_[0];
 303
 304     my $self = shift->_get_self;
 305     my ($struct) = @_;
 306
 307     my $type = $self->_check_legality( $struct );
 308     if ( !$type ) {
 309         DBM::Deep->_throw_error( "Cannot import a scalar" );
 310     }
 311
 312     if ( substr( $type, 0, 1 ) ne $self->_type ) {
 313         DBM::Deep->_throw_error(
 314             "Cannot import " . ('HASH' eq $type ? 'a hash' : 'an array')
 315             . " into " . ('HASH' eq $type ? 'an array' : 'a hash')
 316         );
 317     }
 318
 319     my %seen;
 320     my $recurse;
 321     $recurse = sub {
 322         my ($db, $val) = @_;
 323
 324         my $obj = 'HASH' eq Scalar::Util::reftype( $db ) ? tied(%$db) : tied(@$db);
 325         $obj ||= $db;
 326
 327         my $r = $self->_check_legality( $val );
 328         if ( 'HASH' eq $r ) {
 329             while ( my ($k, $v) = each %$val ) {
 330                 my $r = $self->_check_legality( $v );
 331                 if ( $r ) {
 332                     my $temp = 'HASH' eq $r ? {} : [];
 333                     if ( my $c = Scalar::Util::blessed( $v ) ) {
 334                         bless $temp, $c;
 335                     }
 336                     $obj->put( $k, $temp );
 337                     $recurse->( $temp, $v );
 338                 }
 339                 else {
 340                     $obj->put( $k, $v );
 341                 }
 342             }
 343         }
 344         elsif ( 'ARRAY' eq $r ) {
 345             foreach my $k ( 0 .. $#$val ) {
 346                 my $v = $val->[$k];
 347                 my $r = $self->_check_legality( $v );
 348                 if ( $r ) {
 349                     my $temp = 'HASH' eq $r ? {} : [];
 350                     if ( my $c = Scalar::Util::blessed( $v ) ) {
 351                         bless $temp, $c;
 352                     }
 353                     $obj->put( $k, $temp );
 354                     $recurse->( $temp, $v );
 355                 }
 356                 else {
 357                     $obj->put( $k, $v );
 358                 }
 359             }
 360         }
 361     };
 362     $recurse->( $self, $struct );
 363
 364     return 1;
 365 }
 366
 367 #XXX Need to keep track of who has a fh to this file in order to
 368 #XXX close them all prior to optimize on Win32/cygwin
 369 sub optimize {
 370     ##
 371     # Rebuild entire database into new file, then move
 372     # it back on top of original.
 373     ##
 374     my $self = shift->_get_self;
 375
 376 #XXX Need to create a new test for this
 377 #    if ($self->_engine->storage->{links} > 1) {
 378 #        $self->_throw_error("Cannot optimize: reference count is greater than 1");
 379 #    }
 380
 381     #XXX Do we have to lock the tempfile?
 382
 383     #XXX Should we use tempfile() here instead of a hard-coded name?
 384     my $temp_filename = $self->_engine->storage->{file} . '.tmp';
 385     my $db_temp = DBM::Deep->new(
 386         file => $temp_filename,
 387         type => $self->_type,
 388
 389         # Bring over all the parameters that we need to bring over
 390         ( map { $_ => $self->_engine->$_ } qw(
 391             byte_size max_buckets data_sector_size num_txns
 392         )),
 393     );
 394
 395     $self->lock_exclusive;
 396     $self->_engine->clear_cache;
 397     $self->_copy_node( $db_temp );
 398     $db_temp->_engine->storage->close;
 399     undef $db_temp;
 400
 401     ##
 402     # Attempt to copy user, group and permissions over to new file
 403     ##
 404     $self->_engine->storage->copy_stats( $temp_filename );
 405
 406     # q.v. perlport for more information on this variable
 407     if ( $^O eq 'MSWin32' || $^O eq 'cygwin' ) {
 408         ##
 409         # Potential race condition when optmizing on Win32 with locking.
 410         # The Windows filesystem requires that the filehandle be closed
 411         # before it is overwritten with rename().  This could be redone
 412         # with a soft copy.
 413         ##
 414         $self->unlock;
 415         $self->_engine->storage->close;
 416     }
 417
 418     if (!rename $temp_filename, $self->_engine->storage->{file}) {
 419         unlink $temp_filename;
 420         $self->unlock;
 421         $self->_throw_error("Optimize failed: Cannot copy temp file over original: $!");
 422     }
 423
 424     $self->unlock;
 425     $self->_engine->storage->close;
 426
 427     $self->_engine->storage->open;
 428     $self->lock_exclusive;
 429     $self->_engine->setup_fh( $self );
 430     $self->unlock;
 431
 432     return 1;
 433 }
 434
 435 sub clone {
 436     ##
 437     # Make copy of object and return
 438     ##
 439     my $self = shift->_get_self;
 440
 441     return DBM::Deep->new(
 442         type        => $self->_type,
 443         base_offset => $self->_base_offset,
 444         staleness   => $self->_staleness,
 445         engine      => $self->_engine,
 446     );
 447 }
 448
 449 #XXX Migrate this to the engine, where it really belongs and go through some
 450 # API - stop poking in the innards of someone else..
 451 {
 452     my %is_legal_filter = map {
 453         $_ => ~~1,
 454     } qw(
 455         store_key store_value
 456         fetch_key fetch_value
 457     );
 458
 459     sub set_filter {
 460         my $self = shift->_get_self;
 461         my $type = lc shift;
 462         my $func = shift;
 463
 464         if ( $is_legal_filter{$type} ) {
 465             $self->_engine->storage->{"filter_$type"} = $func;
 466             return 1;
 467         }
 468
 469         return;
 470     }
 471
 472     sub filter_store_key   { $_[0]->set_filter( store_key   => $_[1] ); }
 473     sub filter_store_value { $_[0]->set_filter( store_value => $_[1] ); }
 474     sub filter_fetch_key   { $_[0]->set_filter( fetch_key   => $_[1] ); }
 475     sub filter_fetch_value { $_[0]->set_filter( fetch_value => $_[1] ); }
 476 }
 477
 478 sub begin_work {
 479     my $self = shift->_get_self;
 480     $self->lock_exclusive;
 481     my $rv = eval { $self->_engine->begin_work( $self, @_ ) };
 482     my $e = $@;
 483     $self->unlock;
 484     die $e if $e;
 485     return $rv;
 486 }
 487
 488 sub rollback {
 489     my $self = shift->_get_self;
 490     $self->lock_exclusive;
 491     my $rv = eval { $self->_engine->rollback( $self, @_ ) };
 492     my $e = $@;
 493     $self->unlock;
 494     die $e if $e;
 495     return $rv;
 496 }
 497
 498 sub commit {
 499     my $self = shift->_get_self;
 500     $self->lock_exclusive;
 501     my $rv = eval { $self->_engine->commit( $self, @_ ) };
 502     my $e = $@;
 503     $self->unlock;
 504     die $e if $e;
 505     return $rv;
 506 }
 507
 508 ##
 509 # Accessor methods
 510 ##
 511
 512 sub _engine {
 513     my $self = $_[0]->_get_self;
 514     return $self->{engine};
 515 }
 516
 517 sub _type {
 518     my $self = $_[0]->_get_self;
 519     return $self->{type};
 520 }
 521
 522 sub _base_offset {
 523     my $self = $_[0]->_get_self;
 524     return $self->{base_offset};
 525 }
 526
 527 sub _staleness {
 528     my $self = $_[0]->_get_self;
 529     return $self->{staleness};
 530 }
 531
 532 ##
 533 # Utility methods
 534 ##
 535
 536 sub _throw_error {
 537     my $n = 0;
 538     while( 1 ) {
 539         my @caller = caller( ++$n );
 540         next if $caller[0] =~ m/^DBM::Deep/;
 541
 542         die "DBM::Deep: $_[1] at $0 line $caller[2]\n";
 543     }
 544 }
 545
 546 sub STORE {
 547     ##
 548     # Store single hash key/value or array element in database.
 549     ##
 550     my $self = shift->_get_self;
 551     my ($key, $value) = @_;
 552     warn "STORE($self, '$key', '@{[defined$value?$value:'undef']}')\n" if DEBUG;
 553
 554     unless ( $self->_engine->storage->is_writable ) {
 555         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 556     }
 557
 558     $self->lock_exclusive;
 559
 560     # User may be storing a complex value, in which case we do not want it run
 561     # through the filtering system.
 562     if ( !ref($value) && $self->_engine->storage->{filter_store_value} ) {
 563         $value = $self->_engine->storage->{filter_store_value}->( $value );
 564     }
 565
 566     $self->_engine->write_value( $self, $key, $value);
 567
 568     $self->unlock;
 569
 570     return 1;
 571 }
 572
 573 sub FETCH {
 574     ##
 575     # Fetch single value or element given plain key or array index
 576     ##
 577     my $self = shift->_get_self;
 578     my ($key) = @_;
 579     warn "FETCH($self, '$key')\n" if DEBUG;
 580
 581     $self->lock_shared;
 582
 583     my $result = $self->_engine->read_value( $self, $key);
 584
 585     $self->unlock;
 586
 587     # Filters only apply to scalar values, so the ref check is making
 588     # sure the fetched bucket is a scalar, not a child hash or array.
 589     return ($result && !ref($result) && $self->_engine->storage->{filter_fetch_value})
 590         ? $self->_engine->storage->{filter_fetch_value}->($result)
 591         : $result;
 592 }
 593
 594 sub DELETE {
 595     ##
 596     # Delete single key/value pair or element given plain key or array index
 597     ##
 598     my $self = shift->_get_self;
 599     my ($key) = @_;
 600     warn "DELETE($self, '$key')\n" if DEBUG;
 601
 602     unless ( $self->_engine->storage->is_writable ) {
 603         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 604     }
 605
 606     $self->lock_exclusive;
 607
 608     ##
 609     # Delete bucket
 610     ##
 611     my $value = $self->_engine->delete_key( $self, $key);
 612
 613     if (defined $value && !ref($value) && $self->_engine->storage->{filter_fetch_value}) {
 614         $value = $self->_engine->storage->{filter_fetch_value}->($value);
 615     }
 616
 617     $self->unlock;
 618
 619     return $value;
 620 }
 621
 622 sub EXISTS {
 623     ##
 624     # Check if a single key or element exists given plain key or array index
 625     ##
 626     my $self = shift->_get_self;
 627     my ($key) = @_;
 628     warn "EXISTS($self, '$key')\n" if DEBUG;
 629
 630     $self->lock_shared;
 631
 632     my $result = $self->_engine->key_exists( $self, $key );
 633
 634     $self->unlock;
 635
 636     return $result;
 637 }
 638
 639 sub CLEAR {
 640     ##
 641     # Clear all keys from hash, or all elements from array.
 642     ##
 643     my $self = shift->_get_self;
 644     warn "CLEAR($self)\n" if DEBUG;
 645
 646     unless ( $self->_engine->storage->is_writable ) {
 647         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 648     }
 649
 650     $self->lock_exclusive;
 651
 652     #XXX Rewrite this dreck to do it in the engine as a tight loop vs.
 653     # iterating over keys - such a WASTE - is this required for transactional
 654     # clearning?! Surely that can be detected in the engine ...
 655     if ( $self->_type eq TYPE_HASH ) {
 656         my $key = $self->first_key;
 657         while ( $key ) {
 658             # Retrieve the key before deleting because we depend on next_key
 659             my $next_key = $self->next_key( $key );
 660             $self->_engine->delete_key( $self, $key, $key );
 661             $key = $next_key;
 662         }
 663     }
 664     else {
 665         my $size = $self->FETCHSIZE;
 666         for my $key ( 0 .. $size - 1 ) {
 667             $self->_engine->delete_key( $self, $key, $key );
 668         }
 669         $self->STORESIZE( 0 );
 670     }
 671
 672     $self->unlock;
 673
 674     return 1;
 675 }
 676
 677 ##
 678 # Public method aliases
 679 ##
 680 sub put { (shift)->STORE( @_ ) }
 681 sub store { (shift)->STORE( @_ ) }
 682 sub get { (shift)->FETCH( @_ ) }
 683 sub fetch { (shift)->FETCH( @_ ) }
 684 sub delete { (shift)->DELETE( @_ ) }
 685 sub exists { (shift)->EXISTS( @_ ) }
 686 sub clear { (shift)->CLEAR( @_ ) }
 687
 688 sub _dump_file {shift->_get_self->_engine->_dump_file;}
 689
 690 1;
 691 __END__