lib/DBM/Deep.pm

   1 package DBM::Deep;
   2
   3 use 5.006_000;
   4
   5 use strict;
   6 use warnings FATAL => 'all';
   7
   8 our $VERSION = q(1.0014);
   9
  10 use Data::Dumper ();
  11 use Scalar::Util ();
  12
  13 use DBM::Deep::Engine;
  14 use DBM::Deep::File;
  15
  16 use overload
  17     '""' => sub { overload::StrVal( $_[0] ) },
  18     fallback => 1;
  19
  20 use constant DEBUG => 0;
  21
  22 ##
  23 # Setup constants for users to pass to new()
  24 ##
  25 sub TYPE_HASH   () { DBM::Deep::Engine->SIG_HASH  }
  26 sub TYPE_ARRAY  () { DBM::Deep::Engine->SIG_ARRAY }
  27
  28 # This is used in all the children of this class in their TIE<type> methods.
  29 sub _get_args {
  30     my $proto = shift;
  31
  32     my $args;
  33     if (scalar(@_) > 1) {
  34         if ( @_ % 2 ) {
  35             $proto->_throw_error( "Odd number of parameters to " . (caller(1))[2] );
  36         }
  37         $args = {@_};
  38     }
  39     elsif ( ref $_[0] ) {
  40         unless ( eval { local $SIG{'__DIE__'}; %{$_[0]} || 1 } ) {
  41             $proto->_throw_error( "Not a hashref in args to " . (caller(1))[2] );
  42         }
  43         $args = $_[0];
  44     }
  45     else {
  46         $args = { file => shift };
  47     }
  48
  49     return $args;
  50 }
  51
  52 sub new {
  53     ##
  54     # Class constructor method for Perl OO interface.
  55     # Calls tie() and returns blessed reference to tied hash or array,
  56     # providing a hybrid OO/tie interface.
  57     ##
  58     my $class = shift;
  59     my $args = $class->_get_args( @_ );
  60
  61     ##
  62     # Check if we want a tied hash or array.
  63     ##
  64     my $self;
  65     if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
  66         $class = 'DBM::Deep::Array';
  67         require DBM::Deep::Array;
  68         tie @$self, $class, %$args;
  69     }
  70     else {
  71         $class = 'DBM::Deep::Hash';
  72         require DBM::Deep::Hash;
  73         tie %$self, $class, %$args;
  74     }
  75
  76     return bless $self, $class;
  77 }
  78
  79 sub DESTROY {
  80     my $self = shift;
  81
  82     # If we have an error, don't flush - we might be flushing bad stuff. -RobK, 2008-06-26
  83     die $@ if $@;
  84
  85     $self->_get_self->_engine->flush;
  86 }
  87
  88 # This initializer is called from the various TIE* methods. new() calls tie(),
  89 # which allows for a single point of entry.
  90 sub _init {
  91     my $class = shift;
  92     my ($args) = @_;
  93
  94     # locking implicitly enables autoflush
  95     if ($args->{locking}) { $args->{autoflush} = 1; }
  96
  97     # These are the defaults to be optionally overridden below
  98     my $self = bless {
  99         type        => TYPE_HASH,
 100         base_offset => undef,
 101         staleness   => undef,
 102         engine      => undef,
 103     }, $class;
 104
 105     $args->{engine} = DBM::Deep::Engine->new( { %{$args}, obj => $self } )
 106         unless exists $args->{engine};
 107
 108     # Grab the parameters we want to use
 109     foreach my $param ( keys %$self ) {
 110         next unless exists $args->{$param};
 111         $self->{$param} = $args->{$param};
 112     }
 113
 114     eval {
 115       local $SIG{'__DIE__'};
 116
 117       $self->lock_exclusive;
 118       $self->_engine->setup_fh( $self );
 119       $self->unlock;
 120     }; if ( $@ ) {
 121       my $e = $@;
 122       eval { local $SIG{'__DIE__'}; $self->unlock; };
 123       die $e;
 124     }
 125
 126     return $self;
 127 }
 128
 129 sub TIEHASH {
 130     shift;
 131     require DBM::Deep::Hash;
 132     return DBM::Deep::Hash->TIEHASH( @_ );
 133 }
 134
 135 sub TIEARRAY {
 136     shift;
 137     require DBM::Deep::Array;
 138     return DBM::Deep::Array->TIEARRAY( @_ );
 139 }
 140
 141 sub lock_exclusive {
 142     my $self = shift->_get_self;
 143     return $self->_engine->lock_exclusive( $self );
 144 }
 145 *lock = \&lock_exclusive;
 146 sub lock_shared {
 147     my $self = shift->_get_self;
 148     return $self->_engine->lock_shared( $self );
 149 }
 150
 151 sub unlock {
 152     my $self = shift->_get_self;
 153     return $self->_engine->unlock( $self );
 154 }
 155
 156 sub _copy_value {
 157     my $self = shift->_get_self;
 158     my ($spot, $value) = @_;
 159
 160     if ( !ref $value ) {
 161         ${$spot} = $value;
 162     }
 163     else {
 164         # This assumes hash or array only. This is a bad assumption moving forward.
 165         # -RobK, 2008-05-27
 166         my $r = Scalar::Util::reftype( $value );
 167         my $tied;
 168         if ( $r eq 'ARRAY' ) {
 169             $tied = tied(@$value);
 170         }
 171         else {
 172             $tied = tied(%$value);
 173         }
 174
 175         if ( eval { local $SIG{__DIE__}; $tied->isa( 'DBM::Deep' ) } ) {
 176             ${$spot} = $tied->_repr;
 177             $tied->_copy_node( ${$spot} );
 178         }
 179         else {
 180             if ( $r eq 'ARRAY' ) {
 181                 ${$spot} = [ @{$value} ];
 182             }
 183             else {
 184                 ${$spot} = { %{$value} };
 185             }
 186         }
 187
 188         my $c = Scalar::Util::blessed( $value );
 189         if ( defined $c && !$c->isa( 'DBM::Deep') ) {
 190             ${$spot} = bless ${$spot}, $c
 191         }
 192     }
 193
 194     return 1;
 195 }
 196
 197 #sub _copy_node {
 198 #    die "Must be implemented in a child class\n";
 199 #}
 200 #
 201 #sub _repr {
 202 #    die "Must be implemented in a child class\n";
 203 #}
 204
 205 sub export {
 206     ##
 207     # Recursively export into standard Perl hashes and arrays.
 208     ##
 209     my $self = shift->_get_self;
 210
 211     my $temp = $self->_repr;
 212
 213     $self->lock_exclusive;
 214     $self->_copy_node( $temp );
 215     $self->unlock;
 216
 217     my $classname = $self->_engine->get_classname( $self );
 218     if ( defined $classname ) {
 219       bless $temp, $classname;
 220     }
 221
 222     return $temp;
 223 }
 224
 225 sub _check_legality {
 226     my $self = shift;
 227     my ($val) = @_;
 228
 229     my $r = Scalar::Util::reftype( $val );
 230
 231     return $r if !defined $r || '' eq $r;
 232     return $r if 'HASH' eq $r;
 233     return $r if 'ARRAY' eq $r;
 234
 235     DBM::Deep->_throw_error(
 236         "Storage of references of type '$r' is not supported."
 237     );
 238 }
 239
 240 sub import {
 241     # Perl calls import() on use -- ignore
 242     return if !ref $_[0];
 243
 244     my $self = shift->_get_self;
 245     my ($struct) = @_;
 246
 247     my $type = $self->_check_legality( $struct );
 248     if ( !$type ) {
 249         DBM::Deep->_throw_error( "Cannot import a scalar" );
 250     }
 251
 252     if ( substr( $type, 0, 1 ) ne $self->_type ) {
 253         DBM::Deep->_throw_error(
 254             "Cannot import " . ('HASH' eq $type ? 'a hash' : 'an array')
 255             . " into " . ('HASH' eq $type ? 'an array' : 'a hash')
 256         );
 257     }
 258
 259     my %seen;
 260     my $recurse;
 261     $recurse = sub {
 262         my ($db, $val) = @_;
 263
 264         my $obj = 'HASH' eq Scalar::Util::reftype( $db ) ? tied(%$db) : tied(@$db);
 265         $obj ||= $db;
 266
 267         my $r = $self->_check_legality( $val );
 268         if ( 'HASH' eq $r ) {
 269             while ( my ($k, $v) = each %$val ) {
 270                 my $r = $self->_check_legality( $v );
 271                 if ( $r ) {
 272                     my $temp = 'HASH' eq $r ? {} : [];
 273                     if ( my $c = Scalar::Util::blessed( $v ) ) {
 274                         bless $temp, $c;
 275                     }
 276                     $obj->put( $k, $temp );
 277                     $recurse->( $temp, $v );
 278                 }
 279                 else {
 280                     $obj->put( $k, $v );
 281                 }
 282             }
 283         }
 284         elsif ( 'ARRAY' eq $r ) {
 285             foreach my $k ( 0 .. $#$val ) {
 286                 my $v = $val->[$k];
 287                 my $r = $self->_check_legality( $v );
 288                 if ( $r ) {
 289                     my $temp = 'HASH' eq $r ? {} : [];
 290                     if ( my $c = Scalar::Util::blessed( $v ) ) {
 291                         bless $temp, $c;
 292                     }
 293                     $obj->put( $k, $temp );
 294                     $recurse->( $temp, $v );
 295                 }
 296                 else {
 297                     $obj->put( $k, $v );
 298                 }
 299             }
 300         }
 301     };
 302     $recurse->( $self, $struct );
 303
 304     return 1;
 305 }
 306
 307 #XXX Need to keep track of who has a fh to this file in order to
 308 #XXX close them all prior to optimize on Win32/cygwin
 309 sub optimize {
 310     ##
 311     # Rebuild entire database into new file, then move
 312     # it back on top of original.
 313     ##
 314     my $self = shift->_get_self;
 315
 316 #XXX Need to create a new test for this
 317 #    if ($self->_engine->storage->{links} > 1) {
 318 #        $self->_throw_error("Cannot optimize: reference count is greater than 1");
 319 #    }
 320
 321     #XXX Do we have to lock the tempfile?
 322
 323     #XXX Should we use tempfile() here instead of a hard-coded name?
 324     my $temp_filename = $self->_engine->storage->{file} . '.tmp';
 325     my $db_temp = DBM::Deep->new(
 326         file => $temp_filename,
 327         type => $self->_type,
 328
 329         # Bring over all the parameters that we need to bring over
 330         ( map { $_ => $self->_engine->$_ } qw(
 331             byte_size max_buckets data_sector_size num_txns
 332         )),
 333     );
 334
 335     $self->lock_exclusive;
 336     $self->_engine->clear_cache;
 337     $self->_copy_node( $db_temp );
 338     $db_temp->_engine->storage->close;
 339     undef $db_temp;
 340
 341     ##
 342     # Attempt to copy user, group and permissions over to new file
 343     ##
 344     $self->_engine->storage->copy_stats( $temp_filename );
 345
 346     # q.v. perlport for more information on this variable
 347     if ( $^O eq 'MSWin32' || $^O eq 'cygwin' ) {
 348         ##
 349         # Potential race condition when optmizing on Win32 with locking.
 350         # The Windows filesystem requires that the filehandle be closed
 351         # before it is overwritten with rename().  This could be redone
 352         # with a soft copy.
 353         ##
 354         $self->unlock;
 355         $self->_engine->storage->close;
 356     }
 357
 358     if (!rename $temp_filename, $self->_engine->storage->{file}) {
 359         unlink $temp_filename;
 360         $self->unlock;
 361         $self->_throw_error("Optimize failed: Cannot copy temp file over original: $!");
 362     }
 363
 364     $self->unlock;
 365     $self->_engine->storage->close;
 366
 367     $self->_engine->storage->open;
 368     $self->lock_exclusive;
 369     $self->_engine->setup_fh( $self );
 370     $self->unlock;
 371
 372     return 1;
 373 }
 374
 375 sub clone {
 376     ##
 377     # Make copy of object and return
 378     ##
 379     my $self = shift->_get_self;
 380
 381     return DBM::Deep->new(
 382         type        => $self->_type,
 383         base_offset => $self->_base_offset,
 384         staleness   => $self->_staleness,
 385         engine      => $self->_engine,
 386     );
 387 }
 388
 389 #XXX Migrate this to the engine, where it really belongs and go through some
 390 # API - stop poking in the innards of someone else..
 391 {
 392     my %is_legal_filter = map {
 393         $_ => ~~1,
 394     } qw(
 395         store_key store_value
 396         fetch_key fetch_value
 397     );
 398
 399     sub set_filter {
 400         my $self = shift->_get_self;
 401         my $type = lc shift;
 402         my $func = shift;
 403
 404         if ( $is_legal_filter{$type} ) {
 405             $self->_engine->storage->{"filter_$type"} = $func;
 406             return 1;
 407         }
 408
 409         return;
 410     }
 411
 412     sub filter_store_key   { $_[0]->set_filter( store_key   => $_[1] ); }
 413     sub filter_store_value { $_[0]->set_filter( store_value => $_[1] ); }
 414     sub filter_fetch_key   { $_[0]->set_filter( fetch_key   => $_[1] ); }
 415     sub filter_fetch_value { $_[0]->set_filter( fetch_value => $_[1] ); }
 416 }
 417
 418 sub begin_work {
 419     my $self = shift->_get_self;
 420     return $self->_engine->begin_work( $self, @_ );
 421 }
 422
 423 sub rollback {
 424     my $self = shift->_get_self;
 425     return $self->_engine->rollback( $self, @_ );
 426 }
 427
 428 sub commit {
 429     my $self = shift->_get_self;
 430     return $self->_engine->commit( $self, @_ );
 431 }
 432
 433 ##
 434 # Accessor methods
 435 ##
 436
 437 sub _engine {
 438     my $self = $_[0]->_get_self;
 439     return $self->{engine};
 440 }
 441
 442 sub _type {
 443     my $self = $_[0]->_get_self;
 444     return $self->{type};
 445 }
 446
 447 sub _base_offset {
 448     my $self = $_[0]->_get_self;
 449     return $self->{base_offset};
 450 }
 451
 452 sub _staleness {
 453     my $self = $_[0]->_get_self;
 454     return $self->{staleness};
 455 }
 456
 457 ##
 458 # Utility methods
 459 ##
 460
 461 sub _throw_error {
 462     my $n = 0;
 463     while( 1 ) {
 464         my @caller = caller( ++$n );
 465         next if $caller[0] =~ m/^DBM::Deep/;
 466
 467         die "DBM::Deep: $_[1] at $0 line $caller[2]\n";
 468     }
 469 }
 470
 471 sub STORE {
 472     ##
 473     # Store single hash key/value or array element in database.
 474     ##
 475     my $self = shift->_get_self;
 476     my ($key, $value) = @_;
 477     warn "STORE($self, $key, @{[defined$value?$value:'undef']})\n" if DEBUG;
 478
 479     unless ( $self->_engine->storage->is_writable ) {
 480         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 481     }
 482
 483     $self->lock_exclusive;
 484
 485     # User may be storing a complex value, in which case we do not want it run
 486     # through the filtering system.
 487     if ( !ref($value) && $self->_engine->storage->{filter_store_value} ) {
 488         $value = $self->_engine->storage->{filter_store_value}->( $value );
 489     }
 490
 491     $self->_engine->write_value( $self, $key, $value);
 492
 493     $self->unlock;
 494
 495     return 1;
 496 }
 497
 498 sub FETCH {
 499     ##
 500     # Fetch single value or element given plain key or array index
 501     ##
 502     my $self = shift->_get_self;
 503     my ($key) = @_;
 504     warn "FETCH($self,$key)\n" if DEBUG;
 505
 506     $self->lock_shared;
 507
 508     my $result = $self->_engine->read_value( $self, $key);
 509
 510     $self->unlock;
 511
 512     # Filters only apply to scalar values, so the ref check is making
 513     # sure the fetched bucket is a scalar, not a child hash or array.
 514     return ($result && !ref($result) && $self->_engine->storage->{filter_fetch_value})
 515         ? $self->_engine->storage->{filter_fetch_value}->($result)
 516         : $result;
 517 }
 518
 519 sub DELETE {
 520     ##
 521     # Delete single key/value pair or element given plain key or array index
 522     ##
 523     my $self = shift->_get_self;
 524     my ($key) = @_;
 525     warn "DELETE($self,$key)\n" if DEBUG;
 526
 527     unless ( $self->_engine->storage->is_writable ) {
 528         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 529     }
 530
 531     $self->lock_exclusive;
 532
 533     ##
 534     # Delete bucket
 535     ##
 536     my $value = $self->_engine->delete_key( $self, $key);
 537
 538     if (defined $value && !ref($value) && $self->_engine->storage->{filter_fetch_value}) {
 539         $value = $self->_engine->storage->{filter_fetch_value}->($value);
 540     }
 541
 542     $self->unlock;
 543
 544     return $value;
 545 }
 546
 547 sub EXISTS {
 548     ##
 549     # Check if a single key or element exists given plain key or array index
 550     ##
 551     my $self = shift->_get_self;
 552     my ($key) = @_;
 553     warn "EXISTS($self,$key)\n" if DEBUG;
 554
 555     $self->lock_shared;
 556
 557     my $result = $self->_engine->key_exists( $self, $key );
 558
 559     $self->unlock;
 560
 561     return $result;
 562 }
 563
 564 sub CLEAR {
 565     ##
 566     # Clear all keys from hash, or all elements from array.
 567     ##
 568     my $self = shift->_get_self;
 569     warn "CLEAR($self)\n" if DEBUG;
 570
 571     unless ( $self->_engine->storage->is_writable ) {
 572         $self->_throw_error( 'Cannot write to a readonly filehandle' );
 573     }
 574
 575     $self->lock_exclusive;
 576
 577     #XXX Rewrite this dreck to do it in the engine as a tight loop vs.
 578     # iterating over keys - such a WASTE - is this required for transactional
 579     # clearning?! Surely that can be detected in the engine ...
 580     if ( $self->_type eq TYPE_HASH ) {
 581         my $key = $self->first_key;
 582         while ( $key ) {
 583             # Retrieve the key before deleting because we depend on next_key
 584             my $next_key = $self->next_key( $key );
 585             $self->_engine->delete_key( $self, $key, $key );
 586             $key = $next_key;
 587         }
 588     }
 589     else {
 590         my $size = $self->FETCHSIZE;
 591         for my $key ( 0 .. $size - 1 ) {
 592             $self->_engine->delete_key( $self, $key, $key );
 593         }
 594         $self->STORESIZE( 0 );
 595     }
 596
 597     $self->unlock;
 598
 599     return 1;
 600 }
 601
 602 ##
 603 # Public method aliases
 604 ##
 605 sub put { (shift)->STORE( @_ ) }
 606 sub store { (shift)->STORE( @_ ) }
 607 sub get { (shift)->FETCH( @_ ) }
 608 sub fetch { (shift)->FETCH( @_ ) }
 609 sub delete { (shift)->DELETE( @_ ) }
 610 sub exists { (shift)->EXISTS( @_ ) }
 611 sub clear { (shift)->CLEAR( @_ ) }
 612
 613 sub _dump_file {shift->_get_self->_engine->_dump_file;}
 614
 615 1;
 616 __END__