1d0ea6a0f2d62831a73c77ad9d25a93ef07ce92e
[dbsrgits/DBM-Deep.git] / lib / DBM / Deep.pm
1 package DBM::Deep;
2
3 use 5.006_000;
4
5 use strict;
6 use warnings FATAL => 'all';
7
8 our $VERSION = q(1.0014);
9
10 use Data::Dumper ();
11 use Scalar::Util ();
12
13 use DBM::Deep::Engine;
14 use DBM::Deep::File;
15
16 use DBM::Deep::SQL::Util;
17 use DBM::Deep::SQL::Array;
18 use DBM::Deep::SQL::Hash;
19
20 use overload
21     '""' => sub { overload::StrVal( $_[0] ) },
22     fallback => 1;
23
24 use constant DEBUG => 0;
25
26 ##
27 # Setup constants for users to pass to new()
28 ##
29 sub TYPE_HASH   () { DBM::Deep::Engine->SIG_HASH  }
30 sub TYPE_ARRAY  () { DBM::Deep::Engine->SIG_ARRAY }
31
32 # This is used in all the children of this class in their TIE<type> methods.
33 sub _get_args {
34     my $proto = shift;
35
36     my $args;
37     if (scalar(@_) > 1) {
38         if ( @_ % 2 ) {
39             $proto->_throw_error( "Odd number of parameters to " . (caller(1))[2] );
40         }
41         $args = {@_};
42     }
43     elsif ( ref $_[0] ) {
44         unless ( eval { local $SIG{'__DIE__'}; %{$_[0]} || 1 } ) {
45             $proto->_throw_error( "Not a hashref in args to " . (caller(1))[2] );
46         }
47         $args = $_[0];
48     }
49     else {
50         $args = { file => shift };
51     }
52
53     return $args;
54 }
55
56 sub new {
57     ##
58     # Class constructor method for Perl OO interface.
59     # Calls tie() and returns blessed reference to tied hash or array,
60     # providing a hybrid OO/tie interface.
61     ##
62     my $class = shift;
63     my $args = $class->_get_args( @_ );
64     my $self;
65     
66     ##
67     # Check for SQL storage
68     ##
69     if (exists $args->{dbi}) {
70         eval {
71             require DBIx::Abstract;
72         }; if ( $@ ) {
73             DBM::Deep->_throw_error('DBIx::Abstract not installed. You cannot use the SQL mode.');
74         }
75         unless (UNIVERSAL::isa($args->{dbi}, 'DBIx::Abstract')) {
76             $args->{dbi} = DBIx::Abstract->connect($args->{dbi});
77         }
78
79         if (defined $args->{id}) {
80             unless ($args->{id} =~ /^\d+$/ && $args->{id} > 0) {
81                 DBM::Deep->_throw_error('Invalid SQL record id');
82             }
83             my $util = {dbi => $args->{dbi}};
84             bless $util, 'DBM::Deep::SQL::Util';
85             my $q = $util->_select(
86                 table  => 'rec_item',
87                 fields => 'item_type',
88                 where  => {id => $args->{id}},
89             );
90             if ($q->[0]->[0] eq 'array') {
91                 $args->{type} = TYPE_ARRAY;
92             }
93             elsif ($q->[0]->[0] eq 'hash') {
94                 $args->{type} = TYPE_HASH;
95             }
96             else {
97                 DBM::Deep->_throw_error('Unknown SQL record id');
98             }
99         }
100         else {
101             my $util = {dbi => $args->{dbi}};
102             bless $util, 'DBM::Deep::SQL::Util';
103             if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
104                 $args->{id} = $util->_create('array');
105             }
106             else {
107                 $args->{id} = $util->_create('hash');
108             }
109         }
110
111         if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
112             $class = 'DBM::Deep::SQL::Array';
113             require DBM::Deep::SQL::Array;
114             tie @$self, $class, %$args;
115             if ($args->{prefetch}) {
116                 (tied(@$self))->_prefetch();
117             }
118             return bless $self, $class;
119         }
120         else {
121             $class = 'DBM::Deep::SQL::Hash';
122             require DBM::Deep::SQL::Hash;
123             tie %$self, $class, %$args;
124             if ($args->{prefetch}) {
125                 (tied(%$self))->_prefetch();
126             }
127             return bless $self, $class;
128         }
129     }
130
131     ##
132     # Check if we want a tied hash or array.
133     ##
134     if (defined($args->{type}) && $args->{type} eq TYPE_ARRAY) {
135         $class = 'DBM::Deep::Array';
136         require DBM::Deep::Array;
137         tie @$self, $class, %$args;
138     }
139     else {
140         $class = 'DBM::Deep::Hash';
141         require DBM::Deep::Hash;
142         tie %$self, $class, %$args;
143     }
144
145     return bless $self, $class;
146 }
147
148 # This initializer is called from the various TIE* methods. new() calls tie(),
149 # which allows for a single point of entry.
150 sub _init {
151     my $class = shift;
152     my ($args) = @_;
153
154     # locking implicitly enables autoflush
155     if ($args->{locking}) { $args->{autoflush} = 1; }
156
157     # These are the defaults to be optionally overridden below
158     my $self = bless {
159         type        => TYPE_HASH,
160         base_offset => undef,
161         staleness   => undef,
162         engine      => undef,
163     }, $class;
164
165     $args->{engine} = DBM::Deep::Engine->new( { %{$args}, obj => $self } )
166         unless exists $args->{engine};
167
168     # Grab the parameters we want to use
169     foreach my $param ( keys %$self ) {
170         next unless exists $args->{$param};
171         $self->{$param} = $args->{$param};
172     }
173
174     eval {
175       local $SIG{'__DIE__'};
176
177       $self->lock_exclusive;
178       $self->_engine->setup_fh( $self );
179       $self->unlock;
180     }; if ( $@ ) {
181       my $e = $@;
182       eval { local $SIG{'__DIE__'}; $self->unlock; };
183       die $e;
184     }
185
186     return $self;
187 }
188
189 sub TIEHASH {
190     shift;
191     require DBM::Deep::Hash;
192     return DBM::Deep::Hash->TIEHASH( @_ );
193 }
194
195 sub TIEARRAY {
196     shift;
197     require DBM::Deep::Array;
198     return DBM::Deep::Array->TIEARRAY( @_ );
199 }
200
201 sub lock_exclusive {
202     my $self = shift->_get_self;
203     return $self->_engine->lock_exclusive( $self, @_ );
204 }
205 *lock = \&lock_exclusive;
206 sub lock_shared {
207     my $self = shift->_get_self;
208     return $self->_engine->lock_shared( $self, @_ );
209 }
210
211 sub unlock {
212     my $self = shift->_get_self;
213     return $self->_engine->unlock( $self, @_ );
214 }
215
216 sub _copy_value {
217     my $self = shift->_get_self;
218     my ($spot, $value) = @_;
219
220     if ( !ref $value ) {
221         ${$spot} = $value;
222     }
223     else {
224         # This assumes hash or array only. This is a bad assumption moving forward.
225         # -RobK, 2008-05-27
226         my $r = Scalar::Util::reftype( $value );
227         my $tied;
228         if ( $r eq 'ARRAY' ) {
229             $tied = tied(@$value);
230         }
231         else {
232             $tied = tied(%$value);
233         }
234
235         if ( eval { local $SIG{__DIE__}; $tied->isa( 'DBM::Deep' ) } ) {
236             ${$spot} = $tied->_repr;
237             $tied->_copy_node( ${$spot} );
238         }
239         else {
240             if ( $r eq 'ARRAY' ) {
241                 ${$spot} = [ @{$value} ];
242             }
243             else {
244                 ${$spot} = { %{$value} };
245             }
246         }
247
248         my $c = Scalar::Util::blessed( $value );
249         if ( defined $c && !$c->isa( 'DBM::Deep') ) {
250             ${$spot} = bless ${$spot}, $c
251         }
252     }
253
254     return 1;
255 }
256
257 #sub _copy_node {
258 #    die "Must be implemented in a child class\n";
259 #}
260 #
261 #sub _repr {
262 #    die "Must be implemented in a child class\n";
263 #}
264
265 sub export {
266     ##
267     # Recursively export into standard Perl hashes and arrays.
268     ##
269     my $self = shift->_get_self;
270
271     my $temp = $self->_repr;
272
273     $self->lock_exclusive;
274     $self->_copy_node( $temp );
275     $self->unlock;
276
277     my $classname = $self->_engine->get_classname( $self );
278     if ( defined $classname ) {
279       bless $temp, $classname;
280     }
281
282     return $temp;
283 }
284
285 sub _check_legality {
286     my $self = shift;
287     my ($val) = @_;
288
289     my $r = Scalar::Util::reftype( $val );
290
291     return $r if !defined $r || '' eq $r;
292     return $r if 'HASH' eq $r;
293     return $r if 'ARRAY' eq $r;
294
295     DBM::Deep->_throw_error(
296         "Storage of references of type '$r' is not supported."
297     );
298 }
299
300 sub import {
301     # Perl calls import() on use -- ignore
302     return if !ref $_[0];
303
304     my $self = shift->_get_self;
305     my ($struct) = @_;
306
307     my $type = $self->_check_legality( $struct );
308     if ( !$type ) {
309         DBM::Deep->_throw_error( "Cannot import a scalar" );
310     }
311
312     if ( substr( $type, 0, 1 ) ne $self->_type ) {
313         DBM::Deep->_throw_error(
314             "Cannot import " . ('HASH' eq $type ? 'a hash' : 'an array')
315             . " into " . ('HASH' eq $type ? 'an array' : 'a hash')
316         );
317     }
318
319     my %seen;
320     my $recurse;
321     $recurse = sub {
322         my ($db, $val) = @_;
323
324         my $obj = 'HASH' eq Scalar::Util::reftype( $db ) ? tied(%$db) : tied(@$db);
325         $obj ||= $db;
326
327         my $r = $self->_check_legality( $val );
328         if ( 'HASH' eq $r ) {
329             while ( my ($k, $v) = each %$val ) {
330                 my $r = $self->_check_legality( $v );
331                 if ( $r ) {
332                     my $temp = 'HASH' eq $r ? {} : [];
333                     if ( my $c = Scalar::Util::blessed( $v ) ) {
334                         bless $temp, $c;
335                     }
336                     $obj->put( $k, $temp );
337                     $recurse->( $temp, $v );
338                 }
339                 else {
340                     $obj->put( $k, $v );
341                 }
342             }
343         }
344         elsif ( 'ARRAY' eq $r ) {
345             foreach my $k ( 0 .. $#$val ) {
346                 my $v = $val->[$k];
347                 my $r = $self->_check_legality( $v );
348                 if ( $r ) {
349                     my $temp = 'HASH' eq $r ? {} : [];
350                     if ( my $c = Scalar::Util::blessed( $v ) ) {
351                         bless $temp, $c;
352                     }
353                     $obj->put( $k, $temp );
354                     $recurse->( $temp, $v );
355                 }
356                 else {
357                     $obj->put( $k, $v );
358                 }
359             }
360         }
361     };
362     $recurse->( $self, $struct );
363
364     return 1;
365 }
366
367 #XXX Need to keep track of who has a fh to this file in order to
368 #XXX close them all prior to optimize on Win32/cygwin
369 sub optimize {
370     ##
371     # Rebuild entire database into new file, then move
372     # it back on top of original.
373     ##
374     my $self = shift->_get_self;
375
376 #XXX Need to create a new test for this
377 #    if ($self->_engine->storage->{links} > 1) {
378 #        $self->_throw_error("Cannot optimize: reference count is greater than 1");
379 #    }
380
381     #XXX Do we have to lock the tempfile?
382
383     #XXX Should we use tempfile() here instead of a hard-coded name?
384     my $temp_filename = $self->_engine->storage->{file} . '.tmp';
385     my $db_temp = DBM::Deep->new(
386         file => $temp_filename,
387         type => $self->_type,
388
389         # Bring over all the parameters that we need to bring over
390         ( map { $_ => $self->_engine->$_ } qw(
391             byte_size max_buckets data_sector_size num_txns
392         )),
393     );
394
395     $self->lock_exclusive;
396     $self->_engine->clear_cache;
397     $self->_copy_node( $db_temp );
398     $db_temp->_engine->storage->close;
399     undef $db_temp;
400
401     ##
402     # Attempt to copy user, group and permissions over to new file
403     ##
404     $self->_engine->storage->copy_stats( $temp_filename );
405
406     # q.v. perlport for more information on this variable
407     if ( $^O eq 'MSWin32' || $^O eq 'cygwin' ) {
408         ##
409         # Potential race condition when optmizing on Win32 with locking.
410         # The Windows filesystem requires that the filehandle be closed
411         # before it is overwritten with rename().  This could be redone
412         # with a soft copy.
413         ##
414         $self->unlock;
415         $self->_engine->storage->close;
416     }
417
418     if (!rename $temp_filename, $self->_engine->storage->{file}) {
419         unlink $temp_filename;
420         $self->unlock;
421         $self->_throw_error("Optimize failed: Cannot copy temp file over original: $!");
422     }
423
424     $self->unlock;
425     $self->_engine->storage->close;
426
427     $self->_engine->storage->open;
428     $self->lock_exclusive;
429     $self->_engine->setup_fh( $self );
430     $self->unlock;
431
432     return 1;
433 }
434
435 sub clone {
436     ##
437     # Make copy of object and return
438     ##
439     my $self = shift->_get_self;
440
441     return DBM::Deep->new(
442         type        => $self->_type,
443         base_offset => $self->_base_offset,
444         staleness   => $self->_staleness,
445         engine      => $self->_engine,
446     );
447 }
448
449 #XXX Migrate this to the engine, where it really belongs and go through some
450 # API - stop poking in the innards of someone else..
451 {
452     my %is_legal_filter = map {
453         $_ => ~~1,
454     } qw(
455         store_key store_value
456         fetch_key fetch_value
457     );
458
459     sub set_filter {
460         my $self = shift->_get_self;
461         my $type = lc shift;
462         my $func = shift;
463
464         if ( $is_legal_filter{$type} ) {
465             $self->_engine->storage->{"filter_$type"} = $func;
466             return 1;
467         }
468
469         return;
470     }
471
472     sub filter_store_key   { $_[0]->set_filter( store_key   => $_[1] ); }
473     sub filter_store_value { $_[0]->set_filter( store_value => $_[1] ); }
474     sub filter_fetch_key   { $_[0]->set_filter( fetch_key   => $_[1] ); }
475     sub filter_fetch_value { $_[0]->set_filter( fetch_value => $_[1] ); }
476 }
477
478 sub begin_work {
479     my $self = shift->_get_self;
480     $self->lock_exclusive;
481     my $rv = eval { $self->_engine->begin_work( $self, @_ ) };
482     my $e = $@;
483     $self->unlock;
484     die $e if $e;
485     return $rv;
486 }
487
488 sub rollback {
489     my $self = shift->_get_self;
490     $self->lock_exclusive;
491     my $rv = eval { $self->_engine->rollback( $self, @_ ) };
492     my $e = $@;
493     $self->unlock;
494     die $e if $e;
495     return $rv;
496 }
497
498 sub commit {
499     my $self = shift->_get_self;
500     $self->lock_exclusive;
501     my $rv = eval { $self->_engine->commit( $self, @_ ) };
502     my $e = $@;
503     $self->unlock;
504     die $e if $e;
505     return $rv;
506 }
507
508 ##
509 # Accessor methods
510 ##
511
512 sub _engine {
513     my $self = $_[0]->_get_self;
514     return $self->{engine};
515 }
516
517 sub _type {
518     my $self = $_[0]->_get_self;
519     return $self->{type};
520 }
521
522 sub _base_offset {
523     my $self = $_[0]->_get_self;
524     return $self->{base_offset};
525 }
526
527 sub _staleness {
528     my $self = $_[0]->_get_self;
529     return $self->{staleness};
530 }
531
532 ##
533 # Utility methods
534 ##
535
536 sub _throw_error {
537     my $n = 0;
538     while( 1 ) {
539         my @caller = caller( ++$n );
540         next if $caller[0] =~ m/^DBM::Deep/;
541
542         die "DBM::Deep: $_[1] at $0 line $caller[2]\n";
543     }
544 }
545
546 sub STORE {
547     ##
548     # Store single hash key/value or array element in database.
549     ##
550     my $self = shift->_get_self;
551     my ($key, $value) = @_;
552     warn "STORE($self, '$key', '@{[defined$value?$value:'undef']}')\n" if DEBUG;
553
554     unless ( $self->_engine->storage->is_writable ) {
555         $self->_throw_error( 'Cannot write to a readonly filehandle' );
556     }
557
558     $self->lock_exclusive;
559
560     # User may be storing a complex value, in which case we do not want it run
561     # through the filtering system.
562     if ( !ref($value) && $self->_engine->storage->{filter_store_value} ) {
563         $value = $self->_engine->storage->{filter_store_value}->( $value );
564     }
565
566     $self->_engine->write_value( $self, $key, $value);
567
568     $self->unlock;
569
570     return 1;
571 }
572
573 sub FETCH {
574     ##
575     # Fetch single value or element given plain key or array index
576     ##
577     my $self = shift->_get_self;
578     my ($key) = @_;
579     warn "FETCH($self, '$key')\n" if DEBUG;
580
581     $self->lock_shared;
582
583     my $result = $self->_engine->read_value( $self, $key);
584
585     $self->unlock;
586
587     # Filters only apply to scalar values, so the ref check is making
588     # sure the fetched bucket is a scalar, not a child hash or array.
589     return ($result && !ref($result) && $self->_engine->storage->{filter_fetch_value})
590         ? $self->_engine->storage->{filter_fetch_value}->($result)
591         : $result;
592 }
593
594 sub DELETE {
595     ##
596     # Delete single key/value pair or element given plain key or array index
597     ##
598     my $self = shift->_get_self;
599     my ($key) = @_;
600     warn "DELETE($self, '$key')\n" if DEBUG;
601
602     unless ( $self->_engine->storage->is_writable ) {
603         $self->_throw_error( 'Cannot write to a readonly filehandle' );
604     }
605
606     $self->lock_exclusive;
607
608     ##
609     # Delete bucket
610     ##
611     my $value = $self->_engine->delete_key( $self, $key);
612
613     if (defined $value && !ref($value) && $self->_engine->storage->{filter_fetch_value}) {
614         $value = $self->_engine->storage->{filter_fetch_value}->($value);
615     }
616
617     $self->unlock;
618
619     return $value;
620 }
621
622 sub EXISTS {
623     ##
624     # Check if a single key or element exists given plain key or array index
625     ##
626     my $self = shift->_get_self;
627     my ($key) = @_;
628     warn "EXISTS($self, '$key')\n" if DEBUG;
629
630     $self->lock_shared;
631
632     my $result = $self->_engine->key_exists( $self, $key );
633
634     $self->unlock;
635
636     return $result;
637 }
638
639 sub CLEAR {
640     ##
641     # Clear all keys from hash, or all elements from array.
642     ##
643     my $self = shift->_get_self;
644     warn "CLEAR($self)\n" if DEBUG;
645
646     unless ( $self->_engine->storage->is_writable ) {
647         $self->_throw_error( 'Cannot write to a readonly filehandle' );
648     }
649
650     $self->lock_exclusive;
651
652     #XXX Rewrite this dreck to do it in the engine as a tight loop vs.
653     # iterating over keys - such a WASTE - is this required for transactional
654     # clearning?! Surely that can be detected in the engine ...
655     if ( $self->_type eq TYPE_HASH ) {
656         my $key = $self->first_key;
657         while ( $key ) {
658             # Retrieve the key before deleting because we depend on next_key
659             my $next_key = $self->next_key( $key );
660             $self->_engine->delete_key( $self, $key, $key );
661             $key = $next_key;
662         }
663     }
664     else {
665         my $size = $self->FETCHSIZE;
666         for my $key ( 0 .. $size - 1 ) {
667             $self->_engine->delete_key( $self, $key, $key );
668         }
669         $self->STORESIZE( 0 );
670     }
671
672     $self->unlock;
673
674     return 1;
675 }
676
677 ##
678 # Public method aliases
679 ##
680 sub put { (shift)->STORE( @_ ) }
681 sub store { (shift)->STORE( @_ ) }
682 sub get { (shift)->FETCH( @_ ) }
683 sub fetch { (shift)->FETCH( @_ ) }
684 sub delete { (shift)->DELETE( @_ ) }
685 sub exists { (shift)->EXISTS( @_ ) }
686 sub clear { (shift)->CLEAR( @_ ) }
687
688 sub _dump_file {shift->_get_self->_engine->_dump_file;}
689
690 1;
691 __END__