lib/DBIx/Class/Storage/DBI/Replicated/Pool.pm

   1 package DBIx::Class::Storage::DBI::Replicated::Pool;
   2
   3 use Moose;
   4 use MooseX::AttributeHelpers;
   5 use DBIx::Class::Storage::DBI::Replicated::Replicant;
   6 use List::Util 'sum';
   7 use Scalar::Util 'reftype';
   8 use Carp::Clan qw/^DBIx::Class/;
   9 use MooseX::Types::Moose qw/Num Int ClassName HashRef/;
  10
  11 use namespace::clean -except => 'meta';
  12
  13 =head1 NAME
  14
  15 DBIx::Class::Storage::DBI::Replicated::Pool - Manage a pool of replicants
  16
  17 =head1 SYNOPSIS
  18
  19 This class is used internally by L<DBIx::Class::Storage::DBI::Replicated>.  You
  20 shouldn't need to create instances of this class.
  21
  22 =head1 DESCRIPTION
  23
  24 In a replicated storage type, there is at least one replicant to handle the
  25 read only traffic.  The Pool class manages this replicant, or list of
  26 replicants, and gives some methods for querying information about their status.
  27
  28 =head1 ATTRIBUTES
  29
  30 This class defines the following attributes.
  31
  32 =head2 maximum_lag ($num)
  33
  34 This is a number which defines the maximum allowed lag returned by the
  35 L<DBIx::Class::Storage::DBI/lag_behind_master> method.  The default is 0.  In
  36 general, this should return a larger number when the replicant is lagging
  37 behind it's master, however the implementation of this is database specific, so
  38 don't count on this number having a fixed meaning.  For example, MySQL will
  39 return a number of seconds that the replicating database is lagging.
  40
  41 =cut
  42
  43 has 'maximum_lag' => (
  44   is=>'rw',
  45   isa=>Num,
  46   required=>1,
  47   lazy=>1,
  48   default=>0,
  49 );
  50
  51 =head2 last_validated
  52
  53 This is an integer representing a time since the last time the replicants were
  54 validated. It's nothing fancy, just an integer provided via the perl time
  55 builtin.
  56
  57 =cut
  58
  59 has 'last_validated' => (
  60   is=>'rw',
  61   isa=>Int,
  62   reader=>'last_validated',
  63   writer=>'_last_validated',
  64   lazy=>1,
  65   default=>0,
  66 );
  67
  68 =head2 replicant_type ($classname)
  69
  70 Base class used to instantiate replicants that are in the pool.  Unless you
  71 need to subclass L<DBIx::Class::Storage::DBI::Replicated::Replicant> you should
  72 just leave this alone.
  73
  74 =cut
  75
  76 has 'replicant_type' => (
  77   is=>'ro',
  78   isa=>ClassName,
  79   required=>1,
  80   default=>'DBIx::Class::Storage::DBI',
  81   handles=>{
  82     'create_replicant' => 'new',
  83   },
  84 );
  85
  86 =head2 replicants
  87
  88 A hashref of replicant, with the key being the dsn and the value returning the
  89 actual replicant storage.  For example if the $dsn element is something like:
  90
  91   "dbi:SQLite:dbname=dbfile"
  92
  93 You could access the specific replicant via:
  94
  95   $schema->storage->replicants->{'dbname=dbfile'}
  96
  97 This attributes also supports the following helper methods:
  98
  99 =over 4
 100
 101 =item set_replicant($key=>$storage)
 102
 103 Pushes a replicant onto the HashRef under $key
 104
 105 =item get_replicant($key)
 106
 107 Retrieves the named replicant
 108
 109 =item has_replicants
 110
 111 Returns true if the Pool defines replicants.
 112
 113 =item num_replicants
 114
 115 The number of replicants in the pool
 116
 117 =item delete_replicant ($key)
 118
 119 removes the replicant under $key from the pool
 120
 121 =back
 122
 123 =cut
 124
 125 has 'replicants' => (
 126   is=>'rw',
 127   metaclass => 'Collection::Hash',
 128   isa=>HashRef['Object'],
 129   default=>sub {{}},
 130   provides  => {
 131     'set' => 'set_replicant',
 132     'get' => 'get_replicant',
 133     'empty' => 'has_replicants',
 134     'count' => 'num_replicants',
 135     'delete' => 'delete_replicant',
 136     'values' => 'all_replicant_storages',
 137   },
 138 );
 139
 140 =head1 METHODS
 141
 142 This class defines the following methods.
 143
 144 =head2 connect_replicants ($schema, Array[$connect_info])
 145
 146 Given an array of $dsn or connect_info structures suitable for connected to a
 147 database, create an L<DBIx::Class::Storage::DBI::Replicated::Replicant> object
 148 and store it in the L</replicants> attribute.
 149
 150 =cut
 151
 152 sub connect_replicants {
 153   my $self = shift @_;
 154   my $schema = shift @_;
 155
 156   my @newly_created = ();
 157   foreach my $connect_info (@_) {
 158     $connect_info = [ $connect_info ]
 159       if reftype $connect_info ne 'ARRAY';
 160
 161     croak "coderef replicant connect_info not supported"
 162       if ref $connect_info->[0] && reftype $connect_info->[0] eq 'CODE';
 163
 164     my $replicant = $self->connect_replicant($schema, $connect_info);
 165
 166     my $key = $connect_info->[0];
 167     $key = $key->{dsn} if ref $key && reftype $key eq 'HASH';
 168     ($key) = ($key =~ m/^dbi\:.+\:(.+)$/);
 169
 170     $self->set_replicant( $key => $replicant);
 171     push @newly_created, $replicant;
 172   }
 173
 174   return @newly_created;
 175 }
 176
 177 =head2 connect_replicant ($schema, $connect_info)
 178
 179 Given a schema object and a hashref of $connect_info, connect the replicant
 180 and return it.
 181
 182 =cut
 183
 184 sub connect_replicant {
 185   my ($self, $schema, $connect_info) = @_;
 186   my $replicant = $self->create_replicant($schema);
 187   $replicant->connect_info($connect_info);
 188
 189 ## It is undesirable for catalyst to connect at ->conect_replicants time, as
 190 ## connections should only happen on the first request that uses the database.
 191 ## So we try to set the driver without connecting, however this doesn't always
 192 ## work, as a driver may need to connect to determine the DB version, and this
 193 ## may fail.
 194 ##
 195 ## Why this is necessary at all, is that we need to have the final storage
 196 ## class to apply the Replicant role.
 197
 198   $self->_safely($replicant, '->_determine_driver', sub {
 199     $replicant->_determine_driver
 200   });
 201
 202   DBIx::Class::Storage::DBI::Replicated::Replicant->meta->apply($replicant);
 203   return $replicant;
 204 }
 205
 206 =head2 _safely_ensure_connected ($replicant)
 207
 208 The standard ensure_connected method with throw an exception should it fail to
 209 connect.  For the master database this is desirable, but since replicants are
 210 allowed to fail, this behavior is not desirable.  This method wraps the call
 211 to ensure_connected in an eval in order to catch any generated errors.  That
 212 way a slave can go completely offline (ie, the box itself can die) without
 213 bringing down your entire pool of databases.
 214
 215 =cut
 216
 217 sub _safely_ensure_connected {
 218   my ($self, $replicant, @args) = @_;
 219
 220   return $self->_safely($replicant, '->ensure_connected', sub {
 221     $replicant->ensure_connected(@args)
 222   });
 223 }
 224
 225 =head2 _safely ($replicant, $name, $code)
 226
 227 Execute C<$code> for operation C<$name> catching any exceptions and printing an
 228 error message to the C<<$replicant->debugobj>>.
 229
 230 Returns 1 on success and undef on failure.
 231
 232 =cut
 233
 234 sub _safely {
 235   my ($self, $replicant, $name, $code) = @_;
 236
 237   eval {
 238     $code->()
 239   };
 240   if ($@) {
 241     $replicant
 242       ->debugobj
 243       ->print(
 244         sprintf( "Exception trying to $name for replicant %s, error is %s",
 245           $replicant->_dbi_connect_info->[0], $@)
 246         );
 247         return;
 248   }
 249   return 1;
 250 }
 251
 252 =head2 connected_replicants
 253
 254 Returns true if there are connected replicants.  Actually is overloaded to
 255 return the number of replicants.  So you can do stuff like:
 256
 257   if( my $num_connected = $storage->has_connected_replicants ) {
 258     print "I have $num_connected connected replicants";
 259   } else {
 260     print "Sorry, no replicants.";
 261   }
 262
 263 This method will actually test that each replicant in the L</replicants> hashref
 264 is actually connected, try not to hit this 10 times a second.
 265
 266 =cut
 267
 268 sub connected_replicants {
 269   my $self = shift @_;
 270   return sum( map {
 271     $_->connected ? 1:0
 272   } $self->all_replicants );
 273 }
 274
 275 =head2 active_replicants
 276
 277 This is an array of replicants that are considered to be active in the pool.
 278 This does not check to see if they are connected, but if they are not, DBIC
 279 should automatically reconnect them for us when we hit them with a query.
 280
 281 =cut
 282
 283 sub active_replicants {
 284   my $self = shift @_;
 285   return ( grep {$_} map {
 286     $_->active ? $_:0
 287   } $self->all_replicants );
 288 }
 289
 290 =head2 all_replicants
 291
 292 Just a simple array of all the replicant storages.  No particular order to the
 293 array is given, nor should any meaning be derived.
 294
 295 =cut
 296
 297 sub all_replicants {
 298   my $self = shift @_;
 299   return values %{$self->replicants};
 300 }
 301
 302 =head2 validate_replicants
 303
 304 This does a check to see if 1) each replicate is connected (or reconnectable),
 305 2) that is ->is_replicating, and 3) that it is not exceeding the lag amount
 306 defined by L</maximum_lag>.  Replicants that fail any of these tests are set to
 307 inactive, and thus removed from the replication pool.
 308
 309 This tests L<all_replicants>, since a replicant that has been previous marked
 310 as inactive can be reactived should it start to pass the validation tests again.
 311
 312 See L<DBIx::Class::Storage::DBI> for more about checking if a replicating
 313 connection is not following a master or is lagging.
 314
 315 Calling this method will generate queries on the replicant databases so it is
 316 not recommended that you run them very often.
 317
 318 This method requires that your underlying storage engine supports some sort of
 319 native replication mechanism.  Currently only MySQL native replication is
 320 supported.  Your patches to make other replication types work are welcomed.
 321
 322 =cut
 323
 324 sub validate_replicants {
 325   my $self = shift @_;
 326   foreach my $replicant($self->all_replicants) {
 327     if($self->_safely_ensure_connected($replicant)) {
 328       my $is_replicating = $replicant->is_replicating;
 329       unless(defined $is_replicating) {
 330         $replicant->debugobj->print("Storage Driver ".ref($self)." Does not support the 'is_replicating' method.  Assuming you are manually managing.\n");
 331         next;
 332       } else {
 333         if($is_replicating) {
 334           my $lag_behind_master = $replicant->lag_behind_master;
 335           unless(defined $lag_behind_master) {
 336             $replicant->debugobj->print("Storage Driver ".ref($self)." Does not support the 'lag_behind_master' method.  Assuming you are manually managing.\n");
 337             next;
 338           } else {
 339             if($lag_behind_master <= $self->maximum_lag) {
 340               $replicant->active(1);
 341             } else {
 342               $replicant->active(0);
 343             }
 344           }
 345         } else {
 346           $replicant->active(0);
 347         }
 348       }
 349     } else {
 350       $replicant->active(0);
 351     }
 352   }
 353   ## Mark that we completed this validation.
 354   $self->_last_validated(time);
 355 }
 356
 357 =head1 AUTHOR
 358
 359 John Napiorkowski <john.napiorkowski@takkle.com>
 360
 361 =head1 LICENSE
 362
 363 You may distribute this code under the same terms as Perl itself.
 364
 365 =cut
 366
 367 __PACKAGE__->meta->make_immutable;
 368
 369 1;