Fix compose_namespace rsrc leaks, introduce a badass leaktracer
Peter Rabbitson [Sun, 26 Sep 2010 17:36:41 +0000 (19:36 +0200)]
Changes
lib/DBIx/Class/Schema.pm
t/52leaks.t

diff --git a/Changes b/Changes
index b135616..b91006b 100644 (file)
--- a/Changes
+++ b/Changes
@@ -17,6 +17,7 @@ Revision history for DBIx::Class
 
     * Fixes
         - Fix memory leak during populate() on 5.8.x perls
+        - Fix result_soutrce_instance leaks on compose_namespace
         - Make sure exception_action does not allow exception-hiding
           due to badly-written handlers (the mechanism was never meant
           to be able to suppress exceptions)
@@ -62,6 +63,8 @@ Revision history for DBIx::Class
         - DT-related tests now require a DateTime >= 0.55 (RT#60324)
         - Makefile.PL now provides a pre-parsed DBIC version to the
           Opt::Dep pod generator
+        - t/52leaks.t now performs very aggressive leak detection in
+          author/smoker mode
 
 0.08123 2010-06-12 14:46 (UTC)
     * Fixes
index 77a7fe7..3c992ab 100644 (file)
@@ -898,6 +898,7 @@ sub compose_namespace {
   my $schema = $self->clone;
   {
     no warnings qw/redefine/;
+    no strict qw/refs/;
 #    local *Class::C3::reinitialize = sub { };
     foreach my $moniker ($schema->sources) {
       my $source = $schema->source($moniker);
@@ -906,8 +907,14 @@ sub compose_namespace {
         $target_class => $source->result_class, ($base ? $base : ())
       );
       $source->result_class($target_class);
-      $target_class->result_source_instance($source)
-        if $target_class->can('result_source_instance');
+      if ($target_class->can('result_source_instance')) {
+
+        # since the newly created classes are registered only with
+        # the instance of $schema, it should be safe to weaken
+        # the ref (it will GC when $schema is destroyed)
+        $target_class->result_source_instance($source);
+        weaken ${"${target_class}::__cag_result_source_instance"};
+      }
      $schema->register_source($moniker, $source);
     }
   }
index 7ecec49..4625547 100644 (file)
@@ -2,57 +2,170 @@ use strict;
 use warnings;
 
 use Test::More;
+use Scalar::Util qw/refaddr reftype weaken/;
+use Carp qw/longmess/;
+use Try::Tiny;
 
 use lib qw(t/lib);
+use DBICTest::RunMode;
 
+my $have_test_cycle;
 BEGIN {
   require DBIx::Class::Optional::Dependencies;
-  plan skip_all => 'Test needs: ' . DBIx::Class::Optional::Dependencies->req_missing_for ('test_leaks')
-    unless ( DBIx::Class::Optional::Dependencies->req_ok_for ('test_leaks') );
+  $have_test_cycle = DBIx::Class::Optional::Dependencies->req_ok_for ('test_leaks')
+    and import Test::Memory::Cycle;
 }
 
-use DBICTest;
-use DBICTest::Schema;
-use Scalar::Util 'weaken';
-use namespace::clean;
+# preload stuff so that we don't trap globals
+use DBI;
+use Errno;
+use Class::Struct;
+use DBD::SQLite;
+use FileHandle;
+
+# this is what holds all weakened refs to be checked for leakage
+my $weak_registry = {};
+
+# Skip the heavy-duty leak tracing when just doing an install
+unless (DBICTest::RunMode->is_plain) {
+  no warnings qw/redefine once/;
+  no strict qw/refs/;
+
+  # override bless so that we can catch each and every object created
+  *CORE::GLOBAL::bless = sub {
+    my $obj = CORE::bless(
+      $_[0], (@_ > 1) ? $_[1] : do {
+        my ($class, $fn, $line) = caller();
+        fail ("bless() of $_[0] into $class without explicit class specification at $fn line $line")
+          if $class =~ /^ (?: DBIx\:\:Class | DBICTest ) /x;
+        $class;
+      }
+    );
+
+    my $slot = (sprintf '%s=%s(0x%x)', # so we don't trigger stringification
+      ref $obj,
+      reftype $obj,
+      refaddr $obj,
+    );
+
+    # weaken immediately to avoid weird side effects
+    $weak_registry->{$slot} = { weakref => $obj, strace => longmess() };
+    weaken $weak_registry->{$slot}{weakref};
+
+    return $obj;
+  };
+
+  for my $func (qw/try catch finally/) {
+    my $orig = \&{"Try::Tiny::$func"};
+    *{"Try::Tiny::$func"} = sub (&;@) {
+
+      my $slot = sprintf ('CODE(0x%x)', refaddr $_[0]);
+
+      $weak_registry->{$slot} = { weakref => $_[0], strace => longmess() };
+      weaken $weak_registry->{$slot}{weakref};
+
+      goto $orig;
+    }
+  }
+}
+
+{
+  require DBICTest;
 
-import Test::Memory::Cycle;
+  my $schema = DBICTest->init_schema;
+  my $rs = $schema->resultset ('Artist');
+  my $storage = $schema->storage;
 
-my $weak;
+  ok ($storage->connected, 'we are connected');
 
-{
-  my $s = $weak->{schema} = DBICTest->init_schema;
-  ok ($s->storage->connected, 'we are connected');
-  memory_cycle_ok($s, 'No cycles in schema');
+  my $row_obj = $rs->next;
+  ok ($row_obj, 'row from db');
+
+  my ($mc_row_obj, $pager, $pager_explicit_count) = $schema->txn_do (sub {
+
+    my $artist = $rs->create ({
+      name => 'foo artist',
+      cds => [{
+        title => 'foo cd',
+        year => 1984,
+      }],
+    });
+
+    my $pg = $rs->search({}, { rows => 1})->page(2)->pager;
+
+    my $pg_wcount = $rs->page(4)->pager->total_entries (66);
+
+    return ($artist, $pg, $pg_wcount);
+  });
+
+  is ($pager->next_page, 3, 'There is one more page available');
+
+  # based on 66 per 10 pages
+  is ($pager_explicit_count->last_page, 7, 'Correct last page');
 
-  my $storage = $weak->{storage} = $s->storage;
-  memory_cycle_ok($storage, 'No cycles in storage');
+  my $base_collection = {
+    schema => $schema,
+    storage => $storage,
 
-  my $rs = $weak->{resultset} = $s->resultset ('Artist');
-  memory_cycle_ok($rs, 'No cycles in resultset');
+    resultset => $rs,
+    row_object => $row_obj,
 
-  my $rsrc = $weak->{resultsource} = $rs->result_source;
-  memory_cycle_ok($rsrc, 'No cycles in resultsource');
+    result_source => $rs->result_source,
 
-  my $row = $weak->{row} = $rs->first;
-  memory_cycle_ok($row, 'No cycles in row');
+    fresh_pager => $rs->page(5)->pager,
+    pager => $pager,
+    pager_explicit_count => $pager_explicit_count,
 
-  my $sqla = $weak->{sqla} = $s->storage->sql_maker;
-  memory_cycle_ok($sqla, 'No cycles in SQL maker');
+    sql_maker => $storage->sql_maker,
+    dbh => $storage->_dbh
+  };
 
-  my $dbh = $weak->{dbh} = $s->storage->_get_dbh;
-  memory_cycle_ok($dbh, 'No cycles in DBI handle');
+  memory_cycle_ok ($base_collection, 'No cycles in the object collection')
+    if $have_test_cycle;
 
-  for (@{$dbh->{ChildHandles}}) {
-    $weak->{"$_"} = $_ if $_;
+  for (keys %$base_collection) {
+    $weak_registry->{"basic $_"} = { weakref => $base_collection->{$_} };
+    weaken $weak_registry->{"basic $_"}{weakref};
   }
 
-  weaken $_ for values %$weak;
-  memory_cycle_ok($weak, 'No cycles in weak object collection');
 }
 
-for (keys %$weak) {
-  ok (! $weak->{$_}, "No $_ leaks");
+memory_cycle_ok($weak_registry, 'No cycles in the weakened object collection')
+  if $have_test_cycle;
+
+# FIXME
+# For reasons I can not yet fully understand the table() god-method (located in
+# ::ResultSourceProxy::Table) attaches an actual source instance to each class
+# as virtually *immortal* class-data. 
+# For now just blow away these instances manually but there got to be a saner way
+$_->result_source_instance(undef) for (
+  'DBICTest::BaseResult',
+  map { DBICTest::Schema->class ($_) } DBICTest::Schema->sources
+);
+
+# FIXME
+# same problem goes for the schema - its classdata contains live result source
+# objects, which to add insult to the injury are *different* instances from the
+# ones we destroyed above
+DBICTest::Schema->source_registrations(undef);
+
+my $tb = Test::More->builder;
+for my $slot (keys %$weak_registry) {
+  # SQLT is a piece of shit, leaks all over
+  next if $slot =~ /^SQL\:\:Translator/;
+
+  ok (! defined $weak_registry->{$slot}{weakref}, "No leaks of $slot") or do {
+    my $diag = '';
+
+    $diag .= Devel::FindRef::track ($weak_registry->{$slot}{weakref}, 20) . "\n"
+      if ( $ENV{TEST_VERBOSE} && try { require Devel::FindRef });
+
+    if (my $stack = $weak_registry->{$slot}{strace}) {
+      $diag .= "    Reference first seen$stack";
+    }
+
+    diag $diag if $diag;
+  };
 }
 
 done_testing;