add some final statistics; try to color anonymous nodes too
[scpubgit/stemmatology.git] / group_vars.pl
index ecde4de..a6f7a5e 100644 (file)
@@ -10,24 +10,12 @@ binmode STDERR, ":utf8";
 binmode STDOUT, ":utf8";
 eval { no warnings; binmode $DB::OUT, ":utf8"; };
 
-my $informat = 'TEI';
-my $inbase;
-my $linear = 1;
-
 # Parse the tradition data
+my $informat = 'Self';
 
-my $input = $ARGV[0];
-my @lines;
-open( INFILE, "$input" ) or die "Could not read $input";
-binmode INFILE, ':utf8';
-@lines = <INFILE>;
-close INFILE;
-$input = join( '', @lines );
-
-my %args = ( $informat => $input,
-             'linear' => $linear );
-$args{'base'} = $inbase if $inbase;
- my $tradition = Text::Tradition->new( %args );
+my %args = ( 'input' => $informat,
+             'file'  => $ARGV[0] );
+my $tradition = Text::Tradition->new( %args );
 
 # Parse the stemma hypothesis
 my $stemma = Text::Tradition::Stemma->new( 
@@ -36,63 +24,110 @@ my $stemma = Text::Tradition::Stemma->new(
     );
 
 # We have the collation, so get the alignment table with witnesses in rows.
+# Also return the reading objects in the table, rather than just the words.
 
-my $all_wits_table = $tradition->collation->make_alignment_table( 1 );
+my $all_wits_table = $tradition->collation->make_alignment_table( 'refs' );
 
 # For each column in the alignment table, we want to see if the existing
-# groupings of witnesses match our stemma hypothesis.  First let's just go 
-# through the groupings.
+# groupings of witnesses match our stemma hypothesis. We also want, at the
+# end, to produce an HTML table with all the variants.
+my $html_columns = 0;
+my $html_data = [];
+my $total = 0; # Keep track of the total number of variant locations
 
 # Strip the list of sigla and save it for correlation to the readings.
 my $col_wits = shift @$all_wits_table;
     
-# For each column in the table, group the readings by witness.
-
-my $useful_vars = 0;
 foreach my $i ( 0 .. $#$all_wits_table ) {
+    # For each column in the table, group the readings by witness.
     my $rdg_wits = {};
     my $col_rdgs = shift @$all_wits_table;
+    my $rank;
     foreach my $j ( 0 .. $#{$col_rdgs} ) {
         my $rdg = $col_rdgs->[$j];
-        $rdg = '' unless $rdg;   # We care about empty readings
-        $rdg = undef if $rdg eq '#LACUNA#'; # ... unless they're lacunas
+        $rank = $rdg->rank if $rdg;  # Save the rank for later display
+        my $rdg_text = '(omitted)';  # Initialize in case of empty reading
         if( $rdg ) {
-            $rdg_wits->{$rdg} = [] unless $rdg_wits->{$rdg};
-            add_variant_wit( $rdg_wits->{$rdg}, $col_wits->[$j] );
+            $rdg_text = $rdg->is_lacuna ? undef : $rdg->text; # Don't count lacunae
+        }
+        if( defined $rdg_text ) {
+            # Initialize the witness array if we haven't got one yet
+            $rdg_wits->{$rdg_text} = [] unless $rdg_wits->{$rdg_text};
+            # Add the relevant witness, subject to a.c. logic
+            add_variant_wit( $rdg_wits->{$rdg_text}, $col_wits->[$j] );
         }
     }
     
+    # See if this column has any potentially genealogical variants.
+    # If not, skip to the next.
+    $total++ unless scalar keys %$rdg_wits == 1;
     my( $groups, $readings ) = useful_variant( $rdg_wits );
-    next unless $groups && $readings;        
+    next unless $groups && $readings;  
+    $html_columns = scalar @$groups if scalar @$groups > $html_columns;
+    
+    # We can already look up witnesses for a reading; we also want to look
+    # up readings for a given witness.
+    my $group_readings = {};
+    foreach my $x ( 0 .. $#$groups ) {
+        $group_readings->{wit_stringify( $groups->[$x] )} = $readings->[$x];
+    }
     
-    # For all the groups with more than one member, make a group that contains
-    # all contiguous vertices to connect them.
-    # TODO Need to do pairwise comparison of groups - a variant location can
-    # have both coincidental and genealogical variants!
+    # For all the groups with more than one member, collect the list of all
+    # contiguous vertices needed to connect them.
+    # TODO: deal with a.c. reading logic
+    my $sc = analyze_variant_location( $group_readings, $groups, $stemma->apsp );
+    print wit_stringify( $groups ) . ' - ' . join( " / ", @$readings ) . "\n";
+    foreach my $rdg ( keys %$sc ) {
+        my $var = $sc->{$rdg};
+        print "\tReadings '$rdg' and '$var' are not genealogical\n";
+    }
+    
+    # Now run the same analysis given the calculated distance tree(s).
+    foreach my $tree ( 0 .. $#{$stemma->distance_trees} ) {
+        my $dc = analyze_variant_location( $group_readings, $groups,    
+                                           $stemma->distance_apsps->[$tree] );
+        foreach my $rdg ( keys %$dc ) {
+            my $var = $dc->{$rdg};
+            print "\tReadings '$rdg' and '$var' disregarded by parsimony on tree $tree\n";
+        }
+    }
+
+    # Record that we used this variant in an analysis
+    push( @$html_data, [ $rank, $readings, $sc ] );
+}
+
+# Save the stemma picture
+open( STEMMA, ">stemma_graph.svg" ) or die "Could not open stemma graph to write";
+binmode STEMMA, ":utf8";
+print STEMMA $stemma->as_svg;
+close STEMMA;
+
+printf( "Ran analysis on %d / %d variant locations\n", scalar @$html_data, $total );
+
+sub analyze_variant_location {
+    my( $group_readings, $groups, $apsp ) = @_;
     my %contig;
-    my $conflict;
-    foreach my $g ( @$groups ) {
-        my @members = split( /,/, $g );
+    my $conflict = {};
+    foreach my $g ( sort { scalar @$b <=> scalar @$a } @$groups ) {
+        my @members = @$g;
+        my $gst = wit_stringify( $g );
+        map { $contig{$_} = $gst } @members; # The witnesses need themselves to be 
+                                             # in their collection.
         next unless @members > 1;
-        map { $contig{$_} = $g } @members;
         my $curr = pop @members;
         foreach my $m ( @members ) {
-            foreach my $v ( $stemma->apsp->path_vertices( $curr, $m ) ) {
-                $contig{$v} = $g unless exists $contig{$v};
-                next if $contig{$v} eq $g;
-                # print STDERR "Conflict at $v between group $g and group " 
+            foreach my $v ( $apsp->path_vertices( $curr, $m ) ) {
+                $contig{$v} = $gst unless exists $contig{$v};
+                next if $contig{$v} eq $gst;
+                # print STDERR "Conflict at $v between group $gst and group " 
                 #     . $contig{$v} . "\n";
-                $conflict = 1;
+                # Record what is conflicting.
+                $conflict->{$group_readings->{$gst}} = $group_readings->{$contig{$v}};
             }
         }
     }
-    print join( " / ", @$groups ) . ' - ' . join( " / ", @$readings ) . ' - ';
-    print $conflict ? "coincidental" : "genealogical";
-    print "\n";
-    $useful_vars++;
-    
+    return $conflict;
 }
-print "Found $useful_vars useful variants\n";
 
 # Add the variant, subject to a.c. representation logic.
 # This assumes that we will see the 'main' version before the a.c. version.
@@ -118,8 +153,27 @@ sub useful_variant {
     return( undef, undef ) if $total <= 1;
     my( $groups, $text );
     foreach my $var ( keys %$readings ) {
-        push( @$groups, join( ',', @{$readings->{$var}} ) );
+        push( @$groups, $readings->{$var} );
         push( @$text, $var );
     }
     return( $groups, $text );
 }
+
+# Take an array of witness groupings and produce a string like
+# A,B / C,D,E / F
+
+sub wit_stringify {
+    my $groups = shift;
+    my @gst;
+    # If we were passed an array of witnesses instead of an array of 
+    # groupings, then "group" the witnesses first.
+    unless( ref( $groups->[0] ) ) {
+        my $mkgrp = [ $groups ];
+        $groups = $mkgrp;
+    }
+    foreach my $g ( @$groups ) {
+        push( @gst, join( ',', @$g ) );
+    }
+    return join( ' / ', @gst );
+}
+    
\ No newline at end of file