lib/Text/Tradition/Collation.pm

   1 package Text::Tradition::Collation;
   2
   3 use Encode qw( decode_utf8 );
   4 use File::Temp;
   5 use Graph;
   6 use IPC::Run qw( run binary );
   7 use Text::CSV_XS;
   8 use Text::Tradition::Collation::Reading;
   9 use Text::Tradition::Collation::RelationshipStore;
  10 use Text::Tradition::Error;
  11 use XML::LibXML;
  12 use XML::LibXML::XPathContext;
  13 use Moose;
  14
  15 has 'sequence' => (
  16     is => 'ro',
  17     isa => 'Graph',
  18     default => sub { Graph->new() },
  19     handles => {
  20         paths => 'edges',
  21     },
  22     );
  23
  24 has 'relations' => (
  25         is => 'ro',
  26         isa => 'Text::Tradition::Collation::RelationshipStore',
  27         handles => {
  28                 relationships => 'relationships',
  29                 related_readings => 'related_readings',
  30         },
  31         writer => '_set_relations',
  32         );
  33
  34 has 'tradition' => (
  35     is => 'ro',
  36     isa => 'Text::Tradition',
  37     weak_ref => 1,
  38     );
  39
  40 has 'readings' => (
  41         isa => 'HashRef[Text::Tradition::Collation::Reading]',
  42         traits => ['Hash'],
  43     handles => {
  44         reading     => 'get',
  45         _add_reading => 'set',
  46         del_reading => 'delete',
  47         has_reading => 'exists',
  48         readings   => 'values',
  49     },
  50     default => sub { {} },
  51         );
  52
  53 has 'wit_list_separator' => (
  54     is => 'rw',
  55     isa => 'Str',
  56     default => ', ',
  57     );
  58
  59 has 'baselabel' => (
  60     is => 'rw',
  61     isa => 'Str',
  62     default => 'base text',
  63     );
  64
  65 has 'linear' => (
  66     is => 'rw',
  67     isa => 'Bool',
  68     default => 1,
  69     );
  70
  71 has 'ac_label' => (
  72     is => 'rw',
  73     isa => 'Str',
  74     default => ' (a.c.)',
  75     );
  76
  77 has 'start' => (
  78         is => 'ro',
  79         isa => 'Text::Tradition::Collation::Reading',
  80         writer => '_set_start',
  81         weak_ref => 1,
  82         );
  83
  84 has 'end' => (
  85         is => 'ro',
  86         isa => 'Text::Tradition::Collation::Reading',
  87         writer => '_set_end',
  88         weak_ref => 1,
  89         );
  90
  91 =head1 NAME
  92
  93 Text::Tradition::Collation - a software model for a text collation
  94
  95 =head1 SYNOPSIS
  96
  97   use Text::Tradition;
  98   my $t = Text::Tradition->new(
  99     'name' => 'this is a text',
 100     'input' => 'TEI',
 101     'file' => '/path/to/tei_parallel_seg_file.xml' );
 102
 103   my $c = $t->collation;
 104   my @readings = $c->readings;
 105   my @paths = $c->paths;
 106   my @relationships = $c->relationships;
 107
 108   my $svg_variant_graph = $t->collation->as_svg();
 109
 110 =head1 DESCRIPTION
 111
 112 Text::Tradition is a library for representation and analysis of collated
 113 texts, particularly medieval ones.  The Collation is the central feature of
 114 a Tradition, where the text, its sequence of readings, and its relationships
 115 between readings are actually kept.
 116
 117 =head1 CONSTRUCTOR
 118
 119 =head2 new
 120
 121 The constructor.  Takes a hash or hashref of the following arguments:
 122
 123 =over
 124
 125 =item * tradition - The Text::Tradition object to which the collation
 126 belongs. Required.
 127
 128 =item * linear - Whether the collation should be linear; that is, whether
 129 transposed readings should be treated as two linked readings rather than one,
 130 and therefore whether the collation graph is acyclic.  Defaults to true.
 131
 132 =item * baselabel - The default label for the path taken by a base text
 133 (if any). Defaults to 'base text'.
 134
 135 =item * wit_list_separator - The string to join a list of witnesses for
 136 purposes of making labels in display graphs.  Defaults to ', '.
 137
 138 =item * ac_label - The extra label to tack onto a witness sigil when
 139 representing another layer of path for the given witness - that is, when
 140 a text has more than one possible reading due to scribal corrections or
 141 the like.  Defaults to ' (a.c.)'.
 142
 143 =back
 144
 145 =head1 ACCESSORS
 146
 147 =head2 tradition
 148
 149 =head2 linear
 150
 151 =head2 wit_list_separator
 152
 153 =head2 baselabel
 154
 155 =head2 ac_label
 156
 157 Simple accessors for collation attributes.
 158
 159 =head2 start
 160
 161 The meta-reading at the start of every witness path.
 162
 163 =head2 end
 164
 165 The meta-reading at the end of every witness path.
 166
 167 =head2 readings
 168
 169 Returns all Reading objects in the graph.
 170
 171 =head2 reading( $id )
 172
 173 Returns the Reading object corresponding to the given ID.
 174
 175 =head2 add_reading( $reading_args )
 176
 177 Adds a new reading object to the collation.
 178 See L<Text::Tradition::Collation::Reading> for the available arguments.
 179
 180 =head2 del_reading( $object_or_id )
 181
 182 Removes the given reading from the collation, implicitly removing its
 183 paths and relationships.
 184
 185 =head2 merge_readings( $main, $second )
 186
 187 Merges the $second reading into the $main one.
 188 The arguments may be either readings or reading IDs.
 189
 190 =head2 has_reading( $id )
 191
 192 Predicate to see whether a given reading ID is in the graph.
 193
 194 =head2 reading_witnesses( $object_or_id )
 195
 196 Returns a list of sigils whose witnesses contain the reading.
 197
 198 =head2 paths
 199
 200 Returns all reading paths within the document - that is, all edges in the
 201 collation graph.  Each path is an arrayref of [ $source, $target ] reading IDs.
 202
 203 =head2 add_path( $source, $target, $sigil )
 204
 205 Links the given readings in the collation in sequence, under the given witness
 206 sigil.  The readings may be specified by object or ID.
 207
 208 =head2 del_path( $source, $target, $sigil )
 209
 210 Links the given readings in the collation in sequence, under the given witness
 211 sigil.  The readings may be specified by object or ID.
 212
 213 =head2 has_path( $source, $target );
 214
 215 Returns true if the two readings are linked in sequence in any witness.
 216 The readings may be specified by object or ID.
 217
 218 =head2 relationships
 219
 220 Returns all Relationship objects in the collation.
 221
 222 =head2 add_relationship( $reading, $other_reading, $options )
 223
 224 Adds a new relationship of the type given in $options between the two readings,
 225 which may be specified by object or ID.  Returns a value of ( $status, @vectors)
 226 where $status is true on success, and @vectors is a list of relationship edges
 227 that were ultimately added.
 228 See L<Text::Tradition::Collation::Relationship> for the available options.
 229
 230 =cut
 231
 232 sub BUILD {
 233     my $self = shift;
 234     $self->_set_relations( Text::Tradition::Collation::RelationshipStore->new( 'collation' => $self ) );
 235     $self->_set_start( $self->add_reading( { 'collation' => $self, 'is_start' => 1 } ) );
 236     $self->_set_end( $self->add_reading( { 'collation' => $self, 'is_end' => 1 } ) );
 237 }
 238
 239 ### Reading construct/destruct functions
 240
 241 sub add_reading {
 242         my( $self, $reading ) = @_;
 243         unless( ref( $reading ) eq 'Text::Tradition::Collation::Reading' ) {
 244                 my %args = %$reading;
 245                 $reading = Text::Tradition::Collation::Reading->new(
 246                         'collation' => $self,
 247                         %args );
 248         }
 249         # First check to see if a reading with this ID exists.
 250         if( $self->reading( $reading->id ) ) {
 251                 throw( "Collation already has a reading with id " . $reading->id );
 252         }
 253         $self->_add_reading( $reading->id => $reading );
 254         # Once the reading has been added, put it in both graphs.
 255         $self->sequence->add_vertex( $reading->id );
 256         $self->relations->add_reading( $reading->id );
 257         return $reading;
 258 };
 259
 260 around del_reading => sub {
 261         my $orig = shift;
 262         my $self = shift;
 263         my $arg = shift;
 264
 265         if( ref( $arg ) eq 'Text::Tradition::Collation::Reading' ) {
 266                 $arg = $arg->id;
 267         }
 268         # Remove the reading from the graphs.
 269         $self->sequence->delete_vertex( $arg );
 270         $self->relations->delete_reading( $arg );
 271
 272         # Carry on.
 273         $self->$orig( $arg );
 274 };
 275
 276 # merge_readings( $main, $to_be_deleted );
 277
 278 sub merge_readings {
 279         my $self = shift;
 280
 281         # We only need the IDs for adding paths to the graph, not the reading
 282         # objects themselves.
 283     my( $kept, $deleted, $combine_char ) = $self->_stringify_args( @_ );
 284
 285     # The kept reading should inherit the paths and the relationships
 286     # of the deleted reading.
 287         foreach my $path ( $self->sequence->edges_at( $deleted ) ) {
 288                 my @vector = ( $kept );
 289                 push( @vector, $path->[1] ) if $path->[0] eq $deleted;
 290                 unshift( @vector, $path->[0] ) if $path->[1] eq $deleted;
 291                 next if $vector[0] eq $vector[1]; # Don't add a self loop
 292                 my %wits = %{$self->sequence->get_edge_attributes( @$path )};
 293                 $self->sequence->add_edge( @vector );
 294                 my $fwits = $self->sequence->get_edge_attributes( @vector );
 295                 @wits{keys %$fwits} = values %$fwits;
 296                 $self->sequence->set_edge_attributes( @vector, \%wits );
 297         }
 298         $self->relations->merge_readings( $kept, $deleted, $combine_char );
 299
 300         # Do the deletion deed.
 301         if( $combine_char ) {
 302                 my $kept_obj = $self->reading( $kept );
 303                 my $new_text = join( $combine_char, $kept_obj->text,
 304                         $self->reading( $deleted )->text );
 305                 $kept_obj->alter_text( $new_text );
 306         }
 307         $self->del_reading( $deleted );
 308 }
 309
 310
 311 # Helper function for manipulating the graph.
 312 sub _stringify_args {
 313         my( $self, $first, $second, $arg ) = @_;
 314     $first = $first->id
 315         if ref( $first ) eq 'Text::Tradition::Collation::Reading';
 316     $second = $second->id
 317         if ref( $second ) eq 'Text::Tradition::Collation::Reading';
 318     return( $first, $second, $arg );
 319 }
 320
 321 # Helper function for manipulating the graph.
 322 sub _objectify_args {
 323         my( $self, $first, $second, $arg ) = @_;
 324     $first = $self->reading( $first )
 325         unless ref( $first ) eq 'Text::Tradition::Collation::Reading';
 326     $second = $self->reading( $second )
 327         unless ref( $second ) eq 'Text::Tradition::Collation::Reading';
 328     return( $first, $second, $arg );
 329 }
 330 ### Path logic
 331
 332 sub add_path {
 333         my $self = shift;
 334
 335         # We only need the IDs for adding paths to the graph, not the reading
 336         # objects themselves.
 337     my( $source, $target, $wit ) = $self->_stringify_args( @_ );
 338
 339         # Connect the readings
 340     $self->sequence->add_edge( $source, $target );
 341     # Note the witness in question
 342     $self->sequence->set_edge_attribute( $source, $target, $wit, 1 );
 343 };
 344
 345 sub del_path {
 346         my $self = shift;
 347         my @args;
 348         if( ref( $_[0] ) eq 'ARRAY' ) {
 349                 my $e = shift @_;
 350                 @args = ( @$e, @_ );
 351         } else {
 352                 @args = @_;
 353         }
 354
 355         # We only need the IDs for adding paths to the graph, not the reading
 356         # objects themselves.
 357     my( $source, $target, $wit ) = $self->_stringify_args( @args );
 358
 359         if( $self->sequence->has_edge_attribute( $source, $target, $wit ) ) {
 360                 $self->sequence->delete_edge_attribute( $source, $target, $wit );
 361         }
 362         unless( keys %{$self->sequence->get_edge_attributes( $source, $target )} ) {
 363                 $self->sequence->delete_edge( $source, $target );
 364         }
 365 }
 366
 367
 368 # Extra graph-alike utility
 369 sub has_path {
 370         my $self = shift;
 371     my( $source, $target, $wit ) = $self->_stringify_args( @_ );
 372         return undef unless $self->sequence->has_edge( $source, $target );
 373         return $self->sequence->has_edge_attribute( $source, $target, $wit );
 374 }
 375
 376 =head2 clear_witness( @sigil_list )
 377
 378 Clear the given witnesses out of the collation entirely, removing references
 379 to them in paths, and removing readings that belong only to them.  Should only
 380 be called via $tradition->del_witness.
 381
 382 =cut
 383
 384 sub clear_witness {
 385         my( $self, @sigils ) = @_;
 386
 387         # Clear the witness(es) out of the paths
 388         foreach my $e ( $self->paths ) {
 389                 foreach my $sig ( @sigils ) {
 390                         $self->del_path( $e, $sig );
 391                 }
 392         }
 393
 394         # Clear out the newly unused readings
 395         foreach my $r ( $self->readings ) {
 396                 unless( $self->reading_witnesses( $r ) ) {
 397                         $self->del_reading( $r );
 398                 }
 399         }
 400 }
 401
 402 sub add_relationship {
 403         my $self = shift;
 404     my( $source, $target, $opts ) = $self->_stringify_args( @_ );
 405     my( @vectors ) = $self->relations->add_relationship( $source,
 406         $self->reading( $source ), $target, $self->reading( $target ), $opts );
 407     # Force a full rank recalculation every time. Yuck.
 408     $self->calculate_ranks() if $self->end->has_rank;
 409     return @vectors;
 410 }
 411
 412 =head2 reading_witnesses( $reading )
 413
 414 Return a list of sigils corresponding to the witnesses in which the reading appears.
 415
 416 =cut
 417
 418 sub reading_witnesses {
 419         my( $self, $reading ) = @_;
 420         # We need only check either the incoming or the outgoing edges; I have
 421         # arbitrarily chosen "incoming".  Thus, special-case the start node.
 422         if( $reading eq $self->start ) {
 423                 return map { $_->sigil } $self->tradition->witnesses;
 424         }
 425         my %all_witnesses;
 426         foreach my $e ( $self->sequence->edges_to( $reading ) ) {
 427                 my $wits = $self->sequence->get_edge_attributes( @$e );
 428                 @all_witnesses{ keys %$wits } = 1;
 429         }
 430         return keys %all_witnesses;
 431 }
 432
 433 =head1 OUTPUT METHODS
 434
 435 =head2 as_svg( \%options )
 436
 437 Returns an SVG string that represents the graph, via as_dot and graphviz.
 438 See as_dot for a list of options.
 439
 440 =cut
 441
 442 sub as_svg {
 443     my( $self, $opts ) = @_;
 444
 445     my @cmd = qw/dot -Tsvg/;
 446     my( $svg, $err );
 447     my $dotfile = File::Temp->new();
 448     ## USE FOR DEBUGGING
 449     # $dotfile->unlink_on_destroy(0);
 450     binmode $dotfile, ':utf8';
 451     print $dotfile $self->as_dot( $opts );
 452     push( @cmd, $dotfile->filename );
 453     run( \@cmd, ">", binary(), \$svg );
 454     # HACK part 3 - remove silent node+edge
 455     my $parser = XML::LibXML->new();
 456     my $svgdom = $parser->parse_string( $svg );
 457     my $xpc = XML::LibXML::XPathContext->new( $svgdom->documentElement );
 458     $xpc->registerNs( 'svg', 'http://www.w3.org/2000/svg' );
 459     my @hacknodes = $xpc->findnodes( '//svg:g[contains(child::svg:title, "#SILENT#")]' );
 460     foreach my $h ( @hacknodes ) {
 461         $h->parentNode->removeChild( $h );
 462     }
 463     return decode_utf8( $svgdom->toString() );
 464 }
 465
 466
 467 =head2 as_dot( \%options )
 468
 469 Returns a string that is the collation graph expressed in dot
 470 (i.e. GraphViz) format.  Options include:
 471
 472 =over 4
 473
 474 =item * from
 475
 476 =item * to
 477
 478 =item * color_common
 479
 480 =back
 481
 482 =cut
 483
 484 sub as_dot {
 485     my( $self, $opts ) = @_;
 486     my $startrank = $opts->{'from'} if $opts;
 487     my $endrank = $opts->{'to'} if $opts;
 488     my $color_common = $opts->{'color_common'} if $opts;
 489     my $STRAIGHTENHACK = !$startrank && !$endrank && $self->end->rank
 490         && $self->end->rank > 100;
 491
 492     # Check the arguments
 493     if( $startrank ) {
 494         return if $endrank && $startrank > $endrank;
 495         return if $startrank > $self->end->rank;
 496         }
 497         if( defined $endrank ) {
 498                 return if $endrank < 0;
 499                 $endrank = undef if $endrank == $self->end->rank;
 500         }
 501
 502     # TODO consider making some of these things configurable
 503     my $graph_name = $self->tradition->name;
 504     $graph_name =~ s/[^\w\s]//g;
 505     $graph_name = join( '_', split( /\s+/, $graph_name ) );
 506
 507     my %graph_attrs = (
 508         'rankdir' => 'LR',
 509         'bgcolor' => 'none',
 510         );
 511     my %node_attrs = (
 512         'fontsize' => 11,
 513         'fillcolor' => 'white',
 514         'style' => 'filled',
 515         'shape' => 'ellipse'
 516         );
 517     my %edge_attrs = (
 518         'arrowhead' => 'open',
 519         'color' => '#000000',
 520         'fontcolor' => '#000000',
 521         );
 522
 523     my $dot = sprintf( "digraph %s {\n", $graph_name );
 524     $dot .= "\tgraph " . _dot_attr_string( \%graph_attrs ) . ";\n";
 525     $dot .= "\tnode " . _dot_attr_string( \%node_attrs ) . ";\n";
 526
 527         # Output substitute start/end readings if necessary
 528         if( $startrank ) {
 529                 $dot .= "\t\"#SUBSTART#\" [ label=\"...\" ];\n";
 530         }
 531         if( $endrank ) {
 532                 $dot .= "\t\"#SUBEND#\" [ label=\"...\" ];\n";
 533         }
 534         if( $STRAIGHTENHACK ) {
 535                 ## HACK part 1
 536                 $dot .= "\tsubgraph { rank=same \"#START#\" \"#SILENT#\" }\n";
 537                 $dot .= "\t\"#SILENT#\" [ color=white,penwidth=0,label=\"\" ];"
 538         }
 539         my %used;  # Keep track of the readings that actually appear in the graph
 540     foreach my $reading ( $self->readings ) {
 541         # Only output readings within our rank range.
 542         next if $startrank && $reading->rank < $startrank;
 543         next if $endrank && $reading->rank > $endrank;
 544         $used{$reading->id} = 1;
 545         # Need not output nodes without separate labels
 546         next if $reading->id eq $reading->text;
 547         my $rattrs;
 548         my $label = $reading->text;
 549         $label =~ s/\"/\\\"/g;
 550                 $rattrs->{'label'} = $label;
 551                 $rattrs->{'fillcolor'} = '#b3f36d' if $reading->is_common && $color_common;
 552         $dot .= sprintf( "\t\"%s\" %s;\n", $reading->id, _dot_attr_string( $rattrs ) );
 553     }
 554
 555         # Add the real edges
 556     my @edges = $self->paths;
 557         my( %substart, %subend );
 558     foreach my $edge ( @edges ) {
 559         # Do we need to output this edge?
 560         if( $used{$edge->[0]} && $used{$edge->[1]} ) {
 561                 my $label = $self->path_display_label( $self->path_witnesses( $edge ) );
 562                         my $variables = { %edge_attrs, 'label' => $label };
 563                         # Account for the rank gap if necessary
 564                         if( $self->reading( $edge->[1] )->has_rank
 565                                 && $self->reading( $edge->[0] )->has_rank
 566                                 && $self->reading( $edge->[1] )->rank
 567                                 - $self->reading( $edge->[0] )->rank > 1 ) {
 568                                 $variables->{'minlen'} = $self->reading( $edge->[1] )->rank
 569                                 - $self->reading( $edge->[0] )->rank;
 570                         }
 571                         # EXPERIMENTAL: make edge width reflect no. of witnesses
 572                         my $extrawidth = scalar( $self->path_witnesses( $edge ) ) * 0.2;
 573                         $variables->{'penwidth'} = $extrawidth + 0.8; # gives 1 for a single wit
 574
 575                         my $varopts = _dot_attr_string( $variables );
 576                         $dot .= sprintf( "\t\"%s\" -> \"%s\" %s;\n",
 577                                 $edge->[0], $edge->[1], $varopts );
 578         } elsif( $used{$edge->[0]} ) {
 579                 $subend{$edge->[0]} = 1;
 580         } elsif( $used{$edge->[1]} ) {
 581                 $substart{$edge->[1]} = 1;
 582         }
 583     }
 584     # Add substitute start and end edges if necessary
 585     foreach my $node ( keys %substart ) {
 586         my $witstr = $self->path_display_label ( $self->reading_witnesses( $self->reading( $node ) ) );
 587         my $variables = { %edge_attrs, 'label' => $witstr };
 588         my $varopts = _dot_attr_string( $variables );
 589         $dot .= "\t\"#SUBSTART#\" -> \"$node\" $varopts;";
 590         }
 591     foreach my $node ( keys %subend ) {
 592         my $witstr = $self->path_display_label ( $self->reading_witnesses( $self->reading( $node ) ) );
 593         my $variables = { %edge_attrs, 'label' => $witstr };
 594         my $varopts = _dot_attr_string( $variables );
 595         $dot .= "\t\"$node\" -> \"#SUBEND#\" $varopts;";
 596         }
 597         # HACK part 2
 598         if( $STRAIGHTENHACK ) {
 599                 $dot .= "\t\"#END#\" -> \"#SILENT#\" [ color=white,penwidth=0 ];\n";
 600         }
 601
 602     $dot .= "}\n";
 603     return $dot;
 604 }
 605
 606 sub _dot_attr_string {
 607         my( $hash ) = @_;
 608         my @attrs;
 609         foreach my $k ( sort keys %$hash ) {
 610                 my $v = $hash->{$k};
 611                 push( @attrs, $k.'="'.$v.'"' );
 612         }
 613         return( '[ ' . join( ', ', @attrs ) . ' ]' );
 614 }
 615
 616 sub path_witnesses {
 617         my( $self, @edge ) = @_;
 618         # If edge is an arrayref, cope.
 619         if( @edge == 1 && ref( $edge[0] ) eq 'ARRAY' ) {
 620                 my $e = shift @edge;
 621                 @edge = @$e;
 622         }
 623         my @wits = keys %{$self->sequence->get_edge_attributes( @edge )};
 624         return @wits;
 625 }
 626
 627 sub path_display_label {
 628         my $self = shift;
 629         my @wits = sort @_;
 630         my $maj = scalar( $self->tradition->witnesses ) * 0.6;
 631         if( scalar @wits > $maj ) {
 632                 # TODO break out a.c. wits
 633                 return 'majority';
 634         } else {
 635                 return join( ', ', @wits );
 636         }
 637 }
 638
 639
 640 =head2 as_graphml
 641
 642 Returns a GraphML representation of the collation.  The GraphML will contain
 643 two graphs. The first expresses the attributes of the readings and the witness
 644 paths that link them; the second expresses the relationships that link the
 645 readings.  This is the native transfer format for a tradition.
 646
 647 =begin testing
 648
 649 use Text::Tradition;
 650
 651 my $READINGS = 311;
 652 my $PATHS = 361;
 653
 654 my $datafile = 't/data/florilegium_tei_ps.xml';
 655 my $tradition = Text::Tradition->new( 'input' => 'TEI',
 656                                       'name' => 'test0',
 657                                       'file' => $datafile,
 658                                       'linear' => 1 );
 659
 660 ok( $tradition, "Got a tradition object" );
 661 is( scalar $tradition->witnesses, 13, "Found all witnesses" );
 662 ok( $tradition->collation, "Tradition has a collation" );
 663
 664 my $c = $tradition->collation;
 665 is( scalar $c->readings, $READINGS, "Collation has all readings" );
 666 is( scalar $c->paths, $PATHS, "Collation has all paths" );
 667 is( scalar $c->relationships, 0, "Collation has all relationships" );
 668
 669 # Add a few relationships
 670 $c->add_relationship( 'w123', 'w125', { 'type' => 'collated' } );
 671 $c->add_relationship( 'w193', 'w196', { 'type' => 'collated' } );
 672 $c->add_relationship( 'w257', 'w262', { 'type' => 'transposition' } );
 673
 674 # Now write it to GraphML and parse it again.
 675
 676 my $graphml = $c->as_graphml;
 677 my $st = Text::Tradition->new( 'input' => 'Self', 'string' => $graphml );
 678 is( scalar $st->collation->readings, $READINGS, "Reparsed collation has all readings" );
 679 is( scalar $st->collation->paths, $PATHS, "Reparsed collation has all paths" );
 680 is( scalar $st->collation->relationships, 3, "Reparsed collation has new relationships" );
 681
 682 =end testing
 683
 684 =cut
 685
 686 sub as_graphml {
 687     my( $self ) = @_;
 688
 689     # Some namespaces
 690     my $graphml_ns = 'http://graphml.graphdrawing.org/xmlns';
 691     my $xsi_ns = 'http://www.w3.org/2001/XMLSchema-instance';
 692     my $graphml_schema = 'http://graphml.graphdrawing.org/xmlns ' .
 693         'http://graphml.graphdrawing.org/xmlns/1.0/graphml.xsd';
 694
 695     # Create the document and root node
 696     my $graphml = XML::LibXML->createDocument( "1.0", "UTF-8" );
 697     my $root = $graphml->createElementNS( $graphml_ns, 'graphml' );
 698     $graphml->setDocumentElement( $root );
 699     $root->setNamespace( $xsi_ns, 'xsi', 0 );
 700     $root->setAttributeNS( $xsi_ns, 'schemaLocation', $graphml_schema );
 701
 702     # Add the data keys for the graph
 703     my %graph_data_keys;
 704     my $gdi = 0;
 705     my @graph_attributes = qw/ version wit_list_separator baselabel linear ac_label /;
 706     foreach my $datum ( @graph_attributes ) {
 707         $graph_data_keys{$datum} = 'dg'.$gdi++;
 708         my $key = $root->addNewChild( $graphml_ns, 'key' );
 709         $key->setAttribute( 'attr.name', $datum );
 710         $key->setAttribute( 'attr.type', $key eq 'linear' ? 'boolean' : 'string' );
 711         $key->setAttribute( 'for', 'graph' );
 712         $key->setAttribute( 'id', $graph_data_keys{$datum} );
 713     }
 714
 715     # Add the data keys for nodes
 716     my %node_data_keys;
 717     my $ndi = 0;
 718     my %node_data = (
 719         id => 'string',
 720         text => 'string',
 721         rank => 'string',
 722         is_start => 'boolean',
 723         is_end => 'boolean',
 724         is_lacuna => 'boolean',
 725         );
 726     foreach my $datum ( keys %node_data ) {
 727         $node_data_keys{$datum} = 'dn'.$ndi++;
 728         my $key = $root->addNewChild( $graphml_ns, 'key' );
 729         $key->setAttribute( 'attr.name', $datum );
 730         $key->setAttribute( 'attr.type', $node_data{$datum} );
 731         $key->setAttribute( 'for', 'node' );
 732         $key->setAttribute( 'id', $node_data_keys{$datum} );
 733     }
 734
 735     # Add the data keys for edges, i.e. witnesses
 736     my $edi = 0;
 737     my %edge_data_keys;
 738     my %edge_data = (
 739         class => 'string',                              # Class, deprecated soon
 740         witness => 'string',                    # ID/label for a path
 741         relationship => 'string',               # ID/label for a relationship
 742         extra => 'boolean',                             # Path key
 743         scope => 'string',                              # Relationship key
 744         non_correctable => 'boolean',   # Relationship key
 745         non_independent => 'boolean',   # Relationship key
 746         );
 747     foreach my $datum ( keys %edge_data ) {
 748         $edge_data_keys{$datum} = 'de'.$edi++;
 749         my $key = $root->addNewChild( $graphml_ns, 'key' );
 750         $key->setAttribute( 'attr.name', $datum );
 751         $key->setAttribute( 'attr.type', $edge_data{$datum} );
 752         $key->setAttribute( 'for', 'edge' );
 753         $key->setAttribute( 'id', $edge_data_keys{$datum} );
 754     }
 755
 756     # Add the collation graph itself
 757     my $sgraph = $root->addNewChild( $graphml_ns, 'graph' );
 758     $sgraph->setAttribute( 'edgedefault', 'directed' );
 759     $sgraph->setAttribute( 'id', $self->tradition->name );
 760     $sgraph->setAttribute( 'parse.edgeids', 'canonical' );
 761     $sgraph->setAttribute( 'parse.edges', scalar($self->paths) );
 762     $sgraph->setAttribute( 'parse.nodeids', 'canonical' );
 763     $sgraph->setAttribute( 'parse.nodes', scalar($self->readings) );
 764     $sgraph->setAttribute( 'parse.order', 'nodesfirst' );
 765
 766     # Collation attribute data
 767     foreach my $datum ( @graph_attributes ) {
 768         my $value = $datum eq 'version' ? '3.0' : $self->$datum;
 769                 _add_graphml_data( $sgraph, $graph_data_keys{$datum}, $value );
 770         }
 771
 772     my $node_ctr = 0;
 773     my %node_hash;
 774     # Add our readings to the graph
 775     foreach my $n ( sort { $a->id cmp $b->id } $self->readings ) {
 776         # Add to the main graph
 777         my $node_el = $sgraph->addNewChild( $graphml_ns, 'node' );
 778         my $node_xmlid = 'n' . $node_ctr++;
 779         $node_hash{ $n->id } = $node_xmlid;
 780         $node_el->setAttribute( 'id', $node_xmlid );
 781         foreach my $d ( keys %node_data ) {
 782                 my $nval = $n->$d;
 783                 _add_graphml_data( $node_el, $node_data_keys{$d}, $nval )
 784                         if defined $nval;
 785         }
 786     }
 787
 788     # Add the path edges to the sequence graph
 789     my $edge_ctr = 0;
 790     foreach my $e ( sort { $a->[0] cmp $b->[0] } $self->sequence->edges() ) {
 791         # We add an edge in the graphml for every witness in $e.
 792         foreach my $wit ( sort $self->path_witnesses( $e ) ) {
 793                         my( $id, $from, $to ) = ( 'e'.$edge_ctr++,
 794                                                                                 $node_hash{ $e->[0] },
 795                                                                                 $node_hash{ $e->[1] } );
 796                         my $edge_el = $sgraph->addNewChild( $graphml_ns, 'edge' );
 797                         $edge_el->setAttribute( 'source', $from );
 798                         $edge_el->setAttribute( 'target', $to );
 799                         $edge_el->setAttribute( 'id', $id );
 800
 801                         # It's a witness path, so add the witness
 802                         my $base = $wit;
 803                         my $key = $edge_data_keys{'witness'};
 804                         # Is this an ante-corr witness?
 805                         my $aclabel = $self->ac_label;
 806                         if( $wit =~ /^(.*)\Q$aclabel\E$/ ) {
 807                                 # Keep the base witness
 808                                 $base = $1;
 809                                 # ...and record that this is an 'extra' reading path
 810                                 _add_graphml_data( $edge_el, $edge_data_keys{'extra'}, $aclabel );
 811                         }
 812                         _add_graphml_data( $edge_el, $edge_data_keys{'witness'}, $base );
 813                         _add_graphml_data( $edge_el, $edge_data_keys{'class'}, 'path' );
 814                 }
 815         }
 816
 817         # Add the relationship graph to the XML
 818         $self->relations->as_graphml( $graphml_ns, $root, \%node_hash,
 819                 $node_data_keys{'id'}, \%edge_data_keys );
 820
 821     # Save and return the thing
 822     my $result = decode_utf8( $graphml->toString(1) );
 823     return $result;
 824 }
 825
 826 sub _add_graphml_data {
 827     my( $el, $key, $value ) = @_;
 828     return unless defined $value;
 829     my $data_el = $el->addNewChild( $el->namespaceURI, 'data' );
 830     $data_el->setAttribute( 'key', $key );
 831     $data_el->appendText( $value );
 832 }
 833
 834 =head2 as_csv
 835
 836 Returns a CSV alignment table representation of the collation graph, one
 837 row per witness (or witness uncorrected.)
 838
 839 =cut
 840
 841 sub as_csv {
 842     my( $self ) = @_;
 843     my $table = $self->make_alignment_table;
 844     my $csv = Text::CSV_XS->new( { binary => 1, quote_null => 0 } );
 845     my @result;
 846     # Make the header row
 847     $csv->combine( map { $_->{'witness'} } @{$table->{'alignment'}} );
 848         push( @result, decode_utf8( $csv->string ) );
 849     # Make the rest of the rows
 850     foreach my $idx ( 0 .. $table->{'length'} - 1 ) {
 851         my @rowobjs = map { $_->{'tokens'}->[$idx] } @{$table->{'alignment'}};
 852         my @row = map { $_ ? $_->{'t'} : $_ } @rowobjs;
 853         $csv->combine( @row );
 854         push( @result, decode_utf8( $csv->string ) );
 855     }
 856     return join( "\n", @result );
 857 }
 858
 859 =head2 make_alignment_table( $use_refs, $include_witnesses )
 860
 861 Return a reference to an alignment table, in a slightly enhanced CollateX
 862 format which looks like this:
 863
 864  $table = { alignment => [ { witness => "SIGIL",
 865                              tokens => [ { t => "TEXT" }, ... ] },
 866                            { witness => "SIG2",
 867                              tokens => [ { t => "TEXT" }, ... ] },
 868                            ... ],
 869             length => TEXTLEN };
 870
 871 If $use_refs is set to 1, the reading object is returned in the table
 872 instead of READINGTEXT; if not, the text of the reading is returned.
 873
 874 If $include_witnesses is set to a hashref, only the witnesses whose sigil
 875 keys have a true hash value will be included.
 876
 877 =cut
 878
 879 sub make_alignment_table {
 880     my( $self, $noderefs, $include ) = @_;
 881     # Make sure we can do this
 882         throw( "Need a linear graph in order to make an alignment table" )
 883                 unless $self->linear;
 884         $self->calculate_ranks unless $self->end->has_rank;
 885
 886     my $table = { 'alignment' => [], 'length' => $self->end->rank - 1 };
 887     my @all_pos = ( 1 .. $self->end->rank - 1 );
 888     foreach my $wit ( sort { $a->sigil cmp $b->sigil } $self->tradition->witnesses ) {
 889         if( $include ) {
 890                 next unless $include->{$wit->sigil};
 891         }
 892         # print STDERR "Making witness row(s) for " . $wit->sigil . "\n";
 893         my @wit_path = $self->reading_sequence( $self->start, $self->end, $wit->sigil );
 894         my @row = _make_witness_row( \@wit_path, \@all_pos, $noderefs );
 895         push( @{$table->{'alignment'}},
 896                 { 'witness' => $wit->sigil, 'tokens' => \@row } );
 897         if( $wit->is_layered ) {
 898                 my @wit_ac_path = $self->reading_sequence( $self->start, $self->end,
 899                         $wit->sigil.$self->ac_label );
 900             my @ac_row = _make_witness_row( \@wit_ac_path, \@all_pos, $noderefs );
 901                         push( @{$table->{'alignment'}},
 902                                 { 'witness' => $wit->sigil.$self->ac_label, 'tokens' => \@ac_row } );
 903         }
 904     }
 905         return $table;
 906 }
 907
 908 sub _make_witness_row {
 909     my( $path, $positions, $noderefs ) = @_;
 910     my %char_hash;
 911     map { $char_hash{$_} = undef } @$positions;
 912     my $debug = 0;
 913     foreach my $rdg ( @$path ) {
 914         my $rtext = $rdg->text;
 915         $rtext = '#LACUNA#' if $rdg->is_lacuna;
 916         print STDERR "rank " . $rdg->rank . "\n" if $debug;
 917         # print STDERR "No rank for " . $rdg->id . "\n" unless defined $rdg->rank;
 918         $char_hash{$rdg->rank} = $noderefs ? { 't' => $rdg }
 919                                                                            : { 't' => $rtext };
 920     }
 921     my @row = map { $char_hash{$_} } @$positions;
 922     # Fill in lacuna markers for undef spots in the row
 923     my $last_el = shift @row;
 924     my @filled_row = ( $last_el );
 925     foreach my $el ( @row ) {
 926         # If we are using node reference, make the lacuna node appear many times
 927         # in the table.  If not, use the lacuna tag.
 928         if( $last_el && _el_is_lacuna( $last_el ) && !defined $el ) {
 929             $el = $noderefs ? $last_el : { 't' => '#LACUNA#' };
 930         }
 931         push( @filled_row, $el );
 932         $last_el = $el;
 933     }
 934     return @filled_row;
 935 }
 936
 937 # Tiny utility function to say if a table element is a lacuna
 938 sub _el_is_lacuna {
 939     my $el = shift;
 940     return 1 if $el->{'t'} eq '#LACUNA#';
 941     return 1 if ref( $el->{'t'} ) eq 'Text::Tradition::Collation::Reading'
 942         && $el->{'t'}->is_lacuna;
 943     return 0;
 944 }
 945
 946 # Helper to turn the witnesses along columns rather than rows.  Assumes
 947 # equal-sized rows.
 948 sub _turn_table {
 949     my( $table ) = @_;
 950     my $result = [];
 951     return $result unless scalar @$table;
 952     my $nrows = scalar @{$table->[0]};
 953     foreach my $idx ( 0 .. $nrows - 1 ) {
 954         foreach my $wit ( 0 .. $#{$table} ) {
 955             $result->[$idx]->[$wit] = $table->[$wit]->[$idx];
 956         }
 957     }
 958     return $result;
 959 }
 960
 961 =head1 NAVIGATION METHODS
 962
 963 =head2 reading_sequence( $first, $last, $sigil, $backup )
 964
 965 Returns the ordered list of readings, starting with $first and ending
 966 with $last, for the witness given in $sigil. If a $backup sigil is
 967 specified (e.g. when walking a layered witness), it will be used wherever
 968 no $sigil path exists.  If there is a base text reading, that will be
 969 used wherever no path exists for $sigil or $backup.
 970
 971 =cut
 972
 973 # TODO Think about returning some lazy-eval iterator.
 974 # TODO Get rid of backup; we should know from what witness is whether we need it.
 975
 976 sub reading_sequence {
 977     my( $self, $start, $end, $witness ) = @_;
 978
 979     $witness = $self->baselabel unless $witness;
 980     my @readings = ( $start );
 981     my %seen;
 982     my $n = $start;
 983     while( $n && $n->id ne $end->id ) {
 984         if( exists( $seen{$n->id} ) ) {
 985             throw( "Detected loop for $witness at " . $n->id );
 986         }
 987         $seen{$n->id} = 1;
 988
 989         my $next = $self->next_reading( $n, $witness );
 990         unless( $next ) {
 991             throw( "Did not find any path for $witness from reading " . $n->id );
 992         }
 993         push( @readings, $next );
 994         $n = $next;
 995     }
 996     # Check that the last reading is our end reading.
 997     my $last = $readings[$#readings];
 998     throw( "Last reading found from " . $start->text .
 999         " for witness $witness is not the end!" ) # TODO do we get this far?
1000         unless $last->id eq $end->id;
1001
1002     return @readings;
1003 }
1004
1005 =head2 next_reading( $reading, $sigil );
1006
1007 Returns the reading that follows the given reading along the given witness
1008 path.
1009
1010 =cut
1011
1012 sub next_reading {
1013     # Return the successor via the corresponding path.
1014     my $self = shift;
1015     my $answer = $self->_find_linked_reading( 'next', @_ );
1016         return undef unless $answer;
1017     return $self->reading( $answer );
1018 }
1019
1020 =head2 prior_reading( $reading, $sigil )
1021
1022 Returns the reading that precedes the given reading along the given witness
1023 path.
1024
1025 =cut
1026
1027 sub prior_reading {
1028     # Return the predecessor via the corresponding path.
1029     my $self = shift;
1030     my $answer = $self->_find_linked_reading( 'prior', @_ );
1031     return $self->reading( $answer );
1032 }
1033
1034 sub _find_linked_reading {
1035     my( $self, $direction, $node, $path ) = @_;
1036
1037     # Get a backup if we are dealing with a layered witness
1038     my $alt_path;
1039     my $aclabel = $self->ac_label;
1040     if( $path && $path =~ /^(.*)\Q$aclabel\E$/ ) {
1041         $alt_path = $1;
1042     }
1043
1044     my @linked_paths = $direction eq 'next'
1045         ? $self->sequence->edges_from( $node )
1046         : $self->sequence->edges_to( $node );
1047     return undef unless scalar( @linked_paths );
1048
1049     # We have to find the linked path that contains all of the
1050     # witnesses supplied in $path.
1051     my( @path_wits, @alt_path_wits );
1052     @path_wits = sort( $self->_witnesses_of_label( $path ) ) if $path;
1053     @alt_path_wits = sort( $self->_witnesses_of_label( $alt_path ) ) if $alt_path;
1054     my $base_le;
1055     my $alt_le;
1056     foreach my $le ( @linked_paths ) {
1057         if( $self->sequence->has_edge_attribute( @$le, $self->baselabel ) ) {
1058             $base_le = $le;
1059         }
1060                 my @le_wits = sort $self->path_witnesses( $le );
1061                 if( _is_within( \@path_wits, \@le_wits ) ) {
1062                         # This is the right path.
1063                         return $direction eq 'next' ? $le->[1] : $le->[0];
1064                 } elsif( _is_within( \@alt_path_wits, \@le_wits ) ) {
1065                         $alt_le = $le;
1066                 }
1067     }
1068     # Got this far? Return the alternate path if it exists.
1069     return $direction eq 'next' ? $alt_le->[1] : $alt_le->[0]
1070         if $alt_le;
1071
1072     # Got this far? Return the base path if it exists.
1073     return $direction eq 'next' ? $base_le->[1] : $base_le->[0]
1074         if $base_le;
1075
1076     # Got this far? We have no appropriate path.
1077     warn "Could not find $direction node from " . $node->id
1078         . " along path $path";
1079     return undef;
1080 }
1081
1082 # Some set logic.
1083 sub _is_within {
1084     my( $set1, $set2 ) = @_;
1085     my $ret = @$set1; # will be 0, i.e. false, if set1 is empty
1086     foreach my $el ( @$set1 ) {
1087         $ret = 0 unless grep { /^\Q$el\E$/ } @$set2;
1088     }
1089     return $ret;
1090 }
1091
1092 # Return the string that joins together a list of witnesses for
1093 # display on a single path.
1094 sub _witnesses_of_label {
1095     my( $self, $label ) = @_;
1096     my $regex = $self->wit_list_separator;
1097     my @answer = split( /\Q$regex\E/, $label );
1098     return @answer;
1099 }
1100
1101 =head2 common_readings
1102
1103 Returns the list of common readings in the graph (i.e. those readings that are
1104 shared by all non-lacunose witnesses.)
1105
1106 =cut
1107
1108 sub common_readings {
1109         my $self = shift;
1110         my @common = grep { $_->is_common } $self->readings;
1111         return @common;
1112 }
1113
1114 =head2 path_text( $sigil, $mainsigil [, $start, $end ] )
1115
1116 Returns the text of a witness (plus its backup, if we are using a layer)
1117 as stored in the collation.  The text is returned as a string, where the
1118 individual readings are joined with spaces and the meta-readings (e.g.
1119 lacunae) are omitted.  Optional specification of $start and $end allows
1120 the generation of a subset of the witness text.
1121
1122 =cut
1123
1124 sub path_text {
1125         my( $self, $wit, $start, $end ) = @_;
1126         $start = $self->start unless $start;
1127         $end = $self->end unless $end;
1128         my @path = grep { !$_->is_meta } $self->reading_sequence( $start, $end, $wit );
1129         return join( ' ', map { $_->text } @path );
1130 }
1131
1132 =head1 INITIALIZATION METHODS
1133
1134 These are mostly for use by parsers.
1135
1136 =head2 make_witness_path( $witness )
1137
1138 Link the array of readings contained in $witness->path (and in
1139 $witness->uncorrected_path if it exists) into collation paths.
1140 Clear out the arrays when finished.
1141
1142 =head2 make_witness_paths
1143
1144 Call make_witness_path for all witnesses in the tradition.
1145
1146 =cut
1147
1148 # For use when a collation is constructed from a base text and an apparatus.
1149 # We have the sequences of readings and just need to add path edges.
1150 # When we are done, clear out the witness path attributes, as they are no
1151 # longer needed.
1152 # TODO Find a way to replace the witness path attributes with encapsulated functions?
1153
1154 sub make_witness_paths {
1155     my( $self ) = @_;
1156     foreach my $wit ( $self->tradition->witnesses ) {
1157         # print STDERR "Making path for " . $wit->sigil . "\n";
1158         $self->make_witness_path( $wit );
1159     }
1160 }
1161
1162 sub make_witness_path {
1163     my( $self, $wit ) = @_;
1164     my @chain = @{$wit->path};
1165     my $sig = $wit->sigil;
1166     foreach my $idx ( 0 .. $#chain-1 ) {
1167         $self->add_path( $chain[$idx], $chain[$idx+1], $sig );
1168     }
1169     if( $wit->is_layered ) {
1170         @chain = @{$wit->uncorrected_path};
1171         foreach my $idx( 0 .. $#chain-1 ) {
1172             my $source = $chain[$idx];
1173             my $target = $chain[$idx+1];
1174             $self->add_path( $source, $target, $sig.$self->ac_label )
1175                 unless $self->has_path( $source, $target, $sig );
1176         }
1177     }
1178     $wit->clear_path;
1179     $wit->clear_uncorrected_path;
1180 }
1181
1182 =head2 calculate_ranks
1183
1184 Calculate the reading ranks (that is, their aligned positions relative
1185 to each other) for the graph.  This can only be called on linear collations.
1186
1187 =cut
1188
1189 sub calculate_ranks {
1190     my $self = shift;
1191     # Walk a version of the graph where every node linked by a relationship
1192     # edge is fundamentally the same node, and do a topological ranking on
1193     # the nodes in this graph.
1194     my $topo_graph = Graph->new();
1195     my %rel_containers;
1196     my $rel_ctr = 0;
1197     # Add the nodes
1198     foreach my $r ( $self->readings ) {
1199         next if exists $rel_containers{$r->id};
1200         my @rels = $r->related_readings( 'colocated' );
1201         if( @rels ) {
1202             # Make a relationship container.
1203             push( @rels, $r );
1204             my $rn = 'rel_container_' . $rel_ctr++;
1205             $topo_graph->add_vertex( $rn );
1206             foreach( @rels ) {
1207                 $rel_containers{$_->id} = $rn;
1208             }
1209         } else {
1210             # Add a new node to mirror the old node.
1211             $rel_containers{$r->id} = $r->id;
1212             $topo_graph->add_vertex( $r->id );
1213         }
1214     }
1215
1216     # Add the edges.
1217     foreach my $r ( $self->readings ) {
1218         foreach my $n ( $self->sequence->successors( $r->id ) ) {
1219                 my( $tfrom, $tto ) = ( $rel_containers{$r->id},
1220                         $rel_containers{$n} );
1221                 # $DB::single = 1 unless $tfrom && $tto;
1222             $topo_graph->add_edge( $tfrom, $tto );
1223         }
1224     }
1225
1226     # Now do the rankings, starting with the start node.
1227     my $topo_start = $rel_containers{$self->start->id};
1228     my $node_ranks = { $topo_start => 0 };
1229     my @curr_origin = ( $topo_start );
1230     # A little iterative function.
1231     while( @curr_origin ) {
1232         @curr_origin = _assign_rank( $topo_graph, $node_ranks, @curr_origin );
1233     }
1234     # Transfer our rankings from the topological graph to the real one.
1235     foreach my $r ( $self->readings ) {
1236         if( defined $node_ranks->{$rel_containers{$r->id}} ) {
1237             $r->rank( $node_ranks->{$rel_containers{$r->id}} );
1238         } else {
1239                 # Die. Find the last rank we calculated.
1240                 my @all_defined = sort { $node_ranks->{$rel_containers{$a->id}}
1241                                  <=> $node_ranks->{$rel_containers{$b->id}} }
1242                         $self->readings;
1243                 my $last = pop @all_defined;
1244             throw( "Ranks not calculated after $last - do you have a cycle in the graph?" );
1245         }
1246     }
1247 }
1248
1249 sub _assign_rank {
1250     my( $graph, $node_ranks, @current_nodes ) = @_;
1251     # Look at each of the children of @current_nodes.  If all the child's
1252     # parents have a rank, assign it the highest rank + 1 and add it to
1253     # @next_nodes.  Otherwise skip it; we will return when the highest-ranked
1254     # parent gets a rank.
1255     my @next_nodes;
1256     foreach my $c ( @current_nodes ) {
1257         warn "Current reading $c has no rank!"
1258             unless exists $node_ranks->{$c};
1259         # print STDERR "Looking at child of node $c, rank "
1260         #     . $node_ranks->{$c} . "\n";
1261         foreach my $child ( $graph->successors( $c ) ) {
1262             next if exists $node_ranks->{$child};
1263             my $highest_rank = -1;
1264             my $skip = 0;
1265             foreach my $parent ( $graph->predecessors( $child ) ) {
1266                 if( exists $node_ranks->{$parent} ) {
1267                     $highest_rank = $node_ranks->{$parent}
1268                         if $highest_rank <= $node_ranks->{$parent};
1269                 } else {
1270                     $skip = 1;
1271                     last;
1272                 }
1273             }
1274             next if $skip;
1275             my $c_rank = $highest_rank + 1;
1276             # print STDERR "Assigning rank $c_rank to node $child \n";
1277             $node_ranks->{$child} = $c_rank;
1278             push( @next_nodes, $child );
1279         }
1280     }
1281     return @next_nodes;
1282 }
1283
1284 =head2 flatten_ranks
1285
1286 A convenience method for parsing collation data.  Searches the graph for readings
1287 with the same text at the same rank, and merges any that are found.
1288
1289 =cut
1290
1291 sub flatten_ranks {
1292     my $self = shift;
1293     my %unique_rank_rdg;
1294     foreach my $rdg ( $self->readings ) {
1295         next unless $rdg->has_rank;
1296         my $key = $rdg->rank . "||" . $rdg->text;
1297         if( exists $unique_rank_rdg{$key} ) {
1298             # Combine!
1299                 # print STDERR "Combining readings at same rank: $key\n";
1300             $self->merge_readings( $unique_rank_rdg{$key}, $rdg );
1301             # TODO see if this now makes a common point.
1302         } else {
1303             $unique_rank_rdg{$key} = $rdg;
1304         }
1305     }
1306 }
1307
1308 =head2 calculate_common_readings
1309
1310 Goes through the graph identifying the readings that appear in every witness
1311 (apart from those with lacunae at that spot.) Marks them as common and returns
1312 the list.
1313
1314 =begin testing
1315
1316 use Text::Tradition;
1317
1318 my $cxfile = 't/data/Collatex-16.xml';
1319 my $t = Text::Tradition->new(
1320     'name'  => 'inline',
1321     'input' => 'CollateX',
1322     'file'  => $cxfile,
1323     );
1324 my $c = $t->collation;
1325
1326 my @common = $c->calculate_common_readings();
1327 is( scalar @common, 8, "Found correct number of common readings" );
1328 my @marked = sort $c->common_readings();
1329 is( scalar @common, 8, "All common readings got marked as such" );
1330 my @expected = qw/ n1 n12 n16 n19 n20 n5 n6 n7 /;
1331 is_deeply( \@marked, \@expected, "Found correct list of common readings" );
1332
1333 =end testing
1334
1335 =cut
1336
1337 sub calculate_common_readings {
1338         my $self = shift;
1339         my @common;
1340         my $table = $self->make_alignment_table( 1 );
1341         foreach my $idx ( 0 .. $table->{'length'} - 1 ) {
1342                 my @row = map { $_->{'tokens'}->[$idx]->{'t'} } @{$table->{'alignment'}};
1343                 my %hash;
1344                 foreach my $r ( @row ) {
1345                         if( $r ) {
1346                                 $hash{$r->id} = $r unless $r->is_meta;
1347                         } else {
1348                                 $hash{'UNDEF'} = $r;
1349                         }
1350                 }
1351                 if( keys %hash == 1 && !exists $hash{'UNDEF'} ) {
1352                         my( $r ) = values %hash;
1353                         $r->is_common( 1 );
1354                         push( @common, $r );
1355                 }
1356         }
1357         return @common;
1358 }
1359
1360 =head2 text_from_paths
1361
1362 Calculate the text array for all witnesses from the path, for later consistency
1363 checking.  Only to be used if there is no non-graph-based way to know the
1364 original texts.
1365
1366 =cut
1367
1368 sub text_from_paths {
1369         my $self = shift;
1370     foreach my $wit ( $self->tradition->witnesses ) {
1371         my @text = split( /\s+/,
1372                 $self->reading_sequence( $self->start, $self->end, $wit->sigil ) );
1373         $wit->text( \@text );
1374         if( $wit->is_layered ) {
1375                         my @uctext = split( /\s+/,
1376                                 $self->reading_sequence( $self->start, $self->end,
1377                                         $wit->sigil.$self->ac_label ) );
1378                         $wit->text( \@uctext );
1379         }
1380     }
1381 }
1382
1383 =head1 UTILITY FUNCTIONS
1384
1385 =head2 common_predecessor( $reading_a, $reading_b )
1386
1387 Find the last reading that occurs in sequence before both the given readings.
1388
1389 =head2 common_successor( $reading_a, $reading_b )
1390
1391 Find the first reading that occurs in sequence after both the given readings.
1392
1393 =begin testing
1394
1395 use Text::Tradition;
1396
1397 my $cxfile = 't/data/Collatex-16.xml';
1398 my $t = Text::Tradition->new(
1399     'name'  => 'inline',
1400     'input' => 'CollateX',
1401     'file'  => $cxfile,
1402     );
1403 my $c = $t->collation;
1404
1405 is( $c->common_predecessor( 'n9', 'n23' )->id,
1406     'n20', "Found correct common predecessor" );
1407 is( $c->common_successor( 'n9', 'n23' )->id,
1408     '#END#', "Found correct common successor" );
1409
1410 is( $c->common_predecessor( 'n19', 'n17' )->id,
1411     'n16', "Found correct common predecessor for readings on same path" );
1412 is( $c->common_successor( 'n21', 'n26' )->id,
1413     '#END#', "Found correct common successor for readings on same path" );
1414
1415 =end testing
1416
1417 =cut
1418
1419 ## Return the closest reading that is a predecessor of both the given readings.
1420 sub common_predecessor {
1421         my $self = shift;
1422         my( $r1, $r2 ) = $self->_objectify_args( @_ );
1423         return $self->common_in_path( $r1, $r2, 'predecessors' );
1424 }
1425
1426 sub common_successor {
1427         my $self = shift;
1428         my( $r1, $r2 ) = $self->_objectify_args( @_ );
1429         return $self->common_in_path( $r1, $r2, 'successors' );
1430 }
1431
1432 sub common_in_path {
1433         my( $self, $r1, $r2, $dir ) = @_;
1434         my $iter = $r1->rank > $r2->rank ? $r1->rank : $r2->rank;
1435         $iter = $self->end->rank - $iter if $dir eq 'successors';
1436         my @candidates;
1437         my @last_checked = ( $r1, $r2 );
1438         my %all_seen;
1439         while( !@candidates ) {
1440                 my @new_lc;
1441                 foreach my $lc ( @last_checked ) {
1442                         foreach my $p ( $lc->$dir ) {
1443                                 if( $all_seen{$p->id} ) {
1444                                         push( @candidates, $p );
1445                                 } else {
1446                                         $all_seen{$p->id} = 1;
1447                                         push( @new_lc, $p );
1448                                 }
1449                         }
1450                 }
1451                 @last_checked = @new_lc;
1452         }
1453         my @answer = sort { $a->rank <=> $b->rank } @candidates;
1454         return $dir eq 'predecessors' ? pop( @answer ) : shift ( @answer );
1455 }
1456
1457 sub throw {
1458         Text::Tradition::Error->throw(
1459                 'ident' => 'Collation error',
1460                 'message' => $_[0],
1461                 );
1462 }
1463
1464 no Moose;
1465 __PACKAGE__->meta->make_immutable;
1466
1467 =head1 BUGS / TODO
1468
1469 =over
1470
1471 =item * Get rid of $backup in reading_sequence
1472
1473 =back