memnodes.pl

   1 #!/usr/bin/env perl
   2
   3 use strict;
   4 use warnings;
   5 use autodie;
   6
   7 use DBI qw(looks_like_number);
   8 use DBD::SQLite;
   9 use JSON::XS;
  10 use Devel::Dwarn;
  11
  12 use Getopt::Long;
  13
  14 # XXX import these from the XS code
  15 use constant NPtype_NAME     => 0x01;
  16 use constant NPtype_LINK     => 0x02;
  17 use constant NPtype_SV       => 0x03;
  18 use constant NPtype_MAGIC    => 0x04;
  19 use constant NPtype_OP       => 0x05;
  20
  21 use constant NPattr_LEAFSIZE => 0x00;
  22 use constant NPattr_NAME     => 0x01;
  23 use constant NPattr_PADFAKE  => 0x02;
  24 use constant NPattr_PADNAME  => 0x03;
  25 use constant NPattr_PADTMP   => 0x04;
  26 use constant NPattr_NOTE     => 0x05;
  27 use constant NPattr_PRE_ATTR => 0x06;
  28
  29
  30 GetOptions(
  31     'text!' => \my $opt_text,
  32     'dot=s' => \my $opt_dot,
  33     'db=s'  => \my $opt_db,
  34     'verbose|v!' => \my $opt_verbose,
  35     'debug|d!' => \my $opt_debug,
  36     'showid!' => \my $opt_showid,
  37 ) or exit 1;
  38
  39 my $j = JSON::XS->new->ascii->pretty(0);
  40
  41 my ($dbh, $node_ins_sth);
  42 if ($opt_db) {
  43     $dbh = DBI->connect("dbi:SQLite:dbname=$opt_db","","", {
  44         RaiseError => 1, PrintError => 0, AutoCommit => 0
  45     });
  46     $dbh->do("PRAGMA synchronous = OFF");
  47     $dbh->do("DROP TABLE IF EXISTS node");
  48     $dbh->do(q{
  49         CREATE TABLE node (
  50             id integer primary key,
  51             name text,
  52             title text,
  53             type integer,
  54             depth integer,
  55             parent_id integer,
  56
  57             self_size integer,
  58             kids_size integer,
  59             kids_node_count integer,
  60             child_ids text,
  61             attr_json text,
  62             leaves_json text
  63         )
  64     });
  65     $node_ins_sth = $dbh->prepare(q{
  66         INSERT INTO node VALUES (?,?,?,?,?,?,  ?,?,?,?,?,?)
  67     });
  68 }
  69
  70 my @stack;
  71 my %seqn2node;
  72
  73 use HTML::Entities qw(encode_entities);;
  74 my $dotnode = sub {
  75     my $name = encode_entities(shift);
  76     $name =~ s/"/\\"/g;
  77     return '"'.$name.'"';
  78 };
  79
  80
  81 my $dot_fh;
  82 if ($opt_dot) {
  83     open $dot_fh, ">$opt_dot";
  84     print $dot_fh "digraph {\n"; # }
  85     print $dot_fh "graph [overlap=false]\n"; # target="???", URL="???"
  86 }
  87
  88 sub fmt_size {
  89     my $size = shift;
  90     my $kb = $size / 1024;
  91     return $size if $kb < 5;
  92     return sprintf "%.1fKb", $kb if $kb < 1000;
  93     return sprintf "%.1fMb", $kb/1024;
  94 }
  95
  96
  97 sub enter_node {
  98     my $x = shift;
  99
 100     my $parent = $stack[-1];
 101     if ($parent) {
 102
 103         if ($x->{name} eq 'AVelem' and $parent->{name} eq 'SV(PVAV)') {
 104             my $index = $x->{attr}{index};
 105             # If node is an AVelem of a CvPADLIST propagate pad name to AVelem
 106             if (@stack >= 4 and (my $cvpl = $stack[-4])->{name} eq 'CvPADLIST') {
 107                 # cache the pad names so we can eat them in order
 108                 my $padnames = $cvpl->{_cached}{padnames} ||= do {
 109                     my @names = @{ $cvpl->{attr}{+NPattr_PADNAME} || []};
 110                     $_ = "my(".($_||'').")" for @names;
 111                     $names[0] = '@_';
 112                     \@names;
 113                 };
 114                 #die Dwarn $x;
 115                 $x->{name} = $padnames->[$index] || "?";
 116                 $x->{name} =~ s/my\(SVs_PADTMP\)/PADTMP/; # XXX hack for neatness
 117             }
 118             else {
 119                 $x->{name} = "[$index]";
 120             }
 121         }
 122     }
 123
 124     return $x;
 125 }
 126
 127
 128 sub leave_node {
 129     my $x = shift;
 130     delete $seqn2node{$x->{id}};
 131
 132     my $self_size = 0; $self_size += $_  for values %{$x->{leaves}};
 133     $x->{self_size} = $self_size;
 134
 135     my $parent = $stack[-1];
 136     if ($parent) {
 137         # link to parent
 138         $x->{parent_id} = $parent->{id};
 139         # accumulate into parent
 140         $parent->{kids_node_count} += 1 + ($x->{kids_node_count}||0);
 141         $parent->{kids_size} += $self_size + $x->{kids_size};
 142         push @{$parent->{child_id}}, $x->{id};
 143     }
 144
 145     # output
 146     # ...
 147     if ($opt_dot) {
 148         printf "// n%d parent=%s(type=%s)\n", $x->{id},
 149                 $parent ? $parent->{id} : "",
 150                 $parent ? $parent->{type} : ""
 151             if 0;
 152         if ($x->{type} != NPtype_LINK) {
 153             my $name = $x->{title} ? "\"$x->{title}\" $x->{name}" : $x->{name};
 154
 155             if ($x->{kids_size}) {
 156                 $name .= sprintf " %s+%s=%s", fmt_size($x->{self_size}), fmt_size($x->{kids_size}), fmt_size($x->{self_size}+$x->{kids_size});
 157             }
 158             else {
 159                 $name .= sprintf " +%s", fmt_size($x->{self_size});
 160             }
 161             $name .= " $x->{id}" if $opt_showid;
 162
 163             my @node_attr = (
 164                 sprintf("label=%s", $dotnode->($name)),
 165                 "id=$x->{id}",
 166             );
 167             my @link_attr;
 168             #if ($x->{name} eq 'hek') { push @node_attr, "shape=point"; push @node_attr, "labelfontsize=6"; }
 169             if ($parent) { # probably a link
 170                 my $parent_id = $parent->{id};
 171                 my @link_attr = ("id=$parent_id");
 172                 if ($parent->{type} == NPtype_LINK) { # link
 173                     (my $link_name = $parent->{name}) =~ s/->$//;
 174                     push @link_attr, (sprintf "label=%s", $dotnode->($link_name));
 175                     $parent_id = ($stack[-2]||die "panic")->{id};
 176                 }
 177                 printf $dot_fh qq{n%d -> n%d [%s];\n},
 178                     $parent_id, $x->{id}, join(",", @link_attr);
 179             }
 180             printf $dot_fh qq{n%d [ %s ];\n}, $x->{id}, join(",", @node_attr);
 181         }
 182
 183     }
 184     if ($dbh) {
 185         my $attr_json = $j->encode($x->{attr});
 186         my $leaves_json = $j->encode($x->{leaves});
 187         $node_ins_sth->execute(
 188             $x->{id}, $x->{name}, $x->{title}, $x->{type}, $x->{depth}, $x->{parent_id},
 189             $x->{self_size}, $x->{kids_size}, $x->{kids_node_count},
 190             $x->{child_id} ? join(",", @{$x->{child_id}}) : undef,
 191             $attr_json, $leaves_json,
 192         );
 193         # XXX attribs
 194     }
 195     return;
 196 }
 197
 198 my $indent = ":   ";
 199 my @attr_type_name = (qw(size NAME PADFAKE my PADTMP NOTE));
 200 my $pending_pre_attr = {};
 201
 202 while (<>) {
 203     chomp;
 204
 205     my ($type, $id, $val, $name, $extra) = split / /, $_, 5;
 206
 207     if ($type =~ s/^-//) {     # Node type ($val is depth)
 208         printf "%s%s%s %s [#%d @%d]\n", $indent x $val, $name,
 209                 ($type == NPtype_LINK) ? "->" : "",
 210                 $extra||'', $id, $val
 211             if $opt_text;
 212         while ($val < @stack) {
 213             leave_node(my $x = pop @stack);
 214             warn "N $id d$val ends $x->{id} d$x->{depth}: size $x->{self_size}+$x->{kids_size}\n"
 215                 if $opt_verbose;
 216         }
 217         die "panic: stack already has item at depth $val"
 218             if $stack[$val];
 219         my $node = enter_node({
 220             id => $id, type => $type, name => $name, extra => $extra,
 221             attr => { %$pending_pre_attr },
 222             leaves => {}, depth => $val, self_size=>0, kids_size=>0
 223         });
 224         %$pending_pre_attr = ();
 225         $stack[$val] = $node;
 226         $seqn2node{$id} = $node;
 227     }
 228     # --- Leaf name and memory size
 229     elsif ($type eq "L") {
 230         my $node = $seqn2node{$id} || die;
 231         $node->{leaves}{$name} += $val;
 232         printf "%s+%d %s\n", $indent x ($node->{depth}+1), $val, $name
 233             if $opt_text;
 234     }
 235     # --- Attribute type, name and value
 236     elsif (looks_like_number($type)) {
 237         my $node = $seqn2node{$id} || die;
 238         my $attr = $node->{attr} || die;
 239
 240         # attributes to queue up and apply to the next node
 241         if (NPattr_PRE_ATTR == $type) {
 242             $pending_pre_attr->{$name} = $val;
 243         }
 244         # attributes where the string is a key (or always empty and the type is the key)
 245         elsif ($type == NPattr_NAME or $type == NPattr_NOTE) {
 246             printf "%s~%s(%s) %d [t%d]\n", $indent x ($node->{depth}+1), $attr_type_name[$type], $name, $val, $type
 247                 if $opt_text;
 248             warn "Node $id already has attribute $type:$name (value $attr->{$type}{$name})\n"
 249                 if exists $attr->{$type}{$name};
 250             $attr->{$type}{$name} = $val || $id;
 251             $node->{title} = $name if $type == 1 and !$val;
 252         }
 253         # attributes where the number is a key (or always zero)
 254         elsif (NPattr_PADFAKE==$type or NPattr_PADTMP==$type or NPattr_PADNAME==$type) {
 255             printf "%s~%s('%s') %d [t%d]\n", $indent x ($node->{depth}+1), $attr_type_name[$type], $name, $val, $type
 256                 if $opt_text;
 257             warn "Node $id already has attribute $type:$name (value $attr->{$type}[$val])\n"
 258                 if defined $attr->{$type}[$val];
 259             $attr->{+NPattr_PADNAME}[$val] = $name; # store all as NPattr_PADNAME
 260         }
 261         else {
 262             printf "%s~%s %d [t%d]\n", $indent x ($node->{depth}+1), $name, $val, $type
 263                 if $opt_text;
 264             warn "Invalid attribute type '$type' on line $. ($_)";
 265         }
 266     }
 267     else {
 268         warn "Invalid type '$type' on line $. ($_)";
 269         next;
 270     }
 271     $dbh->commit if $dbh and $id % 10_000 == 0;
 272 }
 273
 274 my $top = $stack[0]; # grab top node before we pop all the nodes
 275 leave_node(pop @stack) while @stack;
 276 warn "EOF ends $top->{id} d$top->{depth}: size $top->{self_size}+$top->{kids_size}\n"
 277     if $opt_verbose;
 278 warn Dumper($top) if $opt_verbose;
 279
 280 if ($dot_fh) {
 281     print $dot_fh "}\n";
 282     close $dot_fh;
 283     system("open -a Graphviz $opt_dot");
 284 }
 285
 286 $dbh->commit if $dbh;
 287
 288 use Data::Dumper;
 289 warn Dumper(\%seqn2node) if %seqn2node; # should be empty
 290
 291 =for
 292 SV(PVAV) fill=1/1       [#1 @0]
 293 :   +64 sv =64
 294 :   +16 av_max =80
 295 :   AVelem->        [#2 @1]
 296 :   :   SV(RV)      [#3 @2]
 297 :   :   :   +24 sv =104
 298 :   :   :   RV->        [#4 @3]
 299 :   :   :   :   SV(PVAV) fill=-1/-1     [#5 @4]
 300 :   :   :   :   :   +64 sv =168
 301 :   AVelem->        [#6 @1]
 302 :   :   SV(IV)      [#7 @2]
 303 :   :   :   +24 sv =192
 304 192 at -e line 1.
 305 =cut
 306 __DATA__
 307 N 1 0 SV(PVAV) fill=1/1
 308 L 1 64 sv
 309 L 1 16 av_max
 310 N 2 1 AVelem->
 311 N 3 2 SV(RV)
 312 L 3 24 sv
 313 N 4 3 RV->
 314 N 5 4 SV(PVAV) fill=-1/-1
 315 L 5 64 sv
 316 N 6 1 AVelem->
 317 N 7 2 SV(IV)
 318 L 7 24 sv