regcomp.pl

   1 #!/usr/bin/perl
   2 #
   3 # Regenerate (overwriting only if changed):
   4 #
   5 #    regnodes.h
   6 #
   7 # from information stored in
   8 #
   9 #    regcomp.sym
  10 #    regexp.h
  11 #
  12 # Accepts the standard regen_lib -q and -v args.
  13 #
  14 # This script is normally invoked from regen.pl.
  15
  16 BEGIN {
  17     # Get function prototypes
  18     require 'regen_lib.pl';
  19 }
  20 #use Fatal qw(open close rename chmod unlink);
  21 use strict;
  22 use warnings;
  23
  24 open DESC, 'regcomp.sym';
  25
  26 my $ind = 0;
  27 my (@name,@rest,@type,@code,@args,@flags,@longj);
  28 my ($desc,$lastregop);
  29 while (<DESC>) {
  30     s/#.*$//;
  31     next if /^\s*$/;
  32     s/\s*\z//;
  33     if (/^-+\s*$/) {
  34         $lastregop= $ind;
  35         next;
  36     }
  37     unless ($lastregop) {
  38         $ind++;
  39         ($name[$ind], $desc, $rest[$ind]) = /^(\S+)\s+([^\t]+)\s*;\s*(.*)/;
  40         ($type[$ind], $code[$ind], $args[$ind], $flags[$ind], $longj[$ind])
  41           = split /[,\s]\s*/, $desc;
  42     } else {
  43         my ($type,@lists)=split /\s+/, $_;
  44         die "No list? $type" if !@lists;
  45         foreach my $list (@lists) {
  46             my ($names,$special)=split /:/, $list , 2;
  47             $special ||= "";
  48             foreach my $name (split /,/,$names) {
  49                 my $real= $name eq 'resume'
  50                         ? "resume_$type"
  51                         : "${type}_$name";
  52                 my @suffix;
  53                 if (!$special) {
  54                    @suffix=("");
  55                 } elsif ($special=~/\d/) {
  56                     @suffix=(1..$special);
  57                 } elsif ($special eq 'FAIL') {
  58                     @suffix=("","_fail");
  59                 } else {
  60                     die "unknown :type ':$special'";
  61                 }
  62                 foreach my $suffix (@suffix) {
  63                     $ind++;
  64                     $name[$ind]="$real$suffix";
  65                     $type[$ind]=$type;
  66                     $rest[$ind]="state for $type";
  67                 }
  68             }
  69         }
  70
  71     }
  72 }
  73 # use fixed width to keep the diffs between regcomp.pl recompiles
  74 # as small as possible.
  75 my ($width,$rwidth,$twidth)=(22,12,9);
  76 $lastregop ||= $ind;
  77 my $tot = $ind;
  78 close DESC;
  79 die "Too many regexp/state opcodes! Maximum is 256, but there are $lastregop in file!"
  80     if $lastregop>256;
  81
  82 sub process_flags {
  83   my ($flag, $varname, $comment) = @_;
  84   $comment = '' unless defined $comment;
  85
  86   $ind = 0;
  87   my @selected;
  88   while (++$ind <= $lastregop) {
  89     push @selected, $name[$ind] if $flags[$ind] && $flags[$ind] eq $flag;
  90   }
  91   my $out_string = join ', ', @selected, 0;
  92   $out_string =~ s/(.{1,70},) /$1\n    /g;
  93   return $comment . <<"EOP";
  94 #define REGNODE_\U$varname\E(node) strchr((const char *)PL_${varname}, (node))
  95
  96 #ifndef DOINIT
  97 EXTCONST U8 PL_${varname}[];
  98 #else
  99 EXTCONST U8 PL_${varname}[] = {
 100     $out_string
 101 };
 102 #endif /* DOINIT */
 103
 104 EOP
 105 }
 106
 107 my $tmp_h = 'regnodes.h-new';
 108
 109 unlink $tmp_h if -f $tmp_h;
 110
 111 my $out = safer_open($tmp_h);
 112
 113 printf $out <<EOP,
 114 /* -*- buffer-read-only: t -*-
 115    !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
 116    This file is built by regcomp.pl from regcomp.sym.
 117    Any changes made here will be lost!
 118 */
 119
 120 /* Regops and State definitions */
 121
 122 #define %*s\t%d
 123 #define %*s\t%d
 124
 125 EOP
 126     -$width, REGNODE_MAX        => $lastregop - 1,
 127     -$width, REGMATCH_STATE_MAX => $tot - 1
 128 ;
 129
 130
 131 for ($ind=1; $ind <= $lastregop ; $ind++) {
 132   my $oind = $ind - 1;
 133   printf $out "#define\t%*s\t%d\t/* %#04x %s */\n",
 134     -$width, $name[$ind], $ind-1, $ind-1, $rest[$ind];
 135 }
 136 print $out "\t/* ------------ States ------------- */\n";
 137 for ( ; $ind <= $tot ; $ind++) {
 138   printf $out "#define\t%*s\t(REGNODE_MAX + %d)\t/* %s */\n",
 139     -$width, $name[$ind], $ind - $lastregop, $rest[$ind];
 140 }
 141
 142 print $out <<EOP;
 143
 144 /* PL_regkind[] What type of regop or state is this. */
 145
 146 #ifndef DOINIT
 147 EXTCONST U8 PL_regkind[];
 148 #else
 149 EXTCONST U8 PL_regkind[] = {
 150 EOP
 151
 152 $ind = 0;
 153 while (++$ind <= $tot) {
 154   printf $out "\t%*s\t/* %*s */\n",
 155              -1-$twidth, "$type[$ind],", -$width, $name[$ind];
 156   print $out "\t/* ------------ States ------------- */\n"
 157     if $ind == $lastregop and $lastregop != $tot;
 158 }
 159
 160 print $out <<EOP;
 161 };
 162 #endif
 163
 164 /* regarglen[] - How large is the argument part of the node (in regnodes) */
 165
 166 #ifdef REG_COMP_C
 167 static const U8 regarglen[] = {
 168 EOP
 169
 170 $ind = 0;
 171 while (++$ind <= $lastregop) {
 172   my $size = 0;
 173   $size = "EXTRA_SIZE(struct regnode_$args[$ind])" if $args[$ind];
 174
 175   printf $out "\t%*s\t/* %*s */\n",
 176         -37, "$size,",-$rwidth,$name[$ind];
 177 }
 178
 179 print $out <<EOP;
 180 };
 181
 182 /* reg_off_by_arg[] - Which argument holds the offset to the next node */
 183
 184 static const char reg_off_by_arg[] = {
 185 EOP
 186
 187 $ind = 0;
 188 while (++$ind <= $lastregop) {
 189   my $size = $longj[$ind] || 0;
 190
 191   printf $out "\t%d,\t/* %*s */\n",
 192         $size, -$rwidth, $name[$ind]
 193 }
 194
 195 print $out <<EOP;
 196 };
 197
 198 #endif /* REG_COMP_C */
 199
 200 /* reg_name[] - Opcode/state names in string form, for debugging */
 201
 202 #ifndef DOINIT
 203 EXTCONST char * PL_reg_name[];
 204 #else
 205 EXTCONST char * const PL_reg_name[] = {
 206 EOP
 207
 208 $ind = 0;
 209 my $ofs = 1;
 210 my $sym = "";
 211 while (++$ind <= $tot) {
 212   my $size = $longj[$ind] || 0;
 213
 214   printf $out "\t%*s\t/* $sym%#04x */\n",
 215         -3-$width,qq("$name[$ind]",), $ind - $ofs;
 216   if ($ind == $lastregop and $lastregop != $tot) {
 217     print $out "\t/* ------------ States ------------- */\n";
 218     $ofs = $lastregop;
 219     $sym = 'REGNODE_MAX +';
 220   }
 221
 222 }
 223
 224 print $out <<EOP;
 225 };
 226 #endif /* DOINIT */
 227
 228 /* PL_reg_extflags_name[] - Opcode/state names in string form, for debugging */
 229
 230 #ifndef DOINIT
 231 EXTCONST char * PL_reg_extflags_name[];
 232 #else
 233 EXTCONST char * const PL_reg_extflags_name[] = {
 234 EOP
 235
 236 open my $fh,"<","regexp.h" or die "Can't read regexp.h: $!";
 237 my %rxfv;
 238 my $val = 0;
 239 my %reverse;
 240 while (<$fh>) {
 241     if (/#define\s+(RXf_\w+)\s+(0x[A-F\d]+)/i) {
 242         my $newval = eval $2;
 243         if($val & $newval) {
 244             die sprintf "Both $1 and $reverse{$newval} use %08X", $newval;
 245         }
 246         $val|=$newval;
 247         $rxfv{$1}= $newval;
 248         $reverse{$newval} = $1;
 249     }
 250 }
 251 my %vrxf=reverse %rxfv;
 252 printf $out "\t/* Bits in extflags defined: %032b */\n",$val;
 253 for (0..31) {
 254     my $n=$vrxf{2**$_}||"UNUSED_BIT_$_";
 255     $n=~s/^RXf_(PMf_)?//;
 256     printf $out qq(\t%-20s/* 0x%08x */\n),
 257         qq("$n",),2**$_;
 258 }
 259
 260 print $out <<EOP;
 261 };
 262 #endif /* DOINIT */
 263
 264 EOP
 265
 266 print $out process_flags('V', 'varies', <<'EOC');
 267 /* The following have no fixed length. U8 so we can do strchr() on it. */
 268 EOC
 269
 270 print $out process_flags('S', 'simple', <<'EOC');
 271 /* The following always have a length of 1. U8 we can do strchr() on it. */
 272 /* (Note that length 1 means "one character" under UTF8, not "one octet".) */
 273 EOC
 274
 275 print $out <<EOP;
 276 /* ex: set ro: */
 277 EOP
 278 safer_close($out);
 279
 280 rename_if_different $tmp_h, 'regnodes.h';