regcomp.c

   1 /*    regcomp.c
   2  */
   3
   4 /*
   5  * "A fair jaw-cracker dwarf-language must be."  --Samwise Gamgee
   6  */
   7
   8 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
   9  * confused with the original package (see point 3 below).  Thanks, Henry!
  10  */
  11
  12 /* Additional note: this code is very heavily munged from Henry's version
  13  * in places.  In some spots I've traded clarity for efficiency, so don't
  14  * blame Henry for some of the lack of readability.
  15  */
  16
  17 /* The names of the functions have been changed from regcomp and
  18  * regexec to  pregcomp and pregexec in order to avoid conflicts
  19  * with the POSIX routines of the same names.
  20 */
  21
  22 /*SUPPRESS 112*/
  23 /*
  24  * pregcomp and pregexec -- regsub and regerror are not used in perl
  25  *
  26  *      Copyright (c) 1986 by University of Toronto.
  27  *      Written by Henry Spencer.  Not derived from licensed software.
  28  *
  29  *      Permission is granted to anyone to use this software for any
  30  *      purpose on any computer system, and to redistribute it freely,
  31  *      subject to the following restrictions:
  32  *
  33  *      1. The author is not responsible for the consequences of use of
  34  *              this software, no matter how awful, even if they arise
  35  *              from defects in it.
  36  *
  37  *      2. The origin of this software must not be misrepresented, either
  38  *              by explicit claim or by omission.
  39  *
  40  *      3. Altered versions must be plainly marked as such, and must not
  41  *              be misrepresented as being the original software.
  42  *
  43  *
  44  ****    Alterations to Henry's code are...
  45  ****
  46  ****    Copyright (c) 1991-1997, Larry Wall
  47  ****
  48  ****    You may distribute under the terms of either the GNU General Public
  49  ****    License or the Artistic License, as specified in the README file.
  50
  51  *
  52  * Beware that some of this code is subtly aware of the way operator
  53  * precedence is structured in regular expressions.  Serious changes in
  54  * regular-expression syntax might require a total rethink.
  55  */
  56 #include "EXTERN.h"
  57 #include "perl.h"
  58 #include "INTERN.h"
  59
  60 #define REG_COMP_C
  61 #include "regcomp.h"
  62
  63 #ifdef op
  64 #undef op
  65 #endif /* op */
  66
  67 #ifdef MSDOS
  68 # if defined(BUGGY_MSC6)
  69  /* MSC 6.00A breaks on op/regexp.t test 85 unless we turn this off */
  70  # pragma optimize("a",off)
  71  /* But MSC 6.00A is happy with 'w', for aliases only across function calls*/
  72  # pragma optimize("w",on )
  73 # endif /* BUGGY_MSC6 */
  74 #endif /* MSDOS */
  75
  76 #ifndef STATIC
  77 #define STATIC  static
  78 #endif
  79
  80 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
  81 #define ISMULT2(s)      ((*s) == '*' || (*s) == '+' || (*s) == '?' || \
  82         ((*s) == '{' && regcurly(s)))
  83 #ifdef atarist
  84 #define PERL_META       "^$.[()|?+*\\"
  85 #else
  86 #define META    "^$.[()|?+*\\"
  87 #endif
  88
  89 #ifdef SPSTART
  90 #undef SPSTART          /* dratted cpp namespace... */
  91 #endif
  92 /*
  93  * Flags to be passed up and down.
  94  */
  95 #define WORST           0       /* Worst case. */
  96 #define HASWIDTH        0x1     /* Known never to match null string. */
  97 #define SIMPLE          0x2     /* Simple enough to be STAR/PLUS operand. */
  98 #define SPSTART         0x4     /* Starts with * or +. */
  99 #define TRYAGAIN        0x8     /* Weeded out a declaration. */
 100
 101 /*
 102  * Forward declarations for pregcomp()'s friends.
 103  */
 104
 105 static char* regwhite _((char *, char *));
 106 #ifndef PERL_OBJECT
 107 static regnode *reg _((I32, I32 *));
 108 static regnode *reganode _((U8, U32));
 109 static regnode *regatom _((I32 *));
 110 static regnode *regbranch _((I32 *, I32));
 111 static void regc _((U8, char *));
 112 static regnode *regclass _((void));
 113 STATIC I32 regcurly _((char *));
 114 static regnode *reg_node _((U8));
 115 static regnode *regpiece _((I32 *));
 116 static void reginsert _((U8, regnode *));
 117 static void regoptail _((regnode *, regnode *));
 118 static void regset _((char *, I32));
 119 static void regtail _((regnode *, regnode *));
 120 static char* nextchar _((void));
 121 #endif
 122
 123 /* Length of a variant. */
 124
 125 #ifndef PERL_OBJECT
 126 typedef struct {
 127     I32 len_min;
 128     I32 len_delta;
 129     I32 pos_min;
 130     I32 pos_delta;
 131     SV *last_found;
 132     I32 last_end;                       /* min value, <0 unless valid. */
 133     I32 last_start_min;
 134     I32 last_start_max;
 135     SV **longest;                       /* Either &l_fixed, or &l_float. */
 136     SV *longest_fixed;
 137     I32 offset_fixed;
 138     SV *longest_float;
 139     I32 offset_float_min;
 140     I32 offset_float_max;
 141     I32 flags;
 142 } scan_data_t;
 143 #endif
 144
 145 static scan_data_t zero_scan_data = { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 };
 146
 147 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
 148 #define SF_BEFORE_SEOL          0x1
 149 #define SF_BEFORE_MEOL          0x2
 150 #define SF_FIX_BEFORE_EOL       (SF_FIX_BEFORE_SEOL|SF_FIX_BEFORE_MEOL)
 151 #define SF_FL_BEFORE_EOL        (SF_FL_BEFORE_SEOL|SF_FL_BEFORE_MEOL)
 152
 153 #define SF_FIX_SHIFT_EOL        (+2)
 154 #define SF_FL_SHIFT_EOL         (+4)
 155
 156 #define SF_FIX_BEFORE_SEOL      (SF_BEFORE_SEOL << SF_FIX_SHIFT_EOL)
 157 #define SF_FIX_BEFORE_MEOL      (SF_BEFORE_MEOL << SF_FIX_SHIFT_EOL)
 158
 159 #define SF_FL_BEFORE_SEOL       (SF_BEFORE_SEOL << SF_FL_SHIFT_EOL)
 160 #define SF_FL_BEFORE_MEOL       (SF_BEFORE_MEOL << SF_FL_SHIFT_EOL) /* 0x20 */
 161 #define SF_IS_INF               0x40
 162 #define SF_HAS_PAR              0x80
 163 #define SF_IN_PAR               0x100
 164 #define SF_HAS_EVAL             0x200
 165
 166 STATIC void
 167 scan_commit(scan_data_t *data)
 168 {
 169     STRLEN l = SvCUR(data->last_found);
 170     STRLEN old_l = SvCUR(*data->longest);
 171
 172     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
 173         sv_setsv(*data->longest, data->last_found);
 174         if (*data->longest == data->longest_fixed) {
 175             data->offset_fixed = l ? data->last_start_min : data->pos_min;
 176             if (data->flags & SF_BEFORE_EOL)
 177                 data->flags
 178                     |= ((data->flags & SF_BEFORE_EOL) << SF_FIX_SHIFT_EOL);
 179             else
 180                 data->flags &= ~SF_FIX_BEFORE_EOL;
 181         } else {
 182             data->offset_float_min = l ? data->last_start_min : data->pos_min;
 183             data->offset_float_max = (l
 184                                       ? data->last_start_max
 185                                       : data->pos_min + data->pos_delta);
 186             if (data->flags & SF_BEFORE_EOL)
 187                 data->flags
 188                     |= ((data->flags & SF_BEFORE_EOL) << SF_FL_SHIFT_EOL);
 189             else
 190                 data->flags &= ~SF_FL_BEFORE_EOL;
 191         }
 192     }
 193     SvCUR_set(data->last_found, 0);
 194     data->last_end = -1;
 195     data->flags &= ~SF_BEFORE_EOL;
 196 }
 197
 198 #define SCF_DO_SUBSTR 1
 199
 200 /* Stops at toplevel WHILEM as well as at `last'. At end *scanp is set
 201    to the position after last scanned or to NULL. */
 202
 203 STATIC I32
 204 study_chunk(regnode **scanp, I32 *deltap, regnode *last, scan_data_t *data, U32 flags)
 205                         /* scanp: Start here (read-write). */
 206                         /* deltap: Write maxlen-minlen here. */
 207                         /* last: Stop before this one. */
 208 {
 209     I32 min = 0, pars = 0, code;
 210     regnode *scan = *scanp, *next;
 211     I32 delta = 0;
 212     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
 213     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
 214     scan_data_t data_fake;
 215
 216     while (scan && OP(scan) != END && scan < last) {
 217         /* Peephole optimizer: */
 218
 219         if (regkind[(U8)OP(scan)] == EXACT) {
 220             regnode *n = regnext(scan);
 221             U32 stringok = 1;
 222 #ifdef DEBUGGING
 223             regnode *stop = scan;
 224 #endif
 225
 226             next = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 227             /* Skip NOTHING, merge EXACT*. */
 228             while (n &&
 229                    ( regkind[(U8)OP(n)] == NOTHING ||
 230                      (stringok && (OP(n) == OP(scan))))
 231                    && NEXT_OFF(n)
 232                    && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX) {
 233                 if (OP(n) == TAIL || n > next)
 234                     stringok = 0;
 235                 if (regkind[(U8)OP(n)] == NOTHING) {
 236                     NEXT_OFF(scan) += NEXT_OFF(n);
 237                     next = n + NODE_STEP_REGNODE;
 238 #ifdef DEBUGGING
 239                     if (stringok)
 240                         stop = n;
 241 #endif
 242                     n = regnext(n);
 243                 } else {
 244                     int oldl = *OPERAND(scan);
 245                     regnode *nnext = regnext(n);
 246
 247                     if (oldl + *OPERAND(n) > U8_MAX)
 248                         break;
 249                     NEXT_OFF(scan) += NEXT_OFF(n);
 250                     *OPERAND(scan) += *OPERAND(n);
 251                     next = n + (*OPERAND(n) + 2 - 1)/sizeof(regnode) + 2;
 252                     /* Now we can overwrite *n : */
 253                     Move(OPERAND(n) + 1, OPERAND(scan) + oldl + 1,
 254                          *OPERAND(n) + 1, char);
 255 #ifdef DEBUGGING
 256                     if (stringok)
 257                         stop = next - 1;
 258 #endif
 259                     n = nnext;
 260                 }
 261             }
 262 #ifdef DEBUGGING
 263             /* Allow dumping */
 264             n = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 265             while (n <= stop) {
 266                 if (regkind[(U8)OP(n)] != NOTHING || OP(n) == NOTHING) {
 267                     OP(n) = OPTIMIZED;
 268                     NEXT_OFF(n) = 0;
 269                 }
 270                 n++;
 271             }
 272 #endif
 273
 274         }
 275         if (OP(scan) != CURLYX) {
 276             int max = (reg_off_by_arg[OP(scan)] ? I32_MAX : U16_MAX);
 277             int off = (reg_off_by_arg[OP(scan)] ? ARG(scan) : NEXT_OFF(scan));
 278             int noff;
 279             regnode *n = scan;
 280
 281             /* Skip NOTHING and LONGJMP. */
 282             while ((n = regnext(n))
 283                    && ((regkind[(U8)OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
 284                        || ((OP(n) == LONGJMP) && (noff = ARG(n))))
 285                    && off + noff < max)
 286                 off += noff;
 287             if (reg_off_by_arg[OP(scan)])
 288                 ARG(scan) = off;
 289             else
 290                 NEXT_OFF(scan) = off;
 291         }
 292         if (OP(scan) == BRANCH || OP(scan) == BRANCHJ
 293                    || OP(scan) == IFTHEN || OP(scan) == SUSPEND) {
 294             next = regnext(scan);
 295             code = OP(scan);
 296
 297             if (OP(next) == code || code == IFTHEN || code == SUSPEND) {
 298                 I32 max1 = 0, min1 = I32_MAX, num = 0;
 299
 300                 if (flags & SCF_DO_SUBSTR)
 301                     scan_commit(data);
 302                 while (OP(scan) == code) {
 303                     I32 deltanext, minnext;
 304
 305                     num++;
 306                     data_fake.flags = 0;
 307                     next = regnext(scan);
 308                     scan = NEXTOPER(scan);
 309                     if (code != BRANCH)
 310                         scan = NEXTOPER(scan);
 311                     /* We suppose the run is continuous, last=next...*/
 312                     minnext = study_chunk(&scan, &deltanext, next,
 313                                           &data_fake, 0);
 314                     if (min1 > minnext)
 315                         min1 = minnext;
 316                     if (max1 < minnext + deltanext)
 317                         max1 = minnext + deltanext;
 318                     if (deltanext == I32_MAX)
 319                         is_inf = 1;
 320                     scan = next;
 321                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 322                         pars++;
 323                     if (data_fake.flags & SF_HAS_EVAL)
 324                         data->flags |= SF_HAS_EVAL;
 325                     if (code == SUSPEND)
 326                         break;
 327                 }
 328                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
 329                     min1 = 0;
 330                 if (flags & SCF_DO_SUBSTR) {
 331                     data->pos_min += min1;
 332                     data->pos_delta += max1 - min1;
 333                     if (max1 != min1 || is_inf)
 334                         data->longest = &(data->longest_float);
 335                 }
 336                 min += min1;
 337                 delta += max1 - min1;
 338             } else if (code == BRANCHJ) /* single branch is optimized. */
 339                 scan = NEXTOPER(NEXTOPER(scan));
 340             else                        /* single branch is optimized. */
 341                 scan = NEXTOPER(scan);
 342             continue;
 343         } else if (OP(scan) == EXACT) {
 344             min += *OPERAND(scan);
 345             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
 346                 I32 l = *OPERAND(scan);
 347
 348                 /* The code below prefers earlier match for fixed
 349                    offset, later match for variable offset.  */
 350                 if (data->last_end == -1) { /* Update the start info. */
 351                     data->last_start_min = data->pos_min;
 352                     data->last_start_max = is_inf
 353                         ? I32_MAX : data->pos_min + data->pos_delta;
 354                 }
 355                 sv_catpvn(data->last_found, (char *)(OPERAND(scan)+1), l);
 356                 data->last_end = data->pos_min + l;
 357                 data->pos_min += l; /* As in the first entry. */
 358                 data->flags &= ~SF_BEFORE_EOL;
 359             }
 360         } else if (regkind[(U8)OP(scan)] == EXACT) {
 361             if (flags & SCF_DO_SUBSTR)
 362                 scan_commit(data);
 363             min += *OPERAND(scan);
 364             if (data && (flags & SCF_DO_SUBSTR))
 365                 data->pos_min += *OPERAND(scan);
 366         } else if (strchr(varies,OP(scan))) {
 367             I32 mincount, maxcount, minnext, deltanext, pos_before, fl;
 368             regnode *oscan = scan;
 369
 370             switch (regkind[(U8)OP(scan)]) {
 371             case WHILEM:
 372                 scan = NEXTOPER(scan);
 373                 goto finish;
 374             case PLUS:
 375                 if (flags & SCF_DO_SUBSTR) {
 376                     next = NEXTOPER(scan);
 377                     if (OP(next) == EXACT) {
 378                         mincount = 1;
 379                         maxcount = REG_INFTY;
 380                         next = regnext(scan);
 381                         scan = NEXTOPER(scan);
 382                         goto do_curly;
 383                     }
 384                 }
 385                 if (flags & SCF_DO_SUBSTR)
 386                     data->pos_min++;
 387                 min++;
 388                 /* Fall through. */
 389             case STAR:
 390                 is_inf = 1;
 391                 scan = regnext(scan);
 392                 if (flags & SCF_DO_SUBSTR) {
 393                     scan_commit(data);
 394                     data->longest = &(data->longest_float);
 395                 }
 396                 goto optimize_curly_tail;
 397             case CURLY:
 398                 mincount = ARG1(scan);
 399                 maxcount = ARG2(scan);
 400                 next = regnext(scan);
 401                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
 402               do_curly:
 403                 if (flags & SCF_DO_SUBSTR) {
 404                     if (mincount == 0) scan_commit(data);
 405                     pos_before = data->pos_min;
 406                 }
 407                 if (data) {
 408                     fl = data->flags;
 409                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
 410                     if (is_inf)
 411                         data->flags |= SF_IS_INF;
 412                 }
 413                 /* This will finish on WHILEM, setting scan, or on NULL: */
 414                 minnext = study_chunk(&scan, &deltanext, last, data,
 415                                       mincount == 0
 416                                         ? (flags & ~SCF_DO_SUBSTR) : flags);
 417                 if (!scan)              /* It was not CURLYX, but CURLY. */
 418                     scan = next;
 419                 if (dowarn && (minnext + deltanext == 0)
 420                     && !(data->flags & (SF_HAS_PAR|SF_IN_PAR)))
 421                     warn("Strange *+?{} on zero-length expression");
 422                 min += minnext * mincount;
 423                 is_inf |= (maxcount == REG_INFTY && (minnext + deltanext) > 0
 424                            || deltanext == I32_MAX);
 425                 delta += (minnext + deltanext) * maxcount - minnext * mincount;
 426
 427                 /* Try powerful optimization CURLYX => CURLYN. */
 428 #ifdef REGALIGN_STRUCT
 429                 if (  OP(oscan) == CURLYX && data
 430                       && data->flags & SF_IN_PAR
 431                       && !(data->flags & SF_HAS_EVAL)
 432                       && !deltanext && minnext == 1 ) {
 433                     /* Try to optimize to CURLYN.  */
 434                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
 435                     regnode *nxt1 = nxt, *nxt2;
 436
 437                     /* Skip open. */
 438                     nxt = regnext(nxt);
 439                     if (!strchr(simple,OP(nxt))
 440                         && !(regkind[(U8)OP(nxt)] == EXACT
 441                              && *OPERAND(nxt) == 1))
 442                         goto nogo;
 443                     nxt2 = nxt;
 444                     nxt = regnext(nxt);
 445                     if (OP(nxt) != CLOSE)
 446                         goto nogo;
 447                     /* Now we know that nxt2 is the only contents: */
 448                     oscan->flags = ARG(nxt);
 449                     OP(oscan) = CURLYN;
 450                     OP(nxt1) = NOTHING; /* was OPEN. */
 451 #ifdef DEBUGGING
 452                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 453                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistancy. */
 454                     NEXT_OFF(nxt2) = 0; /* just for consistancy with CURLY. */
 455                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
 456                     OP(nxt + 1) = OPTIMIZED; /* was count. */
 457                     NEXT_OFF(nxt+ 1) = 0; /* just for consistancy. */
 458 #endif
 459                 }
 460 #endif
 461               nogo:
 462
 463                 /* Try optimization CURLYX => CURLYM. */
 464                 if (  OP(oscan) == CURLYX && data
 465 #ifdef REGALIGN_STRUCT
 466                       && !(data->flags & SF_HAS_PAR)
 467 #else
 468                       && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
 469 #endif
 470                       && !(data->flags & SF_HAS_EVAL)
 471                       && !deltanext  ) {
 472                     /* XXXX How to optimize if data == 0? */
 473                     /* Optimize to a simpler form.  */
 474                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
 475                     regnode *nxt2;
 476
 477                     OP(oscan) = CURLYM;
 478                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
 479                             && (OP(nxt2) != WHILEM))
 480                         nxt = nxt2;
 481                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
 482 #ifdef REGALIGN_STRUCT
 483                     /* Need to optimize away parenths. */
 484                     if (data->flags & SF_IN_PAR) {
 485                         /* Set the parenth number.  */
 486                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
 487
 488                         if (OP(nxt) != CLOSE)
 489                             FAIL("panic opt close");
 490                         oscan->flags = ARG(nxt);
 491                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
 492                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
 493 #ifdef DEBUGGING
 494                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 495                         OP(nxt + 1) = OPTIMIZED; /* was count. */
 496                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistancy. */
 497                         NEXT_OFF(nxt + 1) = 0; /* just for consistancy. */
 498 #endif
 499 #if 0
 500                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
 501                             regnode *nnxt = regnext(nxt1);
 502
 503                             if (nnxt == nxt) {
 504                                 if (reg_off_by_arg[OP(nxt1)])
 505                                     ARG_SET(nxt1, nxt2 - nxt1);
 506                                 else if (nxt2 - nxt1 < U16_MAX)
 507                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
 508                                 else
 509                                     OP(nxt) = NOTHING;  /* Cannot beautify */
 510                             }
 511                             nxt1 = nnxt;
 512                         }
 513 #endif
 514                         /* Optimize again: */
 515                         study_chunk(&nxt1, &deltanext, nxt, NULL, 0);
 516                     } else
 517                         oscan->flags = 0;
 518 #endif
 519                 }
 520                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR))
 521                     pars++;
 522                 if (flags & SCF_DO_SUBSTR) {
 523                     SV *last_str = Nullsv;
 524                     int counted = mincount != 0;
 525
 526                     if (data->last_end > 0 && mincount != 0) { /* Ends with a string. */
 527                         I32 b = pos_before >= data->last_start_min
 528                             ? pos_before : data->last_start_min;
 529                         STRLEN l;
 530                         char *s = SvPV(data->last_found, l);
 531
 532                         l -= b - data->last_start_min;
 533                         /* Get the added string: */
 534                         last_str = newSVpv(s  +  b - data->last_start_min, l);
 535                         if (deltanext == 0 && pos_before == b) {
 536                             /* What was added is a constant string */
 537                             if (mincount > 1) {
 538                                 SvGROW(last_str, (mincount * l) + 1);
 539                                 repeatcpy(SvPVX(last_str) + l,
 540                                           SvPVX(last_str), l, mincount - 1);
 541                                 SvCUR(last_str) *= mincount;
 542                                 /* Add additional parts. */
 543                                 SvCUR_set(data->last_found,
 544                                           SvCUR(data->last_found) - l);
 545                                 sv_catsv(data->last_found, last_str);
 546                                 data->last_end += l * (mincount - 1);
 547                             }
 548                         }
 549                     }
 550                     /* It is counted once already... */
 551                     data->pos_min += minnext * (mincount - counted);
 552                     data->pos_delta += - counted * deltanext +
 553                         (minnext + deltanext) * maxcount - minnext * mincount;
 554                     if (mincount != maxcount) {
 555                         scan_commit(data);
 556                         if (mincount && last_str) {
 557                             sv_setsv(data->last_found, last_str);
 558                             data->last_end = data->pos_min;
 559                             data->last_start_min =
 560                                 data->pos_min - SvCUR(last_str);
 561                             data->last_start_max = is_inf
 562                                 ? I32_MAX
 563                                 : data->pos_min + data->pos_delta
 564                                 - SvCUR(last_str);
 565                         }
 566                         data->longest = &(data->longest_float);
 567                     }
 568                 }
 569                 if (fl & SF_HAS_EVAL)
 570                     data->flags |= SF_HAS_EVAL;
 571               optimize_curly_tail:
 572 #ifdef REGALIGN
 573                 if (OP(oscan) != CURLYX) {
 574                     while (regkind[(U8)OP(next = regnext(oscan))] == NOTHING
 575                            && NEXT_OFF(next))
 576                         NEXT_OFF(oscan) += NEXT_OFF(next);
 577                 }
 578 #endif
 579                 continue;
 580             default:                    /* REF only? */
 581                 if (flags & SCF_DO_SUBSTR) {
 582                     scan_commit(data);
 583                     data->longest = &(data->longest_float);
 584                 }
 585                 is_inf = 1;
 586                 break;
 587             }
 588         } else if (strchr(simple,OP(scan))) {
 589             if (flags & SCF_DO_SUBSTR) {
 590                 scan_commit(data);
 591                 data->pos_min++;
 592             }
 593             min++;
 594         } else if (regkind[(U8)OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
 595             data->flags |= (OP(scan) == MEOL
 596                             ? SF_BEFORE_MEOL
 597                             : SF_BEFORE_SEOL);
 598         } else if (regkind[(U8)OP(scan)] == BRANCHJ
 599                    && (scan->flags || data)
 600                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM)) {
 601             I32 deltanext, minnext;
 602             regnode *nscan;
 603
 604             data_fake.flags = 0;
 605             next = regnext(scan);
 606             nscan = NEXTOPER(NEXTOPER(scan));
 607             minnext = study_chunk(&nscan, &deltanext, last, &data_fake, 0);
 608             if (scan->flags) {
 609                 if (deltanext) {
 610                     FAIL("variable length lookbehind not implemented");
 611                 } else if (minnext > U8_MAX) {
 612                     FAIL2("lookbehind longer than %d not implemented", U8_MAX);
 613                 }
 614                 scan->flags = minnext;
 615             }
 616             if (data && data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 617                 pars++;
 618             if (data_fake.flags & SF_HAS_EVAL)
 619                 data->flags |= SF_HAS_EVAL;
 620         } else if (OP(scan) == OPEN) {
 621             pars++;
 622         } else if (OP(scan) == CLOSE && ARG(scan) == is_par) {
 623 #ifdef REGALIGN_STRUCT
 624             next = regnext(scan);
 625
 626             if ( next && (OP(next) != WHILEM) && next < last)
 627 #endif
 628                 is_par = 0;             /* Disable optimization */
 629         } else if (OP(scan) == EVAL) {
 630                 if (data)
 631                     data->flags |= SF_HAS_EVAL;
 632         }
 633         /* Else: zero-length, ignore. */
 634         scan = regnext(scan);
 635     }
 636
 637   finish:
 638     *scanp = scan;
 639     *deltap = is_inf ? I32_MAX : delta;
 640     if (flags & SCF_DO_SUBSTR && is_inf)
 641         data->pos_delta = I32_MAX - data->pos_min;
 642     if (is_par > U8_MAX)
 643         is_par = 0;
 644     if (is_par && pars==1 && data) {
 645         data->flags |= SF_IN_PAR;
 646         data->flags &= ~SF_HAS_PAR;
 647     } else if (pars && data) {
 648         data->flags |= SF_HAS_PAR;
 649         data->flags &= ~SF_IN_PAR;
 650     }
 651     return min;
 652 }
 653
 654 STATIC I32
 655 add_data(I32 n, char *s)
 656 {
 657     if (rx->data) {
 658         Renewc(rx->data,
 659                sizeof(*rx->data) + sizeof(void*) * (rx->data->count + n - 1),
 660                char, struct reg_data);
 661         Renew(rx->data->what, rx->data->count + n, U8);
 662         rx->data->count += n;
 663     } else {
 664         Newc(1207, rx->data, sizeof(*rx->data) + sizeof(void*) * (n - 1),
 665              char, struct reg_data);
 666         New(1208, rx->data->what, n, U8);
 667         rx->data->count = n;
 668     }
 669     Copy(s, rx->data->what + rx->data->count - n, n, U8);
 670     return rx->data->count - n;
 671 }
 672
 673 /*
 674  - pregcomp - compile a regular expression into internal code
 675  *
 676  * We can't allocate space until we know how big the compiled form will be,
 677  * but we can't compile it (and thus know how big it is) until we've got a
 678  * place to put the code.  So we cheat:  we compile it twice, once with code
 679  * generation turned off and size counting turned on, and once "for real".
 680  * This also means that we don't allocate space until we are sure that the
 681  * thing really will compile successfully, and we never have to move the
 682  * code and thus invalidate pointers into it.  (Note that it has to be in
 683  * one piece because free() must be able to free it all.) [NB: not true in perl]
 684  *
 685  * Beware that the optimization-preparation code in here knows about some
 686  * of the structure of the compiled regexp.  [I'll say.]
 687  */
 688 regexp *
 689 pregcomp(char *exp, char *xend, PMOP *pm)
 690 {
 691     register regexp *r;
 692     regnode *scan;
 693     SV **longest;
 694     SV *longest_fixed;
 695     SV *longest_float;
 696     regnode *first;
 697     I32 flags;
 698     I32 minlen = 0;
 699     I32 sawplus = 0;
 700     I32 sawopen = 0;
 701
 702     if (exp == NULL)
 703         FAIL("NULL regexp argument");
 704
 705     regprecomp = savepvn(exp, xend - exp);
 706     DEBUG_r(PerlIO_printf(Perl_debug_log, "compiling RE `%*s'\n",
 707                           xend - exp, regprecomp));
 708     regflags = pm->op_pmflags;
 709     regsawback = 0;
 710
 711     regseen = 0;
 712     seen_zerolen = *exp == '^' ? -1 : 0;
 713     extralen = 0;
 714
 715     /* First pass: determine size, legality. */
 716     regparse = exp;
 717     regxend = xend;
 718     regnaughty = 0;
 719     regnpar = 1;
 720     regsize = 0L;
 721     regcode = &regdummy;
 722     regc((U8)MAGIC, (char*)regcode);
 723     if (reg(0, &flags) == NULL) {
 724         Safefree(regprecomp);
 725         regprecomp = Nullch;
 726         return(NULL);
 727     }
 728     DEBUG_r(PerlIO_printf(Perl_debug_log, "size %d ", regsize));
 729
 730     DEBUG_r(
 731         if (!colorset) {
 732             int i = 0;
 733             char *s = PerlEnv_getenv("TERMCAP_COLORS");
 734
 735             colorset = 1;
 736             if (s) {
 737                 colors[0] = s = savepv(s);
 738                 while (++i < 4) {
 739                     s = strchr(s, '\t');
 740                     if (!s)
 741                         FAIL("Not enough TABs in TERMCAP_COLORS");
 742                     *s = '\0';
 743                     colors[i] = ++s;
 744                 }
 745             } else {
 746                 while (i < 4)
 747                     colors[i++] = "";
 748             }
 749             /* Reset colors: */
 750             PerlIO_printf(Perl_debug_log, "%s%s%s%s",
 751                           colors[0],colors[1],colors[2],colors[3]);
 752         }
 753         );
 754
 755     /* Small enough for pointer-storage convention?
 756        If extralen==0, this means that we will not need long jumps. */
 757 #ifndef REGALIGN_STRUCT
 758     if (regsize >= 0x10000L && extralen)
 759         FAIL("regexp too big");
 760 #else
 761     if (regsize >= 0x10000L && extralen)
 762         regsize += extralen;
 763     else
 764         extralen = 0;
 765 #endif
 766
 767     /* Allocate space and initialize. */
 768     Newc(1001, r, sizeof(regexp) + (unsigned)regsize * sizeof(regnode),
 769          char, regexp);
 770     if (r == NULL)
 771         FAIL("regexp out of space");
 772     r->refcnt = 1;
 773     r->prelen = xend - exp;
 774     r->precomp = regprecomp;
 775     r->subbeg = r->subbase = NULL;
 776     rx = r;
 777
 778     /* Second pass: emit code. */
 779     regparse = exp;
 780     regxend = xend;
 781     regnaughty = 0;
 782     regnpar = 1;
 783     regcode = r->program;
 784     regc((U8)MAGIC, (char*) regcode++);
 785     r->data = 0;
 786     if (reg(0, &flags) == NULL)
 787         return(NULL);
 788
 789     /* Dig out information for optimizations. */
 790     pm->op_pmflags = regflags;
 791     r->reganch = 0;
 792     r->regstclass = NULL;
 793     r->naughty = regnaughty >= 10;      /* Probably an expensive pattern. */
 794     scan = r->program + 1;              /* First BRANCH. */
 795     if (OP(scan) != BRANCH) {   /* Only one top-level choice. */
 796         scan_data_t data;
 797         I32 fake;
 798         STRLEN longest_float_length, longest_fixed_length;
 799
 800         StructCopy(&zero_scan_data, &data, scan_data_t);
 801         first = scan;
 802         /* Skip introductions and multiplicators >= 1. */
 803         while ((OP(first) == OPEN && (sawopen = 1)) ||
 804             (OP(first) == BRANCH && OP(regnext(first)) != BRANCH) ||
 805             (OP(first) == PLUS) ||
 806             (OP(first) == MINMOD) ||
 807             (regkind[(U8)OP(first)] == CURLY && ARG1(first) > 0) ) {
 808                 if (OP(first) == PLUS)
 809                     sawplus = 1;
 810                 else
 811                     first += regarglen[(U8)OP(first)];
 812                 first = NEXTOPER(first);
 813         }
 814
 815         /* Starting-point info. */
 816       again:
 817         if (OP(first) == EXACT);        /* Empty, get anchored substr later. */
 818         else if (strchr(simple+2,OP(first)))
 819             r->regstclass = first;
 820         else if (regkind[(U8)OP(first)] == BOUND ||
 821                  regkind[(U8)OP(first)] == NBOUND)
 822             r->regstclass = first;
 823         else if (regkind[(U8)OP(first)] == BOL) {
 824             r->reganch |= (OP(first) == MBOL ? ROPT_ANCH_MBOL: ROPT_ANCH_BOL);
 825             first = NEXTOPER(first);
 826             goto again;
 827         }
 828         else if (OP(first) == GPOS) {
 829             r->reganch |= ROPT_ANCH_GPOS;
 830             first = NEXTOPER(first);
 831             goto again;
 832         }
 833         else if ((OP(first) == STAR &&
 834             regkind[(U8)OP(NEXTOPER(first))] == ANY) &&
 835             !(r->reganch & ROPT_ANCH) )
 836         {
 837             /* turn .* into ^.* with an implied $*=1 */
 838             r->reganch |= ROPT_ANCH_BOL | ROPT_IMPLICIT;
 839             first = NEXTOPER(first);
 840             goto again;
 841         }
 842         if (sawplus && (!sawopen || !regsawback))
 843             r->reganch |= ROPT_SKIP;    /* x+ must match 1st of run */
 844
 845         /* Scan is after the zeroth branch, first is atomic matcher. */
 846         DEBUG_r(PerlIO_printf(Perl_debug_log, "first at %d\n",
 847                               first - scan + 1));
 848         /*
 849         * If there's something expensive in the r.e., find the
 850         * longest literal string that must appear and make it the
 851         * regmust.  Resolve ties in favor of later strings, since
 852         * the regstart check works with the beginning of the r.e.
 853         * and avoiding duplication strengthens checking.  Not a
 854         * strong reason, but sufficient in the absence of others.
 855         * [Now we resolve ties in favor of the earlier string if
 856         * it happens that c_offset_min has been invalidated, since the
 857         * earlier string may buy us something the later one won't.]
 858         */
 859         minlen = 0;
 860
 861         data.longest_fixed = newSVpv("",0);
 862         data.longest_float = newSVpv("",0);
 863         data.last_found = newSVpv("",0);
 864         data.longest = &(data.longest_fixed);
 865         first = scan;
 866
 867         minlen = study_chunk(&first, &fake, scan + regsize, /* Up to end */
 868                              &data, SCF_DO_SUBSTR);
 869         if ( regnpar == 1 && data.longest == &(data.longest_fixed)
 870              && data.last_start_min == 0 && data.last_end > 0
 871              && !seen_zerolen
 872              && (!(regseen & REG_SEEN_GPOS) || (r->reganch & ROPT_ANCH_GPOS)))
 873             r->reganch |= ROPT_CHECK_ALL;
 874         scan_commit(&data);
 875         SvREFCNT_dec(data.last_found);
 876
 877         longest_float_length = SvCUR(data.longest_float);
 878         if (longest_float_length
 879             || (data.flags & SF_FL_BEFORE_EOL
 880                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 881                     || (regflags & PMf_MULTILINE)))) {
 882             if (SvCUR(data.longest_fixed)
 883                 && data.offset_fixed == data.offset_float_min)
 884                 goto remove;            /* Like in (a)+. */
 885
 886             r->float_substr = data.longest_float;
 887             r->float_min_offset = data.offset_float_min;
 888             r->float_max_offset = data.offset_float_max;
 889             fbm_compile(r->float_substr);
 890             BmUSEFUL(r->float_substr) = 100;
 891             if (data.flags & SF_FL_BEFORE_EOL /* Cannot have SEOL and MULTI */
 892                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 893                     || (regflags & PMf_MULTILINE)))
 894                 SvTAIL_on(r->float_substr);
 895         } else {
 896           remove:
 897             r->float_substr = Nullsv;
 898             SvREFCNT_dec(data.longest_float);
 899             longest_float_length = 0;
 900         }
 901
 902         longest_fixed_length = SvCUR(data.longest_fixed);
 903         if (longest_fixed_length
 904             || (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 905                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 906                     || (regflags & PMf_MULTILINE)))) {
 907             r->anchored_substr = data.longest_fixed;
 908             r->anchored_offset = data.offset_fixed;
 909             fbm_compile(r->anchored_substr);
 910             BmUSEFUL(r->anchored_substr) = 100;
 911             if (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 912                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 913                     || (regflags & PMf_MULTILINE)))
 914                 SvTAIL_on(r->anchored_substr);
 915         } else {
 916             r->anchored_substr = Nullsv;
 917             SvREFCNT_dec(data.longest_fixed);
 918             longest_fixed_length = 0;
 919         }
 920
 921         /* A temporary algorithm prefers floated substr to fixed one to dig more info. */
 922         if (longest_fixed_length > longest_float_length) {
 923             r->check_substr = r->anchored_substr;
 924             r->check_offset_min = r->check_offset_max = r->anchored_offset;
 925             if (r->reganch & ROPT_ANCH_SINGLE)
 926                 r->reganch |= ROPT_NOSCAN;
 927         } else {
 928             r->check_substr = r->float_substr;
 929             r->check_offset_min = data.offset_float_min;
 930             r->check_offset_max = data.offset_float_max;
 931         }
 932     } else {
 933         /* Several toplevels. Best we can is to set minlen. */
 934         I32 fake;
 935
 936         DEBUG_r(PerlIO_printf(Perl_debug_log, "\n"));
 937         scan = r->program + 1;
 938         minlen = study_chunk(&scan, &fake, scan + regsize, NULL, 0);
 939         r->check_substr = r->anchored_substr = r->float_substr = Nullsv;
 940     }
 941
 942     r->nparens = regnpar - 1;
 943     r->minlen = minlen;
 944     if (regseen & REG_SEEN_GPOS)
 945         r->reganch |= ROPT_GPOS_SEEN;
 946     if (regseen & REG_SEEN_LOOKBEHIND)
 947         r->reganch |= ROPT_LOOKBEHIND_SEEN;
 948     Newz(1002, r->startp, regnpar, char*);
 949     Newz(1002, r->endp, regnpar, char*);
 950     DEBUG_r(regdump(r));
 951     return(r);
 952 }
 953
 954 /*
 955  - reg - regular expression, i.e. main body or parenthesized thing
 956  *
 957  * Caller must absorb opening parenthesis.
 958  *
 959  * Combining parenthesis handling with the base level of regular expression
 960  * is a trifle forced, but the need to tie the tails of the branches to what
 961  * follows makes it hard to avoid.
 962  */
 963 STATIC regnode *
 964 reg(I32 paren, I32 *flagp)
 965     /* paren: Parenthesized? 0=top, 1=(, inside: changed to letter. */
 966 {
 967     register regnode *ret;              /* Will be the head of the group. */
 968     register regnode *br;
 969     register regnode *lastbr;
 970     register regnode *ender = 0;
 971     register I32 parno = 0;
 972     I32 flags, oregflags = regflags, have_branch = 0, open = 0;
 973     char c;
 974
 975     *flagp = HASWIDTH;  /* Tentatively. */
 976
 977     /* Make an OPEN node, if parenthesized. */
 978     if (paren) {
 979         if (*regparse == '?') {
 980             regparse++;
 981             paren = *regparse++;
 982             ret = NULL;                 /* For look-ahead/behind. */
 983             switch (paren) {
 984             case '<':
 985 #ifndef REGALIGN_STRUCT
 986                 FAIL("lookbehind non-implemented without REGALIGN_STRUCT");
 987 #endif
 988                 regseen |= REG_SEEN_LOOKBEHIND;
 989                 if (*regparse == '!')
 990                     paren = ',';
 991                 if (*regparse != '=' && *regparse != '!')
 992                     goto unknown;
 993                 regparse++;
 994             case '=':
 995             case '!':
 996                 seen_zerolen++;
 997             case ':':
 998             case '>':
 999                 break;
1000             case '$':
1001             case '@':
1002                 FAIL2("Sequence (?%c...) not implemented", (int)paren);
1003                 break;
1004             case '#':
1005                 while (*regparse && *regparse != ')')
1006                     regparse++;
1007                 if (*regparse != ')')
1008                     FAIL("Sequence (?#... not terminated");
1009                 nextchar();
1010                 *flagp = TRYAGAIN;
1011                 return NULL;
1012             case '{':
1013             {
1014                 dTHR;
1015                 I32 count = 1, n = 0;
1016                 char c;
1017                 char *s = regparse;
1018                 SV *sv;
1019                 OP_4tree *sop, *rop;
1020
1021                 seen_zerolen++;
1022                 while (count && (c = *regparse)) {
1023                     if (c == '\\' && regparse[1])
1024                         regparse++;
1025                     else if (c == '{')
1026                         count++;
1027                     else if (c == '}')
1028                         count--;
1029                     regparse++;
1030                 }
1031                 if (*regparse != ')')
1032                     FAIL("Sequence (?{...}) not terminated or not {}-balanced");
1033                 if (!SIZE_ONLY) {
1034                     AV *av;
1035
1036                     if (regparse - 1 - s)
1037                         sv = newSVpv(s, regparse - 1 - s);
1038                     else
1039                         sv = newSVpv("", 0);
1040
1041                     rop = sv_compile_2op(sv, &sop, "re", &av);
1042
1043                     n = add_data(3, "nso");
1044                     rx->data->data[n] = (void*)rop;
1045                     rx->data->data[n+1] = (void*)av;
1046                     rx->data->data[n+2] = (void*)sop;
1047                     SvREFCNT_dec(sv);
1048                 } else {                /* First pass */
1049                     if (tainted)
1050                         FAIL("Eval-group in insecure regular expression");
1051                 }
1052
1053                 nextchar();
1054                 return reganode(EVAL, n);
1055             }
1056             case '(':
1057             {
1058                 if (regparse[0] == '?') {
1059                     if (regparse[1] == '=' || regparse[1] == '!'
1060                         || regparse[1] == '<'
1061                         || regparse[1] == '{') { /* Lookahead or eval. */
1062                         I32 flag;
1063
1064                         ret = reg_node(LOGICAL);
1065                         regtail(ret, reg(1, &flag));
1066                         goto insert_if;
1067                     }
1068                 } else if (regparse[0] >= '1' && regparse[0] <= '9' ) {
1069                     parno = atoi(regparse++);
1070
1071                     while (isDIGIT(*regparse))
1072                         regparse++;
1073                     ret = reganode(GROUPP, parno);
1074                     if ((c = *nextchar()) != ')')
1075                         FAIL2("Switch (?(number%c not recognized", c);
1076                   insert_if:
1077                     regtail(ret, reganode(IFTHEN, 0));
1078                     br = regbranch(&flags, 1);
1079                     if (br == NULL)
1080                         br = reganode(LONGJMP, 0);
1081                     else
1082                         regtail(br, reganode(LONGJMP, 0));
1083                     c = *nextchar();
1084                     if (c == '|') {
1085                         lastbr = reganode(IFTHEN, 0); /* Fake one for optimizer. */
1086                         regbranch(&flags, 1);
1087                         regtail(ret, lastbr);
1088                         c = *nextchar();
1089                     } else
1090                         lastbr = NULL;
1091                     if (c != ')')
1092                         FAIL("Switch (?(condition)... contains too many branches");
1093                     ender = reg_node(TAIL);
1094                     regtail(br, ender);
1095                     if (lastbr) {
1096                         regtail(lastbr, ender);
1097                         regtail(NEXTOPER(NEXTOPER(lastbr)), ender);
1098                     } else
1099                         regtail(ret, ender);
1100                     return ret;
1101                 } else {
1102                     FAIL2("Unknown condition for (?(%.2s", regparse);
1103                 }
1104             }
1105             case 0:
1106                 FAIL("Sequence (? incomplete");
1107                 break;
1108             default:
1109                 --regparse;
1110                 while (*regparse && strchr("iogcmsx", *regparse))
1111                     pmflag(&regflags, *regparse++);
1112               unknown:
1113                 if (*regparse != ')')
1114                     FAIL2("Sequence (?%c...) not recognized", *regparse);
1115                 nextchar();
1116                 *flagp = TRYAGAIN;
1117                 return NULL;
1118             }
1119         }
1120         else {
1121             parno = regnpar;
1122             regnpar++;
1123             ret = reganode(OPEN, parno);
1124             open = 1;
1125         }
1126     } else
1127         ret = NULL;
1128
1129     /* Pick up the branches, linking them together. */
1130     br = regbranch(&flags, 1);
1131     if (br == NULL)
1132         return(NULL);
1133     if (*regparse == '|') {
1134         if (!SIZE_ONLY && extralen) {
1135             reginsert(BRANCHJ, br);
1136         } else
1137             reginsert(BRANCH, br);
1138         have_branch = 1;
1139         if (SIZE_ONLY)
1140             extralen += 1;              /* For BRANCHJ-BRANCH. */
1141     } else if (paren == ':') {
1142         *flagp |= flags&SIMPLE;
1143     }
1144     if (open) {                         /* Starts with OPEN. */
1145         regtail(ret, br);               /* OPEN -> first. */
1146     } else if (paren != '?')            /* Not Conditional */
1147         ret = br;
1148     if (!(flags&HASWIDTH))
1149         *flagp &= ~HASWIDTH;
1150     *flagp |= flags&SPSTART;
1151     lastbr = br;
1152     while (*regparse == '|') {
1153         if (!SIZE_ONLY && extralen) {
1154             ender = reganode(LONGJMP,0);
1155             regtail(NEXTOPER(NEXTOPER(lastbr)), ender); /* Append to the previous. */
1156         }
1157         if (SIZE_ONLY)
1158             extralen += 2;              /* Account for LONGJMP. */
1159         nextchar();
1160         br = regbranch(&flags, 0);
1161         if (br == NULL)
1162             return(NULL);
1163         regtail(lastbr, br);            /* BRANCH -> BRANCH. */
1164         lastbr = br;
1165         if (!(flags&HASWIDTH))
1166             *flagp &= ~HASWIDTH;
1167         *flagp |= flags&SPSTART;
1168     }
1169
1170     if (have_branch || paren != ':') {
1171         /* Make a closing node, and hook it on the end. */
1172         switch (paren) {
1173         case ':':
1174             ender = reg_node(TAIL);
1175             break;
1176         case 1:
1177             ender = reganode(CLOSE, parno);
1178             break;
1179         case '<':
1180         case '>':
1181         case ',':
1182         case '=':
1183         case '!':
1184             ender = reg_node(SUCCEED);
1185             *flagp &= ~HASWIDTH;
1186             break;
1187         case 0:
1188             ender = reg_node(END);
1189             break;
1190         }
1191         regtail(lastbr, ender);
1192
1193         if (have_branch) {
1194             /* Hook the tails of the branches to the closing node. */
1195             for (br = ret; br != NULL; br = regnext(br)) {
1196                 regoptail(br, ender);
1197             }
1198         }
1199     }
1200
1201     {
1202         char *p;
1203         static char parens[] = "=!<,>";
1204
1205         if (paren && (p = strchr(parens, paren))) {
1206             int node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
1207             int flag = (p - parens) > 1;
1208
1209             if (paren == '>')
1210                 node = SUSPEND, flag = 0;
1211             reginsert(node,ret);
1212 #ifdef REGALIGN_STRUCT
1213             ret->flags = flag;
1214 #endif
1215             regtail(ret, reg_node(TAIL));
1216         }
1217     }
1218
1219     /* Check for proper termination. */
1220     if (paren && (regparse >= regxend || *nextchar() != ')')) {
1221         FAIL("unmatched () in regexp");
1222     } else if (!paren && regparse < regxend) {
1223         if (*regparse == ')') {
1224             FAIL("unmatched () in regexp");
1225         } else
1226             FAIL("junk on end of regexp");      /* "Can't happen". */
1227         /* NOTREACHED */
1228     }
1229     if (paren != 0) {
1230         regflags = oregflags;
1231     }
1232
1233     return(ret);
1234 }
1235
1236 /*
1237  - regbranch - one alternative of an | operator
1238  *
1239  * Implements the concatenation operator.
1240  */
1241 STATIC regnode *
1242 regbranch(I32 *flagp, I32 first)
1243 {
1244     register regnode *ret;
1245     register regnode *chain = NULL;
1246     register regnode *latest;
1247     I32 flags = 0, c = 0;
1248
1249     if (first)
1250         ret = NULL;
1251     else {
1252         if (!SIZE_ONLY && extralen)
1253             ret = reganode(BRANCHJ,0);
1254         else
1255             ret = reg_node(BRANCH);
1256     }
1257
1258     if (!first && SIZE_ONLY)
1259         extralen += 1;                  /* BRANCHJ */
1260
1261     *flagp = WORST;                     /* Tentatively. */
1262
1263     regparse--;
1264     nextchar();
1265     while (regparse < regxend && *regparse != '|' && *regparse != ')') {
1266         flags &= ~TRYAGAIN;
1267         latest = regpiece(&flags);
1268         if (latest == NULL) {
1269             if (flags & TRYAGAIN)
1270                 continue;
1271             return(NULL);
1272         } else if (ret == NULL)
1273             ret = latest;
1274         *flagp |= flags&HASWIDTH;
1275         if (chain == NULL)      /* First piece. */
1276             *flagp |= flags&SPSTART;
1277         else {
1278             regnaughty++;
1279             regtail(chain, latest);
1280         }
1281         chain = latest;
1282         c++;
1283     }
1284     if (chain == NULL) {        /* Loop ran zero times. */
1285         chain = reg_node(NOTHING);
1286         if (ret == NULL)
1287             ret = chain;
1288     }
1289     if (c == 1) {
1290         *flagp |= flags&SIMPLE;
1291     }
1292
1293     return(ret);
1294 }
1295
1296 /*
1297  - regpiece - something followed by possible [*+?]
1298  *
1299  * Note that the branching code sequences used for ? and the general cases
1300  * of * and + are somewhat optimized:  they use the same NOTHING node as
1301  * both the endmarker for their branch list and the body of the last branch.
1302  * It might seem that this node could be dispensed with entirely, but the
1303  * endmarker role is not redundant.
1304  */
1305 STATIC regnode *
1306 regpiece(I32 *flagp)
1307 {
1308     register regnode *ret;
1309     register char op;
1310     register char *next;
1311     I32 flags;
1312     char *origparse = regparse;
1313     char *maxpos;
1314     I32 min;
1315     I32 max = REG_INFTY;
1316
1317     ret = regatom(&flags);
1318     if (ret == NULL) {
1319         if (flags & TRYAGAIN)
1320             *flagp |= TRYAGAIN;
1321         return(NULL);
1322     }
1323
1324     op = *regparse;
1325
1326     if (op == '{' && regcurly(regparse)) {
1327         next = regparse + 1;
1328         maxpos = Nullch;
1329         while (isDIGIT(*next) || *next == ',') {
1330             if (*next == ',') {
1331                 if (maxpos)
1332                     break;
1333                 else
1334                     maxpos = next;
1335             }
1336             next++;
1337         }
1338         if (*next == '}') {             /* got one */
1339             if (!maxpos)
1340                 maxpos = next;
1341             regparse++;
1342             min = atoi(regparse);
1343             if (*maxpos == ',')
1344                 maxpos++;
1345             else
1346                 maxpos = regparse;
1347             max = atoi(maxpos);
1348             if (!max && *maxpos != '0')
1349                 max = REG_INFTY;                /* meaning "infinity" */
1350             else if (max >= REG_INFTY)
1351                 FAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
1352             regparse = next;
1353             nextchar();
1354
1355         do_curly:
1356             if ((flags&SIMPLE)) {
1357                 regnaughty += 2 + regnaughty / 2;
1358                 reginsert(CURLY, ret);
1359             }
1360             else {
1361                 regnaughty += 4 + regnaughty;   /* compound interest */
1362                 regtail(ret, reg_node(WHILEM));
1363                 if (!SIZE_ONLY && extralen) {
1364                     reginsert(LONGJMP,ret);
1365                     reginsert(NOTHING,ret);
1366                     NEXT_OFF(ret) = 3;  /* Go over LONGJMP. */
1367                 }
1368                 reginsert(CURLYX,ret);
1369                 if (!SIZE_ONLY && extralen)
1370                     NEXT_OFF(ret) = 3;  /* Go over NOTHING to LONGJMP. */
1371                 regtail(ret, reg_node(NOTHING));
1372                 if (SIZE_ONLY)
1373                     extralen += 3;
1374             }
1375 #ifdef REGALIGN_STRUCT
1376             ret->flags = 0;
1377 #endif
1378
1379             if (min > 0)
1380                 *flagp = (WORST|HASWIDTH);
1381             if (max && max < min)
1382                 FAIL("Can't do {n,m} with n > m");
1383             if (!SIZE_ONLY) {
1384                 ARG1_SET(ret, min);
1385                 ARG2_SET(ret, max);
1386             }
1387
1388             goto nest_check;
1389         }
1390     }
1391
1392     if (!ISMULT1(op)) {
1393         *flagp = flags;
1394         return(ret);
1395     }
1396
1397 #if 0                           /* Now runtime fix should be reliable. */
1398     if (!(flags&HASWIDTH) && op != '?')
1399       FAIL("regexp *+ operand could be empty");
1400 #endif
1401
1402     nextchar();
1403
1404     *flagp = (op != '+') ? (WORST|SPSTART) : (WORST|HASWIDTH);
1405
1406     if (op == '*' && (flags&SIMPLE)) {
1407         reginsert(STAR, ret);
1408 #ifdef REGALIGN_STRUCT
1409         ret->flags = 0;
1410 #endif
1411         regnaughty += 4;
1412     }
1413     else if (op == '*') {
1414         min = 0;
1415         goto do_curly;
1416     } else if (op == '+' && (flags&SIMPLE)) {
1417         reginsert(PLUS, ret);
1418 #ifdef REGALIGN_STRUCT
1419         ret->flags = 0;
1420 #endif
1421         regnaughty += 3;
1422     }
1423     else if (op == '+') {
1424         min = 1;
1425         goto do_curly;
1426     } else if (op == '?') {
1427         min = 0; max = 1;
1428         goto do_curly;
1429     }
1430   nest_check:
1431     if (dowarn && !SIZE_ONLY && !(flags&HASWIDTH) && max > 10000) {
1432         warn("%.*s matches null string many times",
1433             regparse - origparse, origparse);
1434     }
1435
1436     if (*regparse == '?') {
1437         nextchar();
1438         reginsert(MINMOD, ret);
1439 #ifdef REGALIGN
1440         regtail(ret, ret + NODE_STEP_REGNODE);
1441 #else
1442         regtail(ret, ret + 3);
1443 #endif
1444     }
1445     if (ISMULT2(regparse))
1446         FAIL("nested *?+ in regexp");
1447
1448     return(ret);
1449 }
1450
1451 /*
1452  - regatom - the lowest level
1453  *
1454  * Optimization:  gobbles an entire sequence of ordinary characters so that
1455  * it can turn them into a single node, which is smaller to store and
1456  * faster to run.  Backslashed characters are exceptions, each becoming a
1457  * separate node; the code is simpler that way and it's not worth fixing.
1458  *
1459  * [Yes, it is worth fixing, some scripts can run twice the speed.]
1460  */
1461 STATIC regnode *
1462 regatom(I32 *flagp)
1463 {
1464     register regnode *ret = 0;
1465     I32 flags;
1466
1467     *flagp = WORST;             /* Tentatively. */
1468
1469 tryagain:
1470     switch (*regparse) {
1471     case '^':
1472         seen_zerolen++;
1473         nextchar();
1474         if (regflags & PMf_MULTILINE)
1475             ret = reg_node(MBOL);
1476         else if (regflags & PMf_SINGLELINE)
1477             ret = reg_node(SBOL);
1478         else
1479             ret = reg_node(BOL);
1480         break;
1481     case '$':
1482         if (regparse[1])
1483             seen_zerolen++;
1484         nextchar();
1485         if (regflags & PMf_MULTILINE)
1486             ret = reg_node(MEOL);
1487         else if (regflags & PMf_SINGLELINE)
1488             ret = reg_node(SEOL);
1489         else
1490             ret = reg_node(EOL);
1491         break;
1492     case '.':
1493         nextchar();
1494         if (regflags & PMf_SINGLELINE)
1495             ret = reg_node(SANY);
1496         else
1497             ret = reg_node(ANY);
1498         regnaughty++;
1499         *flagp |= HASWIDTH|SIMPLE;
1500         break;
1501     case '[':
1502         regparse++;
1503         ret = regclass();
1504         *flagp |= HASWIDTH|SIMPLE;
1505         break;
1506     case '(':
1507         nextchar();
1508         ret = reg(1, &flags);
1509         if (ret == NULL) {
1510                 if (flags & TRYAGAIN)
1511                     goto tryagain;
1512                 return(NULL);
1513         }
1514         *flagp |= flags&(HASWIDTH|SPSTART|SIMPLE);
1515         break;
1516     case '|':
1517     case ')':
1518         if (flags & TRYAGAIN) {
1519             *flagp |= TRYAGAIN;
1520             return NULL;
1521         }
1522         FAIL2("internal urp in regexp at /%s/", regparse);
1523                                 /* Supposed to be caught earlier. */
1524         break;
1525     case '{':
1526         if (!regcurly(regparse)) {
1527             regparse++;
1528             goto defchar;
1529         }
1530         /* FALL THROUGH */
1531     case '?':
1532     case '+':
1533     case '*':
1534         FAIL("?+*{} follows nothing in regexp");
1535         break;
1536     case '\\':
1537         switch (*++regparse) {
1538         case 'A':
1539             seen_zerolen++;
1540             ret = reg_node(SBOL);
1541             *flagp |= SIMPLE;
1542             nextchar();
1543             break;
1544         case 'G':
1545             ret = reg_node(GPOS);
1546             regseen |= REG_SEEN_GPOS;
1547             *flagp |= SIMPLE;
1548             nextchar();
1549             break;
1550         case 'Z':
1551             ret = reg_node(SEOL);
1552             *flagp |= SIMPLE;
1553             nextchar();
1554             break;
1555         case 'w':
1556             ret = reg_node((regflags & PMf_LOCALE) ? ALNUML : ALNUM);
1557             *flagp |= HASWIDTH|SIMPLE;
1558             nextchar();
1559             break;
1560         case 'W':
1561             ret = reg_node((regflags & PMf_LOCALE) ? NALNUML : NALNUM);
1562             *flagp |= HASWIDTH|SIMPLE;
1563             nextchar();
1564             break;
1565         case 'b':
1566             seen_zerolen++;
1567             ret = reg_node((regflags & PMf_LOCALE) ? BOUNDL : BOUND);
1568             *flagp |= SIMPLE;
1569             nextchar();
1570             break;
1571         case 'B':
1572             seen_zerolen++;
1573             ret = reg_node((regflags & PMf_LOCALE) ? NBOUNDL : NBOUND);
1574             *flagp |= SIMPLE;
1575             nextchar();
1576             break;
1577         case 's':
1578             ret = reg_node((regflags & PMf_LOCALE) ? SPACEL : SPACE);
1579             *flagp |= HASWIDTH|SIMPLE;
1580             nextchar();
1581             break;
1582         case 'S':
1583             ret = reg_node((regflags & PMf_LOCALE) ? NSPACEL : NSPACE);
1584             *flagp |= HASWIDTH|SIMPLE;
1585             nextchar();
1586             break;
1587         case 'd':
1588             ret = reg_node(DIGIT);
1589             *flagp |= HASWIDTH|SIMPLE;
1590             nextchar();
1591             break;
1592         case 'D':
1593             ret = reg_node(NDIGIT);
1594             *flagp |= HASWIDTH|SIMPLE;
1595             nextchar();
1596             break;
1597         case 'n':
1598         case 'r':
1599         case 't':
1600         case 'f':
1601         case 'e':
1602         case 'a':
1603         case 'x':
1604         case 'c':
1605         case '0':
1606             goto defchar;
1607         case '1': case '2': case '3': case '4':
1608         case '5': case '6': case '7': case '8': case '9':
1609             {
1610                 I32 num = atoi(regparse);
1611
1612                 if (num > 9 && num >= regnpar)
1613                     goto defchar;
1614                 else {
1615                     regsawback = 1;
1616                     ret = reganode((regflags & PMf_FOLD)
1617                                    ? ((regflags & PMf_LOCALE) ? REFFL : REFF)
1618                                    : REF, num);
1619                     *flagp |= HASWIDTH;
1620                     while (isDIGIT(*regparse))
1621                         regparse++;
1622                     regparse--;
1623                     nextchar();
1624                 }
1625             }
1626             break;
1627         case '\0':
1628             if (regparse >= regxend)
1629                 FAIL("trailing \\ in regexp");
1630             /* FALL THROUGH */
1631         default:
1632             goto defchar;
1633         }
1634         break;
1635
1636     case '#':
1637         if (regflags & PMf_EXTENDED) {
1638             while (regparse < regxend && *regparse != '\n') regparse++;
1639             if (regparse < regxend)
1640                 goto tryagain;
1641         }
1642         /* FALL THROUGH */
1643
1644     default: {
1645             register I32 len;
1646             register U8 ender;
1647             register char *p;
1648             char *oldp, *s;
1649             I32 numlen;
1650
1651             regparse++;
1652
1653         defchar:
1654             ret = reg_node((regflags & PMf_FOLD)
1655                           ? ((regflags & PMf_LOCALE) ? EXACTFL : EXACTF)
1656                           : EXACT);
1657             s = (char *) OPERAND(ret);
1658             regc(0, s++);               /* save spot for len */
1659             for (len = 0, p = regparse - 1;
1660               len < 127 && p < regxend;
1661               len++)
1662             {
1663                 oldp = p;
1664
1665                 if (regflags & PMf_EXTENDED)
1666                     p = regwhite(p, regxend);
1667                 switch (*p) {
1668                 case '^':
1669                 case '$':
1670                 case '.':
1671                 case '[':
1672                 case '(':
1673                 case ')':
1674                 case '|':
1675                     goto loopdone;
1676                 case '\\':
1677                     switch (*++p) {
1678                     case 'A':
1679                     case 'G':
1680                     case 'Z':
1681                     case 'w':
1682                     case 'W':
1683                     case 'b':
1684                     case 'B':
1685                     case 's':
1686                     case 'S':
1687                     case 'd':
1688                     case 'D':
1689                         --p;
1690                         goto loopdone;
1691                     case 'n':
1692                         ender = '\n';
1693                         p++;
1694                         break;
1695                     case 'r':
1696                         ender = '\r';
1697                         p++;
1698                         break;
1699                     case 't':
1700                         ender = '\t';
1701                         p++;
1702                         break;
1703                     case 'f':
1704                         ender = '\f';
1705                         p++;
1706                         break;
1707                     case 'e':
1708                         ender = '\033';
1709                         p++;
1710                         break;
1711                     case 'a':
1712                         ender = '\007';
1713                         p++;
1714                         break;
1715                     case 'x':
1716                         ender = scan_hex(++p, 2, &numlen);
1717                         p += numlen;
1718                         break;
1719                     case 'c':
1720                         p++;
1721                         ender = UCHARAT(p++);
1722                         ender = toCTRL(ender);
1723                         break;
1724                     case '0': case '1': case '2': case '3':case '4':
1725                     case '5': case '6': case '7': case '8':case '9':
1726                         if (*p == '0' ||
1727                           (isDIGIT(p[1]) && atoi(p) >= regnpar) ) {
1728                             ender = scan_oct(p, 3, &numlen);
1729                             p += numlen;
1730                         }
1731                         else {
1732                             --p;
1733                             goto loopdone;
1734                         }
1735                         break;
1736                     case '\0':
1737                         if (p >= regxend)
1738                             FAIL("trailing \\ in regexp");
1739                         /* FALL THROUGH */
1740                     default:
1741                         ender = *p++;
1742                         break;
1743                     }
1744                     break;
1745                 default:
1746                     ender = *p++;
1747                     break;
1748                 }
1749                 if (regflags & PMf_EXTENDED)
1750                     p = regwhite(p, regxend);
1751                 if (ISMULT2(p)) { /* Back off on ?+*. */
1752                     if (len)
1753                         p = oldp;
1754                     else {
1755                         len++;
1756                         regc(ender, s++);
1757                     }
1758                     break;
1759                 }
1760                 regc(ender, s++);
1761             }
1762         loopdone:
1763             regparse = p - 1;
1764             nextchar();
1765             if (len < 0)
1766                 FAIL("internal disaster in regexp");
1767             if (len > 0)
1768                 *flagp |= HASWIDTH;
1769             if (len == 1)
1770                 *flagp |= SIMPLE;
1771             if (!SIZE_ONLY)
1772                 *OPERAND(ret) = len;
1773             regc('\0', s++);
1774             if (SIZE_ONLY) {
1775 #ifdef REGALIGN_STRUCT
1776                 regsize += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1777 #endif
1778             } else {
1779                 regcode += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1780             }
1781         }
1782         break;
1783     }
1784
1785     return(ret);
1786 }
1787
1788 static char *
1789 regwhite(char *p, char *e)
1790 {
1791     while (p < e) {
1792         if (isSPACE(*p))
1793             ++p;
1794         else if (*p == '#') {
1795             do {
1796                 p++;
1797             } while (p < e && *p != '\n');
1798         }
1799         else
1800             break;
1801     }
1802     return p;
1803 }
1804
1805 STATIC void
1806 regset(char *opnd, register I32 c)
1807 {
1808     if (SIZE_ONLY)
1809         return;
1810     c &= 0xFF;
1811     opnd[1 + (c >> 3)] |= (1 << (c & 7));
1812 }
1813
1814 STATIC regnode *
1815 regclass(void)
1816 {
1817     register char *opnd, *s;
1818     register I32 Class;
1819     register I32 lastclass = 1234;
1820     register I32 range = 0;
1821     register regnode *ret;
1822     register I32 def;
1823     I32 numlen;
1824
1825     s = opnd = (char *) OPERAND(regcode);
1826     ret = reg_node(ANYOF);
1827     for (Class = 0; Class < 33; Class++)
1828         regc(0, s++);
1829     if (*regparse == '^') {     /* Complement of range. */
1830         regnaughty++;
1831         regparse++;
1832         if (!SIZE_ONLY)
1833             *opnd |= ANYOF_INVERT;
1834     }
1835     if (!SIZE_ONLY) {
1836         regcode += ANY_SKIP;
1837         if (regflags & PMf_FOLD)
1838             *opnd |= ANYOF_FOLD;
1839         if (regflags & PMf_LOCALE)
1840             *opnd |= ANYOF_LOCALE;
1841     } else {
1842         regsize += ANY_SKIP;
1843     }
1844     if (*regparse == ']' || *regparse == '-')
1845         goto skipcond;          /* allow 1st char to be ] or - */
1846     while (regparse < regxend && *regparse != ']') {
1847        skipcond:
1848         Class = UCHARAT(regparse++);
1849         if (Class == '[' && regparse + 1 < regxend &&
1850             /* I smell either [: or [= or [. -- POSIX has been here, right? */
1851             (*regparse == ':' || *regparse == '=' || *regparse == '.')) {
1852             char  posixccc = *regparse;
1853             char* posixccs = regparse++;
1854
1855             while (regparse < regxend && *regparse != posixccc)
1856                 regparse++;
1857             if (regparse == regxend)
1858                 /* Grandfather lone [:, [=, [. */
1859                 regparse = posixccs;
1860             else {
1861                 regparse++; /* skip over the posixccc */
1862                 if (*regparse == ']') {
1863                     /* Not Implemented Yet.
1864                      * (POSIX Extended Character Classes, that is)
1865                      * The text between e.g. [: and :] would start
1866                      * at posixccs + 1 and stop at regparse - 2. */
1867                     if (dowarn && !SIZE_ONLY)
1868                         warn("Character class syntax [%c %c] is reserved for future extensions", posixccc, posixccc);
1869                     regparse++; /* skip over the ending ] */
1870                 }
1871             }
1872         }
1873         if (Class == '\\') {
1874             Class = UCHARAT(regparse++);
1875             switch (Class) {
1876             case 'w':
1877                 if (regflags & PMf_LOCALE) {
1878                     if (!SIZE_ONLY)
1879                         *opnd |= ANYOF_ALNUML;
1880                 }
1881                 else {
1882                     for (Class = 0; Class < 256; Class++)
1883                         if (isALNUM(Class))
1884                             regset(opnd, Class);
1885                 }
1886                 lastclass = 1234;
1887                 continue;
1888             case 'W':
1889                 if (regflags & PMf_LOCALE) {
1890                     if (!SIZE_ONLY)
1891                         *opnd |= ANYOF_NALNUML;
1892                 }
1893                 else {
1894                     for (Class = 0; Class < 256; Class++)
1895                         if (!isALNUM(Class))
1896                             regset(opnd, Class);
1897                 }
1898                 lastclass = 1234;
1899                 continue;
1900             case 's':
1901                 if (regflags & PMf_LOCALE) {
1902                     if (!SIZE_ONLY)
1903                         *opnd |= ANYOF_SPACEL;
1904                 }
1905                 else {
1906                     for (Class = 0; Class < 256; Class++)
1907                         if (isSPACE(Class))
1908                             regset(opnd, Class);
1909                 }
1910                 lastclass = 1234;
1911                 continue;
1912             case 'S':
1913                 if (regflags & PMf_LOCALE) {
1914                     if (!SIZE_ONLY)
1915                         *opnd |= ANYOF_NSPACEL;
1916                 }
1917                 else {
1918                     for (Class = 0; Class < 256; Class++)
1919                         if (!isSPACE(Class))
1920                             regset(opnd, Class);
1921                 }
1922                 lastclass = 1234;
1923                 continue;
1924             case 'd':
1925                 for (Class = '0'; Class <= '9'; Class++)
1926                     regset(opnd, Class);
1927                 lastclass = 1234;
1928                 continue;
1929             case 'D':
1930                 for (Class = 0; Class < '0'; Class++)
1931                     regset(opnd, Class);
1932                 for (Class = '9' + 1; Class < 256; Class++)
1933                     regset(opnd, Class);
1934                 lastclass = 1234;
1935                 continue;
1936             case 'n':
1937                 Class = '\n';
1938                 break;
1939             case 'r':
1940                 Class = '\r';
1941                 break;
1942             case 't':
1943                 Class = '\t';
1944                 break;
1945             case 'f':
1946                 Class = '\f';
1947                 break;
1948             case 'b':
1949                 Class = '\b';
1950                 break;
1951             case 'e':
1952                 Class = '\033';
1953                 break;
1954             case 'a':
1955                 Class = '\007';
1956                 break;
1957             case 'x':
1958                 Class = scan_hex(regparse, 2, &numlen);
1959                 regparse += numlen;
1960                 break;
1961             case 'c':
1962                 Class = UCHARAT(regparse++);
1963                 Class = toCTRL(Class);
1964                 break;
1965             case '0': case '1': case '2': case '3': case '4':
1966             case '5': case '6': case '7': case '8': case '9':
1967                 Class = scan_oct(--regparse, 3, &numlen);
1968                 regparse += numlen;
1969                 break;
1970             }
1971         }
1972         if (range) {
1973             if (lastclass > Class)
1974                 FAIL("invalid [] range in regexp");
1975             range = 0;
1976         }
1977         else {
1978             lastclass = Class;
1979             if (*regparse == '-' && regparse+1 < regxend &&
1980               regparse[1] != ']') {
1981                 regparse++;
1982                 range = 1;
1983                 continue;       /* do it next time */
1984             }
1985         }
1986         for ( ; lastclass <= Class; lastclass++)
1987             regset(opnd, lastclass);
1988         lastclass = Class;
1989     }
1990     if (*regparse != ']')
1991         FAIL("unmatched [] in regexp");
1992     nextchar();
1993     return ret;
1994 }
1995
1996 STATIC char*
1997 nextchar(void)
1998 {
1999     char* retval = regparse++;
2000
2001     for (;;) {
2002         if (*regparse == '(' && regparse[1] == '?' &&
2003                 regparse[2] == '#') {
2004             while (*regparse && *regparse != ')')
2005                 regparse++;
2006             regparse++;
2007             continue;
2008         }
2009         if (regflags & PMf_EXTENDED) {
2010             if (isSPACE(*regparse)) {
2011                 regparse++;
2012                 continue;
2013             }
2014             else if (*regparse == '#') {
2015                 while (*regparse && *regparse != '\n')
2016                     regparse++;
2017                 regparse++;
2018                 continue;
2019             }
2020         }
2021         return retval;
2022     }
2023 }
2024
2025 /*
2026 - reg_node - emit a node
2027 */
2028 STATIC regnode *                        /* Location. */
2029 #ifdef CAN_PROTOTYPE
2030 reg_node(U8 op)
2031 #else
2032 reg_node(op)
2033 U8 op;
2034 #endif
2035 {
2036     register regnode *ret;
2037     register regnode *ptr;
2038
2039     ret = regcode;
2040     if (SIZE_ONLY) {
2041         SIZE_ALIGN(regsize);
2042 #ifdef REGALIGN_STRUCT
2043         regsize += 1;
2044 #else
2045         regsize += 3;
2046 #endif
2047         return(ret);
2048     }
2049
2050     NODE_ALIGN_FILL(ret);
2051     ptr = ret;
2052     FILL_ADVANCE_NODE(ptr, op);
2053     regcode = ptr;
2054
2055     return(ret);
2056 }
2057
2058 /*
2059 - reganode - emit a node with an argument
2060 */
2061 STATIC regnode *                        /* Location. */
2062 #ifdef CAN_PROTOTYPE
2063 reganode(U8 op, U32 arg)
2064 #else
2065 reganode(op, arg)
2066 U8 op;
2067 U32 arg;
2068 #endif
2069 {
2070     register regnode *ret;
2071     register regnode *ptr;
2072
2073     ret = regcode;
2074     if (SIZE_ONLY) {
2075         SIZE_ALIGN(regsize);
2076 #ifdef REGALIGN
2077         regsize += 2;
2078 #else
2079         regsize += 5;
2080 #endif
2081         return(ret);
2082     }
2083
2084     NODE_ALIGN_FILL(ret);
2085     ptr = ret;
2086     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
2087     regcode = ptr;
2088
2089     return(ret);
2090 }
2091
2092 /*
2093 - regc - emit (if appropriate) a byte of code
2094 */
2095 #ifdef CAN_PROTOTYPE
2096 STATIC void
2097 regc(U8 b, char* s)
2098 #else
2099 static void
2100 regc(b, s)
2101 U8 b;
2102 char *s;
2103 #endif
2104 {
2105     if (!SIZE_ONLY)
2106         *s = b;
2107 }
2108
2109 /*
2110 - reginsert - insert an operator in front of already-emitted operand
2111 *
2112 * Means relocating the operand.
2113 */
2114 #ifdef CAN_PROTOTYPE
2115 STATIC void
2116 reginsert(U8 op, regnode *opnd)
2117 #else
2118 static void
2119 reginsert(op, opnd)
2120 U8 op;
2121 regnode *opnd;
2122 #endif
2123 {
2124     register regnode *src;
2125     register regnode *dst;
2126     register regnode *place;
2127     register int offset = regarglen[(U8)op];
2128
2129 /* (regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
2130
2131     if (SIZE_ONLY) {
2132         regsize += NODE_STEP_REGNODE + offset;
2133         return;
2134     }
2135
2136     src = regcode;
2137     regcode += NODE_STEP_REGNODE + offset;
2138     dst = regcode;
2139     while (src > opnd)
2140         StructCopy(--src, --dst, regnode);
2141
2142     place = opnd;               /* Op node, where operand used to be. */
2143     src = NEXTOPER(place);
2144     FILL_ADVANCE_NODE(place, op);
2145     Zero(src, offset, regnode);
2146 #if defined(REGALIGN) && !defined(REGALIGN_STRUCT)
2147     src[offset + 1] = '\177';
2148 #endif
2149 }
2150
2151 /*
2152 - regtail - set the next-pointer at the end of a node chain of p to val.
2153 */
2154 STATIC void
2155 regtail(regnode *p, regnode *val)
2156 {
2157     register regnode *scan;
2158     register regnode *temp;
2159     register I32 offset;
2160
2161     if (SIZE_ONLY)
2162         return;
2163
2164     /* Find last node. */
2165     scan = p;
2166     for (;;) {
2167         temp = regnext(scan);
2168         if (temp == NULL)
2169             break;
2170         scan = temp;
2171     }
2172
2173 #ifdef REGALIGN
2174 #  ifdef REGALIGN_STRUCT
2175     if (reg_off_by_arg[OP(scan)]) {
2176         ARG_SET(scan, val - scan);
2177     } else {
2178         NEXT_OFF(scan) = val - scan;
2179     }
2180 #  else
2181     offset = val - scan;
2182 #    ifndef lint
2183     *(short*)(scan+1) = offset;
2184 #    endif
2185 #endif
2186 #else
2187     if (OP(scan) == BACK)
2188         offset = scan - val;
2189     else
2190         offset = val - scan;
2191     *(scan+1) = (offset>>8)&0377;
2192     *(scan+2) = offset&0377;
2193 #endif
2194 }
2195
2196 /*
2197 - regoptail - regtail on operand of first argument; nop if operandless
2198 */
2199 STATIC void
2200 regoptail(regnode *p, regnode *val)
2201 {
2202     /* "Operandless" and "op != BRANCH" are synonymous in practice. */
2203     if (p == NULL || SIZE_ONLY)
2204         return;
2205     if (regkind[(U8)OP(p)] == BRANCH) {
2206         regtail(NEXTOPER(p), val);
2207     } else if ( regkind[(U8)OP(p)] == BRANCHJ) {
2208         regtail(NEXTOPER(NEXTOPER(p)), val);
2209     } else
2210         return;
2211 }
2212
2213 /*
2214  - regcurly - a little FSA that accepts {\d+,?\d*}
2215  */
2216 STATIC I32
2217 regcurly(register char *s)
2218 {
2219     if (*s++ != '{')
2220         return FALSE;
2221     if (!isDIGIT(*s))
2222         return FALSE;
2223     while (isDIGIT(*s))
2224         s++;
2225     if (*s == ',')
2226         s++;
2227     while (isDIGIT(*s))
2228         s++;
2229     if (*s != '}')
2230         return FALSE;
2231     return TRUE;
2232 }
2233
2234 #ifdef DEBUGGING
2235
2236 STATIC regnode *
2237 dumpuntil(regnode *start, regnode *node, regnode *last, SV* sv, I32 l)
2238 {
2239     register char op = EXACT;   /* Arbitrary non-END op. */
2240     register regnode *next, *onode;
2241
2242     while (op != END && (!last || node < last)) {
2243         /* While that wasn't END last time... */
2244
2245         NODE_ALIGN(node);
2246         op = OP(node);
2247         if (op == CLOSE)
2248             l--;
2249         next = regnext(node);
2250         /* Where, what. */
2251         if (OP(node) == OPTIMIZED)
2252             goto after_print;
2253         regprop(sv, node);
2254         PerlIO_printf(Perl_debug_log, "%4d%*s%s", node - start,
2255                       2*l + 1, "", SvPVX(sv));
2256         if (next == NULL)               /* Next ptr. */
2257             PerlIO_printf(Perl_debug_log, "(0)");
2258         else
2259             PerlIO_printf(Perl_debug_log, "(%d)", next - start);
2260         (void)PerlIO_putc(Perl_debug_log, '\n');
2261       after_print:
2262         if (regkind[(U8)op] == BRANCHJ) {
2263             register regnode *nnode = (OP(next) == LONGJMP
2264                                        ? regnext(next)
2265                                        : next);
2266             if (last && nnode > last)
2267                 nnode = last;
2268             node = dumpuntil(start, NEXTOPER(NEXTOPER(node)), nnode, sv, l + 1);
2269         } else if (regkind[(U8)op] == BRANCH) {
2270             node = dumpuntil(start, NEXTOPER(node), next, sv, l + 1);
2271         } else if ( op == CURLY) {   /* `next' might be very big: optimizer */
2272             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2273                              NEXTOPER(node) + EXTRA_STEP_2ARGS + 1, sv, l + 1);
2274         } else if (regkind[(U8)op] == CURLY && op != CURLYX) {
2275             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2276                              next, sv, l + 1);
2277         } else if ( op == PLUS || op == STAR) {
2278             node = dumpuntil(start, NEXTOPER(node), NEXTOPER(node) + 1, sv, l + 1);
2279         } else if (op == ANYOF) {
2280             node = NEXTOPER(node);
2281             node += ANY_SKIP;
2282         } else if (regkind[(U8)op] == EXACT) {
2283             /* Literal string, where present. */
2284             node += ((*OPERAND(node)) + 2 + sizeof(regnode) - 1) / sizeof(regnode);
2285             node = NEXTOPER(node);
2286         } else {
2287             node = NEXTOPER(node);
2288             node += regarglen[(U8)op];
2289         }
2290         if (op == CURLYX || op == OPEN)
2291             l++;
2292         else if (op == WHILEM)
2293             l--;
2294     }
2295     return node;
2296 }
2297
2298 /*
2299  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
2300  */
2301 void
2302 regdump(regexp *r)
2303 {
2304     SV *sv = sv_newmortal();
2305
2306     (void)dumpuntil(r->program, r->program + 1, NULL, sv, 0);
2307
2308     /* Header fields of interest. */
2309     if (r->anchored_substr)
2310         PerlIO_printf(Perl_debug_log, "anchored `%s%s%s'%s at %d ",
2311                       colors[0],
2312                       SvPVX(r->anchored_substr),
2313                       colors[1],
2314                       SvTAIL(r->anchored_substr) ? "$" : "",
2315                       r->anchored_offset);
2316     if (r->float_substr)
2317         PerlIO_printf(Perl_debug_log, "floating `%s%s%s'%s at %d..%u ",
2318                       colors[0],
2319                       SvPVX(r->float_substr),
2320                       colors[1],
2321                       SvTAIL(r->float_substr) ? "$" : "",
2322                       r->float_min_offset, r->float_max_offset);
2323     if (r->check_substr)
2324         PerlIO_printf(Perl_debug_log,
2325                       r->check_substr == r->float_substr
2326                       ? "(checking floating" : "(checking anchored");
2327     if (r->reganch & ROPT_NOSCAN)
2328         PerlIO_printf(Perl_debug_log, " noscan");
2329     if (r->reganch & ROPT_CHECK_ALL)
2330         PerlIO_printf(Perl_debug_log, " isall");
2331     if (r->check_substr)
2332         PerlIO_printf(Perl_debug_log, ") ");
2333
2334     if (r->regstclass) {
2335         regprop(sv, r->regstclass);
2336         PerlIO_printf(Perl_debug_log, "stclass `%s' ", SvPVX(sv));
2337     }
2338     if (r->reganch & ROPT_ANCH) {
2339         PerlIO_printf(Perl_debug_log, "anchored");
2340         if (r->reganch & ROPT_ANCH_BOL)
2341             PerlIO_printf(Perl_debug_log, "(BOL)");
2342         if (r->reganch & ROPT_ANCH_MBOL)
2343             PerlIO_printf(Perl_debug_log, "(MBOL)");
2344         if (r->reganch & ROPT_ANCH_GPOS)
2345             PerlIO_printf(Perl_debug_log, "(GPOS)");
2346         PerlIO_putc(Perl_debug_log, ' ');
2347     }
2348     if (r->reganch & ROPT_GPOS_SEEN)
2349         PerlIO_printf(Perl_debug_log, "GPOS ");
2350     if (r->reganch & ROPT_SKIP)
2351         PerlIO_printf(Perl_debug_log, "plus ");
2352     if (r->reganch & ROPT_IMPLICIT)
2353         PerlIO_printf(Perl_debug_log, "implicit ");
2354     PerlIO_printf(Perl_debug_log, "minlen %ld ", (long) r->minlen);
2355     PerlIO_printf(Perl_debug_log, "\n");
2356 }
2357
2358 /*
2359 - regprop - printable representation of opcode
2360 */
2361 void
2362 regprop(SV *sv, regnode *o)
2363 {
2364     register char *p = 0;
2365
2366     sv_setpv(sv, ":");
2367     switch (OP(o)) {
2368     case BOL:
2369         p = "BOL";
2370         break;
2371     case MBOL:
2372         p = "MBOL";
2373         break;
2374     case SBOL:
2375         p = "SBOL";
2376         break;
2377     case EOL:
2378         p = "EOL";
2379         break;
2380     case MEOL:
2381         p = "MEOL";
2382         break;
2383     case SEOL:
2384         p = "SEOL";
2385         break;
2386     case ANY:
2387         p = "ANY";
2388         break;
2389     case SANY:
2390         p = "SANY";
2391         break;
2392     case ANYOF:
2393         p = "ANYOF";
2394         break;
2395     case BRANCH:
2396         p = "BRANCH";
2397         break;
2398     case EXACT:
2399         sv_catpvf(sv, "EXACT <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2400         break;
2401     case EXACTF:
2402         sv_catpvf(sv, "EXACTF <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2403         break;
2404     case EXACTFL:
2405         sv_catpvf(sv, "EXACTFL <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2406         break;
2407     case NOTHING:
2408         p = "NOTHING";
2409         break;
2410     case TAIL:
2411         p = "TAIL";
2412         break;
2413     case BACK:
2414         p = "BACK";
2415         break;
2416     case END:
2417         p = "END";
2418         break;
2419     case BOUND:
2420         p = "BOUND";
2421         break;
2422     case BOUNDL:
2423         p = "BOUNDL";
2424         break;
2425     case NBOUND:
2426         p = "NBOUND";
2427         break;
2428     case NBOUNDL:
2429         p = "NBOUNDL";
2430         break;
2431     case CURLY:
2432         sv_catpvf(sv, "CURLY {%d,%d}", ARG1(o), ARG2(o));
2433         break;
2434     case CURLYM:
2435 #ifdef REGALIGN_STRUCT
2436         sv_catpvf(sv, "CURLYM[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2437 #else
2438         sv_catpvf(sv, "CURLYM {%d,%d}", ARG1(o), ARG2(o));
2439 #endif
2440         break;
2441     case CURLYN:
2442 #ifdef REGALIGN_STRUCT
2443         sv_catpvf(sv, "CURLYN[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2444 #else
2445         sv_catpvf(sv, "CURLYN {%d,%d}", ARG1(o), ARG2(o));
2446 #endif
2447         break;
2448     case CURLYX:
2449         sv_catpvf(sv, "CURLYX {%d,%d}", ARG1(o), ARG2(o));
2450         break;
2451     case REF:
2452         sv_catpvf(sv, "REF%d", ARG(o));
2453         break;
2454     case REFF:
2455         sv_catpvf(sv, "REFF%d", ARG(o));
2456         break;
2457     case REFFL:
2458         sv_catpvf(sv, "REFFL%d", ARG(o));
2459         break;
2460     case OPEN:
2461         sv_catpvf(sv, "OPEN%d", ARG(o));
2462         break;
2463     case CLOSE:
2464         sv_catpvf(sv, "CLOSE%d", ARG(o));
2465         p = NULL;
2466         break;
2467     case STAR:
2468         p = "STAR";
2469         break;
2470     case PLUS:
2471         p = "PLUS";
2472         break;
2473     case MINMOD:
2474         p = "MINMOD";
2475         break;
2476     case GPOS:
2477         p = "GPOS";
2478         break;
2479     case UNLESSM:
2480 #ifdef REGALIGN_STRUCT
2481         sv_catpvf(sv, "UNLESSM[-%d]", o->flags);
2482 #else
2483         p = "UNLESSM";
2484 #endif
2485         break;
2486     case IFMATCH:
2487 #ifdef REGALIGN_STRUCT
2488         sv_catpvf(sv, "IFMATCH[-%d]", o->flags);
2489 #else
2490         p = "IFMATCH";
2491 #endif
2492         break;
2493     case SUCCEED:
2494         p = "SUCCEED";
2495         break;
2496     case WHILEM:
2497         p = "WHILEM";
2498         break;
2499     case DIGIT:
2500         p = "DIGIT";
2501         break;
2502     case NDIGIT:
2503         p = "NDIGIT";
2504         break;
2505     case ALNUM:
2506         p = "ALNUM";
2507         break;
2508     case NALNUM:
2509         p = "NALNUM";
2510         break;
2511     case SPACE:
2512         p = "SPACE";
2513         break;
2514     case NSPACE:
2515         p = "NSPACE";
2516         break;
2517     case ALNUML:
2518         p = "ALNUML";
2519         break;
2520     case NALNUML:
2521         p = "NALNUML";
2522         break;
2523     case SPACEL:
2524         p = "SPACEL";
2525         break;
2526     case NSPACEL:
2527         p = "NSPACEL";
2528         break;
2529     case EVAL:
2530         p = "EVAL";
2531         break;
2532     case LONGJMP:
2533         p = "LONGJMP";
2534         break;
2535     case BRANCHJ:
2536         p = "BRANCHJ";
2537         break;
2538     case IFTHEN:
2539         p = "IFTHEN";
2540         break;
2541     case GROUPP:
2542         sv_catpvf(sv, "GROUPP%d", ARG(o));
2543         break;
2544     case LOGICAL:
2545         p = "LOGICAL";
2546         break;
2547     case SUSPEND:
2548         p = "SUSPEND";
2549         break;
2550     case RENUM:
2551         p = "RENUM";
2552         break;
2553     case OPTIMIZED:
2554         p = "OPTIMIZED";
2555         break;
2556     default:
2557         FAIL("corrupted regexp opcode");
2558     }
2559     if (p)
2560         sv_catpv(sv, p);
2561 }
2562 #endif /* DEBUGGING */
2563
2564 void
2565 pregfree(struct regexp *r)
2566 {
2567     if (!r || (--r->refcnt > 0))
2568         return;
2569     if (r->precomp)
2570         Safefree(r->precomp);
2571     if (r->subbase)
2572         Safefree(r->subbase);
2573     if (r->anchored_substr)
2574         SvREFCNT_dec(r->anchored_substr);
2575     if (r->float_substr)
2576         SvREFCNT_dec(r->float_substr);
2577     if (r->data) {
2578         int n = r->data->count;
2579         while (--n >= 0) {
2580             switch (r->data->what[n]) {
2581             case 's':
2582                 SvREFCNT_dec((SV*)r->data->data[n]);
2583                 break;
2584             case 'o':
2585                 op_free((OP_4tree*)r->data->data[n]);
2586                 break;
2587             case 'n':
2588                 break;
2589             default:
2590                 FAIL2("panic: regfree data code '%c'", r->data->what[n]);
2591             }
2592         }
2593         Safefree(r->data->what);
2594         Safefree(r->data);
2595     }
2596     Safefree(r->startp);
2597     Safefree(r->endp);
2598     Safefree(r);
2599 }
2600
2601 /*
2602  - regnext - dig the "next" pointer out of a node
2603  *
2604  * [Note, when REGALIGN is defined there are two places in regmatch()
2605  * that bypass this code for speed.]
2606  */
2607 regnode *
2608 regnext(register regnode *p)
2609 {
2610     register I32 offset;
2611
2612     if (p == &regdummy)
2613         return(NULL);
2614
2615     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
2616     if (offset == 0)
2617         return(NULL);
2618
2619 #ifdef REGALIGN
2620     return(p+offset);
2621 #else
2622     if (OP(p) == BACK)
2623         return(p-offset);
2624     else
2625         return(p+offset);
2626 #endif
2627 }
2628
2629 #ifdef I_STDARG
2630 void
2631 re_croak2(const char* pat1,const char* pat2,...)
2632 #else
2633 /*VARARGS0*/
2634 void
2635 re_croak2(const char* pat1,const char* pat2, va_alist)
2636     const char* pat1;
2637     const char* pat2;
2638     va_dcl
2639 #endif
2640 {
2641     va_list args;
2642     STRLEN l1 = strlen(pat1);
2643     STRLEN l2 = strlen(pat2);
2644     char buf[512];
2645     char *message;
2646
2647     if (l1 > 510)
2648         l1 = 510;
2649     if (l1 + l2 > 510)
2650         l2 = 510 - l1;
2651     Copy(pat1, buf, l1 , char);
2652     Copy(pat2, buf + l1, l2 , char);
2653     buf[l1 + l2 + 1] = '\n';
2654     buf[l1 + l2 + 2] = '\0';
2655 #ifdef I_STDARG
2656     va_start(args, pat2);
2657 #else
2658     va_start(args);
2659 #endif
2660     message = mess(buf, &args);
2661     va_end(args);
2662     l1 = strlen(message);
2663     if (l1 > 512)
2664         l1 = 512;
2665     Copy(message, buf, l1 , char);
2666     buf[l1] = '\0';                     /* Overwrite \n */
2667     croak("%s", buf);
2668 }