regcomp.c

   1 /*    regcomp.c
   2  */
   3
   4 /*
   5  * "A fair jaw-cracker dwarf-language must be."  --Samwise Gamgee
   6  */
   7
   8 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
   9  * confused with the original package (see point 3 below).  Thanks, Henry!
  10  */
  11
  12 /* Additional note: this code is very heavily munged from Henry's version
  13  * in places.  In some spots I've traded clarity for efficiency, so don't
  14  * blame Henry for some of the lack of readability.
  15  */
  16
  17 /* The names of the functions have been changed from regcomp and
  18  * regexec to  pregcomp and pregexec in order to avoid conflicts
  19  * with the POSIX routines of the same names.
  20 */
  21
  22 /*SUPPRESS 112*/
  23 /*
  24  * pregcomp and pregexec -- regsub and regerror are not used in perl
  25  *
  26  *      Copyright (c) 1986 by University of Toronto.
  27  *      Written by Henry Spencer.  Not derived from licensed software.
  28  *
  29  *      Permission is granted to anyone to use this software for any
  30  *      purpose on any computer system, and to redistribute it freely,
  31  *      subject to the following restrictions:
  32  *
  33  *      1. The author is not responsible for the consequences of use of
  34  *              this software, no matter how awful, even if they arise
  35  *              from defects in it.
  36  *
  37  *      2. The origin of this software must not be misrepresented, either
  38  *              by explicit claim or by omission.
  39  *
  40  *      3. Altered versions must be plainly marked as such, and must not
  41  *              be misrepresented as being the original software.
  42  *
  43  *
  44  ****    Alterations to Henry's code are...
  45  ****
  46  ****    Copyright (c) 1991-1997, Larry Wall
  47  ****
  48  ****    You may distribute under the terms of either the GNU General Public
  49  ****    License or the Artistic License, as specified in the README file.
  50
  51  *
  52  * Beware that some of this code is subtly aware of the way operator
  53  * precedence is structured in regular expressions.  Serious changes in
  54  * regular-expression syntax might require a total rethink.
  55  */
  56 #include "EXTERN.h"
  57 #include "perl.h"
  58 #include "INTERN.h"
  59
  60 #define REG_COMP_C
  61 #include "regcomp.h"
  62
  63 #ifdef op
  64 #undef op
  65 #endif /* op */
  66
  67 #ifdef MSDOS
  68 # if defined(BUGGY_MSC6)
  69  /* MSC 6.00A breaks on op/regexp.t test 85 unless we turn this off */
  70  # pragma optimize("a",off)
  71  /* But MSC 6.00A is happy with 'w', for aliases only across function calls*/
  72  # pragma optimize("w",on )
  73 # endif /* BUGGY_MSC6 */
  74 #endif /* MSDOS */
  75
  76 #ifndef STATIC
  77 #define STATIC  static
  78 #endif
  79
  80 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
  81 #define ISMULT2(s)      ((*s) == '*' || (*s) == '+' || (*s) == '?' || \
  82         ((*s) == '{' && regcurly(s)))
  83 #ifdef atarist
  84 #define PERL_META       "^$.[()|?+*\\"
  85 #else
  86 #define META    "^$.[()|?+*\\"
  87 #endif
  88
  89 #ifdef SPSTART
  90 #undef SPSTART          /* dratted cpp namespace... */
  91 #endif
  92 /*
  93  * Flags to be passed up and down.
  94  */
  95 #define WORST           0       /* Worst case. */
  96 #define HASWIDTH        0x1     /* Known never to match null string. */
  97 #define SIMPLE          0x2     /* Simple enough to be STAR/PLUS operand. */
  98 #define SPSTART         0x4     /* Starts with * or +. */
  99 #define TRYAGAIN        0x8     /* Weeded out a declaration. */
 100
 101 /*
 102  * Forward declarations for pregcomp()'s friends.
 103  */
 104
 105 static char* regwhite _((char *, char *));
 106 #ifndef PERL_OBJECT
 107 static regnode *reg _((I32, I32 *));
 108 static regnode *reganode _((U8, U32));
 109 static regnode *regatom _((I32 *));
 110 static regnode *regbranch _((I32 *, I32));
 111 static void regc _((U8, char *));
 112 static regnode *regclass _((void));
 113 STATIC I32 regcurly _((char *));
 114 static regnode *reg_node _((U8));
 115 static regnode *regpiece _((I32 *));
 116 static void reginsert _((U8, regnode *));
 117 static void regoptail _((regnode *, regnode *));
 118 static void regset _((char *, I32));
 119 static void regtail _((regnode *, regnode *));
 120 static char* nextchar _((void));
 121
 122 static void re_croak2 _((const char* pat1,const char* pat2,...)) __attribute__((noreturn));
 123 #endif
 124
 125 /* Length of a variant. */
 126
 127 #ifndef PERL_OBJECT
 128 typedef struct {
 129     I32 len_min;
 130     I32 len_delta;
 131     I32 pos_min;
 132     I32 pos_delta;
 133     SV *last_found;
 134     I32 last_end;                       /* min value, <0 unless valid. */
 135     I32 last_start_min;
 136     I32 last_start_max;
 137     SV **longest;                       /* Either &l_fixed, or &l_float. */
 138     SV *longest_fixed;
 139     I32 offset_fixed;
 140     SV *longest_float;
 141     I32 offset_float_min;
 142     I32 offset_float_max;
 143     I32 flags;
 144 } scan_data_t;
 145 #endif
 146
 147 static scan_data_t zero_scan_data = { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 };
 148
 149 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
 150 #define SF_BEFORE_SEOL          0x1
 151 #define SF_BEFORE_MEOL          0x2
 152 #define SF_FIX_BEFORE_EOL       (SF_FIX_BEFORE_SEOL|SF_FIX_BEFORE_MEOL)
 153 #define SF_FL_BEFORE_EOL        (SF_FL_BEFORE_SEOL|SF_FL_BEFORE_MEOL)
 154
 155 #ifdef NO_UNARY_PLUS
 156 #  define SF_FIX_SHIFT_EOL      (0+2)
 157 #  define SF_FL_SHIFT_EOL               (0+4)
 158 #else
 159 #  define SF_FIX_SHIFT_EOL      (+2)
 160 #  define SF_FL_SHIFT_EOL               (+4)
 161 #endif
 162
 163 #define SF_FIX_BEFORE_SEOL      (SF_BEFORE_SEOL << SF_FIX_SHIFT_EOL)
 164 #define SF_FIX_BEFORE_MEOL      (SF_BEFORE_MEOL << SF_FIX_SHIFT_EOL)
 165
 166 #define SF_FL_BEFORE_SEOL       (SF_BEFORE_SEOL << SF_FL_SHIFT_EOL)
 167 #define SF_FL_BEFORE_MEOL       (SF_BEFORE_MEOL << SF_FL_SHIFT_EOL) /* 0x20 */
 168 #define SF_IS_INF               0x40
 169 #define SF_HAS_PAR              0x80
 170 #define SF_IN_PAR               0x100
 171 #define SF_HAS_EVAL             0x200
 172 #define SCF_DO_SUBSTR           0x400
 173
 174 STATIC void
 175 scan_commit(scan_data_t *data)
 176 {
 177     STRLEN l = SvCUR(data->last_found);
 178     STRLEN old_l = SvCUR(*data->longest);
 179
 180     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
 181         sv_setsv(*data->longest, data->last_found);
 182         if (*data->longest == data->longest_fixed) {
 183             data->offset_fixed = l ? data->last_start_min : data->pos_min;
 184             if (data->flags & SF_BEFORE_EOL)
 185                 data->flags
 186                     |= ((data->flags & SF_BEFORE_EOL) << SF_FIX_SHIFT_EOL);
 187             else
 188                 data->flags &= ~SF_FIX_BEFORE_EOL;
 189         } else {
 190             data->offset_float_min = l ? data->last_start_min : data->pos_min;
 191             data->offset_float_max = (l
 192                                       ? data->last_start_max
 193                                       : data->pos_min + data->pos_delta);
 194             if (data->flags & SF_BEFORE_EOL)
 195                 data->flags
 196                     |= ((data->flags & SF_BEFORE_EOL) << SF_FL_SHIFT_EOL);
 197             else
 198                 data->flags &= ~SF_FL_BEFORE_EOL;
 199         }
 200     }
 201     SvCUR_set(data->last_found, 0);
 202     data->last_end = -1;
 203     data->flags &= ~SF_BEFORE_EOL;
 204 }
 205
 206 /* Stops at toplevel WHILEM as well as at `last'. At end *scanp is set
 207    to the position after last scanned or to NULL. */
 208
 209 STATIC I32
 210 study_chunk(regnode **scanp, I32 *deltap, regnode *last, scan_data_t *data, U32 flags)
 211                         /* scanp: Start here (read-write). */
 212                         /* deltap: Write maxlen-minlen here. */
 213                         /* last: Stop before this one. */
 214 {
 215     I32 min = 0, pars = 0, code;
 216     regnode *scan = *scanp, *next;
 217     I32 delta = 0;
 218     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
 219     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
 220     scan_data_t data_fake;
 221
 222     while (scan && OP(scan) != END && scan < last) {
 223         /* Peephole optimizer: */
 224
 225         if (regkind[(U8)OP(scan)] == EXACT) {
 226             regnode *n = regnext(scan);
 227             U32 stringok = 1;
 228 #ifdef DEBUGGING
 229             regnode *stop = scan;
 230 #endif
 231
 232             next = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 233             /* Skip NOTHING, merge EXACT*. */
 234             while (n &&
 235                    ( regkind[(U8)OP(n)] == NOTHING ||
 236                      (stringok && (OP(n) == OP(scan))))
 237                    && NEXT_OFF(n)
 238                    && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX) {
 239                 if (OP(n) == TAIL || n > next)
 240                     stringok = 0;
 241                 if (regkind[(U8)OP(n)] == NOTHING) {
 242                     NEXT_OFF(scan) += NEXT_OFF(n);
 243                     next = n + NODE_STEP_REGNODE;
 244 #ifdef DEBUGGING
 245                     if (stringok)
 246                         stop = n;
 247 #endif
 248                     n = regnext(n);
 249                 } else {
 250                     int oldl = *OPERAND(scan);
 251                     regnode *nnext = regnext(n);
 252
 253                     if (oldl + *OPERAND(n) > U8_MAX)
 254                         break;
 255                     NEXT_OFF(scan) += NEXT_OFF(n);
 256                     *OPERAND(scan) += *OPERAND(n);
 257                     next = n + (*OPERAND(n) + 2 - 1)/sizeof(regnode) + 2;
 258                     /* Now we can overwrite *n : */
 259                     Move(OPERAND(n) + 1, OPERAND(scan) + oldl + 1,
 260                          *OPERAND(n) + 1, char);
 261 #ifdef DEBUGGING
 262                     if (stringok)
 263                         stop = next - 1;
 264 #endif
 265                     n = nnext;
 266                 }
 267             }
 268 #ifdef DEBUGGING
 269             /* Allow dumping */
 270             n = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 271             while (n <= stop) {
 272                 if (regkind[(U8)OP(n)] != NOTHING || OP(n) == NOTHING) {
 273                     OP(n) = OPTIMIZED;
 274                     NEXT_OFF(n) = 0;
 275                 }
 276                 n++;
 277             }
 278 #endif
 279
 280         }
 281         if (OP(scan) != CURLYX) {
 282             int max = (reg_off_by_arg[OP(scan)] ? I32_MAX : U16_MAX);
 283             int off = (reg_off_by_arg[OP(scan)] ? ARG(scan) : NEXT_OFF(scan));
 284             int noff;
 285             regnode *n = scan;
 286
 287             /* Skip NOTHING and LONGJMP. */
 288             while ((n = regnext(n))
 289                    && ((regkind[(U8)OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
 290                        || ((OP(n) == LONGJMP) && (noff = ARG(n))))
 291                    && off + noff < max)
 292                 off += noff;
 293             if (reg_off_by_arg[OP(scan)])
 294                 ARG(scan) = off;
 295             else
 296                 NEXT_OFF(scan) = off;
 297         }
 298         if (OP(scan) == BRANCH || OP(scan) == BRANCHJ
 299                    || OP(scan) == IFTHEN || OP(scan) == SUSPEND) {
 300             next = regnext(scan);
 301             code = OP(scan);
 302
 303             if (OP(next) == code || code == IFTHEN || code == SUSPEND) {
 304                 I32 max1 = 0, min1 = I32_MAX, num = 0;
 305
 306                 if (flags & SCF_DO_SUBSTR)
 307                     scan_commit(data);
 308                 while (OP(scan) == code) {
 309                     I32 deltanext, minnext;
 310
 311                     num++;
 312                     data_fake.flags = 0;
 313                     next = regnext(scan);
 314                     scan = NEXTOPER(scan);
 315                     if (code != BRANCH)
 316                         scan = NEXTOPER(scan);
 317                     /* We suppose the run is continuous, last=next...*/
 318                     minnext = study_chunk(&scan, &deltanext, next,
 319                                           &data_fake, 0);
 320                     if (min1 > minnext)
 321                         min1 = minnext;
 322                     if (max1 < minnext + deltanext)
 323                         max1 = minnext + deltanext;
 324                     if (deltanext == I32_MAX)
 325                         is_inf = 1;
 326                     scan = next;
 327                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 328                         pars++;
 329                     if (data && (data_fake.flags & SF_HAS_EVAL))
 330                         data->flags |= SF_HAS_EVAL;
 331                     if (code == SUSPEND)
 332                         break;
 333                 }
 334                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
 335                     min1 = 0;
 336                 if (flags & SCF_DO_SUBSTR) {
 337                     data->pos_min += min1;
 338                     data->pos_delta += max1 - min1;
 339                     if (max1 != min1 || is_inf)
 340                         data->longest = &(data->longest_float);
 341                 }
 342                 min += min1;
 343                 delta += max1 - min1;
 344             } else if (code == BRANCHJ) /* single branch is optimized. */
 345                 scan = NEXTOPER(NEXTOPER(scan));
 346             else                        /* single branch is optimized. */
 347                 scan = NEXTOPER(scan);
 348             continue;
 349         } else if (OP(scan) == EXACT) {
 350             min += *OPERAND(scan);
 351             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
 352                 I32 l = *OPERAND(scan);
 353
 354                 /* The code below prefers earlier match for fixed
 355                    offset, later match for variable offset.  */
 356                 if (data->last_end == -1) { /* Update the start info. */
 357                     data->last_start_min = data->pos_min;
 358                     data->last_start_max = is_inf
 359                         ? I32_MAX : data->pos_min + data->pos_delta;
 360                 }
 361                 sv_catpvn(data->last_found, (char *)(OPERAND(scan)+1), l);
 362                 data->last_end = data->pos_min + l;
 363                 data->pos_min += l; /* As in the first entry. */
 364                 data->flags &= ~SF_BEFORE_EOL;
 365             }
 366         } else if (regkind[(U8)OP(scan)] == EXACT) {
 367             if (flags & SCF_DO_SUBSTR)
 368                 scan_commit(data);
 369             min += *OPERAND(scan);
 370             if (data && (flags & SCF_DO_SUBSTR))
 371                 data->pos_min += *OPERAND(scan);
 372         } else if (strchr(varies,OP(scan))) {
 373             I32 mincount, maxcount, minnext, deltanext, pos_before, fl;
 374             regnode *oscan = scan;
 375
 376             switch (regkind[(U8)OP(scan)]) {
 377             case WHILEM:
 378                 scan = NEXTOPER(scan);
 379                 goto finish;
 380             case PLUS:
 381                 if (flags & SCF_DO_SUBSTR) {
 382                     next = NEXTOPER(scan);
 383                     if (OP(next) == EXACT) {
 384                         mincount = 1;
 385                         maxcount = REG_INFTY;
 386                         next = regnext(scan);
 387                         scan = NEXTOPER(scan);
 388                         goto do_curly;
 389                     }
 390                 }
 391                 if (flags & SCF_DO_SUBSTR)
 392                     data->pos_min++;
 393                 min++;
 394                 /* Fall through. */
 395             case STAR:
 396                 is_inf = 1;
 397                 scan = regnext(scan);
 398                 if (flags & SCF_DO_SUBSTR) {
 399                     scan_commit(data);
 400                     data->longest = &(data->longest_float);
 401                 }
 402                 goto optimize_curly_tail;
 403             case CURLY:
 404                 mincount = ARG1(scan);
 405                 maxcount = ARG2(scan);
 406                 next = regnext(scan);
 407                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
 408               do_curly:
 409                 if (flags & SCF_DO_SUBSTR) {
 410                     if (mincount == 0) scan_commit(data);
 411                     pos_before = data->pos_min;
 412                 }
 413                 if (data) {
 414                     fl = data->flags;
 415                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
 416                     if (is_inf)
 417                         data->flags |= SF_IS_INF;
 418                 }
 419                 /* This will finish on WHILEM, setting scan, or on NULL: */
 420                 minnext = study_chunk(&scan, &deltanext, last, data,
 421                                       mincount == 0
 422                                         ? (flags & ~SCF_DO_SUBSTR) : flags);
 423                 if (!scan)              /* It was not CURLYX, but CURLY. */
 424                     scan = next;
 425                 if (dowarn && (minnext + deltanext == 0)
 426                     && !(data->flags & (SF_HAS_PAR|SF_IN_PAR)))
 427                     warn("Strange *+?{} on zero-length expression");
 428                 min += minnext * mincount;
 429                 is_inf |= (maxcount == REG_INFTY && (minnext + deltanext) > 0
 430                            || deltanext == I32_MAX);
 431                 delta += (minnext + deltanext) * maxcount - minnext * mincount;
 432
 433                 /* Try powerful optimization CURLYX => CURLYN. */
 434 #ifdef REGALIGN_STRUCT
 435                 if (  OP(oscan) == CURLYX && data
 436                       && data->flags & SF_IN_PAR
 437                       && !(data->flags & SF_HAS_EVAL)
 438                       && !deltanext && minnext == 1 ) {
 439                     /* Try to optimize to CURLYN.  */
 440                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
 441                     regnode *nxt1 = nxt, *nxt2;
 442
 443                     /* Skip open. */
 444                     nxt = regnext(nxt);
 445                     if (!strchr(simple,OP(nxt))
 446                         && !(regkind[(U8)OP(nxt)] == EXACT
 447                              && *OPERAND(nxt) == 1))
 448                         goto nogo;
 449                     nxt2 = nxt;
 450                     nxt = regnext(nxt);
 451                     if (OP(nxt) != CLOSE)
 452                         goto nogo;
 453                     /* Now we know that nxt2 is the only contents: */
 454                     oscan->flags = ARG(nxt);
 455                     OP(oscan) = CURLYN;
 456                     OP(nxt1) = NOTHING; /* was OPEN. */
 457 #ifdef DEBUGGING
 458                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 459                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistancy. */
 460                     NEXT_OFF(nxt2) = 0; /* just for consistancy with CURLY. */
 461                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
 462                     OP(nxt + 1) = OPTIMIZED; /* was count. */
 463                     NEXT_OFF(nxt+ 1) = 0; /* just for consistancy. */
 464 #endif
 465                 }
 466 #endif
 467               nogo:
 468
 469                 /* Try optimization CURLYX => CURLYM. */
 470                 if (  OP(oscan) == CURLYX && data
 471 #ifdef REGALIGN_STRUCT
 472                       && !(data->flags & SF_HAS_PAR)
 473 #else
 474                       && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
 475 #endif
 476                       && !(data->flags & SF_HAS_EVAL)
 477                       && !deltanext  ) {
 478                     /* XXXX How to optimize if data == 0? */
 479                     /* Optimize to a simpler form.  */
 480                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
 481                     regnode *nxt2;
 482
 483                     OP(oscan) = CURLYM;
 484                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
 485                             && (OP(nxt2) != WHILEM))
 486                         nxt = nxt2;
 487                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
 488 #ifdef REGALIGN_STRUCT
 489                     /* Need to optimize away parenths. */
 490                     if (data->flags & SF_IN_PAR) {
 491                         /* Set the parenth number.  */
 492                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
 493
 494                         if (OP(nxt) != CLOSE)
 495                             FAIL("panic opt close");
 496                         oscan->flags = ARG(nxt);
 497                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
 498                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
 499 #ifdef DEBUGGING
 500                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 501                         OP(nxt + 1) = OPTIMIZED; /* was count. */
 502                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistancy. */
 503                         NEXT_OFF(nxt + 1) = 0; /* just for consistancy. */
 504 #endif
 505 #if 0
 506                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
 507                             regnode *nnxt = regnext(nxt1);
 508
 509                             if (nnxt == nxt) {
 510                                 if (reg_off_by_arg[OP(nxt1)])
 511                                     ARG_SET(nxt1, nxt2 - nxt1);
 512                                 else if (nxt2 - nxt1 < U16_MAX)
 513                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
 514                                 else
 515                                     OP(nxt) = NOTHING;  /* Cannot beautify */
 516                             }
 517                             nxt1 = nnxt;
 518                         }
 519 #endif
 520                         /* Optimize again: */
 521                         study_chunk(&nxt1, &deltanext, nxt, NULL, 0);
 522                     } else
 523                         oscan->flags = 0;
 524 #endif
 525                 }
 526                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR))
 527                     pars++;
 528                 if (flags & SCF_DO_SUBSTR) {
 529                     SV *last_str = Nullsv;
 530                     int counted = mincount != 0;
 531
 532                     if (data->last_end > 0 && mincount != 0) { /* Ends with a string. */
 533                         I32 b = pos_before >= data->last_start_min
 534                             ? pos_before : data->last_start_min;
 535                         STRLEN l;
 536                         char *s = SvPV(data->last_found, l);
 537
 538                         l -= b - data->last_start_min;
 539                         /* Get the added string: */
 540                         last_str = newSVpv(s  +  b - data->last_start_min, l);
 541                         if (deltanext == 0 && pos_before == b) {
 542                             /* What was added is a constant string */
 543                             if (mincount > 1) {
 544                                 SvGROW(last_str, (mincount * l) + 1);
 545                                 repeatcpy(SvPVX(last_str) + l,
 546                                           SvPVX(last_str), l, mincount - 1);
 547                                 SvCUR(last_str) *= mincount;
 548                                 /* Add additional parts. */
 549                                 SvCUR_set(data->last_found,
 550                                           SvCUR(data->last_found) - l);
 551                                 sv_catsv(data->last_found, last_str);
 552                                 data->last_end += l * (mincount - 1);
 553                             }
 554                         }
 555                     }
 556                     /* It is counted once already... */
 557                     data->pos_min += minnext * (mincount - counted);
 558                     data->pos_delta += - counted * deltanext +
 559                         (minnext + deltanext) * maxcount - minnext * mincount;
 560                     if (mincount != maxcount) {
 561                         scan_commit(data);
 562                         if (mincount && last_str) {
 563                             sv_setsv(data->last_found, last_str);
 564                             data->last_end = data->pos_min;
 565                             data->last_start_min =
 566                                 data->pos_min - SvCUR(last_str);
 567                             data->last_start_max = is_inf
 568                                 ? I32_MAX
 569                                 : data->pos_min + data->pos_delta
 570                                 - SvCUR(last_str);
 571                         }
 572                         data->longest = &(data->longest_float);
 573                     }
 574                 }
 575                 if (data && (fl & SF_HAS_EVAL))
 576                     data->flags |= SF_HAS_EVAL;
 577               optimize_curly_tail:
 578 #ifdef REGALIGN
 579                 if (OP(oscan) != CURLYX) {
 580                     while (regkind[(U8)OP(next = regnext(oscan))] == NOTHING
 581                            && NEXT_OFF(next))
 582                         NEXT_OFF(oscan) += NEXT_OFF(next);
 583                 }
 584 #endif
 585                 continue;
 586             default:                    /* REF only? */
 587                 if (flags & SCF_DO_SUBSTR) {
 588                     scan_commit(data);
 589                     data->longest = &(data->longest_float);
 590                 }
 591                 is_inf = 1;
 592                 break;
 593             }
 594         } else if (strchr(simple,OP(scan))) {
 595             if (flags & SCF_DO_SUBSTR) {
 596                 scan_commit(data);
 597                 data->pos_min++;
 598             }
 599             min++;
 600         } else if (regkind[(U8)OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
 601             data->flags |= (OP(scan) == MEOL
 602                             ? SF_BEFORE_MEOL
 603                             : SF_BEFORE_SEOL);
 604         } else if (regkind[(U8)OP(scan)] == BRANCHJ
 605                    && (scan->flags || data)
 606                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM)) {
 607             I32 deltanext, minnext;
 608             regnode *nscan;
 609
 610             data_fake.flags = 0;
 611             next = regnext(scan);
 612             nscan = NEXTOPER(NEXTOPER(scan));
 613             minnext = study_chunk(&nscan, &deltanext, last, &data_fake, 0);
 614             if (scan->flags) {
 615                 if (deltanext) {
 616                     FAIL("variable length lookbehind not implemented");
 617                 } else if (minnext > U8_MAX) {
 618                     FAIL2("lookbehind longer than %d not implemented", U8_MAX);
 619                 }
 620                 scan->flags = minnext;
 621             }
 622             if (data && data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 623                 pars++;
 624             if (data && (data_fake.flags & SF_HAS_EVAL))
 625                 data->flags |= SF_HAS_EVAL;
 626         } else if (OP(scan) == OPEN) {
 627             pars++;
 628         } else if (OP(scan) == CLOSE && ARG(scan) == is_par) {
 629 #ifdef REGALIGN_STRUCT
 630             next = regnext(scan);
 631
 632             if ( next && (OP(next) != WHILEM) && next < last)
 633 #endif
 634                 is_par = 0;             /* Disable optimization */
 635         } else if (OP(scan) == EVAL) {
 636                 if (data)
 637                     data->flags |= SF_HAS_EVAL;
 638         }
 639         /* Else: zero-length, ignore. */
 640         scan = regnext(scan);
 641     }
 642
 643   finish:
 644     *scanp = scan;
 645     *deltap = is_inf ? I32_MAX : delta;
 646     if (flags & SCF_DO_SUBSTR && is_inf)
 647         data->pos_delta = I32_MAX - data->pos_min;
 648     if (is_par > U8_MAX)
 649         is_par = 0;
 650     if (is_par && pars==1 && data) {
 651         data->flags |= SF_IN_PAR;
 652         data->flags &= ~SF_HAS_PAR;
 653     } else if (pars && data) {
 654         data->flags |= SF_HAS_PAR;
 655         data->flags &= ~SF_IN_PAR;
 656     }
 657     return min;
 658 }
 659
 660 STATIC I32
 661 add_data(I32 n, char *s)
 662 {
 663     if (rx->data) {
 664         Renewc(rx->data,
 665                sizeof(*rx->data) + sizeof(void*) * (rx->data->count + n - 1),
 666                char, struct reg_data);
 667         Renew(rx->data->what, rx->data->count + n, U8);
 668         rx->data->count += n;
 669     } else {
 670         Newc(1207, rx->data, sizeof(*rx->data) + sizeof(void*) * (n - 1),
 671              char, struct reg_data);
 672         New(1208, rx->data->what, n, U8);
 673         rx->data->count = n;
 674     }
 675     Copy(s, rx->data->what + rx->data->count - n, n, U8);
 676     return rx->data->count - n;
 677 }
 678
 679 /*
 680  - pregcomp - compile a regular expression into internal code
 681  *
 682  * We can't allocate space until we know how big the compiled form will be,
 683  * but we can't compile it (and thus know how big it is) until we've got a
 684  * place to put the code.  So we cheat:  we compile it twice, once with code
 685  * generation turned off and size counting turned on, and once "for real".
 686  * This also means that we don't allocate space until we are sure that the
 687  * thing really will compile successfully, and we never have to move the
 688  * code and thus invalidate pointers into it.  (Note that it has to be in
 689  * one piece because free() must be able to free it all.) [NB: not true in perl]
 690  *
 691  * Beware that the optimization-preparation code in here knows about some
 692  * of the structure of the compiled regexp.  [I'll say.]
 693  */
 694 regexp *
 695 pregcomp(char *exp, char *xend, PMOP *pm)
 696 {
 697     register regexp *r;
 698     regnode *scan;
 699     SV **longest;
 700     SV *longest_fixed;
 701     SV *longest_float;
 702     regnode *first;
 703     I32 flags;
 704     I32 minlen = 0;
 705     I32 sawplus = 0;
 706     I32 sawopen = 0;
 707
 708     if (exp == NULL)
 709         FAIL("NULL regexp argument");
 710
 711     regprecomp = savepvn(exp, xend - exp);
 712     DEBUG_r(PerlIO_printf(Perl_debug_log, "compiling RE `%*s'\n",
 713                           xend - exp, regprecomp));
 714     regflags = pm->op_pmflags;
 715     regsawback = 0;
 716
 717     regseen = 0;
 718     seen_zerolen = *exp == '^' ? -1 : 0;
 719     extralen = 0;
 720
 721     /* First pass: determine size, legality. */
 722     regparse = exp;
 723     regxend = xend;
 724     regnaughty = 0;
 725     regnpar = 1;
 726     regsize = 0L;
 727     regcode = &regdummy;
 728     regc((U8)MAGIC, (char*)regcode);
 729     if (reg(0, &flags) == NULL) {
 730         Safefree(regprecomp);
 731         regprecomp = Nullch;
 732         return(NULL);
 733     }
 734     DEBUG_r(PerlIO_printf(Perl_debug_log, "size %d ", regsize));
 735
 736     DEBUG_r(
 737         if (!colorset) {
 738             int i = 0;
 739             char *s = PerlEnv_getenv("TERMCAP_COLORS");
 740
 741             colorset = 1;
 742             if (s) {
 743                 colors[0] = s = savepv(s);
 744                 while (++i < 4) {
 745                     s = strchr(s, '\t');
 746                     if (!s)
 747                         FAIL("Not enough TABs in TERMCAP_COLORS");
 748                     *s = '\0';
 749                     colors[i] = ++s;
 750                 }
 751             } else {
 752                 while (i < 4)
 753                     colors[i++] = "";
 754             }
 755             /* Reset colors: */
 756             PerlIO_printf(Perl_debug_log, "%s%s%s%s",
 757                           colors[0],colors[1],colors[2],colors[3]);
 758         }
 759         );
 760
 761     /* Small enough for pointer-storage convention?
 762        If extralen==0, this means that we will not need long jumps. */
 763 #ifndef REGALIGN_STRUCT
 764     if (regsize >= 0x10000L && extralen)
 765         FAIL("regexp too big");
 766 #else
 767     if (regsize >= 0x10000L && extralen)
 768         regsize += extralen;
 769     else
 770         extralen = 0;
 771 #endif
 772
 773     /* Allocate space and initialize. */
 774     Newc(1001, r, sizeof(regexp) + (unsigned)regsize * sizeof(regnode),
 775          char, regexp);
 776     if (r == NULL)
 777         FAIL("regexp out of space");
 778     r->refcnt = 1;
 779     r->prelen = xend - exp;
 780     r->precomp = regprecomp;
 781     r->subbeg = r->subbase = NULL;
 782     rx = r;
 783
 784     /* Second pass: emit code. */
 785     regparse = exp;
 786     regxend = xend;
 787     regnaughty = 0;
 788     regnpar = 1;
 789     regcode = r->program;
 790     regc((U8)MAGIC, (char*) regcode++);
 791     r->data = 0;
 792     if (reg(0, &flags) == NULL)
 793         return(NULL);
 794
 795     /* Dig out information for optimizations. */
 796     pm->op_pmflags = regflags;
 797     r->reganch = 0;
 798     r->regstclass = NULL;
 799     r->naughty = regnaughty >= 10;      /* Probably an expensive pattern. */
 800     scan = r->program + 1;              /* First BRANCH. */
 801
 802     /* XXXX To minimize changes to RE engine we always allocate
 803        3-units-long substrs field. */
 804     Newz(1004, r->substrs, 1, struct reg_substr_data);
 805
 806     if (OP(scan) != BRANCH) {   /* Only one top-level choice. */
 807         scan_data_t data;
 808         I32 fake;
 809         STRLEN longest_float_length, longest_fixed_length;
 810
 811         StructCopy(&zero_scan_data, &data, scan_data_t);
 812         first = scan;
 813         /* Skip introductions and multiplicators >= 1. */
 814         while ((OP(first) == OPEN && (sawopen = 1)) ||
 815             (OP(first) == BRANCH && OP(regnext(first)) != BRANCH) ||
 816             (OP(first) == PLUS) ||
 817             (OP(first) == MINMOD) ||
 818             (regkind[(U8)OP(first)] == CURLY && ARG1(first) > 0) ) {
 819                 if (OP(first) == PLUS)
 820                     sawplus = 1;
 821                 else
 822                     first += regarglen[(U8)OP(first)];
 823                 first = NEXTOPER(first);
 824         }
 825
 826         /* Starting-point info. */
 827       again:
 828         if (OP(first) == EXACT);        /* Empty, get anchored substr later. */
 829         else if (strchr(simple+2,OP(first)))
 830             r->regstclass = first;
 831         else if (regkind[(U8)OP(first)] == BOUND ||
 832                  regkind[(U8)OP(first)] == NBOUND)
 833             r->regstclass = first;
 834         else if (regkind[(U8)OP(first)] == BOL) {
 835             r->reganch |= (OP(first) == MBOL ? ROPT_ANCH_MBOL: ROPT_ANCH_BOL);
 836             first = NEXTOPER(first);
 837             goto again;
 838         }
 839         else if (OP(first) == GPOS) {
 840             r->reganch |= ROPT_ANCH_GPOS;
 841             first = NEXTOPER(first);
 842             goto again;
 843         }
 844         else if ((OP(first) == STAR &&
 845             regkind[(U8)OP(NEXTOPER(first))] == ANY) &&
 846             !(r->reganch & ROPT_ANCH) )
 847         {
 848             /* turn .* into ^.* with an implied $*=1 */
 849             r->reganch |= ROPT_ANCH_BOL | ROPT_IMPLICIT;
 850             first = NEXTOPER(first);
 851             goto again;
 852         }
 853         if (sawplus && (!sawopen || !regsawback))
 854             r->reganch |= ROPT_SKIP;    /* x+ must match 1st of run */
 855
 856         /* Scan is after the zeroth branch, first is atomic matcher. */
 857         DEBUG_r(PerlIO_printf(Perl_debug_log, "first at %d\n",
 858                               first - scan + 1));
 859         /*
 860         * If there's something expensive in the r.e., find the
 861         * longest literal string that must appear and make it the
 862         * regmust.  Resolve ties in favor of later strings, since
 863         * the regstart check works with the beginning of the r.e.
 864         * and avoiding duplication strengthens checking.  Not a
 865         * strong reason, but sufficient in the absence of others.
 866         * [Now we resolve ties in favor of the earlier string if
 867         * it happens that c_offset_min has been invalidated, since the
 868         * earlier string may buy us something the later one won't.]
 869         */
 870         minlen = 0;
 871
 872         data.longest_fixed = newSVpv("",0);
 873         data.longest_float = newSVpv("",0);
 874         data.last_found = newSVpv("",0);
 875         data.longest = &(data.longest_fixed);
 876         first = scan;
 877
 878         minlen = study_chunk(&first, &fake, scan + regsize, /* Up to end */
 879                              &data, SCF_DO_SUBSTR);
 880         if ( regnpar == 1 && data.longest == &(data.longest_fixed)
 881              && data.last_start_min == 0 && data.last_end > 0
 882              && !seen_zerolen
 883              && (!(regseen & REG_SEEN_GPOS) || (r->reganch & ROPT_ANCH_GPOS)))
 884             r->reganch |= ROPT_CHECK_ALL;
 885         scan_commit(&data);
 886         SvREFCNT_dec(data.last_found);
 887
 888         longest_float_length = SvCUR(data.longest_float);
 889         if (longest_float_length
 890             || (data.flags & SF_FL_BEFORE_EOL
 891                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 892                     || (regflags & PMf_MULTILINE)))) {
 893             if (SvCUR(data.longest_fixed)
 894                 && data.offset_fixed == data.offset_float_min)
 895                 goto remove;            /* Like in (a)+. */
 896
 897             r->float_substr = data.longest_float;
 898             r->float_min_offset = data.offset_float_min;
 899             r->float_max_offset = data.offset_float_max;
 900             fbm_compile(r->float_substr, 0);
 901             BmUSEFUL(r->float_substr) = 100;
 902             if (data.flags & SF_FL_BEFORE_EOL /* Cannot have SEOL and MULTI */
 903                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 904                     || (regflags & PMf_MULTILINE)))
 905                 SvTAIL_on(r->float_substr);
 906         } else {
 907           remove:
 908             r->float_substr = Nullsv;
 909             SvREFCNT_dec(data.longest_float);
 910             longest_float_length = 0;
 911         }
 912
 913         longest_fixed_length = SvCUR(data.longest_fixed);
 914         if (longest_fixed_length
 915             || (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 916                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 917                     || (regflags & PMf_MULTILINE)))) {
 918             r->anchored_substr = data.longest_fixed;
 919             r->anchored_offset = data.offset_fixed;
 920             fbm_compile(r->anchored_substr, 0);
 921             BmUSEFUL(r->anchored_substr) = 100;
 922             if (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 923                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 924                     || (regflags & PMf_MULTILINE)))
 925                 SvTAIL_on(r->anchored_substr);
 926         } else {
 927             r->anchored_substr = Nullsv;
 928             SvREFCNT_dec(data.longest_fixed);
 929             longest_fixed_length = 0;
 930         }
 931
 932         /* A temporary algorithm prefers floated substr to fixed one to dig more info. */
 933         if (longest_fixed_length > longest_float_length) {
 934             r->check_substr = r->anchored_substr;
 935             r->check_offset_min = r->check_offset_max = r->anchored_offset;
 936             if (r->reganch & ROPT_ANCH_SINGLE)
 937                 r->reganch |= ROPT_NOSCAN;
 938         } else {
 939             r->check_substr = r->float_substr;
 940             r->check_offset_min = data.offset_float_min;
 941             r->check_offset_max = data.offset_float_max;
 942         }
 943     } else {
 944         /* Several toplevels. Best we can is to set minlen. */
 945         I32 fake;
 946
 947         DEBUG_r(PerlIO_printf(Perl_debug_log, "\n"));
 948         scan = r->program + 1;
 949         minlen = study_chunk(&scan, &fake, scan + regsize, NULL, 0);
 950         r->check_substr = r->anchored_substr = r->float_substr = Nullsv;
 951     }
 952
 953     r->nparens = regnpar - 1;
 954     r->minlen = minlen;
 955     if (regseen & REG_SEEN_GPOS)
 956         r->reganch |= ROPT_GPOS_SEEN;
 957     if (regseen & REG_SEEN_LOOKBEHIND)
 958         r->reganch |= ROPT_LOOKBEHIND_SEEN;
 959     Newz(1002, r->startp, regnpar, char*);
 960     Newz(1002, r->endp, regnpar, char*);
 961     DEBUG_r(regdump(r));
 962     return(r);
 963 }
 964
 965 /*
 966  - reg - regular expression, i.e. main body or parenthesized thing
 967  *
 968  * Caller must absorb opening parenthesis.
 969  *
 970  * Combining parenthesis handling with the base level of regular expression
 971  * is a trifle forced, but the need to tie the tails of the branches to what
 972  * follows makes it hard to avoid.
 973  */
 974 STATIC regnode *
 975 reg(I32 paren, I32 *flagp)
 976     /* paren: Parenthesized? 0=top, 1=(, inside: changed to letter. */
 977 {
 978     register regnode *ret;              /* Will be the head of the group. */
 979     register regnode *br;
 980     register regnode *lastbr;
 981     register regnode *ender = 0;
 982     register I32 parno = 0;
 983     I32 flags, oregflags = regflags, have_branch = 0, open = 0;
 984     char c;
 985
 986     *flagp = HASWIDTH;  /* Tentatively. */
 987
 988     /* Make an OPEN node, if parenthesized. */
 989     if (paren) {
 990         if (*regparse == '?') {
 991             regparse++;
 992             paren = *regparse++;
 993             ret = NULL;                 /* For look-ahead/behind. */
 994             switch (paren) {
 995             case '<':
 996 #ifndef REGALIGN_STRUCT
 997                 FAIL("lookbehind non-implemented without REGALIGN_STRUCT");
 998 #endif
 999                 regseen |= REG_SEEN_LOOKBEHIND;
1000                 if (*regparse == '!')
1001                     paren = ',';
1002                 if (*regparse != '=' && *regparse != '!')
1003                     goto unknown;
1004                 regparse++;
1005             case '=':
1006             case '!':
1007                 seen_zerolen++;
1008             case ':':
1009             case '>':
1010                 break;
1011             case '$':
1012             case '@':
1013                 FAIL2("Sequence (?%c...) not implemented", (int)paren);
1014                 break;
1015             case '#':
1016                 while (*regparse && *regparse != ')')
1017                     regparse++;
1018                 if (*regparse != ')')
1019                     FAIL("Sequence (?#... not terminated");
1020                 nextchar();
1021                 *flagp = TRYAGAIN;
1022                 return NULL;
1023             case '{':
1024             {
1025                 dTHR;
1026                 I32 count = 1, n = 0;
1027                 char c;
1028                 char *s = regparse;
1029                 SV *sv;
1030                 OP_4tree *sop, *rop;
1031
1032                 seen_zerolen++;
1033                 while (count && (c = *regparse)) {
1034                     if (c == '\\' && regparse[1])
1035                         regparse++;
1036                     else if (c == '{')
1037                         count++;
1038                     else if (c == '}')
1039                         count--;
1040                     regparse++;
1041                 }
1042                 if (*regparse != ')')
1043                     FAIL("Sequence (?{...}) not terminated or not {}-balanced");
1044                 if (!SIZE_ONLY) {
1045                     AV *av;
1046
1047                     if (regparse - 1 - s)
1048                         sv = newSVpv(s, regparse - 1 - s);
1049                     else
1050                         sv = newSVpv("", 0);
1051
1052                     rop = sv_compile_2op(sv, &sop, "re", &av);
1053
1054                     n = add_data(3, "nso");
1055                     rx->data->data[n] = (void*)rop;
1056                     rx->data->data[n+1] = (void*)av;
1057                     rx->data->data[n+2] = (void*)sop;
1058                     SvREFCNT_dec(sv);
1059                 } else {                /* First pass */
1060                     if (tainted)
1061                         FAIL("Eval-group in insecure regular expression");
1062                 }
1063
1064                 nextchar();
1065                 return reganode(EVAL, n);
1066             }
1067             case '(':
1068             {
1069                 if (regparse[0] == '?') {
1070                     if (regparse[1] == '=' || regparse[1] == '!'
1071                         || regparse[1] == '<'
1072                         || regparse[1] == '{') { /* Lookahead or eval. */
1073                         I32 flag;
1074
1075                         ret = reg_node(LOGICAL);
1076                         regtail(ret, reg(1, &flag));
1077                         goto insert_if;
1078                     }
1079                 } else if (regparse[0] >= '1' && regparse[0] <= '9' ) {
1080                     parno = atoi(regparse++);
1081
1082                     while (isDIGIT(*regparse))
1083                         regparse++;
1084                     ret = reganode(GROUPP, parno);
1085                     if ((c = *nextchar()) != ')')
1086                         FAIL2("Switch (?(number%c not recognized", c);
1087                   insert_if:
1088                     regtail(ret, reganode(IFTHEN, 0));
1089                     br = regbranch(&flags, 1);
1090                     if (br == NULL)
1091                         br = reganode(LONGJMP, 0);
1092                     else
1093                         regtail(br, reganode(LONGJMP, 0));
1094                     c = *nextchar();
1095                     if (c == '|') {
1096                         lastbr = reganode(IFTHEN, 0); /* Fake one for optimizer. */
1097                         regbranch(&flags, 1);
1098                         regtail(ret, lastbr);
1099                         c = *nextchar();
1100                     } else
1101                         lastbr = NULL;
1102                     if (c != ')')
1103                         FAIL("Switch (?(condition)... contains too many branches");
1104                     ender = reg_node(TAIL);
1105                     regtail(br, ender);
1106                     if (lastbr) {
1107                         regtail(lastbr, ender);
1108                         regtail(NEXTOPER(NEXTOPER(lastbr)), ender);
1109                     } else
1110                         regtail(ret, ender);
1111                     return ret;
1112                 } else {
1113                     FAIL2("Unknown condition for (?(%.2s", regparse);
1114                 }
1115             }
1116             case 0:
1117                 FAIL("Sequence (? incomplete");
1118                 break;
1119             default:
1120                 --regparse;
1121                 while (*regparse && strchr("iogcmsx", *regparse))
1122                     pmflag(&regflags, *regparse++);
1123               unknown:
1124                 if (*regparse != ')')
1125                     FAIL2("Sequence (?%c...) not recognized", *regparse);
1126                 nextchar();
1127                 *flagp = TRYAGAIN;
1128                 return NULL;
1129             }
1130         }
1131         else {
1132             parno = regnpar;
1133             regnpar++;
1134             ret = reganode(OPEN, parno);
1135             open = 1;
1136         }
1137     } else
1138         ret = NULL;
1139
1140     /* Pick up the branches, linking them together. */
1141     br = regbranch(&flags, 1);
1142     if (br == NULL)
1143         return(NULL);
1144     if (*regparse == '|') {
1145         if (!SIZE_ONLY && extralen) {
1146             reginsert(BRANCHJ, br);
1147         } else
1148             reginsert(BRANCH, br);
1149         have_branch = 1;
1150         if (SIZE_ONLY)
1151             extralen += 1;              /* For BRANCHJ-BRANCH. */
1152     } else if (paren == ':') {
1153         *flagp |= flags&SIMPLE;
1154     }
1155     if (open) {                         /* Starts with OPEN. */
1156         regtail(ret, br);               /* OPEN -> first. */
1157     } else if (paren != '?')            /* Not Conditional */
1158         ret = br;
1159     if (!(flags&HASWIDTH))
1160         *flagp &= ~HASWIDTH;
1161     *flagp |= flags&SPSTART;
1162     lastbr = br;
1163     while (*regparse == '|') {
1164         if (!SIZE_ONLY && extralen) {
1165             ender = reganode(LONGJMP,0);
1166             regtail(NEXTOPER(NEXTOPER(lastbr)), ender); /* Append to the previous. */
1167         }
1168         if (SIZE_ONLY)
1169             extralen += 2;              /* Account for LONGJMP. */
1170         nextchar();
1171         br = regbranch(&flags, 0);
1172         if (br == NULL)
1173             return(NULL);
1174         regtail(lastbr, br);            /* BRANCH -> BRANCH. */
1175         lastbr = br;
1176         if (!(flags&HASWIDTH))
1177             *flagp &= ~HASWIDTH;
1178         *flagp |= flags&SPSTART;
1179     }
1180
1181     if (have_branch || paren != ':') {
1182         /* Make a closing node, and hook it on the end. */
1183         switch (paren) {
1184         case ':':
1185             ender = reg_node(TAIL);
1186             break;
1187         case 1:
1188             ender = reganode(CLOSE, parno);
1189             break;
1190         case '<':
1191         case '>':
1192         case ',':
1193         case '=':
1194         case '!':
1195             ender = reg_node(SUCCEED);
1196             *flagp &= ~HASWIDTH;
1197             break;
1198         case 0:
1199             ender = reg_node(END);
1200             break;
1201         }
1202         regtail(lastbr, ender);
1203
1204         if (have_branch) {
1205             /* Hook the tails of the branches to the closing node. */
1206             for (br = ret; br != NULL; br = regnext(br)) {
1207                 regoptail(br, ender);
1208             }
1209         }
1210     }
1211
1212     {
1213         char *p;
1214         static char parens[] = "=!<,>";
1215
1216         if (paren && (p = strchr(parens, paren))) {
1217             int node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
1218             int flag = (p - parens) > 1;
1219
1220             if (paren == '>')
1221                 node = SUSPEND, flag = 0;
1222             reginsert(node,ret);
1223 #ifdef REGALIGN_STRUCT
1224             ret->flags = flag;
1225 #endif
1226             regtail(ret, reg_node(TAIL));
1227         }
1228     }
1229
1230     /* Check for proper termination. */
1231     if (paren && (regparse >= regxend || *nextchar() != ')')) {
1232         FAIL("unmatched () in regexp");
1233     } else if (!paren && regparse < regxend) {
1234         if (*regparse == ')') {
1235             FAIL("unmatched () in regexp");
1236         } else
1237             FAIL("junk on end of regexp");      /* "Can't happen". */
1238         /* NOTREACHED */
1239     }
1240     if (paren != 0) {
1241         regflags = oregflags;
1242     }
1243
1244     return(ret);
1245 }
1246
1247 /*
1248  - regbranch - one alternative of an | operator
1249  *
1250  * Implements the concatenation operator.
1251  */
1252 STATIC regnode *
1253 regbranch(I32 *flagp, I32 first)
1254 {
1255     register regnode *ret;
1256     register regnode *chain = NULL;
1257     register regnode *latest;
1258     I32 flags = 0, c = 0;
1259
1260     if (first)
1261         ret = NULL;
1262     else {
1263         if (!SIZE_ONLY && extralen)
1264             ret = reganode(BRANCHJ,0);
1265         else
1266             ret = reg_node(BRANCH);
1267     }
1268
1269     if (!first && SIZE_ONLY)
1270         extralen += 1;                  /* BRANCHJ */
1271
1272     *flagp = WORST;                     /* Tentatively. */
1273
1274     regparse--;
1275     nextchar();
1276     while (regparse < regxend && *regparse != '|' && *regparse != ')') {
1277         flags &= ~TRYAGAIN;
1278         latest = regpiece(&flags);
1279         if (latest == NULL) {
1280             if (flags & TRYAGAIN)
1281                 continue;
1282             return(NULL);
1283         } else if (ret == NULL)
1284             ret = latest;
1285         *flagp |= flags&HASWIDTH;
1286         if (chain == NULL)      /* First piece. */
1287             *flagp |= flags&SPSTART;
1288         else {
1289             regnaughty++;
1290             regtail(chain, latest);
1291         }
1292         chain = latest;
1293         c++;
1294     }
1295     if (chain == NULL) {        /* Loop ran zero times. */
1296         chain = reg_node(NOTHING);
1297         if (ret == NULL)
1298             ret = chain;
1299     }
1300     if (c == 1) {
1301         *flagp |= flags&SIMPLE;
1302     }
1303
1304     return(ret);
1305 }
1306
1307 /*
1308  - regpiece - something followed by possible [*+?]
1309  *
1310  * Note that the branching code sequences used for ? and the general cases
1311  * of * and + are somewhat optimized:  they use the same NOTHING node as
1312  * both the endmarker for their branch list and the body of the last branch.
1313  * It might seem that this node could be dispensed with entirely, but the
1314  * endmarker role is not redundant.
1315  */
1316 STATIC regnode *
1317 regpiece(I32 *flagp)
1318 {
1319     register regnode *ret;
1320     register char op;
1321     register char *next;
1322     I32 flags;
1323     char *origparse = regparse;
1324     char *maxpos;
1325     I32 min;
1326     I32 max = REG_INFTY;
1327
1328     ret = regatom(&flags);
1329     if (ret == NULL) {
1330         if (flags & TRYAGAIN)
1331             *flagp |= TRYAGAIN;
1332         return(NULL);
1333     }
1334
1335     op = *regparse;
1336
1337     if (op == '{' && regcurly(regparse)) {
1338         next = regparse + 1;
1339         maxpos = Nullch;
1340         while (isDIGIT(*next) || *next == ',') {
1341             if (*next == ',') {
1342                 if (maxpos)
1343                     break;
1344                 else
1345                     maxpos = next;
1346             }
1347             next++;
1348         }
1349         if (*next == '}') {             /* got one */
1350             if (!maxpos)
1351                 maxpos = next;
1352             regparse++;
1353             min = atoi(regparse);
1354             if (*maxpos == ',')
1355                 maxpos++;
1356             else
1357                 maxpos = regparse;
1358             max = atoi(maxpos);
1359             if (!max && *maxpos != '0')
1360                 max = REG_INFTY;                /* meaning "infinity" */
1361             else if (max >= REG_INFTY)
1362                 FAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
1363             regparse = next;
1364             nextchar();
1365
1366         do_curly:
1367             if ((flags&SIMPLE)) {
1368                 regnaughty += 2 + regnaughty / 2;
1369                 reginsert(CURLY, ret);
1370             }
1371             else {
1372                 regnaughty += 4 + regnaughty;   /* compound interest */
1373                 regtail(ret, reg_node(WHILEM));
1374                 if (!SIZE_ONLY && extralen) {
1375                     reginsert(LONGJMP,ret);
1376                     reginsert(NOTHING,ret);
1377                     NEXT_OFF(ret) = 3;  /* Go over LONGJMP. */
1378                 }
1379                 reginsert(CURLYX,ret);
1380                 if (!SIZE_ONLY && extralen)
1381                     NEXT_OFF(ret) = 3;  /* Go over NOTHING to LONGJMP. */
1382                 regtail(ret, reg_node(NOTHING));
1383                 if (SIZE_ONLY)
1384                     extralen += 3;
1385             }
1386 #ifdef REGALIGN_STRUCT
1387             ret->flags = 0;
1388 #endif
1389
1390             if (min > 0)
1391                 *flagp = (WORST|HASWIDTH);
1392             if (max && max < min)
1393                 FAIL("Can't do {n,m} with n > m");
1394             if (!SIZE_ONLY) {
1395                 ARG1_SET(ret, min);
1396                 ARG2_SET(ret, max);
1397             }
1398
1399             goto nest_check;
1400         }
1401     }
1402
1403     if (!ISMULT1(op)) {
1404         *flagp = flags;
1405         return(ret);
1406     }
1407
1408 #if 0                           /* Now runtime fix should be reliable. */
1409     if (!(flags&HASWIDTH) && op != '?')
1410       FAIL("regexp *+ operand could be empty");
1411 #endif
1412
1413     nextchar();
1414
1415     *flagp = (op != '+') ? (WORST|SPSTART) : (WORST|HASWIDTH);
1416
1417     if (op == '*' && (flags&SIMPLE)) {
1418         reginsert(STAR, ret);
1419 #ifdef REGALIGN_STRUCT
1420         ret->flags = 0;
1421 #endif
1422         regnaughty += 4;
1423     }
1424     else if (op == '*') {
1425         min = 0;
1426         goto do_curly;
1427     } else if (op == '+' && (flags&SIMPLE)) {
1428         reginsert(PLUS, ret);
1429 #ifdef REGALIGN_STRUCT
1430         ret->flags = 0;
1431 #endif
1432         regnaughty += 3;
1433     }
1434     else if (op == '+') {
1435         min = 1;
1436         goto do_curly;
1437     } else if (op == '?') {
1438         min = 0; max = 1;
1439         goto do_curly;
1440     }
1441   nest_check:
1442     if (dowarn && !SIZE_ONLY && !(flags&HASWIDTH) && max > 10000) {
1443         warn("%.*s matches null string many times",
1444             regparse - origparse, origparse);
1445     }
1446
1447     if (*regparse == '?') {
1448         nextchar();
1449         reginsert(MINMOD, ret);
1450 #ifdef REGALIGN
1451         regtail(ret, ret + NODE_STEP_REGNODE);
1452 #else
1453         regtail(ret, ret + 3);
1454 #endif
1455     }
1456     if (ISMULT2(regparse))
1457         FAIL("nested *?+ in regexp");
1458
1459     return(ret);
1460 }
1461
1462 /*
1463  - regatom - the lowest level
1464  *
1465  * Optimization:  gobbles an entire sequence of ordinary characters so that
1466  * it can turn them into a single node, which is smaller to store and
1467  * faster to run.  Backslashed characters are exceptions, each becoming a
1468  * separate node; the code is simpler that way and it's not worth fixing.
1469  *
1470  * [Yes, it is worth fixing, some scripts can run twice the speed.]
1471  */
1472 STATIC regnode *
1473 regatom(I32 *flagp)
1474 {
1475     register regnode *ret = 0;
1476     I32 flags;
1477
1478     *flagp = WORST;             /* Tentatively. */
1479
1480 tryagain:
1481     switch (*regparse) {
1482     case '^':
1483         seen_zerolen++;
1484         nextchar();
1485         if (regflags & PMf_MULTILINE)
1486             ret = reg_node(MBOL);
1487         else if (regflags & PMf_SINGLELINE)
1488             ret = reg_node(SBOL);
1489         else
1490             ret = reg_node(BOL);
1491         break;
1492     case '$':
1493         if (regparse[1])
1494             seen_zerolen++;
1495         nextchar();
1496         if (regflags & PMf_MULTILINE)
1497             ret = reg_node(MEOL);
1498         else if (regflags & PMf_SINGLELINE)
1499             ret = reg_node(SEOL);
1500         else
1501             ret = reg_node(EOL);
1502         break;
1503     case '.':
1504         nextchar();
1505         if (regflags & PMf_SINGLELINE)
1506             ret = reg_node(SANY);
1507         else
1508             ret = reg_node(ANY);
1509         regnaughty++;
1510         *flagp |= HASWIDTH|SIMPLE;
1511         break;
1512     case '[':
1513         regparse++;
1514         ret = regclass();
1515         *flagp |= HASWIDTH|SIMPLE;
1516         break;
1517     case '(':
1518         nextchar();
1519         ret = reg(1, &flags);
1520         if (ret == NULL) {
1521                 if (flags & TRYAGAIN)
1522                     goto tryagain;
1523                 return(NULL);
1524         }
1525         *flagp |= flags&(HASWIDTH|SPSTART|SIMPLE);
1526         break;
1527     case '|':
1528     case ')':
1529         if (flags & TRYAGAIN) {
1530             *flagp |= TRYAGAIN;
1531             return NULL;
1532         }
1533         FAIL2("internal urp in regexp at /%s/", regparse);
1534                                 /* Supposed to be caught earlier. */
1535         break;
1536     case '{':
1537         if (!regcurly(regparse)) {
1538             regparse++;
1539             goto defchar;
1540         }
1541         /* FALL THROUGH */
1542     case '?':
1543     case '+':
1544     case '*':
1545         FAIL("?+*{} follows nothing in regexp");
1546         break;
1547     case '\\':
1548         switch (*++regparse) {
1549         case 'A':
1550             seen_zerolen++;
1551             ret = reg_node(SBOL);
1552             *flagp |= SIMPLE;
1553             nextchar();
1554             break;
1555         case 'G':
1556             ret = reg_node(GPOS);
1557             regseen |= REG_SEEN_GPOS;
1558             *flagp |= SIMPLE;
1559             nextchar();
1560             break;
1561         case 'Z':
1562             ret = reg_node(SEOL);
1563             *flagp |= SIMPLE;
1564             nextchar();
1565             break;
1566         case 'w':
1567             ret = reg_node((regflags & PMf_LOCALE) ? ALNUML : ALNUM);
1568             *flagp |= HASWIDTH|SIMPLE;
1569             nextchar();
1570             break;
1571         case 'W':
1572             ret = reg_node((regflags & PMf_LOCALE) ? NALNUML : NALNUM);
1573             *flagp |= HASWIDTH|SIMPLE;
1574             nextchar();
1575             break;
1576         case 'b':
1577             seen_zerolen++;
1578             ret = reg_node((regflags & PMf_LOCALE) ? BOUNDL : BOUND);
1579             *flagp |= SIMPLE;
1580             nextchar();
1581             break;
1582         case 'B':
1583             seen_zerolen++;
1584             ret = reg_node((regflags & PMf_LOCALE) ? NBOUNDL : NBOUND);
1585             *flagp |= SIMPLE;
1586             nextchar();
1587             break;
1588         case 's':
1589             ret = reg_node((regflags & PMf_LOCALE) ? SPACEL : SPACE);
1590             *flagp |= HASWIDTH|SIMPLE;
1591             nextchar();
1592             break;
1593         case 'S':
1594             ret = reg_node((regflags & PMf_LOCALE) ? NSPACEL : NSPACE);
1595             *flagp |= HASWIDTH|SIMPLE;
1596             nextchar();
1597             break;
1598         case 'd':
1599             ret = reg_node(DIGIT);
1600             *flagp |= HASWIDTH|SIMPLE;
1601             nextchar();
1602             break;
1603         case 'D':
1604             ret = reg_node(NDIGIT);
1605             *flagp |= HASWIDTH|SIMPLE;
1606             nextchar();
1607             break;
1608         case 'n':
1609         case 'r':
1610         case 't':
1611         case 'f':
1612         case 'e':
1613         case 'a':
1614         case 'x':
1615         case 'c':
1616         case '0':
1617             goto defchar;
1618         case '1': case '2': case '3': case '4':
1619         case '5': case '6': case '7': case '8': case '9':
1620             {
1621                 I32 num = atoi(regparse);
1622
1623                 if (num > 9 && num >= regnpar)
1624                     goto defchar;
1625                 else {
1626                     regsawback = 1;
1627                     ret = reganode((regflags & PMf_FOLD)
1628                                    ? ((regflags & PMf_LOCALE) ? REFFL : REFF)
1629                                    : REF, num);
1630                     *flagp |= HASWIDTH;
1631                     while (isDIGIT(*regparse))
1632                         regparse++;
1633                     regparse--;
1634                     nextchar();
1635                 }
1636             }
1637             break;
1638         case '\0':
1639             if (regparse >= regxend)
1640                 FAIL("trailing \\ in regexp");
1641             /* FALL THROUGH */
1642         default:
1643             goto defchar;
1644         }
1645         break;
1646
1647     case '#':
1648         if (regflags & PMf_EXTENDED) {
1649             while (regparse < regxend && *regparse != '\n') regparse++;
1650             if (regparse < regxend)
1651                 goto tryagain;
1652         }
1653         /* FALL THROUGH */
1654
1655     default: {
1656             register I32 len;
1657             register U8 ender;
1658             register char *p;
1659             char *oldp, *s;
1660             I32 numlen;
1661
1662             regparse++;
1663
1664         defchar:
1665             ret = reg_node((regflags & PMf_FOLD)
1666                           ? ((regflags & PMf_LOCALE) ? EXACTFL : EXACTF)
1667                           : EXACT);
1668             s = (char *) OPERAND(ret);
1669             regc(0, s++);               /* save spot for len */
1670             for (len = 0, p = regparse - 1;
1671               len < 127 && p < regxend;
1672               len++)
1673             {
1674                 oldp = p;
1675
1676                 if (regflags & PMf_EXTENDED)
1677                     p = regwhite(p, regxend);
1678                 switch (*p) {
1679                 case '^':
1680                 case '$':
1681                 case '.':
1682                 case '[':
1683                 case '(':
1684                 case ')':
1685                 case '|':
1686                     goto loopdone;
1687                 case '\\':
1688                     switch (*++p) {
1689                     case 'A':
1690                     case 'G':
1691                     case 'Z':
1692                     case 'w':
1693                     case 'W':
1694                     case 'b':
1695                     case 'B':
1696                     case 's':
1697                     case 'S':
1698                     case 'd':
1699                     case 'D':
1700                         --p;
1701                         goto loopdone;
1702                     case 'n':
1703                         ender = '\n';
1704                         p++;
1705                         break;
1706                     case 'r':
1707                         ender = '\r';
1708                         p++;
1709                         break;
1710                     case 't':
1711                         ender = '\t';
1712                         p++;
1713                         break;
1714                     case 'f':
1715                         ender = '\f';
1716                         p++;
1717                         break;
1718                     case 'e':
1719                         ender = '\033';
1720                         p++;
1721                         break;
1722                     case 'a':
1723                         ender = '\007';
1724                         p++;
1725                         break;
1726                     case 'x':
1727                         ender = scan_hex(++p, 2, &numlen);
1728                         p += numlen;
1729                         break;
1730                     case 'c':
1731                         p++;
1732                         ender = UCHARAT(p++);
1733                         ender = toCTRL(ender);
1734                         break;
1735                     case '0': case '1': case '2': case '3':case '4':
1736                     case '5': case '6': case '7': case '8':case '9':
1737                         if (*p == '0' ||
1738                           (isDIGIT(p[1]) && atoi(p) >= regnpar) ) {
1739                             ender = scan_oct(p, 3, &numlen);
1740                             p += numlen;
1741                         }
1742                         else {
1743                             --p;
1744                             goto loopdone;
1745                         }
1746                         break;
1747                     case '\0':
1748                         if (p >= regxend)
1749                             FAIL("trailing \\ in regexp");
1750                         /* FALL THROUGH */
1751                     default:
1752                         ender = *p++;
1753                         break;
1754                     }
1755                     break;
1756                 default:
1757                     ender = *p++;
1758                     break;
1759                 }
1760                 if (regflags & PMf_EXTENDED)
1761                     p = regwhite(p, regxend);
1762                 if (ISMULT2(p)) { /* Back off on ?+*. */
1763                     if (len)
1764                         p = oldp;
1765                     else {
1766                         len++;
1767                         regc(ender, s++);
1768                     }
1769                     break;
1770                 }
1771                 regc(ender, s++);
1772             }
1773         loopdone:
1774             regparse = p - 1;
1775             nextchar();
1776             if (len < 0)
1777                 FAIL("internal disaster in regexp");
1778             if (len > 0)
1779                 *flagp |= HASWIDTH;
1780             if (len == 1)
1781                 *flagp |= SIMPLE;
1782             if (!SIZE_ONLY)
1783                 *OPERAND(ret) = len;
1784             regc('\0', s++);
1785             if (SIZE_ONLY) {
1786 #ifdef REGALIGN_STRUCT
1787                 regsize += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1788 #endif
1789             } else {
1790                 regcode += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1791             }
1792         }
1793         break;
1794     }
1795
1796     return(ret);
1797 }
1798
1799 static char *
1800 regwhite(char *p, char *e)
1801 {
1802     while (p < e) {
1803         if (isSPACE(*p))
1804             ++p;
1805         else if (*p == '#') {
1806             do {
1807                 p++;
1808             } while (p < e && *p != '\n');
1809         }
1810         else
1811             break;
1812     }
1813     return p;
1814 }
1815
1816 STATIC void
1817 regset(char *opnd, register I32 c)
1818 {
1819     if (SIZE_ONLY)
1820         return;
1821     c &= 0xFF;
1822     opnd[1 + (c >> 3)] |= (1 << (c & 7));
1823 }
1824
1825 STATIC regnode *
1826 regclass(void)
1827 {
1828     register char *opnd, *s;
1829     register I32 Class;
1830     register I32 lastclass = 1234;
1831     register I32 range = 0;
1832     register regnode *ret;
1833     register I32 def;
1834     I32 numlen;
1835
1836     s = opnd = (char *) OPERAND(regcode);
1837     ret = reg_node(ANYOF);
1838     for (Class = 0; Class < 33; Class++)
1839         regc(0, s++);
1840     if (*regparse == '^') {     /* Complement of range. */
1841         regnaughty++;
1842         regparse++;
1843         if (!SIZE_ONLY)
1844             *opnd |= ANYOF_INVERT;
1845     }
1846     if (!SIZE_ONLY) {
1847         regcode += ANY_SKIP;
1848         if (regflags & PMf_FOLD)
1849             *opnd |= ANYOF_FOLD;
1850         if (regflags & PMf_LOCALE)
1851             *opnd |= ANYOF_LOCALE;
1852     } else {
1853         regsize += ANY_SKIP;
1854     }
1855     if (*regparse == ']' || *regparse == '-')
1856         goto skipcond;          /* allow 1st char to be ] or - */
1857     while (regparse < regxend && *regparse != ']') {
1858        skipcond:
1859         Class = UCHARAT(regparse++);
1860         if (Class == '[' && regparse + 1 < regxend &&
1861             /* I smell either [: or [= or [. -- POSIX has been here, right? */
1862             (*regparse == ':' || *regparse == '=' || *regparse == '.')) {
1863             char  posixccc = *regparse;
1864             char* posixccs = regparse++;
1865
1866             while (regparse < regxend && *regparse != posixccc)
1867                 regparse++;
1868             if (regparse == regxend)
1869                 /* Grandfather lone [:, [=, [. */
1870                 regparse = posixccs;
1871             else {
1872                 regparse++; /* skip over the posixccc */
1873                 if (*regparse == ']') {
1874                     /* Not Implemented Yet.
1875                      * (POSIX Extended Character Classes, that is)
1876                      * The text between e.g. [: and :] would start
1877                      * at posixccs + 1 and stop at regparse - 2. */
1878                     if (dowarn && !SIZE_ONLY)
1879                         warn("Character class syntax [%c %c] is reserved for future extensions", posixccc, posixccc);
1880                     regparse++; /* skip over the ending ] */
1881                 }
1882             }
1883         }
1884         if (Class == '\\') {
1885             Class = UCHARAT(regparse++);
1886             switch (Class) {
1887             case 'w':
1888                 if (regflags & PMf_LOCALE) {
1889                     if (!SIZE_ONLY)
1890                         *opnd |= ANYOF_ALNUML;
1891                 }
1892                 else {
1893                     for (Class = 0; Class < 256; Class++)
1894                         if (isALNUM(Class))
1895                             regset(opnd, Class);
1896                 }
1897                 lastclass = 1234;
1898                 continue;
1899             case 'W':
1900                 if (regflags & PMf_LOCALE) {
1901                     if (!SIZE_ONLY)
1902                         *opnd |= ANYOF_NALNUML;
1903                 }
1904                 else {
1905                     for (Class = 0; Class < 256; Class++)
1906                         if (!isALNUM(Class))
1907                             regset(opnd, Class);
1908                 }
1909                 lastclass = 1234;
1910                 continue;
1911             case 's':
1912                 if (regflags & PMf_LOCALE) {
1913                     if (!SIZE_ONLY)
1914                         *opnd |= ANYOF_SPACEL;
1915                 }
1916                 else {
1917                     for (Class = 0; Class < 256; Class++)
1918                         if (isSPACE(Class))
1919                             regset(opnd, Class);
1920                 }
1921                 lastclass = 1234;
1922                 continue;
1923             case 'S':
1924                 if (regflags & PMf_LOCALE) {
1925                     if (!SIZE_ONLY)
1926                         *opnd |= ANYOF_NSPACEL;
1927                 }
1928                 else {
1929                     for (Class = 0; Class < 256; Class++)
1930                         if (!isSPACE(Class))
1931                             regset(opnd, Class);
1932                 }
1933                 lastclass = 1234;
1934                 continue;
1935             case 'd':
1936                 for (Class = '0'; Class <= '9'; Class++)
1937                     regset(opnd, Class);
1938                 lastclass = 1234;
1939                 continue;
1940             case 'D':
1941                 for (Class = 0; Class < '0'; Class++)
1942                     regset(opnd, Class);
1943                 for (Class = '9' + 1; Class < 256; Class++)
1944                     regset(opnd, Class);
1945                 lastclass = 1234;
1946                 continue;
1947             case 'n':
1948                 Class = '\n';
1949                 break;
1950             case 'r':
1951                 Class = '\r';
1952                 break;
1953             case 't':
1954                 Class = '\t';
1955                 break;
1956             case 'f':
1957                 Class = '\f';
1958                 break;
1959             case 'b':
1960                 Class = '\b';
1961                 break;
1962             case 'e':
1963                 Class = '\033';
1964                 break;
1965             case 'a':
1966                 Class = '\007';
1967                 break;
1968             case 'x':
1969                 Class = scan_hex(regparse, 2, &numlen);
1970                 regparse += numlen;
1971                 break;
1972             case 'c':
1973                 Class = UCHARAT(regparse++);
1974                 Class = toCTRL(Class);
1975                 break;
1976             case '0': case '1': case '2': case '3': case '4':
1977             case '5': case '6': case '7': case '8': case '9':
1978                 Class = scan_oct(--regparse, 3, &numlen);
1979                 regparse += numlen;
1980                 break;
1981             }
1982         }
1983         if (range) {
1984             if (lastclass > Class)
1985                 FAIL("invalid [] range in regexp");
1986             range = 0;
1987         }
1988         else {
1989             lastclass = Class;
1990             if (*regparse == '-' && regparse+1 < regxend &&
1991               regparse[1] != ']') {
1992                 regparse++;
1993                 range = 1;
1994                 continue;       /* do it next time */
1995             }
1996         }
1997         for ( ; lastclass <= Class; lastclass++)
1998             regset(opnd, lastclass);
1999         lastclass = Class;
2000     }
2001     if (*regparse != ']')
2002         FAIL("unmatched [] in regexp");
2003     nextchar();
2004     return ret;
2005 }
2006
2007 STATIC char*
2008 nextchar(void)
2009 {
2010     char* retval = regparse++;
2011
2012     for (;;) {
2013         if (*regparse == '(' && regparse[1] == '?' &&
2014                 regparse[2] == '#') {
2015             while (*regparse && *regparse != ')')
2016                 regparse++;
2017             regparse++;
2018             continue;
2019         }
2020         if (regflags & PMf_EXTENDED) {
2021             if (isSPACE(*regparse)) {
2022                 regparse++;
2023                 continue;
2024             }
2025             else if (*regparse == '#') {
2026                 while (*regparse && *regparse != '\n')
2027                     regparse++;
2028                 regparse++;
2029                 continue;
2030             }
2031         }
2032         return retval;
2033     }
2034 }
2035
2036 /*
2037 - reg_node - emit a node
2038 */
2039 STATIC regnode *                        /* Location. */
2040 reg_node(U8 op)
2041 {
2042     register regnode *ret;
2043     register regnode *ptr;
2044
2045     ret = regcode;
2046     if (SIZE_ONLY) {
2047         SIZE_ALIGN(regsize);
2048 #ifdef REGALIGN_STRUCT
2049         regsize += 1;
2050 #else
2051         regsize += 3;
2052 #endif
2053         return(ret);
2054     }
2055
2056     NODE_ALIGN_FILL(ret);
2057     ptr = ret;
2058     FILL_ADVANCE_NODE(ptr, op);
2059     regcode = ptr;
2060
2061     return(ret);
2062 }
2063
2064 /*
2065 - reganode - emit a node with an argument
2066 */
2067 STATIC regnode *                        /* Location. */
2068 reganode(U8 op, U32 arg)
2069 {
2070     register regnode *ret;
2071     register regnode *ptr;
2072
2073     ret = regcode;
2074     if (SIZE_ONLY) {
2075         SIZE_ALIGN(regsize);
2076 #ifdef REGALIGN
2077         regsize += 2;
2078 #else
2079         regsize += 5;
2080 #endif
2081         return(ret);
2082     }
2083
2084     NODE_ALIGN_FILL(ret);
2085     ptr = ret;
2086     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
2087     regcode = ptr;
2088
2089     return(ret);
2090 }
2091
2092 /*
2093 - regc - emit (if appropriate) a byte of code
2094 */
2095 STATIC void
2096 regc(U8 b, char* s)
2097 {
2098     if (!SIZE_ONLY)
2099         *s = b;
2100 }
2101
2102 /*
2103 - reginsert - insert an operator in front of already-emitted operand
2104 *
2105 * Means relocating the operand.
2106 */
2107 STATIC void
2108 reginsert(U8 op, regnode *opnd)
2109 {
2110     register regnode *src;
2111     register regnode *dst;
2112     register regnode *place;
2113     register int offset = regarglen[(U8)op];
2114
2115 /* (regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
2116
2117     if (SIZE_ONLY) {
2118         regsize += NODE_STEP_REGNODE + offset;
2119         return;
2120     }
2121
2122     src = regcode;
2123     regcode += NODE_STEP_REGNODE + offset;
2124     dst = regcode;
2125     while (src > opnd)
2126         StructCopy(--src, --dst, regnode);
2127
2128     place = opnd;               /* Op node, where operand used to be. */
2129     src = NEXTOPER(place);
2130     FILL_ADVANCE_NODE(place, op);
2131     Zero(src, offset, regnode);
2132 #if defined(REGALIGN) && !defined(REGALIGN_STRUCT)
2133     src[offset + 1] = '\177';
2134 #endif
2135 }
2136
2137 /*
2138 - regtail - set the next-pointer at the end of a node chain of p to val.
2139 */
2140 STATIC void
2141 regtail(regnode *p, regnode *val)
2142 {
2143     register regnode *scan;
2144     register regnode *temp;
2145     register I32 offset;
2146
2147     if (SIZE_ONLY)
2148         return;
2149
2150     /* Find last node. */
2151     scan = p;
2152     for (;;) {
2153         temp = regnext(scan);
2154         if (temp == NULL)
2155             break;
2156         scan = temp;
2157     }
2158
2159 #ifdef REGALIGN
2160 #  ifdef REGALIGN_STRUCT
2161     if (reg_off_by_arg[OP(scan)]) {
2162         ARG_SET(scan, val - scan);
2163     } else {
2164         NEXT_OFF(scan) = val - scan;
2165     }
2166 #  else
2167     offset = val - scan;
2168 #    ifndef lint
2169     *(short*)(scan+1) = offset;
2170 #    endif
2171 #endif
2172 #else
2173     if (OP(scan) == BACK)
2174         offset = scan - val;
2175     else
2176         offset = val - scan;
2177     *(scan+1) = (offset>>8)&0377;
2178     *(scan+2) = offset&0377;
2179 #endif
2180 }
2181
2182 /*
2183 - regoptail - regtail on operand of first argument; nop if operandless
2184 */
2185 STATIC void
2186 regoptail(regnode *p, regnode *val)
2187 {
2188     /* "Operandless" and "op != BRANCH" are synonymous in practice. */
2189     if (p == NULL || SIZE_ONLY)
2190         return;
2191     if (regkind[(U8)OP(p)] == BRANCH) {
2192         regtail(NEXTOPER(p), val);
2193     } else if ( regkind[(U8)OP(p)] == BRANCHJ) {
2194         regtail(NEXTOPER(NEXTOPER(p)), val);
2195     } else
2196         return;
2197 }
2198
2199 /*
2200  - regcurly - a little FSA that accepts {\d+,?\d*}
2201  */
2202 STATIC I32
2203 regcurly(register char *s)
2204 {
2205     if (*s++ != '{')
2206         return FALSE;
2207     if (!isDIGIT(*s))
2208         return FALSE;
2209     while (isDIGIT(*s))
2210         s++;
2211     if (*s == ',')
2212         s++;
2213     while (isDIGIT(*s))
2214         s++;
2215     if (*s != '}')
2216         return FALSE;
2217     return TRUE;
2218 }
2219
2220 #ifdef DEBUGGING
2221
2222 STATIC regnode *
2223 dumpuntil(regnode *start, regnode *node, regnode *last, SV* sv, I32 l)
2224 {
2225     register char op = EXACT;   /* Arbitrary non-END op. */
2226     register regnode *next, *onode;
2227
2228     while (op != END && (!last || node < last)) {
2229         /* While that wasn't END last time... */
2230
2231         NODE_ALIGN(node);
2232         op = OP(node);
2233         if (op == CLOSE)
2234             l--;
2235         next = regnext(node);
2236         /* Where, what. */
2237         if (OP(node) == OPTIMIZED)
2238             goto after_print;
2239         regprop(sv, node);
2240         PerlIO_printf(Perl_debug_log, "%4d%*s%s", node - start,
2241                       2*l + 1, "", SvPVX(sv));
2242         if (next == NULL)               /* Next ptr. */
2243             PerlIO_printf(Perl_debug_log, "(0)");
2244         else
2245             PerlIO_printf(Perl_debug_log, "(%d)", next - start);
2246         (void)PerlIO_putc(Perl_debug_log, '\n');
2247       after_print:
2248         if (regkind[(U8)op] == BRANCHJ) {
2249             register regnode *nnode = (OP(next) == LONGJMP
2250                                        ? regnext(next)
2251                                        : next);
2252             if (last && nnode > last)
2253                 nnode = last;
2254             node = dumpuntil(start, NEXTOPER(NEXTOPER(node)), nnode, sv, l + 1);
2255         } else if (regkind[(U8)op] == BRANCH) {
2256             node = dumpuntil(start, NEXTOPER(node), next, sv, l + 1);
2257         } else if ( op == CURLY) {   /* `next' might be very big: optimizer */
2258             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2259                              NEXTOPER(node) + EXTRA_STEP_2ARGS + 1, sv, l + 1);
2260         } else if (regkind[(U8)op] == CURLY && op != CURLYX) {
2261             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2262                              next, sv, l + 1);
2263         } else if ( op == PLUS || op == STAR) {
2264             node = dumpuntil(start, NEXTOPER(node), NEXTOPER(node) + 1, sv, l + 1);
2265         } else if (op == ANYOF) {
2266             node = NEXTOPER(node);
2267             node += ANY_SKIP;
2268         } else if (regkind[(U8)op] == EXACT) {
2269             /* Literal string, where present. */
2270             node += ((*OPERAND(node)) + 2 + sizeof(regnode) - 1) / sizeof(regnode);
2271             node = NEXTOPER(node);
2272         } else {
2273             node = NEXTOPER(node);
2274             node += regarglen[(U8)op];
2275         }
2276         if (op == CURLYX || op == OPEN)
2277             l++;
2278         else if (op == WHILEM)
2279             l--;
2280     }
2281     return node;
2282 }
2283
2284 /*
2285  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
2286  */
2287 void
2288 regdump(regexp *r)
2289 {
2290     SV *sv = sv_newmortal();
2291
2292     (void)dumpuntil(r->program, r->program + 1, NULL, sv, 0);
2293
2294     /* Header fields of interest. */
2295     if (r->anchored_substr)
2296         PerlIO_printf(Perl_debug_log, "anchored `%s%s%s'%s at %d ",
2297                       colors[0],
2298                       SvPVX(r->anchored_substr),
2299                       colors[1],
2300                       SvTAIL(r->anchored_substr) ? "$" : "",
2301                       r->anchored_offset);
2302     if (r->float_substr)
2303         PerlIO_printf(Perl_debug_log, "floating `%s%s%s'%s at %d..%u ",
2304                       colors[0],
2305                       SvPVX(r->float_substr),
2306                       colors[1],
2307                       SvTAIL(r->float_substr) ? "$" : "",
2308                       r->float_min_offset, r->float_max_offset);
2309     if (r->check_substr)
2310         PerlIO_printf(Perl_debug_log,
2311                       r->check_substr == r->float_substr
2312                       ? "(checking floating" : "(checking anchored");
2313     if (r->reganch & ROPT_NOSCAN)
2314         PerlIO_printf(Perl_debug_log, " noscan");
2315     if (r->reganch & ROPT_CHECK_ALL)
2316         PerlIO_printf(Perl_debug_log, " isall");
2317     if (r->check_substr)
2318         PerlIO_printf(Perl_debug_log, ") ");
2319
2320     if (r->regstclass) {
2321         regprop(sv, r->regstclass);
2322         PerlIO_printf(Perl_debug_log, "stclass `%s' ", SvPVX(sv));
2323     }
2324     if (r->reganch & ROPT_ANCH) {
2325         PerlIO_printf(Perl_debug_log, "anchored");
2326         if (r->reganch & ROPT_ANCH_BOL)
2327             PerlIO_printf(Perl_debug_log, "(BOL)");
2328         if (r->reganch & ROPT_ANCH_MBOL)
2329             PerlIO_printf(Perl_debug_log, "(MBOL)");
2330         if (r->reganch & ROPT_ANCH_GPOS)
2331             PerlIO_printf(Perl_debug_log, "(GPOS)");
2332         PerlIO_putc(Perl_debug_log, ' ');
2333     }
2334     if (r->reganch & ROPT_GPOS_SEEN)
2335         PerlIO_printf(Perl_debug_log, "GPOS ");
2336     if (r->reganch & ROPT_SKIP)
2337         PerlIO_printf(Perl_debug_log, "plus ");
2338     if (r->reganch & ROPT_IMPLICIT)
2339         PerlIO_printf(Perl_debug_log, "implicit ");
2340     PerlIO_printf(Perl_debug_log, "minlen %ld ", (long) r->minlen);
2341     PerlIO_printf(Perl_debug_log, "\n");
2342 }
2343
2344 /*
2345 - regprop - printable representation of opcode
2346 */
2347 void
2348 regprop(SV *sv, regnode *o)
2349 {
2350     register char *p = 0;
2351
2352     sv_setpv(sv, ":");
2353     switch (OP(o)) {
2354     case BOL:
2355         p = "BOL";
2356         break;
2357     case MBOL:
2358         p = "MBOL";
2359         break;
2360     case SBOL:
2361         p = "SBOL";
2362         break;
2363     case EOL:
2364         p = "EOL";
2365         break;
2366     case MEOL:
2367         p = "MEOL";
2368         break;
2369     case SEOL:
2370         p = "SEOL";
2371         break;
2372     case ANY:
2373         p = "ANY";
2374         break;
2375     case SANY:
2376         p = "SANY";
2377         break;
2378     case ANYOF:
2379         p = "ANYOF";
2380         break;
2381     case BRANCH:
2382         p = "BRANCH";
2383         break;
2384     case EXACT:
2385         sv_catpvf(sv, "EXACT <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2386         break;
2387     case EXACTF:
2388         sv_catpvf(sv, "EXACTF <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2389         break;
2390     case EXACTFL:
2391         sv_catpvf(sv, "EXACTFL <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2392         break;
2393     case NOTHING:
2394         p = "NOTHING";
2395         break;
2396     case TAIL:
2397         p = "TAIL";
2398         break;
2399     case BACK:
2400         p = "BACK";
2401         break;
2402     case END:
2403         p = "END";
2404         break;
2405     case BOUND:
2406         p = "BOUND";
2407         break;
2408     case BOUNDL:
2409         p = "BOUNDL";
2410         break;
2411     case NBOUND:
2412         p = "NBOUND";
2413         break;
2414     case NBOUNDL:
2415         p = "NBOUNDL";
2416         break;
2417     case CURLY:
2418         sv_catpvf(sv, "CURLY {%d,%d}", ARG1(o), ARG2(o));
2419         break;
2420     case CURLYM:
2421 #ifdef REGALIGN_STRUCT
2422         sv_catpvf(sv, "CURLYM[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2423 #else
2424         sv_catpvf(sv, "CURLYM {%d,%d}", ARG1(o), ARG2(o));
2425 #endif
2426         break;
2427     case CURLYN:
2428 #ifdef REGALIGN_STRUCT
2429         sv_catpvf(sv, "CURLYN[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2430 #else
2431         sv_catpvf(sv, "CURLYN {%d,%d}", ARG1(o), ARG2(o));
2432 #endif
2433         break;
2434     case CURLYX:
2435         sv_catpvf(sv, "CURLYX {%d,%d}", ARG1(o), ARG2(o));
2436         break;
2437     case REF:
2438         sv_catpvf(sv, "REF%d", ARG(o));
2439         break;
2440     case REFF:
2441         sv_catpvf(sv, "REFF%d", ARG(o));
2442         break;
2443     case REFFL:
2444         sv_catpvf(sv, "REFFL%d", ARG(o));
2445         break;
2446     case OPEN:
2447         sv_catpvf(sv, "OPEN%d", ARG(o));
2448         break;
2449     case CLOSE:
2450         sv_catpvf(sv, "CLOSE%d", ARG(o));
2451         p = NULL;
2452         break;
2453     case STAR:
2454         p = "STAR";
2455         break;
2456     case PLUS:
2457         p = "PLUS";
2458         break;
2459     case MINMOD:
2460         p = "MINMOD";
2461         break;
2462     case GPOS:
2463         p = "GPOS";
2464         break;
2465     case UNLESSM:
2466 #ifdef REGALIGN_STRUCT
2467         sv_catpvf(sv, "UNLESSM[-%d]", o->flags);
2468 #else
2469         p = "UNLESSM";
2470 #endif
2471         break;
2472     case IFMATCH:
2473 #ifdef REGALIGN_STRUCT
2474         sv_catpvf(sv, "IFMATCH[-%d]", o->flags);
2475 #else
2476         p = "IFMATCH";
2477 #endif
2478         break;
2479     case SUCCEED:
2480         p = "SUCCEED";
2481         break;
2482     case WHILEM:
2483         p = "WHILEM";
2484         break;
2485     case DIGIT:
2486         p = "DIGIT";
2487         break;
2488     case NDIGIT:
2489         p = "NDIGIT";
2490         break;
2491     case ALNUM:
2492         p = "ALNUM";
2493         break;
2494     case NALNUM:
2495         p = "NALNUM";
2496         break;
2497     case SPACE:
2498         p = "SPACE";
2499         break;
2500     case NSPACE:
2501         p = "NSPACE";
2502         break;
2503     case ALNUML:
2504         p = "ALNUML";
2505         break;
2506     case NALNUML:
2507         p = "NALNUML";
2508         break;
2509     case SPACEL:
2510         p = "SPACEL";
2511         break;
2512     case NSPACEL:
2513         p = "NSPACEL";
2514         break;
2515     case EVAL:
2516         p = "EVAL";
2517         break;
2518     case LONGJMP:
2519         p = "LONGJMP";
2520         break;
2521     case BRANCHJ:
2522         p = "BRANCHJ";
2523         break;
2524     case IFTHEN:
2525         p = "IFTHEN";
2526         break;
2527     case GROUPP:
2528         sv_catpvf(sv, "GROUPP%d", ARG(o));
2529         break;
2530     case LOGICAL:
2531         p = "LOGICAL";
2532         break;
2533     case SUSPEND:
2534         p = "SUSPEND";
2535         break;
2536     case RENUM:
2537         p = "RENUM";
2538         break;
2539     case OPTIMIZED:
2540         p = "OPTIMIZED";
2541         break;
2542     default:
2543         FAIL("corrupted regexp opcode");
2544     }
2545     if (p)
2546         sv_catpv(sv, p);
2547 }
2548 #endif /* DEBUGGING */
2549
2550 void
2551 pregfree(struct regexp *r)
2552 {
2553     if (!r || (--r->refcnt > 0))
2554         return;
2555     if (r->precomp)
2556         Safefree(r->precomp);
2557     if (r->subbase)
2558         Safefree(r->subbase);
2559     if (r->substrs) {
2560         if (r->anchored_substr)
2561             SvREFCNT_dec(r->anchored_substr);
2562         if (r->float_substr)
2563             SvREFCNT_dec(r->float_substr);
2564         Safefree(r->substrs);
2565     }
2566     if (r->data) {
2567         int n = r->data->count;
2568         while (--n >= 0) {
2569             switch (r->data->what[n]) {
2570             case 's':
2571                 SvREFCNT_dec((SV*)r->data->data[n]);
2572                 break;
2573             case 'o':
2574                 op_free((OP_4tree*)r->data->data[n]);
2575                 break;
2576             case 'n':
2577                 break;
2578             default:
2579                 FAIL2("panic: regfree data code '%c'", r->data->what[n]);
2580             }
2581         }
2582         Safefree(r->data->what);
2583         Safefree(r->data);
2584     }
2585     Safefree(r->startp);
2586     Safefree(r->endp);
2587     Safefree(r);
2588 }
2589
2590 /*
2591  - regnext - dig the "next" pointer out of a node
2592  *
2593  * [Note, when REGALIGN is defined there are two places in regmatch()
2594  * that bypass this code for speed.]
2595  */
2596 regnode *
2597 regnext(register regnode *p)
2598 {
2599     register I32 offset;
2600
2601     if (p == &regdummy)
2602         return(NULL);
2603
2604     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
2605     if (offset == 0)
2606         return(NULL);
2607
2608 #ifdef REGALIGN
2609     return(p+offset);
2610 #else
2611     if (OP(p) == BACK)
2612         return(p-offset);
2613     else
2614         return(p+offset);
2615 #endif
2616 }
2617
2618 #ifdef I_STDARG
2619 STATIC void
2620 re_croak2(const char* pat1,const char* pat2,...)
2621 #else
2622 /*VARARGS0*/
2623 static void
2624 re_croak2(const char* pat1,const char* pat2, va_alist)
2625     const char* pat1;
2626     const char* pat2;
2627     va_dcl
2628 #endif
2629 {
2630     va_list args;
2631     STRLEN l1 = strlen(pat1);
2632     STRLEN l2 = strlen(pat2);
2633     char buf[512];
2634     char *message;
2635
2636     if (l1 > 510)
2637         l1 = 510;
2638     if (l1 + l2 > 510)
2639         l2 = 510 - l1;
2640     Copy(pat1, buf, l1 , char);
2641     Copy(pat2, buf + l1, l2 , char);
2642     buf[l1 + l2 + 1] = '\n';
2643     buf[l1 + l2 + 2] = '\0';
2644 #ifdef I_STDARG
2645     va_start(args, pat2);
2646 #else
2647     va_start(args);
2648 #endif
2649     message = mess(buf, &args);
2650     va_end(args);
2651     l1 = strlen(message);
2652     if (l1 > 512)
2653         l1 = 512;
2654     Copy(message, buf, l1 , char);
2655     buf[l1] = '\0';                     /* Overwrite \n */
2656     croak("%s", buf);
2657 }