regcomp.c

   1 /*    regcomp.c
   2  */
   3
   4 /*
   5  * "A fair jaw-cracker dwarf-language must be."  --Samwise Gamgee
   6  */
   7
   8 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
   9  * confused with the original package (see point 3 below).  Thanks, Henry!
  10  */
  11
  12 /* Additional note: this code is very heavily munged from Henry's version
  13  * in places.  In some spots I've traded clarity for efficiency, so don't
  14  * blame Henry for some of the lack of readability.
  15  */
  16
  17 /* The names of the functions have been changed from regcomp and
  18  * regexec to  pregcomp and pregexec in order to avoid conflicts
  19  * with the POSIX routines of the same names.
  20 */
  21
  22 #ifdef IN_XSUB_RE
  23 #  define Perl_pregcomp my_regcomp
  24 #  define Perl_regdump my_regdump
  25 #  define Perl_regprop my_regprop
  26 #endif
  27
  28 /*SUPPRESS 112*/
  29 /*
  30  * pregcomp and pregexec -- regsub and regerror are not used in perl
  31  *
  32  *      Copyright (c) 1986 by University of Toronto.
  33  *      Written by Henry Spencer.  Not derived from licensed software.
  34  *
  35  *      Permission is granted to anyone to use this software for any
  36  *      purpose on any computer system, and to redistribute it freely,
  37  *      subject to the following restrictions:
  38  *
  39  *      1. The author is not responsible for the consequences of use of
  40  *              this software, no matter how awful, even if they arise
  41  *              from defects in it.
  42  *
  43  *      2. The origin of this software must not be misrepresented, either
  44  *              by explicit claim or by omission.
  45  *
  46  *      3. Altered versions must be plainly marked as such, and must not
  47  *              be misrepresented as being the original software.
  48  *
  49  *
  50  ****    Alterations to Henry's code are...
  51  ****
  52  ****    Copyright (c) 1991-1997, Larry Wall
  53  ****
  54  ****    You may distribute under the terms of either the GNU General Public
  55  ****    License or the Artistic License, as specified in the README file.
  56
  57  *
  58  * Beware that some of this code is subtly aware of the way operator
  59  * precedence is structured in regular expressions.  Serious changes in
  60  * regular-expression syntax might require a total rethink.
  61  */
  62 #include "EXTERN.h"
  63 #include "perl.h"
  64 #include "INTERN.h"
  65
  66 #define REG_COMP_C
  67 #include "regcomp.h"
  68
  69 #ifdef op
  70 #undef op
  71 #endif /* op */
  72
  73 #ifdef MSDOS
  74 # if defined(BUGGY_MSC6)
  75  /* MSC 6.00A breaks on op/regexp.t test 85 unless we turn this off */
  76  # pragma optimize("a",off)
  77  /* But MSC 6.00A is happy with 'w', for aliases only across function calls*/
  78  # pragma optimize("w",on )
  79 # endif /* BUGGY_MSC6 */
  80 #endif /* MSDOS */
  81
  82 #ifndef STATIC
  83 #define STATIC  static
  84 #endif
  85
  86 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
  87 #define ISMULT2(s)      ((*s) == '*' || (*s) == '+' || (*s) == '?' || \
  88         ((*s) == '{' && regcurly(s)))
  89 #ifdef atarist
  90 #define PERL_META       "^$.[()|?+*\\"
  91 #else
  92 #define META    "^$.[()|?+*\\"
  93 #endif
  94
  95 #ifdef SPSTART
  96 #undef SPSTART          /* dratted cpp namespace... */
  97 #endif
  98 /*
  99  * Flags to be passed up and down.
 100  */
 101 #define WORST           0       /* Worst case. */
 102 #define HASWIDTH        0x1     /* Known to match non-null strings. */
 103 #define SIMPLE          0x2     /* Simple enough to be STAR/PLUS operand. */
 104 #define SPSTART         0x4     /* Starts with * or +. */
 105 #define TRYAGAIN        0x8     /* Weeded out a declaration. */
 106
 107 /*
 108  * Forward declarations for pregcomp()'s friends.
 109  */
 110
 111 #ifndef PERL_OBJECT
 112 static regnode *reg _((I32, I32 *));
 113 static regnode *reganode _((U8, U32));
 114 static regnode *regatom _((I32 *));
 115 static regnode *regbranch _((I32 *, I32));
 116 static void regc _((U8, char *));
 117 static regnode *regclass _((void));
 118 STATIC I32 regcurly _((char *));
 119 static regnode *reg_node _((U8));
 120 static regnode *regpiece _((I32 *));
 121 static void reginsert _((U8, regnode *));
 122 static void regoptail _((regnode *, regnode *));
 123 static void regtail _((regnode *, regnode *));
 124 static char* regwhite _((char *, char *));
 125 static char* nextchar _((void));
 126 static void re_croak2 _((const char* pat1,const char* pat2,...)) __attribute__((noreturn));
 127 #endif
 128
 129 /* Length of a variant. */
 130
 131 #ifndef PERL_OBJECT
 132 typedef struct {
 133     I32 len_min;
 134     I32 len_delta;
 135     I32 pos_min;
 136     I32 pos_delta;
 137     SV *last_found;
 138     I32 last_end;                       /* min value, <0 unless valid. */
 139     I32 last_start_min;
 140     I32 last_start_max;
 141     SV **longest;                       /* Either &l_fixed, or &l_float. */
 142     SV *longest_fixed;
 143     I32 offset_fixed;
 144     SV *longest_float;
 145     I32 offset_float_min;
 146     I32 offset_float_max;
 147     I32 flags;
 148 } scan_data_t;
 149 #endif
 150
 151 static scan_data_t zero_scan_data = { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 };
 152
 153 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
 154 #define SF_BEFORE_SEOL          0x1
 155 #define SF_BEFORE_MEOL          0x2
 156 #define SF_FIX_BEFORE_EOL       (SF_FIX_BEFORE_SEOL|SF_FIX_BEFORE_MEOL)
 157 #define SF_FL_BEFORE_EOL        (SF_FL_BEFORE_SEOL|SF_FL_BEFORE_MEOL)
 158
 159 #ifdef NO_UNARY_PLUS
 160 #  define SF_FIX_SHIFT_EOL      (0+2)
 161 #  define SF_FL_SHIFT_EOL               (0+4)
 162 #else
 163 #  define SF_FIX_SHIFT_EOL      (+2)
 164 #  define SF_FL_SHIFT_EOL               (+4)
 165 #endif
 166
 167 #define SF_FIX_BEFORE_SEOL      (SF_BEFORE_SEOL << SF_FIX_SHIFT_EOL)
 168 #define SF_FIX_BEFORE_MEOL      (SF_BEFORE_MEOL << SF_FIX_SHIFT_EOL)
 169
 170 #define SF_FL_BEFORE_SEOL       (SF_BEFORE_SEOL << SF_FL_SHIFT_EOL)
 171 #define SF_FL_BEFORE_MEOL       (SF_BEFORE_MEOL << SF_FL_SHIFT_EOL) /* 0x20 */
 172 #define SF_IS_INF               0x40
 173 #define SF_HAS_PAR              0x80
 174 #define SF_IN_PAR               0x100
 175 #define SF_HAS_EVAL             0x200
 176 #define SCF_DO_SUBSTR           0x400
 177
 178 STATIC void
 179 scan_commit(scan_data_t *data)
 180 {
 181     STRLEN l = SvCUR(data->last_found);
 182     STRLEN old_l = SvCUR(*data->longest);
 183
 184     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
 185         sv_setsv(*data->longest, data->last_found);
 186         if (*data->longest == data->longest_fixed) {
 187             data->offset_fixed = l ? data->last_start_min : data->pos_min;
 188             if (data->flags & SF_BEFORE_EOL)
 189                 data->flags
 190                     |= ((data->flags & SF_BEFORE_EOL) << SF_FIX_SHIFT_EOL);
 191             else
 192                 data->flags &= ~SF_FIX_BEFORE_EOL;
 193         } else {
 194             data->offset_float_min = l ? data->last_start_min : data->pos_min;
 195             data->offset_float_max = (l
 196                                       ? data->last_start_max
 197                                       : data->pos_min + data->pos_delta);
 198             if (data->flags & SF_BEFORE_EOL)
 199                 data->flags
 200                     |= ((data->flags & SF_BEFORE_EOL) << SF_FL_SHIFT_EOL);
 201             else
 202                 data->flags &= ~SF_FL_BEFORE_EOL;
 203         }
 204     }
 205     SvCUR_set(data->last_found, 0);
 206     data->last_end = -1;
 207     data->flags &= ~SF_BEFORE_EOL;
 208 }
 209
 210 /* Stops at toplevel WHILEM as well as at `last'. At end *scanp is set
 211    to the position after last scanned or to NULL. */
 212
 213 STATIC I32
 214 study_chunk(regnode **scanp, I32 *deltap, regnode *last, scan_data_t *data, U32 flags)
 215                         /* scanp: Start here (read-write). */
 216                         /* deltap: Write maxlen-minlen here. */
 217                         /* last: Stop before this one. */
 218 {
 219     I32 min = 0, pars = 0, code;
 220     regnode *scan = *scanp, *next;
 221     I32 delta = 0;
 222     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
 223     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
 224     scan_data_t data_fake;
 225
 226     while (scan && OP(scan) != END && scan < last) {
 227         /* Peephole optimizer: */
 228
 229         if (regkind[(U8)OP(scan)] == EXACT) {
 230             regnode *n = regnext(scan);
 231             U32 stringok = 1;
 232 #ifdef DEBUGGING
 233             regnode *stop = scan;
 234 #endif
 235
 236             next = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 237             /* Skip NOTHING, merge EXACT*. */
 238             while (n &&
 239                    ( regkind[(U8)OP(n)] == NOTHING ||
 240                      (stringok && (OP(n) == OP(scan))))
 241                    && NEXT_OFF(n)
 242                    && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX) {
 243                 if (OP(n) == TAIL || n > next)
 244                     stringok = 0;
 245                 if (regkind[(U8)OP(n)] == NOTHING) {
 246                     NEXT_OFF(scan) += NEXT_OFF(n);
 247                     next = n + NODE_STEP_REGNODE;
 248 #ifdef DEBUGGING
 249                     if (stringok)
 250                         stop = n;
 251 #endif
 252                     n = regnext(n);
 253                 } else {
 254                     int oldl = *OPERAND(scan);
 255                     regnode *nnext = regnext(n);
 256
 257                     if (oldl + *OPERAND(n) > U8_MAX)
 258                         break;
 259                     NEXT_OFF(scan) += NEXT_OFF(n);
 260                     *OPERAND(scan) += *OPERAND(n);
 261                     next = n + (*OPERAND(n) + 2 - 1)/sizeof(regnode) + 2;
 262                     /* Now we can overwrite *n : */
 263                     Move(OPERAND(n) + 1, OPERAND(scan) + oldl + 1,
 264                          *OPERAND(n) + 1, char);
 265 #ifdef DEBUGGING
 266                     if (stringok)
 267                         stop = next - 1;
 268 #endif
 269                     n = nnext;
 270                 }
 271             }
 272 #ifdef DEBUGGING
 273             /* Allow dumping */
 274             n = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 275             while (n <= stop) {
 276                 /* Purify reports a benign UMR here sometimes, because we
 277                  * don't initialize the OP() slot of a node when that node
 278                  * is occupied by just the trailing null of the string in
 279                  * an EXACT node */
 280                 if (regkind[(U8)OP(n)] != NOTHING || OP(n) == NOTHING) {
 281                     OP(n) = OPTIMIZED;
 282                     NEXT_OFF(n) = 0;
 283                 }
 284                 n++;
 285             }
 286 #endif
 287
 288         }
 289         if (OP(scan) != CURLYX) {
 290             int max = (reg_off_by_arg[OP(scan)] ? I32_MAX : U16_MAX);
 291             int off = (reg_off_by_arg[OP(scan)] ? ARG(scan) : NEXT_OFF(scan));
 292             int noff;
 293             regnode *n = scan;
 294
 295             /* Skip NOTHING and LONGJMP. */
 296             while ((n = regnext(n))
 297                    && ((regkind[(U8)OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
 298                        || ((OP(n) == LONGJMP) && (noff = ARG(n))))
 299                    && off + noff < max)
 300                 off += noff;
 301             if (reg_off_by_arg[OP(scan)])
 302                 ARG(scan) = off;
 303             else
 304                 NEXT_OFF(scan) = off;
 305         }
 306         if (OP(scan) == BRANCH || OP(scan) == BRANCHJ
 307                    || OP(scan) == IFTHEN || OP(scan) == SUSPEND) {
 308             next = regnext(scan);
 309             code = OP(scan);
 310
 311             if (OP(next) == code || code == IFTHEN || code == SUSPEND) {
 312                 I32 max1 = 0, min1 = I32_MAX, num = 0;
 313
 314                 if (flags & SCF_DO_SUBSTR)
 315                     scan_commit(data);
 316                 while (OP(scan) == code) {
 317                     I32 deltanext, minnext;
 318
 319                     num++;
 320                     data_fake.flags = 0;
 321                     next = regnext(scan);
 322                     scan = NEXTOPER(scan);
 323                     if (code != BRANCH)
 324                         scan = NEXTOPER(scan);
 325                     /* We suppose the run is continuous, last=next...*/
 326                     minnext = study_chunk(&scan, &deltanext, next,
 327                                           &data_fake, 0);
 328                     if (min1 > minnext)
 329                         min1 = minnext;
 330                     if (max1 < minnext + deltanext)
 331                         max1 = minnext + deltanext;
 332                     if (deltanext == I32_MAX)
 333                         is_inf = 1;
 334                     scan = next;
 335                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 336                         pars++;
 337                     if (data && (data_fake.flags & SF_HAS_EVAL))
 338                         data->flags |= SF_HAS_EVAL;
 339                     if (code == SUSPEND)
 340                         break;
 341                 }
 342                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
 343                     min1 = 0;
 344                 if (flags & SCF_DO_SUBSTR) {
 345                     data->pos_min += min1;
 346                     data->pos_delta += max1 - min1;
 347                     if (max1 != min1 || is_inf)
 348                         data->longest = &(data->longest_float);
 349                 }
 350                 min += min1;
 351                 delta += max1 - min1;
 352             } else if (code == BRANCHJ) /* single branch is optimized. */
 353                 scan = NEXTOPER(NEXTOPER(scan));
 354             else                        /* single branch is optimized. */
 355                 scan = NEXTOPER(scan);
 356             continue;
 357         } else if (OP(scan) == EXACT) {
 358             min += *OPERAND(scan);
 359             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
 360                 I32 l = *OPERAND(scan);
 361
 362                 /* The code below prefers earlier match for fixed
 363                    offset, later match for variable offset.  */
 364                 if (data->last_end == -1) { /* Update the start info. */
 365                     data->last_start_min = data->pos_min;
 366                     data->last_start_max = is_inf
 367                         ? I32_MAX : data->pos_min + data->pos_delta;
 368                 }
 369                 sv_catpvn(data->last_found, (char *)(OPERAND(scan)+1), l);
 370                 data->last_end = data->pos_min + l;
 371                 data->pos_min += l; /* As in the first entry. */
 372                 data->flags &= ~SF_BEFORE_EOL;
 373             }
 374         } else if (regkind[(U8)OP(scan)] == EXACT) {
 375             if (flags & SCF_DO_SUBSTR)
 376                 scan_commit(data);
 377             min += *OPERAND(scan);
 378             if (data && (flags & SCF_DO_SUBSTR))
 379                 data->pos_min += *OPERAND(scan);
 380         } else if (strchr(varies,OP(scan))) {
 381             I32 mincount, maxcount, minnext, deltanext, pos_before, fl;
 382             regnode *oscan = scan;
 383
 384             switch (regkind[(U8)OP(scan)]) {
 385             case WHILEM:
 386                 scan = NEXTOPER(scan);
 387                 goto finish;
 388             case PLUS:
 389                 if (flags & SCF_DO_SUBSTR) {
 390                     next = NEXTOPER(scan);
 391                     if (OP(next) == EXACT) {
 392                         mincount = 1;
 393                         maxcount = REG_INFTY;
 394                         next = regnext(scan);
 395                         scan = NEXTOPER(scan);
 396                         goto do_curly;
 397                     }
 398                 }
 399                 if (flags & SCF_DO_SUBSTR)
 400                     data->pos_min++;
 401                 min++;
 402                 /* Fall through. */
 403             case STAR:
 404                 is_inf = 1;
 405                 scan = regnext(scan);
 406                 if (flags & SCF_DO_SUBSTR) {
 407                     scan_commit(data);
 408                     data->longest = &(data->longest_float);
 409                 }
 410                 goto optimize_curly_tail;
 411             case CURLY:
 412                 mincount = ARG1(scan);
 413                 maxcount = ARG2(scan);
 414                 next = regnext(scan);
 415                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
 416               do_curly:
 417                 if (flags & SCF_DO_SUBSTR) {
 418                     if (mincount == 0) scan_commit(data);
 419                     pos_before = data->pos_min;
 420                 }
 421                 if (data) {
 422                     fl = data->flags;
 423                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
 424                     if (is_inf)
 425                         data->flags |= SF_IS_INF;
 426                 }
 427                 /* This will finish on WHILEM, setting scan, or on NULL: */
 428                 minnext = study_chunk(&scan, &deltanext, last, data,
 429                                       mincount == 0
 430                                         ? (flags & ~SCF_DO_SUBSTR) : flags);
 431                 if (!scan)              /* It was not CURLYX, but CURLY. */
 432                     scan = next;
 433                 if (dowarn && (minnext + deltanext == 0)
 434                     && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
 435                     && maxcount <= 10000) /* Complement check for big count */
 436                     warn("Strange *+?{} on zero-length expression");
 437                 min += minnext * mincount;
 438                 is_inf |= (maxcount == REG_INFTY && (minnext + deltanext) > 0
 439                            || deltanext == I32_MAX);
 440                 delta += (minnext + deltanext) * maxcount - minnext * mincount;
 441
 442                 /* Try powerful optimization CURLYX => CURLYN. */
 443                 if (  OP(oscan) == CURLYX && data
 444                       && data->flags & SF_IN_PAR
 445                       && !(data->flags & SF_HAS_EVAL)
 446                       && !deltanext && minnext == 1 ) {
 447                     /* Try to optimize to CURLYN.  */
 448                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
 449                     regnode *nxt1 = nxt, *nxt2;
 450
 451                     /* Skip open. */
 452                     nxt = regnext(nxt);
 453                     if (!strchr(simple,OP(nxt))
 454                         && !(regkind[(U8)OP(nxt)] == EXACT
 455                              && *OPERAND(nxt) == 1))
 456                         goto nogo;
 457                     nxt2 = nxt;
 458                     nxt = regnext(nxt);
 459                     if (OP(nxt) != CLOSE)
 460                         goto nogo;
 461                     /* Now we know that nxt2 is the only contents: */
 462                     oscan->flags = ARG(nxt);
 463                     OP(oscan) = CURLYN;
 464                     OP(nxt1) = NOTHING; /* was OPEN. */
 465 #ifdef DEBUGGING
 466                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 467                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistancy. */
 468                     NEXT_OFF(nxt2) = 0; /* just for consistancy with CURLY. */
 469                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
 470                     OP(nxt + 1) = OPTIMIZED; /* was count. */
 471                     NEXT_OFF(nxt+ 1) = 0; /* just for consistancy. */
 472 #endif
 473                 }
 474               nogo:
 475
 476                 /* Try optimization CURLYX => CURLYM. */
 477                 if (  OP(oscan) == CURLYX && data
 478                       && !(data->flags & SF_HAS_PAR)
 479                       && !(data->flags & SF_HAS_EVAL)
 480                       && !deltanext  ) {
 481                     /* XXXX How to optimize if data == 0? */
 482                     /* Optimize to a simpler form.  */
 483                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
 484                     regnode *nxt2;
 485
 486                     OP(oscan) = CURLYM;
 487                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
 488                             && (OP(nxt2) != WHILEM))
 489                         nxt = nxt2;
 490                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
 491                     /* Need to optimize away parenths. */
 492                     if (data->flags & SF_IN_PAR) {
 493                         /* Set the parenth number.  */
 494                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
 495
 496                         if (OP(nxt) != CLOSE)
 497                             FAIL("panic opt close");
 498                         oscan->flags = ARG(nxt);
 499                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
 500                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
 501 #ifdef DEBUGGING
 502                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 503                         OP(nxt + 1) = OPTIMIZED; /* was count. */
 504                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistancy. */
 505                         NEXT_OFF(nxt + 1) = 0; /* just for consistancy. */
 506 #endif
 507 #if 0
 508                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
 509                             regnode *nnxt = regnext(nxt1);
 510
 511                             if (nnxt == nxt) {
 512                                 if (reg_off_by_arg[OP(nxt1)])
 513                                     ARG_SET(nxt1, nxt2 - nxt1);
 514                                 else if (nxt2 - nxt1 < U16_MAX)
 515                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
 516                                 else
 517                                     OP(nxt) = NOTHING;  /* Cannot beautify */
 518                             }
 519                             nxt1 = nnxt;
 520                         }
 521 #endif
 522                         /* Optimize again: */
 523                         study_chunk(&nxt1, &deltanext, nxt, NULL, 0);
 524                     } else
 525                         oscan->flags = 0;
 526                 }
 527                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR))
 528                     pars++;
 529                 if (flags & SCF_DO_SUBSTR) {
 530                     SV *last_str = Nullsv;
 531                     int counted = mincount != 0;
 532
 533                     if (data->last_end > 0 && mincount != 0) { /* Ends with a string. */
 534                         I32 b = pos_before >= data->last_start_min
 535                             ? pos_before : data->last_start_min;
 536                         STRLEN l;
 537                         char *s = SvPV(data->last_found, l);
 538
 539                         l -= b - data->last_start_min;
 540                         /* Get the added string: */
 541                         last_str = newSVpv(s  +  b - data->last_start_min, l);
 542                         if (deltanext == 0 && pos_before == b) {
 543                             /* What was added is a constant string */
 544                             if (mincount > 1) {
 545                                 SvGROW(last_str, (mincount * l) + 1);
 546                                 repeatcpy(SvPVX(last_str) + l,
 547                                           SvPVX(last_str), l, mincount - 1);
 548                                 SvCUR(last_str) *= mincount;
 549                                 /* Add additional parts. */
 550                                 SvCUR_set(data->last_found,
 551                                           SvCUR(data->last_found) - l);
 552                                 sv_catsv(data->last_found, last_str);
 553                                 data->last_end += l * (mincount - 1);
 554                             }
 555                         }
 556                     }
 557                     /* It is counted once already... */
 558                     data->pos_min += minnext * (mincount - counted);
 559                     data->pos_delta += - counted * deltanext +
 560                         (minnext + deltanext) * maxcount - minnext * mincount;
 561                     if (mincount != maxcount) {
 562                         scan_commit(data);
 563                         if (mincount && last_str) {
 564                             sv_setsv(data->last_found, last_str);
 565                             data->last_end = data->pos_min;
 566                             data->last_start_min =
 567                                 data->pos_min - SvCUR(last_str);
 568                             data->last_start_max = is_inf
 569                                 ? I32_MAX
 570                                 : data->pos_min + data->pos_delta
 571                                 - SvCUR(last_str);
 572                         }
 573                         data->longest = &(data->longest_float);
 574                     }
 575                 }
 576                 if (data && (fl & SF_HAS_EVAL))
 577                     data->flags |= SF_HAS_EVAL;
 578               optimize_curly_tail:
 579                 if (OP(oscan) != CURLYX) {
 580                     while (regkind[(U8)OP(next = regnext(oscan))] == NOTHING
 581                            && NEXT_OFF(next))
 582                         NEXT_OFF(oscan) += NEXT_OFF(next);
 583                 }
 584                 continue;
 585             default:                    /* REF only? */
 586                 if (flags & SCF_DO_SUBSTR) {
 587                     scan_commit(data);
 588                     data->longest = &(data->longest_float);
 589                 }
 590                 is_inf = 1;
 591                 break;
 592             }
 593         } else if (strchr(simple,OP(scan))) {
 594             if (flags & SCF_DO_SUBSTR) {
 595                 scan_commit(data);
 596                 data->pos_min++;
 597             }
 598             min++;
 599         } else if (regkind[(U8)OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
 600             data->flags |= (OP(scan) == MEOL
 601                             ? SF_BEFORE_MEOL
 602                             : SF_BEFORE_SEOL);
 603         } else if (regkind[(U8)OP(scan)] == BRANCHJ
 604                    && (scan->flags || data)
 605                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM)) {
 606             I32 deltanext, minnext;
 607             regnode *nscan;
 608
 609             data_fake.flags = 0;
 610             next = regnext(scan);
 611             nscan = NEXTOPER(NEXTOPER(scan));
 612             minnext = study_chunk(&nscan, &deltanext, last, &data_fake, 0);
 613             if (scan->flags) {
 614                 if (deltanext) {
 615                     FAIL("variable length lookbehind not implemented");
 616                 } else if (minnext > U8_MAX) {
 617                     FAIL2("lookbehind longer than %d not implemented", U8_MAX);
 618                 }
 619                 scan->flags = minnext;
 620             }
 621             if (data && data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 622                 pars++;
 623             if (data && (data_fake.flags & SF_HAS_EVAL))
 624                 data->flags |= SF_HAS_EVAL;
 625         } else if (OP(scan) == OPEN) {
 626             pars++;
 627         } else if (OP(scan) == CLOSE && ARG(scan) == is_par) {
 628             next = regnext(scan);
 629
 630             if ( next && (OP(next) != WHILEM) && next < last)
 631                 is_par = 0;             /* Disable optimization */
 632         } else if (OP(scan) == EVAL) {
 633                 if (data)
 634                     data->flags |= SF_HAS_EVAL;
 635         }
 636         /* Else: zero-length, ignore. */
 637         scan = regnext(scan);
 638     }
 639
 640   finish:
 641     *scanp = scan;
 642     *deltap = is_inf ? I32_MAX : delta;
 643     if (flags & SCF_DO_SUBSTR && is_inf)
 644         data->pos_delta = I32_MAX - data->pos_min;
 645     if (is_par > U8_MAX)
 646         is_par = 0;
 647     if (is_par && pars==1 && data) {
 648         data->flags |= SF_IN_PAR;
 649         data->flags &= ~SF_HAS_PAR;
 650     } else if (pars && data) {
 651         data->flags |= SF_HAS_PAR;
 652         data->flags &= ~SF_IN_PAR;
 653     }
 654     return min;
 655 }
 656
 657 STATIC I32
 658 add_data(I32 n, char *s)
 659 {
 660     if (regcomp_rx->data) {
 661         Renewc(regcomp_rx->data,
 662                sizeof(*regcomp_rx->data) + sizeof(void*) * (regcomp_rx->data->count + n - 1),
 663                char, struct reg_data);
 664         Renew(regcomp_rx->data->what, regcomp_rx->data->count + n, U8);
 665         regcomp_rx->data->count += n;
 666     } else {
 667         Newc(1207, regcomp_rx->data, sizeof(*regcomp_rx->data) + sizeof(void*) * (n - 1),
 668              char, struct reg_data);
 669         New(1208, regcomp_rx->data->what, n, U8);
 670         regcomp_rx->data->count = n;
 671     }
 672     Copy(s, regcomp_rx->data->what + regcomp_rx->data->count - n, n, U8);
 673     return regcomp_rx->data->count - n;
 674 }
 675
 676 /*
 677  - pregcomp - compile a regular expression into internal code
 678  *
 679  * We can't allocate space until we know how big the compiled form will be,
 680  * but we can't compile it (and thus know how big it is) until we've got a
 681  * place to put the code.  So we cheat:  we compile it twice, once with code
 682  * generation turned off and size counting turned on, and once "for real".
 683  * This also means that we don't allocate space until we are sure that the
 684  * thing really will compile successfully, and we never have to move the
 685  * code and thus invalidate pointers into it.  (Note that it has to be in
 686  * one piece because free() must be able to free it all.) [NB: not true in perl]
 687  *
 688  * Beware that the optimization-preparation code in here knows about some
 689  * of the structure of the compiled regexp.  [I'll say.]
 690  */
 691 regexp *
 692 pregcomp(char *exp, char *xend, PMOP *pm)
 693 {
 694     register regexp *r;
 695     regnode *scan;
 696     SV **longest;
 697     SV *longest_fixed;
 698     SV *longest_float;
 699     regnode *first;
 700     I32 flags;
 701     I32 minlen = 0;
 702     I32 sawplus = 0;
 703     I32 sawopen = 0;
 704
 705     if (exp == NULL)
 706         FAIL("NULL regexp argument");
 707
 708     regprecomp = savepvn(exp, xend - exp);
 709     DEBUG_r(PerlIO_printf(Perl_debug_log, "compiling RE `%*s'\n",
 710                           xend - exp, regprecomp));
 711     regflags = pm->op_pmflags;
 712     regsawback = 0;
 713
 714     regseen = 0;
 715     seen_zerolen = *exp == '^' ? -1 : 0;
 716     extralen = 0;
 717
 718     /* First pass: determine size, legality. */
 719     regcomp_parse = exp;
 720     regxend = xend;
 721     regnaughty = 0;
 722     regnpar = 1;
 723     regsize = 0L;
 724     regcode = &regdummy;
 725     regc((U8)MAGIC, (char*)regcode);
 726     if (reg(0, &flags) == NULL) {
 727         Safefree(regprecomp);
 728         regprecomp = Nullch;
 729         return(NULL);
 730     }
 731     DEBUG_r(PerlIO_printf(Perl_debug_log, "size %d ", regsize));
 732
 733     DEBUG_r(
 734         if (!colorset) {
 735             int i = 0;
 736             char *s = PerlEnv_getenv("TERMCAP_COLORS");
 737
 738             colorset = 1;
 739             if (s) {
 740                 colors[0] = s = savepv(s);
 741                 while (++i < 4) {
 742                     s = strchr(s, '\t');
 743                     if (!s)
 744                         FAIL("Not enough TABs in TERMCAP_COLORS");
 745                     *s = '\0';
 746                     colors[i] = ++s;
 747                 }
 748             } else {
 749                 while (i < 4)
 750                     colors[i++] = "";
 751             }
 752             /* Reset colors: */
 753             PerlIO_printf(Perl_debug_log, "%s%s%s%s",
 754                           colors[0],colors[1],colors[2],colors[3]);
 755         }
 756         );
 757
 758     /* Small enough for pointer-storage convention?
 759        If extralen==0, this means that we will not need long jumps. */
 760     if (regsize >= 0x10000L && extralen)
 761         regsize += extralen;
 762     else
 763         extralen = 0;
 764
 765     /* Allocate space and initialize. */
 766     Newc(1001, r, sizeof(regexp) + (unsigned)regsize * sizeof(regnode),
 767          char, regexp);
 768     if (r == NULL)
 769         FAIL("regexp out of space");
 770     r->refcnt = 1;
 771     r->prelen = xend - exp;
 772     r->precomp = regprecomp;
 773     r->subbeg = r->subbase = NULL;
 774     r->nparens = regnpar - 1;           /* set early to validate backrefs */
 775     regcomp_rx = r;
 776
 777     /* Second pass: emit code. */
 778     regcomp_parse = exp;
 779     regxend = xend;
 780     regnaughty = 0;
 781     regnpar = 1;
 782     regcode = r->program;
 783     regc((U8)MAGIC, (char*) regcode++);
 784     r->data = 0;
 785     if (reg(0, &flags) == NULL)
 786         return(NULL);
 787
 788     /* Dig out information for optimizations. */
 789     pm->op_pmflags = regflags;
 790     r->reganch = 0;
 791     r->regstclass = NULL;
 792     r->naughty = regnaughty >= 10;      /* Probably an expensive pattern. */
 793     scan = r->program + 1;              /* First BRANCH. */
 794
 795     /* XXXX To minimize changes to RE engine we always allocate
 796        3-units-long substrs field. */
 797     Newz(1004, r->substrs, 1, struct reg_substr_data);
 798
 799     if (OP(scan) != BRANCH) {   /* Only one top-level choice. */
 800         scan_data_t data;
 801         I32 fake;
 802         STRLEN longest_float_length, longest_fixed_length;
 803
 804         StructCopy(&zero_scan_data, &data, scan_data_t);
 805         first = scan;
 806         /* Skip introductions and multiplicators >= 1. */
 807         while ((OP(first) == OPEN && (sawopen = 1)) ||
 808             (OP(first) == BRANCH && OP(regnext(first)) != BRANCH) ||
 809             (OP(first) == PLUS) ||
 810             (OP(first) == MINMOD) ||
 811             (regkind[(U8)OP(first)] == CURLY && ARG1(first) > 0) ) {
 812                 if (OP(first) == PLUS)
 813                     sawplus = 1;
 814                 else
 815                     first += regarglen[(U8)OP(first)];
 816                 first = NEXTOPER(first);
 817         }
 818
 819         /* Starting-point info. */
 820       again:
 821         if (OP(first) == EXACT);        /* Empty, get anchored substr later. */
 822         else if (strchr(simple+2,OP(first)))
 823             r->regstclass = first;
 824         else if (regkind[(U8)OP(first)] == BOUND ||
 825                  regkind[(U8)OP(first)] == NBOUND)
 826             r->regstclass = first;
 827         else if (regkind[(U8)OP(first)] == BOL) {
 828             r->reganch |= (OP(first) == MBOL ? ROPT_ANCH_MBOL: ROPT_ANCH_BOL);
 829             first = NEXTOPER(first);
 830             goto again;
 831         }
 832         else if (OP(first) == GPOS) {
 833             r->reganch |= ROPT_ANCH_GPOS;
 834             first = NEXTOPER(first);
 835             goto again;
 836         }
 837         else if ((OP(first) == STAR &&
 838             regkind[(U8)OP(NEXTOPER(first))] == ANY) &&
 839             !(r->reganch & ROPT_ANCH) )
 840         {
 841             /* turn .* into ^.* with an implied $*=1 */
 842             r->reganch |= ROPT_ANCH_BOL | ROPT_IMPLICIT;
 843             first = NEXTOPER(first);
 844             goto again;
 845         }
 846         if (sawplus && (!sawopen || !regsawback))
 847             r->reganch |= ROPT_SKIP;    /* x+ must match 1st of run */
 848
 849         /* Scan is after the zeroth branch, first is atomic matcher. */
 850         DEBUG_r(PerlIO_printf(Perl_debug_log, "first at %d\n",
 851                               first - scan + 1));
 852         /*
 853         * If there's something expensive in the r.e., find the
 854         * longest literal string that must appear and make it the
 855         * regmust.  Resolve ties in favor of later strings, since
 856         * the regstart check works with the beginning of the r.e.
 857         * and avoiding duplication strengthens checking.  Not a
 858         * strong reason, but sufficient in the absence of others.
 859         * [Now we resolve ties in favor of the earlier string if
 860         * it happens that c_offset_min has been invalidated, since the
 861         * earlier string may buy us something the later one won't.]
 862         */
 863         minlen = 0;
 864
 865         data.longest_fixed = newSVpv("",0);
 866         data.longest_float = newSVpv("",0);
 867         data.last_found = newSVpv("",0);
 868         data.longest = &(data.longest_fixed);
 869         first = scan;
 870
 871         minlen = study_chunk(&first, &fake, scan + regsize, /* Up to end */
 872                              &data, SCF_DO_SUBSTR);
 873         if ( regnpar == 1 && data.longest == &(data.longest_fixed)
 874              && data.last_start_min == 0 && data.last_end > 0
 875              && !seen_zerolen
 876              && (!(regseen & REG_SEEN_GPOS) || (r->reganch & ROPT_ANCH_GPOS)))
 877             r->reganch |= ROPT_CHECK_ALL;
 878         scan_commit(&data);
 879         SvREFCNT_dec(data.last_found);
 880
 881         longest_float_length = SvCUR(data.longest_float);
 882         if (longest_float_length
 883             || (data.flags & SF_FL_BEFORE_EOL
 884                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 885                     || (regflags & PMf_MULTILINE)))) {
 886             if (SvCUR(data.longest_fixed)
 887                 && data.offset_fixed == data.offset_float_min)
 888                 goto remove;            /* Like in (a)+. */
 889
 890             r->float_substr = data.longest_float;
 891             r->float_min_offset = data.offset_float_min;
 892             r->float_max_offset = data.offset_float_max;
 893             fbm_compile(r->float_substr, 0);
 894             BmUSEFUL(r->float_substr) = 100;
 895             if (data.flags & SF_FL_BEFORE_EOL /* Cannot have SEOL and MULTI */
 896                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 897                     || (regflags & PMf_MULTILINE)))
 898                 SvTAIL_on(r->float_substr);
 899         } else {
 900           remove:
 901             r->float_substr = Nullsv;
 902             SvREFCNT_dec(data.longest_float);
 903             longest_float_length = 0;
 904         }
 905
 906         longest_fixed_length = SvCUR(data.longest_fixed);
 907         if (longest_fixed_length
 908             || (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 909                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 910                     || (regflags & PMf_MULTILINE)))) {
 911             r->anchored_substr = data.longest_fixed;
 912             r->anchored_offset = data.offset_fixed;
 913             fbm_compile(r->anchored_substr, 0);
 914             BmUSEFUL(r->anchored_substr) = 100;
 915             if (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 916                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 917                     || (regflags & PMf_MULTILINE)))
 918                 SvTAIL_on(r->anchored_substr);
 919         } else {
 920             r->anchored_substr = Nullsv;
 921             SvREFCNT_dec(data.longest_fixed);
 922             longest_fixed_length = 0;
 923         }
 924
 925         /* A temporary algorithm prefers floated substr to fixed one to dig more info. */
 926         if (longest_fixed_length > longest_float_length) {
 927             r->check_substr = r->anchored_substr;
 928             r->check_offset_min = r->check_offset_max = r->anchored_offset;
 929             if (r->reganch & ROPT_ANCH_SINGLE)
 930                 r->reganch |= ROPT_NOSCAN;
 931         } else {
 932             r->check_substr = r->float_substr;
 933             r->check_offset_min = data.offset_float_min;
 934             r->check_offset_max = data.offset_float_max;
 935         }
 936     } else {
 937         /* Several toplevels. Best we can is to set minlen. */
 938         I32 fake;
 939
 940         DEBUG_r(PerlIO_printf(Perl_debug_log, "\n"));
 941         scan = r->program + 1;
 942         minlen = study_chunk(&scan, &fake, scan + regsize, NULL, 0);
 943         r->check_substr = r->anchored_substr = r->float_substr = Nullsv;
 944     }
 945
 946     r->minlen = minlen;
 947     if (regseen & REG_SEEN_GPOS)
 948         r->reganch |= ROPT_GPOS_SEEN;
 949     if (regseen & REG_SEEN_LOOKBEHIND)
 950         r->reganch |= ROPT_LOOKBEHIND_SEEN;
 951     if (regseen & REG_SEEN_EVAL)
 952         r->reganch |= ROPT_EVAL_SEEN;
 953     Newz(1002, r->startp, regnpar, char*);
 954     Newz(1002, r->endp, regnpar, char*);
 955     DEBUG_r(regdump(r));
 956     return(r);
 957 }
 958
 959 /*
 960  - reg - regular expression, i.e. main body or parenthesized thing
 961  *
 962  * Caller must absorb opening parenthesis.
 963  *
 964  * Combining parenthesis handling with the base level of regular expression
 965  * is a trifle forced, but the need to tie the tails of the branches to what
 966  * follows makes it hard to avoid.
 967  */
 968 STATIC regnode *
 969 reg(I32 paren, I32 *flagp)
 970     /* paren: Parenthesized? 0=top, 1=(, inside: changed to letter. */
 971 {
 972     register regnode *ret;              /* Will be the head of the group. */
 973     register regnode *br;
 974     register regnode *lastbr;
 975     register regnode *ender = 0;
 976     register I32 parno = 0;
 977     I32 flags, oregflags = regflags, have_branch = 0, open = 0;
 978     char c;
 979
 980     *flagp = 0;                         /* Tentatively. */
 981
 982     /* Make an OPEN node, if parenthesized. */
 983     if (paren) {
 984         if (*regcomp_parse == '?') {
 985             U16 posflags = 0, negflags = 0;
 986             U16 *flagsp = &posflags;
 987
 988             regcomp_parse++;
 989             paren = *regcomp_parse++;
 990             ret = NULL;                 /* For look-ahead/behind. */
 991             switch (paren) {
 992             case '<':
 993                 regseen |= REG_SEEN_LOOKBEHIND;
 994                 if (*regcomp_parse == '!')
 995                     paren = ',';
 996                 if (*regcomp_parse != '=' && *regcomp_parse != '!')
 997                     goto unknown;
 998                 regcomp_parse++;
 999             case '=':
1000             case '!':
1001                 seen_zerolen++;
1002             case ':':
1003             case '>':
1004                 break;
1005             case '$':
1006             case '@':
1007                 FAIL2("Sequence (?%c...) not implemented", (int)paren);
1008                 break;
1009             case '#':
1010                 while (*regcomp_parse && *regcomp_parse != ')')
1011                     regcomp_parse++;
1012                 if (*regcomp_parse != ')')
1013                     FAIL("Sequence (?#... not terminated");
1014                 nextchar();
1015                 *flagp = TRYAGAIN;
1016                 return NULL;
1017             case '{':
1018             {
1019                 dTHR;
1020                 I32 count = 1, n = 0;
1021                 char c;
1022                 char *s = regcomp_parse;
1023                 SV *sv;
1024                 OP_4tree *sop, *rop;
1025
1026                 seen_zerolen++;
1027                 regseen |= REG_SEEN_EVAL;
1028                 while (count && (c = *regcomp_parse)) {
1029                     if (c == '\\' && regcomp_parse[1])
1030                         regcomp_parse++;
1031                     else if (c == '{')
1032                         count++;
1033                     else if (c == '}')
1034                         count--;
1035                     regcomp_parse++;
1036                 }
1037                 if (*regcomp_parse != ')')
1038                     FAIL("Sequence (?{...}) not terminated or not {}-balanced");
1039                 if (!SIZE_ONLY) {
1040                     AV *av;
1041
1042                     if (regcomp_parse - 1 - s)
1043                         sv = newSVpv(s, regcomp_parse - 1 - s);
1044                     else
1045                         sv = newSVpv("", 0);
1046
1047                     rop = sv_compile_2op(sv, &sop, "re", &av);
1048
1049                     n = add_data(3, "nso");
1050                     regcomp_rx->data->data[n] = (void*)rop;
1051                     regcomp_rx->data->data[n+1] = (void*)av;
1052                     regcomp_rx->data->data[n+2] = (void*)sop;
1053                     SvREFCNT_dec(sv);
1054                 } else {                /* First pass */
1055                     if (curcop == &compiling) {
1056                         if (!(hints & HINT_RE_EVAL))
1057                             FAIL("Eval-group not allowed, use re 'eval'");
1058                     }
1059                     else {
1060                         FAIL("Eval-group not allowed at run time");
1061                     }
1062                     if (tainted)
1063                         FAIL("Eval-group in insecure regular expression");
1064                 }
1065
1066                 nextchar();
1067                 return reganode(EVAL, n);
1068             }
1069             case '(':
1070             {
1071                 if (regcomp_parse[0] == '?') {
1072                     if (regcomp_parse[1] == '=' || regcomp_parse[1] == '!'
1073                         || regcomp_parse[1] == '<'
1074                         || regcomp_parse[1] == '{') { /* Lookahead or eval. */
1075                         I32 flag;
1076
1077                         ret = reg_node(LOGICAL);
1078                         regtail(ret, reg(1, &flag));
1079                         goto insert_if;
1080                     }
1081                 } else if (regcomp_parse[0] >= '1' && regcomp_parse[0] <= '9' ) {
1082                     parno = atoi(regcomp_parse++);
1083
1084                     while (isDIGIT(*regcomp_parse))
1085                         regcomp_parse++;
1086                     ret = reganode(GROUPP, parno);
1087                     if ((c = *nextchar()) != ')')
1088                         FAIL2("Switch (?(number%c not recognized", c);
1089                   insert_if:
1090                     regtail(ret, reganode(IFTHEN, 0));
1091                     br = regbranch(&flags, 1);
1092                     if (br == NULL)
1093                         br = reganode(LONGJMP, 0);
1094                     else
1095                         regtail(br, reganode(LONGJMP, 0));
1096                     c = *nextchar();
1097                     if (c == '|') {
1098                         lastbr = reganode(IFTHEN, 0); /* Fake one for optimizer. */
1099                         regbranch(&flags, 1);
1100                         regtail(ret, lastbr);
1101                         c = *nextchar();
1102                     } else
1103                         lastbr = NULL;
1104                     if (c != ')')
1105                         FAIL("Switch (?(condition)... contains too many branches");
1106                     ender = reg_node(TAIL);
1107                     regtail(br, ender);
1108                     if (lastbr) {
1109                         regtail(lastbr, ender);
1110                         regtail(NEXTOPER(NEXTOPER(lastbr)), ender);
1111                     } else
1112                         regtail(ret, ender);
1113                     return ret;
1114                 } else {
1115                     FAIL2("Unknown condition for (?(%.2s", regcomp_parse);
1116                 }
1117             }
1118             case 0:
1119                 FAIL("Sequence (? incomplete");
1120                 break;
1121             default:
1122                 --regcomp_parse;
1123               parse_flags:
1124                 while (*regcomp_parse && strchr("iogcmsx", *regcomp_parse)) {
1125                     if (*regcomp_parse != 'o')
1126                         pmflag(flagsp, *regcomp_parse);
1127                     ++regcomp_parse;
1128                 }
1129                 if (*regcomp_parse == '-') {
1130                     flagsp = &negflags;
1131                     ++regcomp_parse;
1132                     goto parse_flags;
1133                 }
1134                 regflags |= posflags;
1135                 regflags &= ~negflags;
1136                 if (*regcomp_parse == ':') {
1137                     regcomp_parse++;
1138                     paren = ':';
1139                     break;
1140                 }
1141               unknown:
1142                 if (*regcomp_parse != ')')
1143                     FAIL2("Sequence (?%c...) not recognized", *regcomp_parse);
1144                 nextchar();
1145                 *flagp = TRYAGAIN;
1146                 return NULL;
1147             }
1148         }
1149         else {
1150             parno = regnpar;
1151             regnpar++;
1152             ret = reganode(OPEN, parno);
1153             open = 1;
1154         }
1155     } else
1156         ret = NULL;
1157
1158     /* Pick up the branches, linking them together. */
1159     br = regbranch(&flags, 1);
1160     if (br == NULL)
1161         return(NULL);
1162     if (*regcomp_parse == '|') {
1163         if (!SIZE_ONLY && extralen) {
1164             reginsert(BRANCHJ, br);
1165         } else
1166             reginsert(BRANCH, br);
1167         have_branch = 1;
1168         if (SIZE_ONLY)
1169             extralen += 1;              /* For BRANCHJ-BRANCH. */
1170     } else if (paren == ':') {
1171         *flagp |= flags&SIMPLE;
1172     }
1173     if (open) {                         /* Starts with OPEN. */
1174         regtail(ret, br);               /* OPEN -> first. */
1175     } else if (paren != '?')            /* Not Conditional */
1176         ret = br;
1177     if (flags&HASWIDTH)
1178         *flagp |= HASWIDTH;
1179     *flagp |= flags&SPSTART;
1180     lastbr = br;
1181     while (*regcomp_parse == '|') {
1182         if (!SIZE_ONLY && extralen) {
1183             ender = reganode(LONGJMP,0);
1184             regtail(NEXTOPER(NEXTOPER(lastbr)), ender); /* Append to the previous. */
1185         }
1186         if (SIZE_ONLY)
1187             extralen += 2;              /* Account for LONGJMP. */
1188         nextchar();
1189         br = regbranch(&flags, 0);
1190         if (br == NULL)
1191             return(NULL);
1192         regtail(lastbr, br);            /* BRANCH -> BRANCH. */
1193         lastbr = br;
1194         if (flags&HASWIDTH)
1195             *flagp |= HASWIDTH;
1196         *flagp |= flags&SPSTART;
1197     }
1198
1199     if (have_branch || paren != ':') {
1200         /* Make a closing node, and hook it on the end. */
1201         switch (paren) {
1202         case ':':
1203             ender = reg_node(TAIL);
1204             break;
1205         case 1:
1206             ender = reganode(CLOSE, parno);
1207             break;
1208         case '<':
1209         case ',':
1210         case '=':
1211         case '!':
1212             *flagp &= ~HASWIDTH;
1213             /* FALL THROUGH */
1214         case '>':
1215             ender = reg_node(SUCCEED);
1216             break;
1217         case 0:
1218             ender = reg_node(END);
1219             break;
1220         }
1221         regtail(lastbr, ender);
1222
1223         if (have_branch) {
1224             /* Hook the tails of the branches to the closing node. */
1225             for (br = ret; br != NULL; br = regnext(br)) {
1226                 regoptail(br, ender);
1227             }
1228         }
1229     }
1230
1231     {
1232         char *p;
1233         static char parens[] = "=!<,>";
1234
1235         if (paren && (p = strchr(parens, paren))) {
1236             int node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
1237             int flag = (p - parens) > 1;
1238
1239             if (paren == '>')
1240                 node = SUSPEND, flag = 0;
1241             reginsert(node,ret);
1242             ret->flags = flag;
1243             regtail(ret, reg_node(TAIL));
1244         }
1245     }
1246
1247     /* Check for proper termination. */
1248     if (paren && (regcomp_parse >= regxend || *nextchar() != ')')) {
1249         FAIL("unmatched () in regexp");
1250     } else if (!paren && regcomp_parse < regxend) {
1251         if (*regcomp_parse == ')') {
1252             FAIL("unmatched () in regexp");
1253         } else
1254             FAIL("junk on end of regexp");      /* "Can't happen". */
1255         /* NOTREACHED */
1256     }
1257     if (paren != 0) {
1258         regflags = oregflags;
1259     }
1260
1261     return(ret);
1262 }
1263
1264 /*
1265  - regbranch - one alternative of an | operator
1266  *
1267  * Implements the concatenation operator.
1268  */
1269 STATIC regnode *
1270 regbranch(I32 *flagp, I32 first)
1271 {
1272     register regnode *ret;
1273     register regnode *chain = NULL;
1274     register regnode *latest;
1275     I32 flags = 0, c = 0;
1276
1277     if (first)
1278         ret = NULL;
1279     else {
1280         if (!SIZE_ONLY && extralen)
1281             ret = reganode(BRANCHJ,0);
1282         else
1283             ret = reg_node(BRANCH);
1284     }
1285
1286     if (!first && SIZE_ONLY)
1287         extralen += 1;                  /* BRANCHJ */
1288
1289     *flagp = WORST;                     /* Tentatively. */
1290
1291     regcomp_parse--;
1292     nextchar();
1293     while (regcomp_parse < regxend && *regcomp_parse != '|' && *regcomp_parse != ')') {
1294         flags &= ~TRYAGAIN;
1295         latest = regpiece(&flags);
1296         if (latest == NULL) {
1297             if (flags & TRYAGAIN)
1298                 continue;
1299             return(NULL);
1300         } else if (ret == NULL)
1301             ret = latest;
1302         *flagp |= flags&HASWIDTH;
1303         if (chain == NULL)      /* First piece. */
1304             *flagp |= flags&SPSTART;
1305         else {
1306             regnaughty++;
1307             regtail(chain, latest);
1308         }
1309         chain = latest;
1310         c++;
1311     }
1312     if (chain == NULL) {        /* Loop ran zero times. */
1313         chain = reg_node(NOTHING);
1314         if (ret == NULL)
1315             ret = chain;
1316     }
1317     if (c == 1) {
1318         *flagp |= flags&SIMPLE;
1319     }
1320
1321     return(ret);
1322 }
1323
1324 /*
1325  - regpiece - something followed by possible [*+?]
1326  *
1327  * Note that the branching code sequences used for ? and the general cases
1328  * of * and + are somewhat optimized:  they use the same NOTHING node as
1329  * both the endmarker for their branch list and the body of the last branch.
1330  * It might seem that this node could be dispensed with entirely, but the
1331  * endmarker role is not redundant.
1332  */
1333 STATIC regnode *
1334 regpiece(I32 *flagp)
1335 {
1336     register regnode *ret;
1337     register char op;
1338     register char *next;
1339     I32 flags;
1340     char *origparse = regcomp_parse;
1341     char *maxpos;
1342     I32 min;
1343     I32 max = REG_INFTY;
1344
1345     ret = regatom(&flags);
1346     if (ret == NULL) {
1347         if (flags & TRYAGAIN)
1348             *flagp |= TRYAGAIN;
1349         return(NULL);
1350     }
1351
1352     op = *regcomp_parse;
1353
1354     if (op == '{' && regcurly(regcomp_parse)) {
1355         next = regcomp_parse + 1;
1356         maxpos = Nullch;
1357         while (isDIGIT(*next) || *next == ',') {
1358             if (*next == ',') {
1359                 if (maxpos)
1360                     break;
1361                 else
1362                     maxpos = next;
1363             }
1364             next++;
1365         }
1366         if (*next == '}') {             /* got one */
1367             if (!maxpos)
1368                 maxpos = next;
1369             regcomp_parse++;
1370             min = atoi(regcomp_parse);
1371             if (*maxpos == ',')
1372                 maxpos++;
1373             else
1374                 maxpos = regcomp_parse;
1375             max = atoi(maxpos);
1376             if (!max && *maxpos != '0')
1377                 max = REG_INFTY;                /* meaning "infinity" */
1378             else if (max >= REG_INFTY)
1379                 FAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
1380             regcomp_parse = next;
1381             nextchar();
1382
1383         do_curly:
1384             if ((flags&SIMPLE)) {
1385                 regnaughty += 2 + regnaughty / 2;
1386                 reginsert(CURLY, ret);
1387             }
1388             else {
1389                 regnaughty += 4 + regnaughty;   /* compound interest */
1390                 regtail(ret, reg_node(WHILEM));
1391                 if (!SIZE_ONLY && extralen) {
1392                     reginsert(LONGJMP,ret);
1393                     reginsert(NOTHING,ret);
1394                     NEXT_OFF(ret) = 3;  /* Go over LONGJMP. */
1395                 }
1396                 reginsert(CURLYX,ret);
1397                 if (!SIZE_ONLY && extralen)
1398                     NEXT_OFF(ret) = 3;  /* Go over NOTHING to LONGJMP. */
1399                 regtail(ret, reg_node(NOTHING));
1400                 if (SIZE_ONLY)
1401                     extralen += 3;
1402             }
1403             ret->flags = 0;
1404
1405             if (min > 0)
1406                 *flagp = WORST;
1407             if (max > 0)
1408                 *flagp |= HASWIDTH;
1409             if (max && max < min)
1410                 FAIL("Can't do {n,m} with n > m");
1411             if (!SIZE_ONLY) {
1412                 ARG1_SET(ret, min);
1413                 ARG2_SET(ret, max);
1414             }
1415
1416             goto nest_check;
1417         }
1418     }
1419
1420     if (!ISMULT1(op)) {
1421         *flagp = flags;
1422         return(ret);
1423     }
1424
1425 #if 0                           /* Now runtime fix should be reliable. */
1426     if (!(flags&HASWIDTH) && op != '?')
1427       FAIL("regexp *+ operand could be empty");
1428 #endif
1429
1430     nextchar();
1431
1432     *flagp = (op != '+') ? (WORST|SPSTART|HASWIDTH) : (WORST|HASWIDTH);
1433
1434     if (op == '*' && (flags&SIMPLE)) {
1435         reginsert(STAR, ret);
1436         ret->flags = 0;
1437         regnaughty += 4;
1438     }
1439     else if (op == '*') {
1440         min = 0;
1441         goto do_curly;
1442     } else if (op == '+' && (flags&SIMPLE)) {
1443         reginsert(PLUS, ret);
1444         ret->flags = 0;
1445         regnaughty += 3;
1446     }
1447     else if (op == '+') {
1448         min = 1;
1449         goto do_curly;
1450     } else if (op == '?') {
1451         min = 0; max = 1;
1452         goto do_curly;
1453     }
1454   nest_check:
1455     if (dowarn && !SIZE_ONLY && !(flags&HASWIDTH) && max > 10000) {
1456         warn("%.*s matches null string many times",
1457             regcomp_parse - origparse, origparse);
1458     }
1459
1460     if (*regcomp_parse == '?') {
1461         nextchar();
1462         reginsert(MINMOD, ret);
1463         regtail(ret, ret + NODE_STEP_REGNODE);
1464     }
1465     if (ISMULT2(regcomp_parse))
1466         FAIL("nested *?+ in regexp");
1467
1468     return(ret);
1469 }
1470
1471 /*
1472  - regatom - the lowest level
1473  *
1474  * Optimization:  gobbles an entire sequence of ordinary characters so that
1475  * it can turn them into a single node, which is smaller to store and
1476  * faster to run.  Backslashed characters are exceptions, each becoming a
1477  * separate node; the code is simpler that way and it's not worth fixing.
1478  *
1479  * [Yes, it is worth fixing, some scripts can run twice the speed.]
1480  */
1481 STATIC regnode *
1482 regatom(I32 *flagp)
1483 {
1484     register regnode *ret = 0;
1485     I32 flags;
1486
1487     *flagp = WORST;             /* Tentatively. */
1488
1489 tryagain:
1490     switch (*regcomp_parse) {
1491     case '^':
1492         seen_zerolen++;
1493         nextchar();
1494         if (regflags & PMf_MULTILINE)
1495             ret = reg_node(MBOL);
1496         else if (regflags & PMf_SINGLELINE)
1497             ret = reg_node(SBOL);
1498         else
1499             ret = reg_node(BOL);
1500         break;
1501     case '$':
1502         if (regcomp_parse[1])
1503             seen_zerolen++;
1504         nextchar();
1505         if (regflags & PMf_MULTILINE)
1506             ret = reg_node(MEOL);
1507         else if (regflags & PMf_SINGLELINE)
1508             ret = reg_node(SEOL);
1509         else
1510             ret = reg_node(EOL);
1511         break;
1512     case '.':
1513         nextchar();
1514         if (regflags & PMf_SINGLELINE)
1515             ret = reg_node(SANY);
1516         else
1517             ret = reg_node(ANY);
1518         regnaughty++;
1519         *flagp |= HASWIDTH|SIMPLE;
1520         break;
1521     case '[':
1522         regcomp_parse++;
1523         ret = regclass();
1524         *flagp |= HASWIDTH|SIMPLE;
1525         break;
1526     case '(':
1527         nextchar();
1528         ret = reg(1, &flags);
1529         if (ret == NULL) {
1530                 if (flags & TRYAGAIN)
1531                     goto tryagain;
1532                 return(NULL);
1533         }
1534         *flagp |= flags&(HASWIDTH|SPSTART|SIMPLE);
1535         break;
1536     case '|':
1537     case ')':
1538         if (flags & TRYAGAIN) {
1539             *flagp |= TRYAGAIN;
1540             return NULL;
1541         }
1542         FAIL2("internal urp in regexp at /%s/", regcomp_parse);
1543                                 /* Supposed to be caught earlier. */
1544         break;
1545     case '{':
1546         if (!regcurly(regcomp_parse)) {
1547             regcomp_parse++;
1548             goto defchar;
1549         }
1550         /* FALL THROUGH */
1551     case '?':
1552     case '+':
1553     case '*':
1554         FAIL("?+*{} follows nothing in regexp");
1555         break;
1556     case '\\':
1557         switch (*++regcomp_parse) {
1558         case 'A':
1559             seen_zerolen++;
1560             ret = reg_node(SBOL);
1561             *flagp |= SIMPLE;
1562             nextchar();
1563             break;
1564         case 'G':
1565             ret = reg_node(GPOS);
1566             regseen |= REG_SEEN_GPOS;
1567             *flagp |= SIMPLE;
1568             nextchar();
1569             break;
1570         case 'Z':
1571             ret = reg_node(SEOL);
1572             *flagp |= SIMPLE;
1573             nextchar();
1574             break;
1575         case 'z':
1576             ret = reg_node(EOS);
1577             *flagp |= SIMPLE;
1578             seen_zerolen++;             /* Do not optimize RE away */
1579             nextchar();
1580             break;
1581         case 'w':
1582             ret = reg_node((regflags & PMf_LOCALE) ? ALNUML : ALNUM);
1583             *flagp |= HASWIDTH|SIMPLE;
1584             nextchar();
1585             break;
1586         case 'W':
1587             ret = reg_node((regflags & PMf_LOCALE) ? NALNUML : NALNUM);
1588             *flagp |= HASWIDTH|SIMPLE;
1589             nextchar();
1590             break;
1591         case 'b':
1592             seen_zerolen++;
1593             ret = reg_node((regflags & PMf_LOCALE) ? BOUNDL : BOUND);
1594             *flagp |= SIMPLE;
1595             nextchar();
1596             break;
1597         case 'B':
1598             seen_zerolen++;
1599             ret = reg_node((regflags & PMf_LOCALE) ? NBOUNDL : NBOUND);
1600             *flagp |= SIMPLE;
1601             nextchar();
1602             break;
1603         case 's':
1604             ret = reg_node((regflags & PMf_LOCALE) ? SPACEL : SPACE);
1605             *flagp |= HASWIDTH|SIMPLE;
1606             nextchar();
1607             break;
1608         case 'S':
1609             ret = reg_node((regflags & PMf_LOCALE) ? NSPACEL : NSPACE);
1610             *flagp |= HASWIDTH|SIMPLE;
1611             nextchar();
1612             break;
1613         case 'd':
1614             ret = reg_node(DIGIT);
1615             *flagp |= HASWIDTH|SIMPLE;
1616             nextchar();
1617             break;
1618         case 'D':
1619             ret = reg_node(NDIGIT);
1620             *flagp |= HASWIDTH|SIMPLE;
1621             nextchar();
1622             break;
1623         case 'n':
1624         case 'r':
1625         case 't':
1626         case 'f':
1627         case 'e':
1628         case 'a':
1629         case 'x':
1630         case 'c':
1631         case '0':
1632             goto defchar;
1633         case '1': case '2': case '3': case '4':
1634         case '5': case '6': case '7': case '8': case '9':
1635             {
1636                 I32 num = atoi(regcomp_parse);
1637
1638                 if (num > 9 && num >= regnpar)
1639                     goto defchar;
1640                 else {
1641                     if (!SIZE_ONLY && num > regcomp_rx->nparens)
1642                         FAIL("reference to nonexistent group");
1643                     regsawback = 1;
1644                     ret = reganode((regflags & PMf_FOLD)
1645                                    ? ((regflags & PMf_LOCALE) ? REFFL : REFF)
1646                                    : REF, num);
1647                     *flagp |= HASWIDTH;
1648                     while (isDIGIT(*regcomp_parse))
1649                         regcomp_parse++;
1650                     regcomp_parse--;
1651                     nextchar();
1652                 }
1653             }
1654             break;
1655         case '\0':
1656             if (regcomp_parse >= regxend)
1657                 FAIL("trailing \\ in regexp");
1658             /* FALL THROUGH */
1659         default:
1660             goto defchar;
1661         }
1662         break;
1663
1664     case '#':
1665         if (regflags & PMf_EXTENDED) {
1666             while (regcomp_parse < regxend && *regcomp_parse != '\n') regcomp_parse++;
1667             if (regcomp_parse < regxend)
1668                 goto tryagain;
1669         }
1670         /* FALL THROUGH */
1671
1672     default: {
1673             register I32 len;
1674             register U8 ender;
1675             register char *p;
1676             char *oldp, *s;
1677             I32 numlen;
1678
1679             regcomp_parse++;
1680
1681         defchar:
1682             ret = reg_node((regflags & PMf_FOLD)
1683                           ? ((regflags & PMf_LOCALE) ? EXACTFL : EXACTF)
1684                           : EXACT);
1685             s = (char *) OPERAND(ret);
1686             regc(0, s++);               /* save spot for len */
1687             for (len = 0, p = regcomp_parse - 1;
1688               len < 127 && p < regxend;
1689               len++)
1690             {
1691                 oldp = p;
1692
1693                 if (regflags & PMf_EXTENDED)
1694                     p = regwhite(p, regxend);
1695                 switch (*p) {
1696                 case '^':
1697                 case '$':
1698                 case '.':
1699                 case '[':
1700                 case '(':
1701                 case ')':
1702                 case '|':
1703                     goto loopdone;
1704                 case '\\':
1705                     switch (*++p) {
1706                     case 'A':
1707                     case 'G':
1708                     case 'Z':
1709                     case 'z':
1710                     case 'w':
1711                     case 'W':
1712                     case 'b':
1713                     case 'B':
1714                     case 's':
1715                     case 'S':
1716                     case 'd':
1717                     case 'D':
1718                         --p;
1719                         goto loopdone;
1720                     case 'n':
1721                         ender = '\n';
1722                         p++;
1723                         break;
1724                     case 'r':
1725                         ender = '\r';
1726                         p++;
1727                         break;
1728                     case 't':
1729                         ender = '\t';
1730                         p++;
1731                         break;
1732                     case 'f':
1733                         ender = '\f';
1734                         p++;
1735                         break;
1736                     case 'e':
1737                         ender = '\033';
1738                         p++;
1739                         break;
1740                     case 'a':
1741                         ender = '\007';
1742                         p++;
1743                         break;
1744                     case 'x':
1745                         ender = scan_hex(++p, 2, &numlen);
1746                         p += numlen;
1747                         break;
1748                     case 'c':
1749                         p++;
1750                         ender = UCHARAT(p++);
1751                         ender = toCTRL(ender);
1752                         break;
1753                     case '0': case '1': case '2': case '3':case '4':
1754                     case '5': case '6': case '7': case '8':case '9':
1755                         if (*p == '0' ||
1756                           (isDIGIT(p[1]) && atoi(p) >= regnpar) ) {
1757                             ender = scan_oct(p, 3, &numlen);
1758                             p += numlen;
1759                         }
1760                         else {
1761                             --p;
1762                             goto loopdone;
1763                         }
1764                         break;
1765                     case '\0':
1766                         if (p >= regxend)
1767                             FAIL("trailing \\ in regexp");
1768                         /* FALL THROUGH */
1769                     default:
1770                         ender = *p++;
1771                         break;
1772                     }
1773                     break;
1774                 default:
1775                     ender = *p++;
1776                     break;
1777                 }
1778                 if (regflags & PMf_EXTENDED)
1779                     p = regwhite(p, regxend);
1780                 if (ISMULT2(p)) { /* Back off on ?+*. */
1781                     if (len)
1782                         p = oldp;
1783                     else {
1784                         len++;
1785                         regc(ender, s++);
1786                     }
1787                     break;
1788                 }
1789                 regc(ender, s++);
1790             }
1791         loopdone:
1792             regcomp_parse = p - 1;
1793             nextchar();
1794             if (len < 0)
1795                 FAIL("internal disaster in regexp");
1796             if (len > 0)
1797                 *flagp |= HASWIDTH;
1798             if (len == 1)
1799                 *flagp |= SIMPLE;
1800             if (!SIZE_ONLY)
1801                 *OPERAND(ret) = len;
1802             regc('\0', s++);
1803             if (SIZE_ONLY) {
1804                 regsize += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1805             } else {
1806                 regcode += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1807             }
1808         }
1809         break;
1810     }
1811
1812     return(ret);
1813 }
1814
1815 STATIC char *
1816 regwhite(char *p, char *e)
1817 {
1818     while (p < e) {
1819         if (isSPACE(*p))
1820             ++p;
1821         else if (*p == '#') {
1822             do {
1823                 p++;
1824             } while (p < e && *p != '\n');
1825         }
1826         else
1827             break;
1828     }
1829     return p;
1830 }
1831
1832 STATIC regnode *
1833 regclass(void)
1834 {
1835     register char *opnd, *s;
1836     register I32 Class;
1837     register I32 lastclass = 1234;
1838     register I32 range = 0;
1839     register regnode *ret;
1840     register I32 def;
1841     I32 numlen;
1842
1843     s = opnd = (char *) OPERAND(regcode);
1844     ret = reg_node(ANYOF);
1845     for (Class = 0; Class < 33; Class++)
1846         regc(0, s++);
1847     if (*regcomp_parse == '^') {        /* Complement of range. */
1848         regnaughty++;
1849         regcomp_parse++;
1850         if (!SIZE_ONLY)
1851             *opnd |= ANYOF_INVERT;
1852     }
1853     if (!SIZE_ONLY) {
1854         regcode += ANY_SKIP;
1855         if (regflags & PMf_FOLD)
1856             *opnd |= ANYOF_FOLD;
1857         if (regflags & PMf_LOCALE)
1858             *opnd |= ANYOF_LOCALE;
1859     } else {
1860         regsize += ANY_SKIP;
1861     }
1862     if (*regcomp_parse == ']' || *regcomp_parse == '-')
1863         goto skipcond;          /* allow 1st char to be ] or - */
1864     while (regcomp_parse < regxend && *regcomp_parse != ']') {
1865        skipcond:
1866         Class = UCHARAT(regcomp_parse++);
1867         if (Class == '[' && regcomp_parse + 1 < regxend &&
1868             /* I smell either [: or [= or [. -- POSIX has been here, right? */
1869             (*regcomp_parse == ':' || *regcomp_parse == '=' || *regcomp_parse == '.')) {
1870             char  posixccc = *regcomp_parse;
1871             char* posixccs = regcomp_parse++;
1872
1873             while (regcomp_parse < regxend && *regcomp_parse != posixccc)
1874                 regcomp_parse++;
1875             if (regcomp_parse == regxend)
1876                 /* Grandfather lone [:, [=, [. */
1877                 regcomp_parse = posixccs;
1878             else {
1879                 regcomp_parse++; /* skip over the posixccc */
1880                 if (*regcomp_parse == ']') {
1881                     /* Not Implemented Yet.
1882                      * (POSIX Extended Character Classes, that is)
1883                      * The text between e.g. [: and :] would start
1884                      * at posixccs + 1 and stop at regcomp_parse - 2. */
1885                     if (dowarn && !SIZE_ONLY)
1886                         warn("Character class syntax [%c %c] is reserved for future extensions", posixccc, posixccc);
1887                     regcomp_parse++; /* skip over the ending ] */
1888                 }
1889             }
1890         }
1891         if (Class == '\\') {
1892             Class = UCHARAT(regcomp_parse++);
1893             switch (Class) {
1894             case 'w':
1895                 if (!SIZE_ONLY) {
1896                     if (regflags & PMf_LOCALE)
1897                         *opnd |= ANYOF_ALNUML;
1898                     else {
1899                         for (Class = 0; Class < 256; Class++)
1900                             if (isALNUM(Class))
1901                                 ANYOF_SET(opnd, Class);
1902                     }
1903                 }
1904                 lastclass = 1234;
1905                 continue;
1906             case 'W':
1907                 if (!SIZE_ONLY) {
1908                     if (regflags & PMf_LOCALE)
1909                         *opnd |= ANYOF_NALNUML;
1910                     else {
1911                         for (Class = 0; Class < 256; Class++)
1912                             if (!isALNUM(Class))
1913                                 ANYOF_SET(opnd, Class);
1914                     }
1915                 }
1916                 lastclass = 1234;
1917                 continue;
1918             case 's':
1919                 if (!SIZE_ONLY) {
1920                     if (regflags & PMf_LOCALE)
1921                         *opnd |= ANYOF_SPACEL;
1922                     else {
1923                         for (Class = 0; Class < 256; Class++)
1924                             if (isSPACE(Class))
1925                                 ANYOF_SET(opnd, Class);
1926                     }
1927                 }
1928                 lastclass = 1234;
1929                 continue;
1930             case 'S':
1931                 if (!SIZE_ONLY) {
1932                     if (regflags & PMf_LOCALE)
1933                         *opnd |= ANYOF_NSPACEL;
1934                     else {
1935                         for (Class = 0; Class < 256; Class++)
1936                             if (!isSPACE(Class))
1937                                 ANYOF_SET(opnd, Class);
1938                     }
1939                 }
1940                 lastclass = 1234;
1941                 continue;
1942             case 'd':
1943                 if (!SIZE_ONLY) {
1944                     for (Class = '0'; Class <= '9'; Class++)
1945                         ANYOF_SET(opnd, Class);
1946                 }
1947                 lastclass = 1234;
1948                 continue;
1949             case 'D':
1950                 if (!SIZE_ONLY) {
1951                     for (Class = 0; Class < '0'; Class++)
1952                         ANYOF_SET(opnd, Class);
1953                     for (Class = '9' + 1; Class < 256; Class++)
1954                         ANYOF_SET(opnd, Class);
1955                 }
1956                 lastclass = 1234;
1957                 continue;
1958             case 'n':
1959                 Class = '\n';
1960                 break;
1961             case 'r':
1962                 Class = '\r';
1963                 break;
1964             case 't':
1965                 Class = '\t';
1966                 break;
1967             case 'f':
1968                 Class = '\f';
1969                 break;
1970             case 'b':
1971                 Class = '\b';
1972                 break;
1973             case 'e':
1974                 Class = '\033';
1975                 break;
1976             case 'a':
1977                 Class = '\007';
1978                 break;
1979             case 'x':
1980                 Class = scan_hex(regcomp_parse, 2, &numlen);
1981                 regcomp_parse += numlen;
1982                 break;
1983             case 'c':
1984                 Class = UCHARAT(regcomp_parse++);
1985                 Class = toCTRL(Class);
1986                 break;
1987             case '0': case '1': case '2': case '3': case '4':
1988             case '5': case '6': case '7': case '8': case '9':
1989                 Class = scan_oct(--regcomp_parse, 3, &numlen);
1990                 regcomp_parse += numlen;
1991                 break;
1992             }
1993         }
1994         if (range) {
1995             if (lastclass > Class)
1996                 FAIL("invalid [] range in regexp");
1997             range = 0;
1998         }
1999         else {
2000             lastclass = Class;
2001             if (*regcomp_parse == '-' && regcomp_parse+1 < regxend &&
2002               regcomp_parse[1] != ']') {
2003                 regcomp_parse++;
2004                 range = 1;
2005                 continue;       /* do it next time */
2006             }
2007         }
2008         if (!SIZE_ONLY) {
2009             for ( ; lastclass <= Class; lastclass++)
2010                 ANYOF_SET(opnd, lastclass);
2011         }
2012         lastclass = Class;
2013     }
2014     if (*regcomp_parse != ']')
2015         FAIL("unmatched [] in regexp");
2016     nextchar();
2017     /* optimize case-insensitive simple patterns (e.g. /[a-z]/i) */
2018     if (!SIZE_ONLY && (*opnd & (0xFF ^ ANYOF_INVERT)) == ANYOF_FOLD) {
2019         for (Class = 0; Class < 256; ++Class) {
2020             if (ANYOF_TEST(opnd, Class)) {
2021                 I32 cf = fold[Class];
2022                 ANYOF_SET(opnd, cf);
2023             }
2024         }
2025         *opnd &= ~ANYOF_FOLD;
2026     }
2027     /* optimize inverted simple patterns (e.g. [^a-z]) */
2028     if (!SIZE_ONLY && (*opnd & 0xFF) == ANYOF_INVERT) {
2029         for (Class = 0; Class < 32; ++Class)
2030             opnd[1 + Class] ^= 0xFF;
2031         *opnd = 0;
2032     }
2033     return ret;
2034 }
2035
2036 STATIC char*
2037 nextchar(void)
2038 {
2039     char* retval = regcomp_parse++;
2040
2041     for (;;) {
2042         if (*regcomp_parse == '(' && regcomp_parse[1] == '?' &&
2043                 regcomp_parse[2] == '#') {
2044             while (*regcomp_parse && *regcomp_parse != ')')
2045                 regcomp_parse++;
2046             regcomp_parse++;
2047             continue;
2048         }
2049         if (regflags & PMf_EXTENDED) {
2050             if (isSPACE(*regcomp_parse)) {
2051                 regcomp_parse++;
2052                 continue;
2053             }
2054             else if (*regcomp_parse == '#') {
2055                 while (*regcomp_parse && *regcomp_parse != '\n')
2056                     regcomp_parse++;
2057                 regcomp_parse++;
2058                 continue;
2059             }
2060         }
2061         return retval;
2062     }
2063 }
2064
2065 /*
2066 - reg_node - emit a node
2067 */
2068 STATIC regnode *                        /* Location. */
2069 reg_node(U8 op)
2070 {
2071     register regnode *ret;
2072     register regnode *ptr;
2073
2074     ret = regcode;
2075     if (SIZE_ONLY) {
2076         SIZE_ALIGN(regsize);
2077         regsize += 1;
2078         return(ret);
2079     }
2080
2081     NODE_ALIGN_FILL(ret);
2082     ptr = ret;
2083     FILL_ADVANCE_NODE(ptr, op);
2084     regcode = ptr;
2085
2086     return(ret);
2087 }
2088
2089 /*
2090 - reganode - emit a node with an argument
2091 */
2092 STATIC regnode *                        /* Location. */
2093 reganode(U8 op, U32 arg)
2094 {
2095     register regnode *ret;
2096     register regnode *ptr;
2097
2098     ret = regcode;
2099     if (SIZE_ONLY) {
2100         SIZE_ALIGN(regsize);
2101         regsize += 2;
2102         return(ret);
2103     }
2104
2105     NODE_ALIGN_FILL(ret);
2106     ptr = ret;
2107     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
2108     regcode = ptr;
2109
2110     return(ret);
2111 }
2112
2113 /*
2114 - regc - emit (if appropriate) a byte of code
2115 */
2116 STATIC void
2117 regc(U8 b, char* s)
2118 {
2119     if (!SIZE_ONLY)
2120         *s = b;
2121 }
2122
2123 /*
2124 - reginsert - insert an operator in front of already-emitted operand
2125 *
2126 * Means relocating the operand.
2127 */
2128 STATIC void
2129 reginsert(U8 op, regnode *opnd)
2130 {
2131     register regnode *src;
2132     register regnode *dst;
2133     register regnode *place;
2134     register int offset = regarglen[(U8)op];
2135
2136 /* (regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
2137
2138     if (SIZE_ONLY) {
2139         regsize += NODE_STEP_REGNODE + offset;
2140         return;
2141     }
2142
2143     src = regcode;
2144     regcode += NODE_STEP_REGNODE + offset;
2145     dst = regcode;
2146     while (src > opnd)
2147         StructCopy(--src, --dst, regnode);
2148
2149     place = opnd;               /* Op node, where operand used to be. */
2150     src = NEXTOPER(place);
2151     FILL_ADVANCE_NODE(place, op);
2152     Zero(src, offset, regnode);
2153 }
2154
2155 /*
2156 - regtail - set the next-pointer at the end of a node chain of p to val.
2157 */
2158 STATIC void
2159 regtail(regnode *p, regnode *val)
2160 {
2161     register regnode *scan;
2162     register regnode *temp;
2163     register I32 offset;
2164
2165     if (SIZE_ONLY)
2166         return;
2167
2168     /* Find last node. */
2169     scan = p;
2170     for (;;) {
2171         temp = regnext(scan);
2172         if (temp == NULL)
2173             break;
2174         scan = temp;
2175     }
2176
2177     if (reg_off_by_arg[OP(scan)]) {
2178         ARG_SET(scan, val - scan);
2179     } else {
2180         NEXT_OFF(scan) = val - scan;
2181     }
2182 }
2183
2184 /*
2185 - regoptail - regtail on operand of first argument; nop if operandless
2186 */
2187 STATIC void
2188 regoptail(regnode *p, regnode *val)
2189 {
2190     /* "Operandless" and "op != BRANCH" are synonymous in practice. */
2191     if (p == NULL || SIZE_ONLY)
2192         return;
2193     if (regkind[(U8)OP(p)] == BRANCH) {
2194         regtail(NEXTOPER(p), val);
2195     } else if ( regkind[(U8)OP(p)] == BRANCHJ) {
2196         regtail(NEXTOPER(NEXTOPER(p)), val);
2197     } else
2198         return;
2199 }
2200
2201 /*
2202  - regcurly - a little FSA that accepts {\d+,?\d*}
2203  */
2204 STATIC I32
2205 regcurly(register char *s)
2206 {
2207     if (*s++ != '{')
2208         return FALSE;
2209     if (!isDIGIT(*s))
2210         return FALSE;
2211     while (isDIGIT(*s))
2212         s++;
2213     if (*s == ',')
2214         s++;
2215     while (isDIGIT(*s))
2216         s++;
2217     if (*s != '}')
2218         return FALSE;
2219     return TRUE;
2220 }
2221
2222
2223 STATIC regnode *
2224 dumpuntil(regnode *start, regnode *node, regnode *last, SV* sv, I32 l)
2225 {
2226 #ifdef DEBUGGING
2227     register char op = EXACT;   /* Arbitrary non-END op. */
2228     register regnode *next, *onode;
2229
2230     while (op != END && (!last || node < last)) {
2231         /* While that wasn't END last time... */
2232
2233         NODE_ALIGN(node);
2234         op = OP(node);
2235         if (op == CLOSE)
2236             l--;
2237         next = regnext(node);
2238         /* Where, what. */
2239         if (OP(node) == OPTIMIZED)
2240             goto after_print;
2241         regprop(sv, node);
2242         PerlIO_printf(Perl_debug_log, "%4d%*s%s", node - start,
2243                       2*l + 1, "", SvPVX(sv));
2244         if (next == NULL)               /* Next ptr. */
2245             PerlIO_printf(Perl_debug_log, "(0)");
2246         else
2247             PerlIO_printf(Perl_debug_log, "(%d)", next - start);
2248         (void)PerlIO_putc(Perl_debug_log, '\n');
2249       after_print:
2250         if (regkind[(U8)op] == BRANCHJ) {
2251             register regnode *nnode = (OP(next) == LONGJMP
2252                                        ? regnext(next)
2253                                        : next);
2254             if (last && nnode > last)
2255                 nnode = last;
2256             node = dumpuntil(start, NEXTOPER(NEXTOPER(node)), nnode, sv, l + 1);
2257         } else if (regkind[(U8)op] == BRANCH) {
2258             node = dumpuntil(start, NEXTOPER(node), next, sv, l + 1);
2259         } else if ( op == CURLY) {   /* `next' might be very big: optimizer */
2260             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2261                              NEXTOPER(node) + EXTRA_STEP_2ARGS + 1, sv, l + 1);
2262         } else if (regkind[(U8)op] == CURLY && op != CURLYX) {
2263             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2264                              next, sv, l + 1);
2265         } else if ( op == PLUS || op == STAR) {
2266             node = dumpuntil(start, NEXTOPER(node), NEXTOPER(node) + 1, sv, l + 1);
2267         } else if (op == ANYOF) {
2268             node = NEXTOPER(node);
2269             node += ANY_SKIP;
2270         } else if (regkind[(U8)op] == EXACT) {
2271             /* Literal string, where present. */
2272             node += ((*OPERAND(node)) + 2 + sizeof(regnode) - 1) / sizeof(regnode);
2273             node = NEXTOPER(node);
2274         } else {
2275             node = NEXTOPER(node);
2276             node += regarglen[(U8)op];
2277         }
2278         if (op == CURLYX || op == OPEN)
2279             l++;
2280         else if (op == WHILEM)
2281             l--;
2282     }
2283 #endif  /* DEBUGGING */
2284     return node;
2285 }
2286
2287 /*
2288  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
2289  */
2290 void
2291 regdump(regexp *r)
2292 {
2293 #ifdef DEBUGGING
2294     SV *sv = sv_newmortal();
2295
2296     (void)dumpuntil(r->program, r->program + 1, NULL, sv, 0);
2297
2298     /* Header fields of interest. */
2299     if (r->anchored_substr)
2300         PerlIO_printf(Perl_debug_log, "anchored `%s%s%s'%s at %d ",
2301                       colors[0],
2302                       SvPVX(r->anchored_substr),
2303                       colors[1],
2304                       SvTAIL(r->anchored_substr) ? "$" : "",
2305                       r->anchored_offset);
2306     if (r->float_substr)
2307         PerlIO_printf(Perl_debug_log, "floating `%s%s%s'%s at %d..%u ",
2308                       colors[0],
2309                       SvPVX(r->float_substr),
2310                       colors[1],
2311                       SvTAIL(r->float_substr) ? "$" : "",
2312                       r->float_min_offset, r->float_max_offset);
2313     if (r->check_substr)
2314         PerlIO_printf(Perl_debug_log,
2315                       r->check_substr == r->float_substr
2316                       ? "(checking floating" : "(checking anchored");
2317     if (r->reganch & ROPT_NOSCAN)
2318         PerlIO_printf(Perl_debug_log, " noscan");
2319     if (r->reganch & ROPT_CHECK_ALL)
2320         PerlIO_printf(Perl_debug_log, " isall");
2321     if (r->check_substr)
2322         PerlIO_printf(Perl_debug_log, ") ");
2323
2324     if (r->regstclass) {
2325         regprop(sv, r->regstclass);
2326         PerlIO_printf(Perl_debug_log, "stclass `%s' ", SvPVX(sv));
2327     }
2328     if (r->reganch & ROPT_ANCH) {
2329         PerlIO_printf(Perl_debug_log, "anchored");
2330         if (r->reganch & ROPT_ANCH_BOL)
2331             PerlIO_printf(Perl_debug_log, "(BOL)");
2332         if (r->reganch & ROPT_ANCH_MBOL)
2333             PerlIO_printf(Perl_debug_log, "(MBOL)");
2334         if (r->reganch & ROPT_ANCH_GPOS)
2335             PerlIO_printf(Perl_debug_log, "(GPOS)");
2336         PerlIO_putc(Perl_debug_log, ' ');
2337     }
2338     if (r->reganch & ROPT_GPOS_SEEN)
2339         PerlIO_printf(Perl_debug_log, "GPOS ");
2340     if (r->reganch & ROPT_SKIP)
2341         PerlIO_printf(Perl_debug_log, "plus ");
2342     if (r->reganch & ROPT_IMPLICIT)
2343         PerlIO_printf(Perl_debug_log, "implicit ");
2344     PerlIO_printf(Perl_debug_log, "minlen %ld ", (long) r->minlen);
2345     if (r->reganch & ROPT_EVAL_SEEN)
2346         PerlIO_printf(Perl_debug_log, "with eval ");
2347     PerlIO_printf(Perl_debug_log, "\n");
2348 #endif  /* DEBUGGING */
2349 }
2350
2351 /*
2352 - regprop - printable representation of opcode
2353 */
2354 void
2355 regprop(SV *sv, regnode *o)
2356 {
2357 #ifdef DEBUGGING
2358     register char *p = 0;
2359
2360     sv_setpv(sv, ":");
2361     switch (OP(o)) {
2362     case BOL:
2363         p = "BOL";
2364         break;
2365     case MBOL:
2366         p = "MBOL";
2367         break;
2368     case SBOL:
2369         p = "SBOL";
2370         break;
2371     case EOL:
2372         p = "EOL";
2373         break;
2374     case EOS:
2375         p = "EOS";
2376         break;
2377     case MEOL:
2378         p = "MEOL";
2379         break;
2380     case SEOL:
2381         p = "SEOL";
2382         break;
2383     case ANY:
2384         p = "ANY";
2385         break;
2386     case SANY:
2387         p = "SANY";
2388         break;
2389     case ANYOF:
2390         p = "ANYOF";
2391         break;
2392     case BRANCH:
2393         p = "BRANCH";
2394         break;
2395     case EXACT:
2396         sv_catpvf(sv, "EXACT <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2397         break;
2398     case EXACTF:
2399         sv_catpvf(sv, "EXACTF <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2400         break;
2401     case EXACTFL:
2402         sv_catpvf(sv, "EXACTFL <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2403         break;
2404     case NOTHING:
2405         p = "NOTHING";
2406         break;
2407     case TAIL:
2408         p = "TAIL";
2409         break;
2410     case BACK:
2411         p = "BACK";
2412         break;
2413     case END:
2414         p = "END";
2415         break;
2416     case BOUND:
2417         p = "BOUND";
2418         break;
2419     case BOUNDL:
2420         p = "BOUNDL";
2421         break;
2422     case NBOUND:
2423         p = "NBOUND";
2424         break;
2425     case NBOUNDL:
2426         p = "NBOUNDL";
2427         break;
2428     case CURLY:
2429         sv_catpvf(sv, "CURLY {%d,%d}", ARG1(o), ARG2(o));
2430         break;
2431     case CURLYM:
2432         sv_catpvf(sv, "CURLYM[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2433         break;
2434     case CURLYN:
2435         sv_catpvf(sv, "CURLYN[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2436         break;
2437     case CURLYX:
2438         sv_catpvf(sv, "CURLYX {%d,%d}", ARG1(o), ARG2(o));
2439         break;
2440     case REF:
2441         sv_catpvf(sv, "REF%d", ARG(o));
2442         break;
2443     case REFF:
2444         sv_catpvf(sv, "REFF%d", ARG(o));
2445         break;
2446     case REFFL:
2447         sv_catpvf(sv, "REFFL%d", ARG(o));
2448         break;
2449     case OPEN:
2450         sv_catpvf(sv, "OPEN%d", ARG(o));
2451         break;
2452     case CLOSE:
2453         sv_catpvf(sv, "CLOSE%d", ARG(o));
2454         p = NULL;
2455         break;
2456     case STAR:
2457         p = "STAR";
2458         break;
2459     case PLUS:
2460         p = "PLUS";
2461         break;
2462     case MINMOD:
2463         p = "MINMOD";
2464         break;
2465     case GPOS:
2466         p = "GPOS";
2467         break;
2468     case UNLESSM:
2469         sv_catpvf(sv, "UNLESSM[-%d]", o->flags);
2470         break;
2471     case IFMATCH:
2472         sv_catpvf(sv, "IFMATCH[-%d]", o->flags);
2473         break;
2474     case SUCCEED:
2475         p = "SUCCEED";
2476         break;
2477     case WHILEM:
2478         p = "WHILEM";
2479         break;
2480     case DIGIT:
2481         p = "DIGIT";
2482         break;
2483     case NDIGIT:
2484         p = "NDIGIT";
2485         break;
2486     case ALNUM:
2487         p = "ALNUM";
2488         break;
2489     case NALNUM:
2490         p = "NALNUM";
2491         break;
2492     case SPACE:
2493         p = "SPACE";
2494         break;
2495     case NSPACE:
2496         p = "NSPACE";
2497         break;
2498     case ALNUML:
2499         p = "ALNUML";
2500         break;
2501     case NALNUML:
2502         p = "NALNUML";
2503         break;
2504     case SPACEL:
2505         p = "SPACEL";
2506         break;
2507     case NSPACEL:
2508         p = "NSPACEL";
2509         break;
2510     case EVAL:
2511         p = "EVAL";
2512         break;
2513     case LONGJMP:
2514         p = "LONGJMP";
2515         break;
2516     case BRANCHJ:
2517         p = "BRANCHJ";
2518         break;
2519     case IFTHEN:
2520         p = "IFTHEN";
2521         break;
2522     case GROUPP:
2523         sv_catpvf(sv, "GROUPP%d", ARG(o));
2524         break;
2525     case LOGICAL:
2526         p = "LOGICAL";
2527         break;
2528     case SUSPEND:
2529         p = "SUSPEND";
2530         break;
2531     case RENUM:
2532         p = "RENUM";
2533         break;
2534     case OPTIMIZED:
2535         p = "OPTIMIZED";
2536         break;
2537     default:
2538         FAIL("corrupted regexp opcode");
2539     }
2540     if (p)
2541         sv_catpv(sv, p);
2542 #endif  /* DEBUGGING */
2543 }
2544
2545 void
2546 pregfree(struct regexp *r)
2547 {
2548     if (!r || (--r->refcnt > 0))
2549         return;
2550     if (r->precomp)
2551         Safefree(r->precomp);
2552     if (r->subbase)
2553         Safefree(r->subbase);
2554     if (r->substrs) {
2555         if (r->anchored_substr)
2556             SvREFCNT_dec(r->anchored_substr);
2557         if (r->float_substr)
2558             SvREFCNT_dec(r->float_substr);
2559         Safefree(r->substrs);
2560     }
2561     if (r->data) {
2562         int n = r->data->count;
2563         while (--n >= 0) {
2564             switch (r->data->what[n]) {
2565             case 's':
2566                 SvREFCNT_dec((SV*)r->data->data[n]);
2567                 break;
2568             case 'o':
2569                 op_free((OP_4tree*)r->data->data[n]);
2570                 break;
2571             case 'n':
2572                 break;
2573             default:
2574                 FAIL2("panic: regfree data code '%c'", r->data->what[n]);
2575             }
2576         }
2577         Safefree(r->data->what);
2578         Safefree(r->data);
2579     }
2580     Safefree(r->startp);
2581     Safefree(r->endp);
2582     Safefree(r);
2583 }
2584
2585 /*
2586  - regnext - dig the "next" pointer out of a node
2587  *
2588  * [Note, when REGALIGN is defined there are two places in regmatch()
2589  * that bypass this code for speed.]
2590  */
2591 regnode *
2592 regnext(register regnode *p)
2593 {
2594     register I32 offset;
2595
2596     if (p == &regdummy)
2597         return(NULL);
2598
2599     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
2600     if (offset == 0)
2601         return(NULL);
2602
2603     return(p+offset);
2604 }
2605
2606 STATIC void
2607 re_croak2(const char* pat1,const char* pat2,...)
2608 {
2609     va_list args;
2610     STRLEN l1 = strlen(pat1);
2611     STRLEN l2 = strlen(pat2);
2612     char buf[512];
2613     char *message;
2614
2615     if (l1 > 510)
2616         l1 = 510;
2617     if (l1 + l2 > 510)
2618         l2 = 510 - l1;
2619     Copy(pat1, buf, l1 , char);
2620     Copy(pat2, buf + l1, l2 , char);
2621     buf[l1 + l2] = '\n';
2622     buf[l1 + l2 + 1] = '\0';
2623     va_start(args, pat2);
2624     message = mess(buf, &args);
2625     va_end(args);
2626     l1 = strlen(message);
2627     if (l1 > 512)
2628         l1 = 512;
2629     Copy(message, buf, l1 , char);
2630     buf[l1] = '\0';                     /* Overwrite \n */
2631     croak("%s", buf);
2632 }