regcomp.c

   1 /*    regcomp.c
   2  */
   3
   4 /*
   5  * "A fair jaw-cracker dwarf-language must be."  --Samwise Gamgee
   6  */
   7
   8 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
   9  * confused with the original package (see point 3 below).  Thanks, Henry!
  10  */
  11
  12 /* Additional note: this code is very heavily munged from Henry's version
  13  * in places.  In some spots I've traded clarity for efficiency, so don't
  14  * blame Henry for some of the lack of readability.
  15  */
  16
  17 /* The names of the functions have been changed from regcomp and
  18  * regexec to  pregcomp and pregexec in order to avoid conflicts
  19  * with the POSIX routines of the same names.
  20 */
  21
  22 #ifdef IN_XSUB_RE
  23 /* We *really* need to overwrite these symbols: */
  24 #  define Perl_pregcomp my_regcomp
  25 #  define Perl_regdump my_regdump
  26 #  define Perl_regprop my_regprop
  27 /* *These* symbols are masked to allow static link. */
  28 #  define Perl_pregfree my_regfree
  29 #  define Perl_regnext my_regnext
  30 #endif
  31
  32 /*SUPPRESS 112*/
  33 /*
  34  * pregcomp and pregexec -- regsub and regerror are not used in perl
  35  *
  36  *      Copyright (c) 1986 by University of Toronto.
  37  *      Written by Henry Spencer.  Not derived from licensed software.
  38  *
  39  *      Permission is granted to anyone to use this software for any
  40  *      purpose on any computer system, and to redistribute it freely,
  41  *      subject to the following restrictions:
  42  *
  43  *      1. The author is not responsible for the consequences of use of
  44  *              this software, no matter how awful, even if they arise
  45  *              from defects in it.
  46  *
  47  *      2. The origin of this software must not be misrepresented, either
  48  *              by explicit claim or by omission.
  49  *
  50  *      3. Altered versions must be plainly marked as such, and must not
  51  *              be misrepresented as being the original software.
  52  *
  53  *
  54  ****    Alterations to Henry's code are...
  55  ****
  56  ****    Copyright (c) 1991-1997, Larry Wall
  57  ****
  58  ****    You may distribute under the terms of either the GNU General Public
  59  ****    License or the Artistic License, as specified in the README file.
  60
  61  *
  62  * Beware that some of this code is subtly aware of the way operator
  63  * precedence is structured in regular expressions.  Serious changes in
  64  * regular-expression syntax might require a total rethink.
  65  */
  66 #include "EXTERN.h"
  67 #include "perl.h"
  68
  69 #ifndef IN_XSUB_RE
  70 #  include "INTERN.h"
  71 #endif
  72
  73 #define REG_COMP_C
  74 #include "regcomp.h"
  75
  76 #ifdef op
  77 #undef op
  78 #endif /* op */
  79
  80 #ifdef MSDOS
  81 # if defined(BUGGY_MSC6)
  82  /* MSC 6.00A breaks on op/regexp.t test 85 unless we turn this off */
  83  # pragma optimize("a",off)
  84  /* But MSC 6.00A is happy with 'w', for aliases only across function calls*/
  85  # pragma optimize("w",on )
  86 # endif /* BUGGY_MSC6 */
  87 #endif /* MSDOS */
  88
  89 #ifndef STATIC
  90 #define STATIC  static
  91 #endif
  92
  93 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
  94 #define ISMULT2(s)      ((*s) == '*' || (*s) == '+' || (*s) == '?' || \
  95         ((*s) == '{' && regcurly(s)))
  96 #ifdef atarist
  97 #define PERL_META       "^$.[()|?+*\\"
  98 #else
  99 #define META    "^$.[()|?+*\\"
 100 #endif
 101
 102 #ifdef SPSTART
 103 #undef SPSTART          /* dratted cpp namespace... */
 104 #endif
 105 /*
 106  * Flags to be passed up and down.
 107  */
 108 #define WORST           0       /* Worst case. */
 109 #define HASWIDTH        0x1     /* Known to match non-null strings. */
 110 #define SIMPLE          0x2     /* Simple enough to be STAR/PLUS operand. */
 111 #define SPSTART         0x4     /* Starts with * or +. */
 112 #define TRYAGAIN        0x8     /* Weeded out a declaration. */
 113
 114 /*
 115  * Forward declarations for pregcomp()'s friends.
 116  */
 117
 118 #ifndef PERL_OBJECT
 119 static regnode *reg _((I32, I32 *));
 120 static regnode *reganode _((U8, U32));
 121 static regnode *regatom _((I32 *));
 122 static regnode *regbranch _((I32 *, I32));
 123 static void regc _((U8, char *));
 124 static regnode *regclass _((void));
 125 STATIC I32 regcurly _((char *));
 126 static regnode *reg_node _((U8));
 127 static regnode *regpiece _((I32 *));
 128 static void reginsert _((U8, regnode *));
 129 static void regoptail _((regnode *, regnode *));
 130 static void regtail _((regnode *, regnode *));
 131 static char* regwhite _((char *, char *));
 132 static char* nextchar _((void));
 133 static void re_croak2 _((const char* pat1,const char* pat2,...)) __attribute__((noreturn));
 134 #endif
 135
 136 /* Length of a variant. */
 137
 138 #ifndef PERL_OBJECT
 139 typedef struct {
 140     I32 len_min;
 141     I32 len_delta;
 142     I32 pos_min;
 143     I32 pos_delta;
 144     SV *last_found;
 145     I32 last_end;                       /* min value, <0 unless valid. */
 146     I32 last_start_min;
 147     I32 last_start_max;
 148     SV **longest;                       /* Either &l_fixed, or &l_float. */
 149     SV *longest_fixed;
 150     I32 offset_fixed;
 151     SV *longest_float;
 152     I32 offset_float_min;
 153     I32 offset_float_max;
 154     I32 flags;
 155 } scan_data_t;
 156 #endif
 157
 158 static scan_data_t zero_scan_data = { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 };
 159
 160 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
 161 #define SF_BEFORE_SEOL          0x1
 162 #define SF_BEFORE_MEOL          0x2
 163 #define SF_FIX_BEFORE_EOL       (SF_FIX_BEFORE_SEOL|SF_FIX_BEFORE_MEOL)
 164 #define SF_FL_BEFORE_EOL        (SF_FL_BEFORE_SEOL|SF_FL_BEFORE_MEOL)
 165
 166 #ifdef NO_UNARY_PLUS
 167 #  define SF_FIX_SHIFT_EOL      (0+2)
 168 #  define SF_FL_SHIFT_EOL               (0+4)
 169 #else
 170 #  define SF_FIX_SHIFT_EOL      (+2)
 171 #  define SF_FL_SHIFT_EOL               (+4)
 172 #endif
 173
 174 #define SF_FIX_BEFORE_SEOL      (SF_BEFORE_SEOL << SF_FIX_SHIFT_EOL)
 175 #define SF_FIX_BEFORE_MEOL      (SF_BEFORE_MEOL << SF_FIX_SHIFT_EOL)
 176
 177 #define SF_FL_BEFORE_SEOL       (SF_BEFORE_SEOL << SF_FL_SHIFT_EOL)
 178 #define SF_FL_BEFORE_MEOL       (SF_BEFORE_MEOL << SF_FL_SHIFT_EOL) /* 0x20 */
 179 #define SF_IS_INF               0x40
 180 #define SF_HAS_PAR              0x80
 181 #define SF_IN_PAR               0x100
 182 #define SF_HAS_EVAL             0x200
 183 #define SCF_DO_SUBSTR           0x400
 184
 185 STATIC void
 186 scan_commit(scan_data_t *data)
 187 {
 188     STRLEN l = SvCUR(data->last_found);
 189     STRLEN old_l = SvCUR(*data->longest);
 190
 191     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
 192         sv_setsv(*data->longest, data->last_found);
 193         if (*data->longest == data->longest_fixed) {
 194             data->offset_fixed = l ? data->last_start_min : data->pos_min;
 195             if (data->flags & SF_BEFORE_EOL)
 196                 data->flags
 197                     |= ((data->flags & SF_BEFORE_EOL) << SF_FIX_SHIFT_EOL);
 198             else
 199                 data->flags &= ~SF_FIX_BEFORE_EOL;
 200         } else {
 201             data->offset_float_min = l ? data->last_start_min : data->pos_min;
 202             data->offset_float_max = (l
 203                                       ? data->last_start_max
 204                                       : data->pos_min + data->pos_delta);
 205             if (data->flags & SF_BEFORE_EOL)
 206                 data->flags
 207                     |= ((data->flags & SF_BEFORE_EOL) << SF_FL_SHIFT_EOL);
 208             else
 209                 data->flags &= ~SF_FL_BEFORE_EOL;
 210         }
 211     }
 212     SvCUR_set(data->last_found, 0);
 213     data->last_end = -1;
 214     data->flags &= ~SF_BEFORE_EOL;
 215 }
 216
 217 /* Stops at toplevel WHILEM as well as at `last'. At end *scanp is set
 218    to the position after last scanned or to NULL. */
 219
 220 STATIC I32
 221 study_chunk(regnode **scanp, I32 *deltap, regnode *last, scan_data_t *data, U32 flags)
 222                         /* scanp: Start here (read-write). */
 223                         /* deltap: Write maxlen-minlen here. */
 224                         /* last: Stop before this one. */
 225 {
 226     I32 min = 0, pars = 0, code;
 227     regnode *scan = *scanp, *next;
 228     I32 delta = 0;
 229     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
 230     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
 231     scan_data_t data_fake;
 232
 233     while (scan && OP(scan) != END && scan < last) {
 234         /* Peephole optimizer: */
 235
 236         if (regkind[(U8)OP(scan)] == EXACT) {
 237             regnode *n = regnext(scan);
 238             U32 stringok = 1;
 239 #ifdef DEBUGGING
 240             regnode *stop = scan;
 241 #endif
 242
 243             next = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 244             /* Skip NOTHING, merge EXACT*. */
 245             while (n &&
 246                    ( regkind[(U8)OP(n)] == NOTHING ||
 247                      (stringok && (OP(n) == OP(scan))))
 248                    && NEXT_OFF(n)
 249                    && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX) {
 250                 if (OP(n) == TAIL || n > next)
 251                     stringok = 0;
 252                 if (regkind[(U8)OP(n)] == NOTHING) {
 253                     NEXT_OFF(scan) += NEXT_OFF(n);
 254                     next = n + NODE_STEP_REGNODE;
 255 #ifdef DEBUGGING
 256                     if (stringok)
 257                         stop = n;
 258 #endif
 259                     n = regnext(n);
 260                 } else {
 261                     int oldl = *OPERAND(scan);
 262                     regnode *nnext = regnext(n);
 263
 264                     if (oldl + *OPERAND(n) > U8_MAX)
 265                         break;
 266                     NEXT_OFF(scan) += NEXT_OFF(n);
 267                     *OPERAND(scan) += *OPERAND(n);
 268                     next = n + (*OPERAND(n) + 2 - 1)/sizeof(regnode) + 2;
 269                     /* Now we can overwrite *n : */
 270                     Move(OPERAND(n) + 1, OPERAND(scan) + oldl + 1,
 271                          *OPERAND(n) + 1, char);
 272 #ifdef DEBUGGING
 273                     if (stringok)
 274                         stop = next - 1;
 275 #endif
 276                     n = nnext;
 277                 }
 278             }
 279 #ifdef DEBUGGING
 280             /* Allow dumping */
 281             n = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
 282             while (n <= stop) {
 283                 /* Purify reports a benign UMR here sometimes, because we
 284                  * don't initialize the OP() slot of a node when that node
 285                  * is occupied by just the trailing null of the string in
 286                  * an EXACT node */
 287                 if (regkind[(U8)OP(n)] != NOTHING || OP(n) == NOTHING) {
 288                     OP(n) = OPTIMIZED;
 289                     NEXT_OFF(n) = 0;
 290                 }
 291                 n++;
 292             }
 293 #endif
 294
 295         }
 296         if (OP(scan) != CURLYX) {
 297             int max = (reg_off_by_arg[OP(scan)] ? I32_MAX : U16_MAX);
 298             int off = (reg_off_by_arg[OP(scan)] ? ARG(scan) : NEXT_OFF(scan));
 299             int noff;
 300             regnode *n = scan;
 301
 302             /* Skip NOTHING and LONGJMP. */
 303             while ((n = regnext(n))
 304                    && ((regkind[(U8)OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
 305                        || ((OP(n) == LONGJMP) && (noff = ARG(n))))
 306                    && off + noff < max)
 307                 off += noff;
 308             if (reg_off_by_arg[OP(scan)])
 309                 ARG(scan) = off;
 310             else
 311                 NEXT_OFF(scan) = off;
 312         }
 313         if (OP(scan) == BRANCH || OP(scan) == BRANCHJ
 314                    || OP(scan) == IFTHEN || OP(scan) == SUSPEND) {
 315             next = regnext(scan);
 316             code = OP(scan);
 317
 318             if (OP(next) == code || code == IFTHEN || code == SUSPEND) {
 319                 I32 max1 = 0, min1 = I32_MAX, num = 0;
 320
 321                 if (flags & SCF_DO_SUBSTR)
 322                     scan_commit(data);
 323                 while (OP(scan) == code) {
 324                     I32 deltanext, minnext;
 325
 326                     num++;
 327                     data_fake.flags = 0;
 328                     next = regnext(scan);
 329                     scan = NEXTOPER(scan);
 330                     if (code != BRANCH)
 331                         scan = NEXTOPER(scan);
 332                     /* We suppose the run is continuous, last=next...*/
 333                     minnext = study_chunk(&scan, &deltanext, next,
 334                                           &data_fake, 0);
 335                     if (min1 > minnext)
 336                         min1 = minnext;
 337                     if (max1 < minnext + deltanext)
 338                         max1 = minnext + deltanext;
 339                     if (deltanext == I32_MAX)
 340                         is_inf = 1;
 341                     scan = next;
 342                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 343                         pars++;
 344                     if (data && (data_fake.flags & SF_HAS_EVAL))
 345                         data->flags |= SF_HAS_EVAL;
 346                     if (code == SUSPEND)
 347                         break;
 348                 }
 349                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
 350                     min1 = 0;
 351                 if (flags & SCF_DO_SUBSTR) {
 352                     data->pos_min += min1;
 353                     data->pos_delta += max1 - min1;
 354                     if (max1 != min1 || is_inf)
 355                         data->longest = &(data->longest_float);
 356                 }
 357                 min += min1;
 358                 delta += max1 - min1;
 359             } else if (code == BRANCHJ) /* single branch is optimized. */
 360                 scan = NEXTOPER(NEXTOPER(scan));
 361             else                        /* single branch is optimized. */
 362                 scan = NEXTOPER(scan);
 363             continue;
 364         } else if (OP(scan) == EXACT) {
 365             min += *OPERAND(scan);
 366             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
 367                 I32 l = *OPERAND(scan);
 368
 369                 /* The code below prefers earlier match for fixed
 370                    offset, later match for variable offset.  */
 371                 if (data->last_end == -1) { /* Update the start info. */
 372                     data->last_start_min = data->pos_min;
 373                     data->last_start_max = is_inf
 374                         ? I32_MAX : data->pos_min + data->pos_delta;
 375                 }
 376                 sv_catpvn(data->last_found, (char *)(OPERAND(scan)+1), l);
 377                 data->last_end = data->pos_min + l;
 378                 data->pos_min += l; /* As in the first entry. */
 379                 data->flags &= ~SF_BEFORE_EOL;
 380             }
 381         } else if (regkind[(U8)OP(scan)] == EXACT) {
 382             if (flags & SCF_DO_SUBSTR)
 383                 scan_commit(data);
 384             min += *OPERAND(scan);
 385             if (data && (flags & SCF_DO_SUBSTR))
 386                 data->pos_min += *OPERAND(scan);
 387         } else if (strchr(varies,OP(scan))) {
 388             I32 mincount, maxcount, minnext, deltanext, pos_before, fl;
 389             regnode *oscan = scan;
 390
 391             switch (regkind[(U8)OP(scan)]) {
 392             case WHILEM:
 393                 scan = NEXTOPER(scan);
 394                 goto finish;
 395             case PLUS:
 396                 if (flags & SCF_DO_SUBSTR) {
 397                     next = NEXTOPER(scan);
 398                     if (OP(next) == EXACT) {
 399                         mincount = 1;
 400                         maxcount = REG_INFTY;
 401                         next = regnext(scan);
 402                         scan = NEXTOPER(scan);
 403                         goto do_curly;
 404                     }
 405                 }
 406                 if (flags & SCF_DO_SUBSTR)
 407                     data->pos_min++;
 408                 min++;
 409                 /* Fall through. */
 410             case STAR:
 411                 is_inf = 1;
 412                 scan = regnext(scan);
 413                 if (flags & SCF_DO_SUBSTR) {
 414                     scan_commit(data);
 415                     data->longest = &(data->longest_float);
 416                 }
 417                 goto optimize_curly_tail;
 418             case CURLY:
 419                 mincount = ARG1(scan);
 420                 maxcount = ARG2(scan);
 421                 next = regnext(scan);
 422                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
 423               do_curly:
 424                 if (flags & SCF_DO_SUBSTR) {
 425                     if (mincount == 0) scan_commit(data);
 426                     pos_before = data->pos_min;
 427                 }
 428                 if (data) {
 429                     fl = data->flags;
 430                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
 431                     if (is_inf)
 432                         data->flags |= SF_IS_INF;
 433                 }
 434                 /* This will finish on WHILEM, setting scan, or on NULL: */
 435                 minnext = study_chunk(&scan, &deltanext, last, data,
 436                                       mincount == 0
 437                                         ? (flags & ~SCF_DO_SUBSTR) : flags);
 438                 if (!scan)              /* It was not CURLYX, but CURLY. */
 439                     scan = next;
 440                 if (dowarn && (minnext + deltanext == 0)
 441                     && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
 442                     && maxcount <= 10000) /* Complement check for big count */
 443                     warn("Strange *+?{} on zero-length expression");
 444                 min += minnext * mincount;
 445                 is_inf |= (maxcount == REG_INFTY && (minnext + deltanext) > 0
 446                            || deltanext == I32_MAX);
 447                 delta += (minnext + deltanext) * maxcount - minnext * mincount;
 448
 449                 /* Try powerful optimization CURLYX => CURLYN. */
 450                 if (  OP(oscan) == CURLYX && data
 451                       && data->flags & SF_IN_PAR
 452                       && !(data->flags & SF_HAS_EVAL)
 453                       && !deltanext && minnext == 1 ) {
 454                     /* Try to optimize to CURLYN.  */
 455                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
 456                     regnode *nxt1 = nxt, *nxt2;
 457
 458                     /* Skip open. */
 459                     nxt = regnext(nxt);
 460                     if (!strchr(simple,OP(nxt))
 461                         && !(regkind[(U8)OP(nxt)] == EXACT
 462                              && *OPERAND(nxt) == 1))
 463                         goto nogo;
 464                     nxt2 = nxt;
 465                     nxt = regnext(nxt);
 466                     if (OP(nxt) != CLOSE)
 467                         goto nogo;
 468                     /* Now we know that nxt2 is the only contents: */
 469                     oscan->flags = ARG(nxt);
 470                     OP(oscan) = CURLYN;
 471                     OP(nxt1) = NOTHING; /* was OPEN. */
 472 #ifdef DEBUGGING
 473                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 474                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistancy. */
 475                     NEXT_OFF(nxt2) = 0; /* just for consistancy with CURLY. */
 476                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
 477                     OP(nxt + 1) = OPTIMIZED; /* was count. */
 478                     NEXT_OFF(nxt+ 1) = 0; /* just for consistancy. */
 479 #endif
 480                 }
 481               nogo:
 482
 483                 /* Try optimization CURLYX => CURLYM. */
 484                 if (  OP(oscan) == CURLYX && data
 485                       && !(data->flags & SF_HAS_PAR)
 486                       && !(data->flags & SF_HAS_EVAL)
 487                       && !deltanext  ) {
 488                     /* XXXX How to optimize if data == 0? */
 489                     /* Optimize to a simpler form.  */
 490                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
 491                     regnode *nxt2;
 492
 493                     OP(oscan) = CURLYM;
 494                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
 495                             && (OP(nxt2) != WHILEM))
 496                         nxt = nxt2;
 497                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
 498                     /* Need to optimize away parenths. */
 499                     if (data->flags & SF_IN_PAR) {
 500                         /* Set the parenth number.  */
 501                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
 502
 503                         if (OP(nxt) != CLOSE)
 504                             FAIL("panic opt close");
 505                         oscan->flags = ARG(nxt);
 506                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
 507                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
 508 #ifdef DEBUGGING
 509                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
 510                         OP(nxt + 1) = OPTIMIZED; /* was count. */
 511                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistancy. */
 512                         NEXT_OFF(nxt + 1) = 0; /* just for consistancy. */
 513 #endif
 514 #if 0
 515                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
 516                             regnode *nnxt = regnext(nxt1);
 517
 518                             if (nnxt == nxt) {
 519                                 if (reg_off_by_arg[OP(nxt1)])
 520                                     ARG_SET(nxt1, nxt2 - nxt1);
 521                                 else if (nxt2 - nxt1 < U16_MAX)
 522                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
 523                                 else
 524                                     OP(nxt) = NOTHING;  /* Cannot beautify */
 525                             }
 526                             nxt1 = nnxt;
 527                         }
 528 #endif
 529                         /* Optimize again: */
 530                         study_chunk(&nxt1, &deltanext, nxt, NULL, 0);
 531                     } else
 532                         oscan->flags = 0;
 533                 }
 534                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR))
 535                     pars++;
 536                 if (flags & SCF_DO_SUBSTR) {
 537                     SV *last_str = Nullsv;
 538                     int counted = mincount != 0;
 539
 540                     if (data->last_end > 0 && mincount != 0) { /* Ends with a string. */
 541                         I32 b = pos_before >= data->last_start_min
 542                             ? pos_before : data->last_start_min;
 543                         STRLEN l;
 544                         char *s = SvPV(data->last_found, l);
 545
 546                         l -= b - data->last_start_min;
 547                         /* Get the added string: */
 548                         last_str = newSVpv(s  +  b - data->last_start_min, l);
 549                         if (deltanext == 0 && pos_before == b) {
 550                             /* What was added is a constant string */
 551                             if (mincount > 1) {
 552                                 SvGROW(last_str, (mincount * l) + 1);
 553                                 repeatcpy(SvPVX(last_str) + l,
 554                                           SvPVX(last_str), l, mincount - 1);
 555                                 SvCUR(last_str) *= mincount;
 556                                 /* Add additional parts. */
 557                                 SvCUR_set(data->last_found,
 558                                           SvCUR(data->last_found) - l);
 559                                 sv_catsv(data->last_found, last_str);
 560                                 data->last_end += l * (mincount - 1);
 561                             }
 562                         }
 563                     }
 564                     /* It is counted once already... */
 565                     data->pos_min += minnext * (mincount - counted);
 566                     data->pos_delta += - counted * deltanext +
 567                         (minnext + deltanext) * maxcount - minnext * mincount;
 568                     if (mincount != maxcount) {
 569                         scan_commit(data);
 570                         if (mincount && last_str) {
 571                             sv_setsv(data->last_found, last_str);
 572                             data->last_end = data->pos_min;
 573                             data->last_start_min =
 574                                 data->pos_min - SvCUR(last_str);
 575                             data->last_start_max = is_inf
 576                                 ? I32_MAX
 577                                 : data->pos_min + data->pos_delta
 578                                 - SvCUR(last_str);
 579                         }
 580                         data->longest = &(data->longest_float);
 581                     }
 582                 }
 583                 if (data && (fl & SF_HAS_EVAL))
 584                     data->flags |= SF_HAS_EVAL;
 585               optimize_curly_tail:
 586                 if (OP(oscan) != CURLYX) {
 587                     while (regkind[(U8)OP(next = regnext(oscan))] == NOTHING
 588                            && NEXT_OFF(next))
 589                         NEXT_OFF(oscan) += NEXT_OFF(next);
 590                 }
 591                 continue;
 592             default:                    /* REF only? */
 593                 if (flags & SCF_DO_SUBSTR) {
 594                     scan_commit(data);
 595                     data->longest = &(data->longest_float);
 596                 }
 597                 is_inf = 1;
 598                 break;
 599             }
 600         } else if (strchr(simple,OP(scan))) {
 601             if (flags & SCF_DO_SUBSTR) {
 602                 scan_commit(data);
 603                 data->pos_min++;
 604             }
 605             min++;
 606         } else if (regkind[(U8)OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
 607             data->flags |= (OP(scan) == MEOL
 608                             ? SF_BEFORE_MEOL
 609                             : SF_BEFORE_SEOL);
 610         } else if (regkind[(U8)OP(scan)] == BRANCHJ
 611                    && (scan->flags || data)
 612                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM)) {
 613             I32 deltanext, minnext;
 614             regnode *nscan;
 615
 616             data_fake.flags = 0;
 617             next = regnext(scan);
 618             nscan = NEXTOPER(NEXTOPER(scan));
 619             minnext = study_chunk(&nscan, &deltanext, last, &data_fake, 0);
 620             if (scan->flags) {
 621                 if (deltanext) {
 622                     FAIL("variable length lookbehind not implemented");
 623                 } else if (minnext > U8_MAX) {
 624                     FAIL2("lookbehind longer than %d not implemented", U8_MAX);
 625                 }
 626                 scan->flags = minnext;
 627             }
 628             if (data && data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
 629                 pars++;
 630             if (data && (data_fake.flags & SF_HAS_EVAL))
 631                 data->flags |= SF_HAS_EVAL;
 632         } else if (OP(scan) == OPEN) {
 633             pars++;
 634         } else if (OP(scan) == CLOSE && ARG(scan) == is_par) {
 635             next = regnext(scan);
 636
 637             if ( next && (OP(next) != WHILEM) && next < last)
 638                 is_par = 0;             /* Disable optimization */
 639         } else if (OP(scan) == EVAL) {
 640                 if (data)
 641                     data->flags |= SF_HAS_EVAL;
 642         }
 643         /* Else: zero-length, ignore. */
 644         scan = regnext(scan);
 645     }
 646
 647   finish:
 648     *scanp = scan;
 649     *deltap = is_inf ? I32_MAX : delta;
 650     if (flags & SCF_DO_SUBSTR && is_inf)
 651         data->pos_delta = I32_MAX - data->pos_min;
 652     if (is_par > U8_MAX)
 653         is_par = 0;
 654     if (is_par && pars==1 && data) {
 655         data->flags |= SF_IN_PAR;
 656         data->flags &= ~SF_HAS_PAR;
 657     } else if (pars && data) {
 658         data->flags |= SF_HAS_PAR;
 659         data->flags &= ~SF_IN_PAR;
 660     }
 661     return min;
 662 }
 663
 664 STATIC I32
 665 add_data(I32 n, char *s)
 666 {
 667     if (regcomp_rx->data) {
 668         Renewc(regcomp_rx->data,
 669                sizeof(*regcomp_rx->data) + sizeof(void*) * (regcomp_rx->data->count + n - 1),
 670                char, struct reg_data);
 671         Renew(regcomp_rx->data->what, regcomp_rx->data->count + n, U8);
 672         regcomp_rx->data->count += n;
 673     } else {
 674         Newc(1207, regcomp_rx->data, sizeof(*regcomp_rx->data) + sizeof(void*) * (n - 1),
 675              char, struct reg_data);
 676         New(1208, regcomp_rx->data->what, n, U8);
 677         regcomp_rx->data->count = n;
 678     }
 679     Copy(s, regcomp_rx->data->what + regcomp_rx->data->count - n, n, U8);
 680     return regcomp_rx->data->count - n;
 681 }
 682
 683 /*
 684  - pregcomp - compile a regular expression into internal code
 685  *
 686  * We can't allocate space until we know how big the compiled form will be,
 687  * but we can't compile it (and thus know how big it is) until we've got a
 688  * place to put the code.  So we cheat:  we compile it twice, once with code
 689  * generation turned off and size counting turned on, and once "for real".
 690  * This also means that we don't allocate space until we are sure that the
 691  * thing really will compile successfully, and we never have to move the
 692  * code and thus invalidate pointers into it.  (Note that it has to be in
 693  * one piece because free() must be able to free it all.) [NB: not true in perl]
 694  *
 695  * Beware that the optimization-preparation code in here knows about some
 696  * of the structure of the compiled regexp.  [I'll say.]
 697  */
 698 regexp *
 699 pregcomp(char *exp, char *xend, PMOP *pm)
 700 {
 701     register regexp *r;
 702     regnode *scan;
 703     SV **longest;
 704     SV *longest_fixed;
 705     SV *longest_float;
 706     regnode *first;
 707     I32 flags;
 708     I32 minlen = 0;
 709     I32 sawplus = 0;
 710     I32 sawopen = 0;
 711
 712     if (exp == NULL)
 713         FAIL("NULL regexp argument");
 714
 715     regprecomp = savepvn(exp, xend - exp);
 716     DEBUG_r(PerlIO_printf(Perl_debug_log, "compiling RE `%*s'\n",
 717                           xend - exp, regprecomp));
 718     regflags = pm->op_pmflags;
 719     regsawback = 0;
 720
 721     regseen = 0;
 722     seen_zerolen = *exp == '^' ? -1 : 0;
 723     extralen = 0;
 724
 725     /* First pass: determine size, legality. */
 726     regcomp_parse = exp;
 727     regxend = xend;
 728     regnaughty = 0;
 729     regnpar = 1;
 730     regsize = 0L;
 731     regcode = &regdummy;
 732     regc((U8)MAGIC, (char*)regcode);
 733     if (reg(0, &flags) == NULL) {
 734         Safefree(regprecomp);
 735         regprecomp = Nullch;
 736         return(NULL);
 737     }
 738     DEBUG_r(PerlIO_printf(Perl_debug_log, "size %d ", regsize));
 739
 740     DEBUG_r(
 741         if (!colorset) {
 742             int i = 0;
 743             char *s = PerlEnv_getenv("TERMCAP_COLORS");
 744
 745             colorset = 1;
 746             if (s) {
 747                 colors[0] = s = savepv(s);
 748                 while (++i < 4) {
 749                     s = strchr(s, '\t');
 750                     if (!s)
 751                         FAIL("Not enough TABs in TERMCAP_COLORS");
 752                     *s = '\0';
 753                     colors[i] = ++s;
 754                 }
 755             } else {
 756                 while (i < 4)
 757                     colors[i++] = "";
 758             }
 759             /* Reset colors: */
 760             PerlIO_printf(Perl_debug_log, "%s%s%s%s",
 761                           colors[0],colors[1],colors[2],colors[3]);
 762         }
 763         );
 764
 765     /* Small enough for pointer-storage convention?
 766        If extralen==0, this means that we will not need long jumps. */
 767     if (regsize >= 0x10000L && extralen)
 768         regsize += extralen;
 769     else
 770         extralen = 0;
 771
 772     /* Allocate space and initialize. */
 773     Newc(1001, r, sizeof(regexp) + (unsigned)regsize * sizeof(regnode),
 774          char, regexp);
 775     if (r == NULL)
 776         FAIL("regexp out of space");
 777     r->refcnt = 1;
 778     r->prelen = xend - exp;
 779     r->precomp = regprecomp;
 780     r->subbeg = r->subbase = NULL;
 781     r->nparens = regnpar - 1;           /* set early to validate backrefs */
 782     regcomp_rx = r;
 783
 784     /* Second pass: emit code. */
 785     regcomp_parse = exp;
 786     regxend = xend;
 787     regnaughty = 0;
 788     regnpar = 1;
 789     regcode = r->program;
 790     regc((U8)MAGIC, (char*) regcode++);
 791     r->data = 0;
 792     if (reg(0, &flags) == NULL)
 793         return(NULL);
 794
 795     /* Dig out information for optimizations. */
 796     pm->op_pmflags = regflags;
 797     r->reganch = 0;
 798     r->regstclass = NULL;
 799     r->naughty = regnaughty >= 10;      /* Probably an expensive pattern. */
 800     scan = r->program + 1;              /* First BRANCH. */
 801
 802     /* XXXX To minimize changes to RE engine we always allocate
 803        3-units-long substrs field. */
 804     Newz(1004, r->substrs, 1, struct reg_substr_data);
 805
 806     if (OP(scan) != BRANCH) {   /* Only one top-level choice. */
 807         scan_data_t data;
 808         I32 fake;
 809         STRLEN longest_float_length, longest_fixed_length;
 810
 811         StructCopy(&zero_scan_data, &data, scan_data_t);
 812         first = scan;
 813         /* Skip introductions and multiplicators >= 1. */
 814         while ((OP(first) == OPEN && (sawopen = 1)) ||
 815             (OP(first) == BRANCH && OP(regnext(first)) != BRANCH) ||
 816             (OP(first) == PLUS) ||
 817             (OP(first) == MINMOD) ||
 818             (regkind[(U8)OP(first)] == CURLY && ARG1(first) > 0) ) {
 819                 if (OP(first) == PLUS)
 820                     sawplus = 1;
 821                 else
 822                     first += regarglen[(U8)OP(first)];
 823                 first = NEXTOPER(first);
 824         }
 825
 826         /* Starting-point info. */
 827       again:
 828         if (OP(first) == EXACT);        /* Empty, get anchored substr later. */
 829         else if (strchr(simple+2,OP(first)))
 830             r->regstclass = first;
 831         else if (regkind[(U8)OP(first)] == BOUND ||
 832                  regkind[(U8)OP(first)] == NBOUND)
 833             r->regstclass = first;
 834         else if (regkind[(U8)OP(first)] == BOL) {
 835             r->reganch |= (OP(first) == MBOL ? ROPT_ANCH_MBOL: ROPT_ANCH_BOL);
 836             first = NEXTOPER(first);
 837             goto again;
 838         }
 839         else if (OP(first) == GPOS) {
 840             r->reganch |= ROPT_ANCH_GPOS;
 841             first = NEXTOPER(first);
 842             goto again;
 843         }
 844         else if ((OP(first) == STAR &&
 845             regkind[(U8)OP(NEXTOPER(first))] == ANY) &&
 846             !(r->reganch & ROPT_ANCH) )
 847         {
 848             /* turn .* into ^.* with an implied $*=1 */
 849             r->reganch |= ROPT_ANCH_BOL | ROPT_IMPLICIT;
 850             first = NEXTOPER(first);
 851             goto again;
 852         }
 853         if (sawplus && (!sawopen || !regsawback))
 854             r->reganch |= ROPT_SKIP;    /* x+ must match 1st of run */
 855
 856         /* Scan is after the zeroth branch, first is atomic matcher. */
 857         DEBUG_r(PerlIO_printf(Perl_debug_log, "first at %d\n",
 858                               first - scan + 1));
 859         /*
 860         * If there's something expensive in the r.e., find the
 861         * longest literal string that must appear and make it the
 862         * regmust.  Resolve ties in favor of later strings, since
 863         * the regstart check works with the beginning of the r.e.
 864         * and avoiding duplication strengthens checking.  Not a
 865         * strong reason, but sufficient in the absence of others.
 866         * [Now we resolve ties in favor of the earlier string if
 867         * it happens that c_offset_min has been invalidated, since the
 868         * earlier string may buy us something the later one won't.]
 869         */
 870         minlen = 0;
 871
 872         data.longest_fixed = newSVpv("",0);
 873         data.longest_float = newSVpv("",0);
 874         data.last_found = newSVpv("",0);
 875         data.longest = &(data.longest_fixed);
 876         first = scan;
 877
 878         minlen = study_chunk(&first, &fake, scan + regsize, /* Up to end */
 879                              &data, SCF_DO_SUBSTR);
 880         if ( regnpar == 1 && data.longest == &(data.longest_fixed)
 881              && data.last_start_min == 0 && data.last_end > 0
 882              && !seen_zerolen
 883              && (!(regseen & REG_SEEN_GPOS) || (r->reganch & ROPT_ANCH_GPOS)))
 884             r->reganch |= ROPT_CHECK_ALL;
 885         scan_commit(&data);
 886         SvREFCNT_dec(data.last_found);
 887
 888         longest_float_length = SvCUR(data.longest_float);
 889         if (longest_float_length
 890             || (data.flags & SF_FL_BEFORE_EOL
 891                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 892                     || (regflags & PMf_MULTILINE)))) {
 893             if (SvCUR(data.longest_fixed)
 894                 && data.offset_fixed == data.offset_float_min)
 895                 goto remove;            /* Like in (a)+. */
 896
 897             r->float_substr = data.longest_float;
 898             r->float_min_offset = data.offset_float_min;
 899             r->float_max_offset = data.offset_float_max;
 900             fbm_compile(r->float_substr, 0);
 901             BmUSEFUL(r->float_substr) = 100;
 902             if (data.flags & SF_FL_BEFORE_EOL /* Cannot have SEOL and MULTI */
 903                 && (!(data.flags & SF_FL_BEFORE_MEOL)
 904                     || (regflags & PMf_MULTILINE)))
 905                 SvTAIL_on(r->float_substr);
 906         } else {
 907           remove:
 908             r->float_substr = Nullsv;
 909             SvREFCNT_dec(data.longest_float);
 910             longest_float_length = 0;
 911         }
 912
 913         longest_fixed_length = SvCUR(data.longest_fixed);
 914         if (longest_fixed_length
 915             || (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 916                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 917                     || (regflags & PMf_MULTILINE)))) {
 918             r->anchored_substr = data.longest_fixed;
 919             r->anchored_offset = data.offset_fixed;
 920             fbm_compile(r->anchored_substr, 0);
 921             BmUSEFUL(r->anchored_substr) = 100;
 922             if (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
 923                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
 924                     || (regflags & PMf_MULTILINE)))
 925                 SvTAIL_on(r->anchored_substr);
 926         } else {
 927             r->anchored_substr = Nullsv;
 928             SvREFCNT_dec(data.longest_fixed);
 929             longest_fixed_length = 0;
 930         }
 931
 932         /* A temporary algorithm prefers floated substr to fixed one to dig more info. */
 933         if (longest_fixed_length > longest_float_length) {
 934             r->check_substr = r->anchored_substr;
 935             r->check_offset_min = r->check_offset_max = r->anchored_offset;
 936             if (r->reganch & ROPT_ANCH_SINGLE)
 937                 r->reganch |= ROPT_NOSCAN;
 938         } else {
 939             r->check_substr = r->float_substr;
 940             r->check_offset_min = data.offset_float_min;
 941             r->check_offset_max = data.offset_float_max;
 942         }
 943     } else {
 944         /* Several toplevels. Best we can is to set minlen. */
 945         I32 fake;
 946
 947         DEBUG_r(PerlIO_printf(Perl_debug_log, "\n"));
 948         scan = r->program + 1;
 949         minlen = study_chunk(&scan, &fake, scan + regsize, NULL, 0);
 950         r->check_substr = r->anchored_substr = r->float_substr = Nullsv;
 951     }
 952
 953     r->minlen = minlen;
 954     if (regseen & REG_SEEN_GPOS)
 955         r->reganch |= ROPT_GPOS_SEEN;
 956     if (regseen & REG_SEEN_LOOKBEHIND)
 957         r->reganch |= ROPT_LOOKBEHIND_SEEN;
 958     if (regseen & REG_SEEN_EVAL)
 959         r->reganch |= ROPT_EVAL_SEEN;
 960     Newz(1002, r->startp, regnpar, char*);
 961     Newz(1002, r->endp, regnpar, char*);
 962     DEBUG_r(regdump(r));
 963     return(r);
 964 }
 965
 966 /*
 967  - reg - regular expression, i.e. main body or parenthesized thing
 968  *
 969  * Caller must absorb opening parenthesis.
 970  *
 971  * Combining parenthesis handling with the base level of regular expression
 972  * is a trifle forced, but the need to tie the tails of the branches to what
 973  * follows makes it hard to avoid.
 974  */
 975 STATIC regnode *
 976 reg(I32 paren, I32 *flagp)
 977     /* paren: Parenthesized? 0=top, 1=(, inside: changed to letter. */
 978 {
 979     register regnode *ret;              /* Will be the head of the group. */
 980     register regnode *br;
 981     register regnode *lastbr;
 982     register regnode *ender = 0;
 983     register I32 parno = 0;
 984     I32 flags, oregflags = regflags, have_branch = 0, open = 0;
 985     char c;
 986
 987     *flagp = 0;                         /* Tentatively. */
 988
 989     /* Make an OPEN node, if parenthesized. */
 990     if (paren) {
 991         if (*regcomp_parse == '?') {
 992             U16 posflags = 0, negflags = 0;
 993             U16 *flagsp = &posflags;
 994
 995             regcomp_parse++;
 996             paren = *regcomp_parse++;
 997             ret = NULL;                 /* For look-ahead/behind. */
 998             switch (paren) {
 999             case '<':
1000                 regseen |= REG_SEEN_LOOKBEHIND;
1001                 if (*regcomp_parse == '!')
1002                     paren = ',';
1003                 if (*regcomp_parse != '=' && *regcomp_parse != '!')
1004                     goto unknown;
1005                 regcomp_parse++;
1006             case '=':
1007             case '!':
1008                 seen_zerolen++;
1009             case ':':
1010             case '>':
1011                 break;
1012             case '$':
1013             case '@':
1014                 FAIL2("Sequence (?%c...) not implemented", (int)paren);
1015                 break;
1016             case '#':
1017                 while (*regcomp_parse && *regcomp_parse != ')')
1018                     regcomp_parse++;
1019                 if (*regcomp_parse != ')')
1020                     FAIL("Sequence (?#... not terminated");
1021                 nextchar();
1022                 *flagp = TRYAGAIN;
1023                 return NULL;
1024             case '{':
1025             {
1026                 dTHR;
1027                 I32 count = 1, n = 0;
1028                 char c;
1029                 char *s = regcomp_parse;
1030                 SV *sv;
1031                 OP_4tree *sop, *rop;
1032
1033                 seen_zerolen++;
1034                 regseen |= REG_SEEN_EVAL;
1035                 while (count && (c = *regcomp_parse)) {
1036                     if (c == '\\' && regcomp_parse[1])
1037                         regcomp_parse++;
1038                     else if (c == '{')
1039                         count++;
1040                     else if (c == '}')
1041                         count--;
1042                     regcomp_parse++;
1043                 }
1044                 if (*regcomp_parse != ')')
1045                     FAIL("Sequence (?{...}) not terminated or not {}-balanced");
1046                 if (!SIZE_ONLY) {
1047                     AV *av;
1048
1049                     if (regcomp_parse - 1 - s)
1050                         sv = newSVpv(s, regcomp_parse - 1 - s);
1051                     else
1052                         sv = newSVpv("", 0);
1053
1054                     rop = sv_compile_2op(sv, &sop, "re", &av);
1055
1056                     n = add_data(3, "nso");
1057                     regcomp_rx->data->data[n] = (void*)rop;
1058                     regcomp_rx->data->data[n+1] = (void*)av;
1059                     regcomp_rx->data->data[n+2] = (void*)sop;
1060                     SvREFCNT_dec(sv);
1061                 } else {                /* First pass */
1062                     if (curcop == &compiling) {
1063                         if (!(hints & HINT_RE_EVAL))
1064                             FAIL("Eval-group not allowed, use re 'eval'");
1065                     }
1066                     else {
1067                         FAIL("Eval-group not allowed at run time");
1068                     }
1069                     if (tainted)
1070                         FAIL("Eval-group in insecure regular expression");
1071                 }
1072
1073                 nextchar();
1074                 return reganode(EVAL, n);
1075             }
1076             case '(':
1077             {
1078                 if (regcomp_parse[0] == '?') {
1079                     if (regcomp_parse[1] == '=' || regcomp_parse[1] == '!'
1080                         || regcomp_parse[1] == '<'
1081                         || regcomp_parse[1] == '{') { /* Lookahead or eval. */
1082                         I32 flag;
1083
1084                         ret = reg_node(LOGICAL);
1085                         regtail(ret, reg(1, &flag));
1086                         goto insert_if;
1087                     }
1088                 } else if (regcomp_parse[0] >= '1' && regcomp_parse[0] <= '9' ) {
1089                     parno = atoi(regcomp_parse++);
1090
1091                     while (isDIGIT(*regcomp_parse))
1092                         regcomp_parse++;
1093                     ret = reganode(GROUPP, parno);
1094                     if ((c = *nextchar()) != ')')
1095                         FAIL2("Switch (?(number%c not recognized", c);
1096                   insert_if:
1097                     regtail(ret, reganode(IFTHEN, 0));
1098                     br = regbranch(&flags, 1);
1099                     if (br == NULL)
1100                         br = reganode(LONGJMP, 0);
1101                     else
1102                         regtail(br, reganode(LONGJMP, 0));
1103                     c = *nextchar();
1104                     if (c == '|') {
1105                         lastbr = reganode(IFTHEN, 0); /* Fake one for optimizer. */
1106                         regbranch(&flags, 1);
1107                         regtail(ret, lastbr);
1108                         c = *nextchar();
1109                     } else
1110                         lastbr = NULL;
1111                     if (c != ')')
1112                         FAIL("Switch (?(condition)... contains too many branches");
1113                     ender = reg_node(TAIL);
1114                     regtail(br, ender);
1115                     if (lastbr) {
1116                         regtail(lastbr, ender);
1117                         regtail(NEXTOPER(NEXTOPER(lastbr)), ender);
1118                     } else
1119                         regtail(ret, ender);
1120                     return ret;
1121                 } else {
1122                     FAIL2("Unknown condition for (?(%.2s", regcomp_parse);
1123                 }
1124             }
1125             case 0:
1126                 FAIL("Sequence (? incomplete");
1127                 break;
1128             default:
1129                 --regcomp_parse;
1130               parse_flags:
1131                 while (*regcomp_parse && strchr("iogcmsx", *regcomp_parse)) {
1132                     if (*regcomp_parse != 'o')
1133                         pmflag(flagsp, *regcomp_parse);
1134                     ++regcomp_parse;
1135                 }
1136                 if (*regcomp_parse == '-') {
1137                     flagsp = &negflags;
1138                     ++regcomp_parse;
1139                     goto parse_flags;
1140                 }
1141                 regflags |= posflags;
1142                 regflags &= ~negflags;
1143                 if (*regcomp_parse == ':') {
1144                     regcomp_parse++;
1145                     paren = ':';
1146                     break;
1147                 }
1148               unknown:
1149                 if (*regcomp_parse != ')')
1150                     FAIL2("Sequence (?%c...) not recognized", *regcomp_parse);
1151                 nextchar();
1152                 *flagp = TRYAGAIN;
1153                 return NULL;
1154             }
1155         }
1156         else {
1157             parno = regnpar;
1158             regnpar++;
1159             ret = reganode(OPEN, parno);
1160             open = 1;
1161         }
1162     } else
1163         ret = NULL;
1164
1165     /* Pick up the branches, linking them together. */
1166     br = regbranch(&flags, 1);
1167     if (br == NULL)
1168         return(NULL);
1169     if (*regcomp_parse == '|') {
1170         if (!SIZE_ONLY && extralen) {
1171             reginsert(BRANCHJ, br);
1172         } else
1173             reginsert(BRANCH, br);
1174         have_branch = 1;
1175         if (SIZE_ONLY)
1176             extralen += 1;              /* For BRANCHJ-BRANCH. */
1177     } else if (paren == ':') {
1178         *flagp |= flags&SIMPLE;
1179     }
1180     if (open) {                         /* Starts with OPEN. */
1181         regtail(ret, br);               /* OPEN -> first. */
1182     } else if (paren != '?')            /* Not Conditional */
1183         ret = br;
1184     if (flags&HASWIDTH)
1185         *flagp |= HASWIDTH;
1186     *flagp |= flags&SPSTART;
1187     lastbr = br;
1188     while (*regcomp_parse == '|') {
1189         if (!SIZE_ONLY && extralen) {
1190             ender = reganode(LONGJMP,0);
1191             regtail(NEXTOPER(NEXTOPER(lastbr)), ender); /* Append to the previous. */
1192         }
1193         if (SIZE_ONLY)
1194             extralen += 2;              /* Account for LONGJMP. */
1195         nextchar();
1196         br = regbranch(&flags, 0);
1197         if (br == NULL)
1198             return(NULL);
1199         regtail(lastbr, br);            /* BRANCH -> BRANCH. */
1200         lastbr = br;
1201         if (flags&HASWIDTH)
1202             *flagp |= HASWIDTH;
1203         *flagp |= flags&SPSTART;
1204     }
1205
1206     if (have_branch || paren != ':') {
1207         /* Make a closing node, and hook it on the end. */
1208         switch (paren) {
1209         case ':':
1210             ender = reg_node(TAIL);
1211             break;
1212         case 1:
1213             ender = reganode(CLOSE, parno);
1214             break;
1215         case '<':
1216         case ',':
1217         case '=':
1218         case '!':
1219             *flagp &= ~HASWIDTH;
1220             /* FALL THROUGH */
1221         case '>':
1222             ender = reg_node(SUCCEED);
1223             break;
1224         case 0:
1225             ender = reg_node(END);
1226             break;
1227         }
1228         regtail(lastbr, ender);
1229
1230         if (have_branch) {
1231             /* Hook the tails of the branches to the closing node. */
1232             for (br = ret; br != NULL; br = regnext(br)) {
1233                 regoptail(br, ender);
1234             }
1235         }
1236     }
1237
1238     {
1239         char *p;
1240         static char parens[] = "=!<,>";
1241
1242         if (paren && (p = strchr(parens, paren))) {
1243             int node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
1244             int flag = (p - parens) > 1;
1245
1246             if (paren == '>')
1247                 node = SUSPEND, flag = 0;
1248             reginsert(node,ret);
1249             ret->flags = flag;
1250             regtail(ret, reg_node(TAIL));
1251         }
1252     }
1253
1254     /* Check for proper termination. */
1255     if (paren && (regcomp_parse >= regxend || *nextchar() != ')')) {
1256         FAIL("unmatched () in regexp");
1257     } else if (!paren && regcomp_parse < regxend) {
1258         if (*regcomp_parse == ')') {
1259             FAIL("unmatched () in regexp");
1260         } else
1261             FAIL("junk on end of regexp");      /* "Can't happen". */
1262         /* NOTREACHED */
1263     }
1264     if (paren != 0) {
1265         regflags = oregflags;
1266     }
1267
1268     return(ret);
1269 }
1270
1271 /*
1272  - regbranch - one alternative of an | operator
1273  *
1274  * Implements the concatenation operator.
1275  */
1276 STATIC regnode *
1277 regbranch(I32 *flagp, I32 first)
1278 {
1279     register regnode *ret;
1280     register regnode *chain = NULL;
1281     register regnode *latest;
1282     I32 flags = 0, c = 0;
1283
1284     if (first)
1285         ret = NULL;
1286     else {
1287         if (!SIZE_ONLY && extralen)
1288             ret = reganode(BRANCHJ,0);
1289         else
1290             ret = reg_node(BRANCH);
1291     }
1292
1293     if (!first && SIZE_ONLY)
1294         extralen += 1;                  /* BRANCHJ */
1295
1296     *flagp = WORST;                     /* Tentatively. */
1297
1298     regcomp_parse--;
1299     nextchar();
1300     while (regcomp_parse < regxend && *regcomp_parse != '|' && *regcomp_parse != ')') {
1301         flags &= ~TRYAGAIN;
1302         latest = regpiece(&flags);
1303         if (latest == NULL) {
1304             if (flags & TRYAGAIN)
1305                 continue;
1306             return(NULL);
1307         } else if (ret == NULL)
1308             ret = latest;
1309         *flagp |= flags&HASWIDTH;
1310         if (chain == NULL)      /* First piece. */
1311             *flagp |= flags&SPSTART;
1312         else {
1313             regnaughty++;
1314             regtail(chain, latest);
1315         }
1316         chain = latest;
1317         c++;
1318     }
1319     if (chain == NULL) {        /* Loop ran zero times. */
1320         chain = reg_node(NOTHING);
1321         if (ret == NULL)
1322             ret = chain;
1323     }
1324     if (c == 1) {
1325         *flagp |= flags&SIMPLE;
1326     }
1327
1328     return(ret);
1329 }
1330
1331 /*
1332  - regpiece - something followed by possible [*+?]
1333  *
1334  * Note that the branching code sequences used for ? and the general cases
1335  * of * and + are somewhat optimized:  they use the same NOTHING node as
1336  * both the endmarker for their branch list and the body of the last branch.
1337  * It might seem that this node could be dispensed with entirely, but the
1338  * endmarker role is not redundant.
1339  */
1340 STATIC regnode *
1341 regpiece(I32 *flagp)
1342 {
1343     register regnode *ret;
1344     register char op;
1345     register char *next;
1346     I32 flags;
1347     char *origparse = regcomp_parse;
1348     char *maxpos;
1349     I32 min;
1350     I32 max = REG_INFTY;
1351
1352     ret = regatom(&flags);
1353     if (ret == NULL) {
1354         if (flags & TRYAGAIN)
1355             *flagp |= TRYAGAIN;
1356         return(NULL);
1357     }
1358
1359     op = *regcomp_parse;
1360
1361     if (op == '{' && regcurly(regcomp_parse)) {
1362         next = regcomp_parse + 1;
1363         maxpos = Nullch;
1364         while (isDIGIT(*next) || *next == ',') {
1365             if (*next == ',') {
1366                 if (maxpos)
1367                     break;
1368                 else
1369                     maxpos = next;
1370             }
1371             next++;
1372         }
1373         if (*next == '}') {             /* got one */
1374             if (!maxpos)
1375                 maxpos = next;
1376             regcomp_parse++;
1377             min = atoi(regcomp_parse);
1378             if (*maxpos == ',')
1379                 maxpos++;
1380             else
1381                 maxpos = regcomp_parse;
1382             max = atoi(maxpos);
1383             if (!max && *maxpos != '0')
1384                 max = REG_INFTY;                /* meaning "infinity" */
1385             else if (max >= REG_INFTY)
1386                 FAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
1387             regcomp_parse = next;
1388             nextchar();
1389
1390         do_curly:
1391             if ((flags&SIMPLE)) {
1392                 regnaughty += 2 + regnaughty / 2;
1393                 reginsert(CURLY, ret);
1394             }
1395             else {
1396                 regnaughty += 4 + regnaughty;   /* compound interest */
1397                 regtail(ret, reg_node(WHILEM));
1398                 if (!SIZE_ONLY && extralen) {
1399                     reginsert(LONGJMP,ret);
1400                     reginsert(NOTHING,ret);
1401                     NEXT_OFF(ret) = 3;  /* Go over LONGJMP. */
1402                 }
1403                 reginsert(CURLYX,ret);
1404                 if (!SIZE_ONLY && extralen)
1405                     NEXT_OFF(ret) = 3;  /* Go over NOTHING to LONGJMP. */
1406                 regtail(ret, reg_node(NOTHING));
1407                 if (SIZE_ONLY)
1408                     extralen += 3;
1409             }
1410             ret->flags = 0;
1411
1412             if (min > 0)
1413                 *flagp = WORST;
1414             if (max > 0)
1415                 *flagp |= HASWIDTH;
1416             if (max && max < min)
1417                 FAIL("Can't do {n,m} with n > m");
1418             if (!SIZE_ONLY) {
1419                 ARG1_SET(ret, min);
1420                 ARG2_SET(ret, max);
1421             }
1422
1423             goto nest_check;
1424         }
1425     }
1426
1427     if (!ISMULT1(op)) {
1428         *flagp = flags;
1429         return(ret);
1430     }
1431
1432 #if 0                           /* Now runtime fix should be reliable. */
1433     if (!(flags&HASWIDTH) && op != '?')
1434       FAIL("regexp *+ operand could be empty");
1435 #endif
1436
1437     nextchar();
1438
1439     *flagp = (op != '+') ? (WORST|SPSTART|HASWIDTH) : (WORST|HASWIDTH);
1440
1441     if (op == '*' && (flags&SIMPLE)) {
1442         reginsert(STAR, ret);
1443         ret->flags = 0;
1444         regnaughty += 4;
1445     }
1446     else if (op == '*') {
1447         min = 0;
1448         goto do_curly;
1449     } else if (op == '+' && (flags&SIMPLE)) {
1450         reginsert(PLUS, ret);
1451         ret->flags = 0;
1452         regnaughty += 3;
1453     }
1454     else if (op == '+') {
1455         min = 1;
1456         goto do_curly;
1457     } else if (op == '?') {
1458         min = 0; max = 1;
1459         goto do_curly;
1460     }
1461   nest_check:
1462     if (dowarn && !SIZE_ONLY && !(flags&HASWIDTH) && max > 10000) {
1463         warn("%.*s matches null string many times",
1464             regcomp_parse - origparse, origparse);
1465     }
1466
1467     if (*regcomp_parse == '?') {
1468         nextchar();
1469         reginsert(MINMOD, ret);
1470         regtail(ret, ret + NODE_STEP_REGNODE);
1471     }
1472     if (ISMULT2(regcomp_parse))
1473         FAIL("nested *?+ in regexp");
1474
1475     return(ret);
1476 }
1477
1478 /*
1479  - regatom - the lowest level
1480  *
1481  * Optimization:  gobbles an entire sequence of ordinary characters so that
1482  * it can turn them into a single node, which is smaller to store and
1483  * faster to run.  Backslashed characters are exceptions, each becoming a
1484  * separate node; the code is simpler that way and it's not worth fixing.
1485  *
1486  * [Yes, it is worth fixing, some scripts can run twice the speed.]
1487  */
1488 STATIC regnode *
1489 regatom(I32 *flagp)
1490 {
1491     register regnode *ret = 0;
1492     I32 flags;
1493
1494     *flagp = WORST;             /* Tentatively. */
1495
1496 tryagain:
1497     switch (*regcomp_parse) {
1498     case '^':
1499         seen_zerolen++;
1500         nextchar();
1501         if (regflags & PMf_MULTILINE)
1502             ret = reg_node(MBOL);
1503         else if (regflags & PMf_SINGLELINE)
1504             ret = reg_node(SBOL);
1505         else
1506             ret = reg_node(BOL);
1507         break;
1508     case '$':
1509         if (regcomp_parse[1])
1510             seen_zerolen++;
1511         nextchar();
1512         if (regflags & PMf_MULTILINE)
1513             ret = reg_node(MEOL);
1514         else if (regflags & PMf_SINGLELINE)
1515             ret = reg_node(SEOL);
1516         else
1517             ret = reg_node(EOL);
1518         break;
1519     case '.':
1520         nextchar();
1521         if (regflags & PMf_SINGLELINE)
1522             ret = reg_node(SANY);
1523         else
1524             ret = reg_node(ANY);
1525         regnaughty++;
1526         *flagp |= HASWIDTH|SIMPLE;
1527         break;
1528     case '[':
1529         regcomp_parse++;
1530         ret = regclass();
1531         *flagp |= HASWIDTH|SIMPLE;
1532         break;
1533     case '(':
1534         nextchar();
1535         ret = reg(1, &flags);
1536         if (ret == NULL) {
1537                 if (flags & TRYAGAIN)
1538                     goto tryagain;
1539                 return(NULL);
1540         }
1541         *flagp |= flags&(HASWIDTH|SPSTART|SIMPLE);
1542         break;
1543     case '|':
1544     case ')':
1545         if (flags & TRYAGAIN) {
1546             *flagp |= TRYAGAIN;
1547             return NULL;
1548         }
1549         FAIL2("internal urp in regexp at /%s/", regcomp_parse);
1550                                 /* Supposed to be caught earlier. */
1551         break;
1552     case '{':
1553         if (!regcurly(regcomp_parse)) {
1554             regcomp_parse++;
1555             goto defchar;
1556         }
1557         /* FALL THROUGH */
1558     case '?':
1559     case '+':
1560     case '*':
1561         FAIL("?+*{} follows nothing in regexp");
1562         break;
1563     case '\\':
1564         switch (*++regcomp_parse) {
1565         case 'A':
1566             seen_zerolen++;
1567             ret = reg_node(SBOL);
1568             *flagp |= SIMPLE;
1569             nextchar();
1570             break;
1571         case 'G':
1572             ret = reg_node(GPOS);
1573             regseen |= REG_SEEN_GPOS;
1574             *flagp |= SIMPLE;
1575             nextchar();
1576             break;
1577         case 'Z':
1578             ret = reg_node(SEOL);
1579             *flagp |= SIMPLE;
1580             nextchar();
1581             break;
1582         case 'z':
1583             ret = reg_node(EOS);
1584             *flagp |= SIMPLE;
1585             seen_zerolen++;             /* Do not optimize RE away */
1586             nextchar();
1587             break;
1588         case 'w':
1589             ret = reg_node((regflags & PMf_LOCALE) ? ALNUML : ALNUM);
1590             *flagp |= HASWIDTH|SIMPLE;
1591             nextchar();
1592             break;
1593         case 'W':
1594             ret = reg_node((regflags & PMf_LOCALE) ? NALNUML : NALNUM);
1595             *flagp |= HASWIDTH|SIMPLE;
1596             nextchar();
1597             break;
1598         case 'b':
1599             seen_zerolen++;
1600             ret = reg_node((regflags & PMf_LOCALE) ? BOUNDL : BOUND);
1601             *flagp |= SIMPLE;
1602             nextchar();
1603             break;
1604         case 'B':
1605             seen_zerolen++;
1606             ret = reg_node((regflags & PMf_LOCALE) ? NBOUNDL : NBOUND);
1607             *flagp |= SIMPLE;
1608             nextchar();
1609             break;
1610         case 's':
1611             ret = reg_node((regflags & PMf_LOCALE) ? SPACEL : SPACE);
1612             *flagp |= HASWIDTH|SIMPLE;
1613             nextchar();
1614             break;
1615         case 'S':
1616             ret = reg_node((regflags & PMf_LOCALE) ? NSPACEL : NSPACE);
1617             *flagp |= HASWIDTH|SIMPLE;
1618             nextchar();
1619             break;
1620         case 'd':
1621             ret = reg_node(DIGIT);
1622             *flagp |= HASWIDTH|SIMPLE;
1623             nextchar();
1624             break;
1625         case 'D':
1626             ret = reg_node(NDIGIT);
1627             *flagp |= HASWIDTH|SIMPLE;
1628             nextchar();
1629             break;
1630         case 'n':
1631         case 'r':
1632         case 't':
1633         case 'f':
1634         case 'e':
1635         case 'a':
1636         case 'x':
1637         case 'c':
1638         case '0':
1639             goto defchar;
1640         case '1': case '2': case '3': case '4':
1641         case '5': case '6': case '7': case '8': case '9':
1642             {
1643                 I32 num = atoi(regcomp_parse);
1644
1645                 if (num > 9 && num >= regnpar)
1646                     goto defchar;
1647                 else {
1648                     if (!SIZE_ONLY && num > regcomp_rx->nparens)
1649                         FAIL("reference to nonexistent group");
1650                     regsawback = 1;
1651                     ret = reganode((regflags & PMf_FOLD)
1652                                    ? ((regflags & PMf_LOCALE) ? REFFL : REFF)
1653                                    : REF, num);
1654                     *flagp |= HASWIDTH;
1655                     while (isDIGIT(*regcomp_parse))
1656                         regcomp_parse++;
1657                     regcomp_parse--;
1658                     nextchar();
1659                 }
1660             }
1661             break;
1662         case '\0':
1663             if (regcomp_parse >= regxend)
1664                 FAIL("trailing \\ in regexp");
1665             /* FALL THROUGH */
1666         default:
1667             goto defchar;
1668         }
1669         break;
1670
1671     case '#':
1672         if (regflags & PMf_EXTENDED) {
1673             while (regcomp_parse < regxend && *regcomp_parse != '\n') regcomp_parse++;
1674             if (regcomp_parse < regxend)
1675                 goto tryagain;
1676         }
1677         /* FALL THROUGH */
1678
1679     default: {
1680             register I32 len;
1681             register U8 ender;
1682             register char *p;
1683             char *oldp, *s;
1684             I32 numlen;
1685
1686             regcomp_parse++;
1687
1688         defchar:
1689             ret = reg_node((regflags & PMf_FOLD)
1690                           ? ((regflags & PMf_LOCALE) ? EXACTFL : EXACTF)
1691                           : EXACT);
1692             s = (char *) OPERAND(ret);
1693             regc(0, s++);               /* save spot for len */
1694             for (len = 0, p = regcomp_parse - 1;
1695               len < 127 && p < regxend;
1696               len++)
1697             {
1698                 oldp = p;
1699
1700                 if (regflags & PMf_EXTENDED)
1701                     p = regwhite(p, regxend);
1702                 switch (*p) {
1703                 case '^':
1704                 case '$':
1705                 case '.':
1706                 case '[':
1707                 case '(':
1708                 case ')':
1709                 case '|':
1710                     goto loopdone;
1711                 case '\\':
1712                     switch (*++p) {
1713                     case 'A':
1714                     case 'G':
1715                     case 'Z':
1716                     case 'z':
1717                     case 'w':
1718                     case 'W':
1719                     case 'b':
1720                     case 'B':
1721                     case 's':
1722                     case 'S':
1723                     case 'd':
1724                     case 'D':
1725                         --p;
1726                         goto loopdone;
1727                     case 'n':
1728                         ender = '\n';
1729                         p++;
1730                         break;
1731                     case 'r':
1732                         ender = '\r';
1733                         p++;
1734                         break;
1735                     case 't':
1736                         ender = '\t';
1737                         p++;
1738                         break;
1739                     case 'f':
1740                         ender = '\f';
1741                         p++;
1742                         break;
1743                     case 'e':
1744                         ender = '\033';
1745                         p++;
1746                         break;
1747                     case 'a':
1748                         ender = '\007';
1749                         p++;
1750                         break;
1751                     case 'x':
1752                         ender = scan_hex(++p, 2, &numlen);
1753                         p += numlen;
1754                         break;
1755                     case 'c':
1756                         p++;
1757                         ender = UCHARAT(p++);
1758                         ender = toCTRL(ender);
1759                         break;
1760                     case '0': case '1': case '2': case '3':case '4':
1761                     case '5': case '6': case '7': case '8':case '9':
1762                         if (*p == '0' ||
1763                           (isDIGIT(p[1]) && atoi(p) >= regnpar) ) {
1764                             ender = scan_oct(p, 3, &numlen);
1765                             p += numlen;
1766                         }
1767                         else {
1768                             --p;
1769                             goto loopdone;
1770                         }
1771                         break;
1772                     case '\0':
1773                         if (p >= regxend)
1774                             FAIL("trailing \\ in regexp");
1775                         /* FALL THROUGH */
1776                     default:
1777                         ender = *p++;
1778                         break;
1779                     }
1780                     break;
1781                 default:
1782                     ender = *p++;
1783                     break;
1784                 }
1785                 if (regflags & PMf_EXTENDED)
1786                     p = regwhite(p, regxend);
1787                 if (ISMULT2(p)) { /* Back off on ?+*. */
1788                     if (len)
1789                         p = oldp;
1790                     else {
1791                         len++;
1792                         regc(ender, s++);
1793                     }
1794                     break;
1795                 }
1796                 regc(ender, s++);
1797             }
1798         loopdone:
1799             regcomp_parse = p - 1;
1800             nextchar();
1801             if (len < 0)
1802                 FAIL("internal disaster in regexp");
1803             if (len > 0)
1804                 *flagp |= HASWIDTH;
1805             if (len == 1)
1806                 *flagp |= SIMPLE;
1807             if (!SIZE_ONLY)
1808                 *OPERAND(ret) = len;
1809             regc('\0', s++);
1810             if (SIZE_ONLY) {
1811                 regsize += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1812             } else {
1813                 regcode += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1814             }
1815         }
1816         break;
1817     }
1818
1819     return(ret);
1820 }
1821
1822 STATIC char *
1823 regwhite(char *p, char *e)
1824 {
1825     while (p < e) {
1826         if (isSPACE(*p))
1827             ++p;
1828         else if (*p == '#') {
1829             do {
1830                 p++;
1831             } while (p < e && *p != '\n');
1832         }
1833         else
1834             break;
1835     }
1836     return p;
1837 }
1838
1839 STATIC regnode *
1840 regclass(void)
1841 {
1842     register char *opnd, *s;
1843     register I32 Class;
1844     register I32 lastclass = 1234;
1845     register I32 range = 0;
1846     register regnode *ret;
1847     register I32 def;
1848     I32 numlen;
1849
1850     s = opnd = (char *) OPERAND(regcode);
1851     ret = reg_node(ANYOF);
1852     for (Class = 0; Class < 33; Class++)
1853         regc(0, s++);
1854     if (*regcomp_parse == '^') {        /* Complement of range. */
1855         regnaughty++;
1856         regcomp_parse++;
1857         if (!SIZE_ONLY)
1858             *opnd |= ANYOF_INVERT;
1859     }
1860     if (!SIZE_ONLY) {
1861         regcode += ANY_SKIP;
1862         if (regflags & PMf_FOLD)
1863             *opnd |= ANYOF_FOLD;
1864         if (regflags & PMf_LOCALE)
1865             *opnd |= ANYOF_LOCALE;
1866     } else {
1867         regsize += ANY_SKIP;
1868     }
1869     if (*regcomp_parse == ']' || *regcomp_parse == '-')
1870         goto skipcond;          /* allow 1st char to be ] or - */
1871     while (regcomp_parse < regxend && *regcomp_parse != ']') {
1872        skipcond:
1873         Class = UCHARAT(regcomp_parse++);
1874         if (Class == '[' && regcomp_parse + 1 < regxend &&
1875             /* I smell either [: or [= or [. -- POSIX has been here, right? */
1876             (*regcomp_parse == ':' || *regcomp_parse == '=' || *regcomp_parse == '.')) {
1877             char  posixccc = *regcomp_parse;
1878             char* posixccs = regcomp_parse++;
1879
1880             while (regcomp_parse < regxend && *regcomp_parse != posixccc)
1881                 regcomp_parse++;
1882             if (regcomp_parse == regxend)
1883                 /* Grandfather lone [:, [=, [. */
1884                 regcomp_parse = posixccs;
1885             else {
1886                 regcomp_parse++; /* skip over the posixccc */
1887                 if (*regcomp_parse == ']') {
1888                     /* Not Implemented Yet.
1889                      * (POSIX Extended Character Classes, that is)
1890                      * The text between e.g. [: and :] would start
1891                      * at posixccs + 1 and stop at regcomp_parse - 2. */
1892                     if (dowarn && !SIZE_ONLY)
1893                         warn("Character class syntax [%c %c] is reserved for future extensions", posixccc, posixccc);
1894                     regcomp_parse++; /* skip over the ending ] */
1895                 }
1896             }
1897         }
1898         if (Class == '\\') {
1899             Class = UCHARAT(regcomp_parse++);
1900             switch (Class) {
1901             case 'w':
1902                 if (!SIZE_ONLY) {
1903                     if (regflags & PMf_LOCALE)
1904                         *opnd |= ANYOF_ALNUML;
1905                     else {
1906                         for (Class = 0; Class < 256; Class++)
1907                             if (isALNUM(Class))
1908                                 ANYOF_SET(opnd, Class);
1909                     }
1910                 }
1911                 lastclass = 1234;
1912                 continue;
1913             case 'W':
1914                 if (!SIZE_ONLY) {
1915                     if (regflags & PMf_LOCALE)
1916                         *opnd |= ANYOF_NALNUML;
1917                     else {
1918                         for (Class = 0; Class < 256; Class++)
1919                             if (!isALNUM(Class))
1920                                 ANYOF_SET(opnd, Class);
1921                     }
1922                 }
1923                 lastclass = 1234;
1924                 continue;
1925             case 's':
1926                 if (!SIZE_ONLY) {
1927                     if (regflags & PMf_LOCALE)
1928                         *opnd |= ANYOF_SPACEL;
1929                     else {
1930                         for (Class = 0; Class < 256; Class++)
1931                             if (isSPACE(Class))
1932                                 ANYOF_SET(opnd, Class);
1933                     }
1934                 }
1935                 lastclass = 1234;
1936                 continue;
1937             case 'S':
1938                 if (!SIZE_ONLY) {
1939                     if (regflags & PMf_LOCALE)
1940                         *opnd |= ANYOF_NSPACEL;
1941                     else {
1942                         for (Class = 0; Class < 256; Class++)
1943                             if (!isSPACE(Class))
1944                                 ANYOF_SET(opnd, Class);
1945                     }
1946                 }
1947                 lastclass = 1234;
1948                 continue;
1949             case 'd':
1950                 if (!SIZE_ONLY) {
1951                     for (Class = '0'; Class <= '9'; Class++)
1952                         ANYOF_SET(opnd, Class);
1953                 }
1954                 lastclass = 1234;
1955                 continue;
1956             case 'D':
1957                 if (!SIZE_ONLY) {
1958                     for (Class = 0; Class < '0'; Class++)
1959                         ANYOF_SET(opnd, Class);
1960                     for (Class = '9' + 1; Class < 256; Class++)
1961                         ANYOF_SET(opnd, Class);
1962                 }
1963                 lastclass = 1234;
1964                 continue;
1965             case 'n':
1966                 Class = '\n';
1967                 break;
1968             case 'r':
1969                 Class = '\r';
1970                 break;
1971             case 't':
1972                 Class = '\t';
1973                 break;
1974             case 'f':
1975                 Class = '\f';
1976                 break;
1977             case 'b':
1978                 Class = '\b';
1979                 break;
1980             case 'e':
1981                 Class = '\033';
1982                 break;
1983             case 'a':
1984                 Class = '\007';
1985                 break;
1986             case 'x':
1987                 Class = scan_hex(regcomp_parse, 2, &numlen);
1988                 regcomp_parse += numlen;
1989                 break;
1990             case 'c':
1991                 Class = UCHARAT(regcomp_parse++);
1992                 Class = toCTRL(Class);
1993                 break;
1994             case '0': case '1': case '2': case '3': case '4':
1995             case '5': case '6': case '7': case '8': case '9':
1996                 Class = scan_oct(--regcomp_parse, 3, &numlen);
1997                 regcomp_parse += numlen;
1998                 break;
1999             }
2000         }
2001         if (range) {
2002             if (lastclass > Class)
2003                 FAIL("invalid [] range in regexp");
2004             range = 0;
2005         }
2006         else {
2007             lastclass = Class;
2008             if (*regcomp_parse == '-' && regcomp_parse+1 < regxend &&
2009               regcomp_parse[1] != ']') {
2010                 regcomp_parse++;
2011                 range = 1;
2012                 continue;       /* do it next time */
2013             }
2014         }
2015         if (!SIZE_ONLY) {
2016             for ( ; lastclass <= Class; lastclass++)
2017                 ANYOF_SET(opnd, lastclass);
2018         }
2019         lastclass = Class;
2020     }
2021     if (*regcomp_parse != ']')
2022         FAIL("unmatched [] in regexp");
2023     nextchar();
2024     /* optimize case-insensitive simple patterns (e.g. /[a-z]/i) */
2025     if (!SIZE_ONLY && (*opnd & (0xFF ^ ANYOF_INVERT)) == ANYOF_FOLD) {
2026         for (Class = 0; Class < 256; ++Class) {
2027             if (ANYOF_TEST(opnd, Class)) {
2028                 I32 cf = fold[Class];
2029                 ANYOF_SET(opnd, cf);
2030             }
2031         }
2032         *opnd &= ~ANYOF_FOLD;
2033     }
2034     /* optimize inverted simple patterns (e.g. [^a-z]) */
2035     if (!SIZE_ONLY && (*opnd & 0xFF) == ANYOF_INVERT) {
2036         for (Class = 0; Class < 32; ++Class)
2037             opnd[1 + Class] ^= 0xFF;
2038         *opnd = 0;
2039     }
2040     return ret;
2041 }
2042
2043 STATIC char*
2044 nextchar(void)
2045 {
2046     char* retval = regcomp_parse++;
2047
2048     for (;;) {
2049         if (*regcomp_parse == '(' && regcomp_parse[1] == '?' &&
2050                 regcomp_parse[2] == '#') {
2051             while (*regcomp_parse && *regcomp_parse != ')')
2052                 regcomp_parse++;
2053             regcomp_parse++;
2054             continue;
2055         }
2056         if (regflags & PMf_EXTENDED) {
2057             if (isSPACE(*regcomp_parse)) {
2058                 regcomp_parse++;
2059                 continue;
2060             }
2061             else if (*regcomp_parse == '#') {
2062                 while (*regcomp_parse && *regcomp_parse != '\n')
2063                     regcomp_parse++;
2064                 regcomp_parse++;
2065                 continue;
2066             }
2067         }
2068         return retval;
2069     }
2070 }
2071
2072 /*
2073 - reg_node - emit a node
2074 */
2075 STATIC regnode *                        /* Location. */
2076 reg_node(U8 op)
2077 {
2078     register regnode *ret;
2079     register regnode *ptr;
2080
2081     ret = regcode;
2082     if (SIZE_ONLY) {
2083         SIZE_ALIGN(regsize);
2084         regsize += 1;
2085         return(ret);
2086     }
2087
2088     NODE_ALIGN_FILL(ret);
2089     ptr = ret;
2090     FILL_ADVANCE_NODE(ptr, op);
2091     regcode = ptr;
2092
2093     return(ret);
2094 }
2095
2096 /*
2097 - reganode - emit a node with an argument
2098 */
2099 STATIC regnode *                        /* Location. */
2100 reganode(U8 op, U32 arg)
2101 {
2102     register regnode *ret;
2103     register regnode *ptr;
2104
2105     ret = regcode;
2106     if (SIZE_ONLY) {
2107         SIZE_ALIGN(regsize);
2108         regsize += 2;
2109         return(ret);
2110     }
2111
2112     NODE_ALIGN_FILL(ret);
2113     ptr = ret;
2114     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
2115     regcode = ptr;
2116
2117     return(ret);
2118 }
2119
2120 /*
2121 - regc - emit (if appropriate) a byte of code
2122 */
2123 STATIC void
2124 regc(U8 b, char* s)
2125 {
2126     if (!SIZE_ONLY)
2127         *s = b;
2128 }
2129
2130 /*
2131 - reginsert - insert an operator in front of already-emitted operand
2132 *
2133 * Means relocating the operand.
2134 */
2135 STATIC void
2136 reginsert(U8 op, regnode *opnd)
2137 {
2138     register regnode *src;
2139     register regnode *dst;
2140     register regnode *place;
2141     register int offset = regarglen[(U8)op];
2142
2143 /* (regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
2144
2145     if (SIZE_ONLY) {
2146         regsize += NODE_STEP_REGNODE + offset;
2147         return;
2148     }
2149
2150     src = regcode;
2151     regcode += NODE_STEP_REGNODE + offset;
2152     dst = regcode;
2153     while (src > opnd)
2154         StructCopy(--src, --dst, regnode);
2155
2156     place = opnd;               /* Op node, where operand used to be. */
2157     src = NEXTOPER(place);
2158     FILL_ADVANCE_NODE(place, op);
2159     Zero(src, offset, regnode);
2160 }
2161
2162 /*
2163 - regtail - set the next-pointer at the end of a node chain of p to val.
2164 */
2165 STATIC void
2166 regtail(regnode *p, regnode *val)
2167 {
2168     register regnode *scan;
2169     register regnode *temp;
2170     register I32 offset;
2171
2172     if (SIZE_ONLY)
2173         return;
2174
2175     /* Find last node. */
2176     scan = p;
2177     for (;;) {
2178         temp = regnext(scan);
2179         if (temp == NULL)
2180             break;
2181         scan = temp;
2182     }
2183
2184     if (reg_off_by_arg[OP(scan)]) {
2185         ARG_SET(scan, val - scan);
2186     } else {
2187         NEXT_OFF(scan) = val - scan;
2188     }
2189 }
2190
2191 /*
2192 - regoptail - regtail on operand of first argument; nop if operandless
2193 */
2194 STATIC void
2195 regoptail(regnode *p, regnode *val)
2196 {
2197     /* "Operandless" and "op != BRANCH" are synonymous in practice. */
2198     if (p == NULL || SIZE_ONLY)
2199         return;
2200     if (regkind[(U8)OP(p)] == BRANCH) {
2201         regtail(NEXTOPER(p), val);
2202     } else if ( regkind[(U8)OP(p)] == BRANCHJ) {
2203         regtail(NEXTOPER(NEXTOPER(p)), val);
2204     } else
2205         return;
2206 }
2207
2208 /*
2209  - regcurly - a little FSA that accepts {\d+,?\d*}
2210  */
2211 STATIC I32
2212 regcurly(register char *s)
2213 {
2214     if (*s++ != '{')
2215         return FALSE;
2216     if (!isDIGIT(*s))
2217         return FALSE;
2218     while (isDIGIT(*s))
2219         s++;
2220     if (*s == ',')
2221         s++;
2222     while (isDIGIT(*s))
2223         s++;
2224     if (*s != '}')
2225         return FALSE;
2226     return TRUE;
2227 }
2228
2229
2230 STATIC regnode *
2231 dumpuntil(regnode *start, regnode *node, regnode *last, SV* sv, I32 l)
2232 {
2233 #ifdef DEBUGGING
2234     register char op = EXACT;   /* Arbitrary non-END op. */
2235     register regnode *next, *onode;
2236
2237     while (op != END && (!last || node < last)) {
2238         /* While that wasn't END last time... */
2239
2240         NODE_ALIGN(node);
2241         op = OP(node);
2242         if (op == CLOSE)
2243             l--;
2244         next = regnext(node);
2245         /* Where, what. */
2246         if (OP(node) == OPTIMIZED)
2247             goto after_print;
2248         regprop(sv, node);
2249         PerlIO_printf(Perl_debug_log, "%4d%*s%s", node - start,
2250                       2*l + 1, "", SvPVX(sv));
2251         if (next == NULL)               /* Next ptr. */
2252             PerlIO_printf(Perl_debug_log, "(0)");
2253         else
2254             PerlIO_printf(Perl_debug_log, "(%d)", next - start);
2255         (void)PerlIO_putc(Perl_debug_log, '\n');
2256       after_print:
2257         if (regkind[(U8)op] == BRANCHJ) {
2258             register regnode *nnode = (OP(next) == LONGJMP
2259                                        ? regnext(next)
2260                                        : next);
2261             if (last && nnode > last)
2262                 nnode = last;
2263             node = dumpuntil(start, NEXTOPER(NEXTOPER(node)), nnode, sv, l + 1);
2264         } else if (regkind[(U8)op] == BRANCH) {
2265             node = dumpuntil(start, NEXTOPER(node), next, sv, l + 1);
2266         } else if ( op == CURLY) {   /* `next' might be very big: optimizer */
2267             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2268                              NEXTOPER(node) + EXTRA_STEP_2ARGS + 1, sv, l + 1);
2269         } else if (regkind[(U8)op] == CURLY && op != CURLYX) {
2270             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2271                              next, sv, l + 1);
2272         } else if ( op == PLUS || op == STAR) {
2273             node = dumpuntil(start, NEXTOPER(node), NEXTOPER(node) + 1, sv, l + 1);
2274         } else if (op == ANYOF) {
2275             node = NEXTOPER(node);
2276             node += ANY_SKIP;
2277         } else if (regkind[(U8)op] == EXACT) {
2278             /* Literal string, where present. */
2279             node += ((*OPERAND(node)) + 2 + sizeof(regnode) - 1) / sizeof(regnode);
2280             node = NEXTOPER(node);
2281         } else {
2282             node = NEXTOPER(node);
2283             node += regarglen[(U8)op];
2284         }
2285         if (op == CURLYX || op == OPEN)
2286             l++;
2287         else if (op == WHILEM)
2288             l--;
2289     }
2290 #endif  /* DEBUGGING */
2291     return node;
2292 }
2293
2294 /*
2295  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
2296  */
2297 void
2298 regdump(regexp *r)
2299 {
2300 #ifdef DEBUGGING
2301     SV *sv = sv_newmortal();
2302
2303     (void)dumpuntil(r->program, r->program + 1, NULL, sv, 0);
2304
2305     /* Header fields of interest. */
2306     if (r->anchored_substr)
2307         PerlIO_printf(Perl_debug_log, "anchored `%s%s%s'%s at %d ",
2308                       colors[0],
2309                       SvPVX(r->anchored_substr),
2310                       colors[1],
2311                       SvTAIL(r->anchored_substr) ? "$" : "",
2312                       r->anchored_offset);
2313     if (r->float_substr)
2314         PerlIO_printf(Perl_debug_log, "floating `%s%s%s'%s at %d..%u ",
2315                       colors[0],
2316                       SvPVX(r->float_substr),
2317                       colors[1],
2318                       SvTAIL(r->float_substr) ? "$" : "",
2319                       r->float_min_offset, r->float_max_offset);
2320     if (r->check_substr)
2321         PerlIO_printf(Perl_debug_log,
2322                       r->check_substr == r->float_substr
2323                       ? "(checking floating" : "(checking anchored");
2324     if (r->reganch & ROPT_NOSCAN)
2325         PerlIO_printf(Perl_debug_log, " noscan");
2326     if (r->reganch & ROPT_CHECK_ALL)
2327         PerlIO_printf(Perl_debug_log, " isall");
2328     if (r->check_substr)
2329         PerlIO_printf(Perl_debug_log, ") ");
2330
2331     if (r->regstclass) {
2332         regprop(sv, r->regstclass);
2333         PerlIO_printf(Perl_debug_log, "stclass `%s' ", SvPVX(sv));
2334     }
2335     if (r->reganch & ROPT_ANCH) {
2336         PerlIO_printf(Perl_debug_log, "anchored");
2337         if (r->reganch & ROPT_ANCH_BOL)
2338             PerlIO_printf(Perl_debug_log, "(BOL)");
2339         if (r->reganch & ROPT_ANCH_MBOL)
2340             PerlIO_printf(Perl_debug_log, "(MBOL)");
2341         if (r->reganch & ROPT_ANCH_GPOS)
2342             PerlIO_printf(Perl_debug_log, "(GPOS)");
2343         PerlIO_putc(Perl_debug_log, ' ');
2344     }
2345     if (r->reganch & ROPT_GPOS_SEEN)
2346         PerlIO_printf(Perl_debug_log, "GPOS ");
2347     if (r->reganch & ROPT_SKIP)
2348         PerlIO_printf(Perl_debug_log, "plus ");
2349     if (r->reganch & ROPT_IMPLICIT)
2350         PerlIO_printf(Perl_debug_log, "implicit ");
2351     PerlIO_printf(Perl_debug_log, "minlen %ld ", (long) r->minlen);
2352     if (r->reganch & ROPT_EVAL_SEEN)
2353         PerlIO_printf(Perl_debug_log, "with eval ");
2354     PerlIO_printf(Perl_debug_log, "\n");
2355 #endif  /* DEBUGGING */
2356 }
2357
2358 /*
2359 - regprop - printable representation of opcode
2360 */
2361 void
2362 regprop(SV *sv, regnode *o)
2363 {
2364 #ifdef DEBUGGING
2365     register char *p = 0;
2366
2367     sv_setpv(sv, ":");
2368     switch (OP(o)) {
2369     case BOL:
2370         p = "BOL";
2371         break;
2372     case MBOL:
2373         p = "MBOL";
2374         break;
2375     case SBOL:
2376         p = "SBOL";
2377         break;
2378     case EOL:
2379         p = "EOL";
2380         break;
2381     case EOS:
2382         p = "EOS";
2383         break;
2384     case MEOL:
2385         p = "MEOL";
2386         break;
2387     case SEOL:
2388         p = "SEOL";
2389         break;
2390     case ANY:
2391         p = "ANY";
2392         break;
2393     case SANY:
2394         p = "SANY";
2395         break;
2396     case ANYOF:
2397         p = "ANYOF";
2398         break;
2399     case BRANCH:
2400         p = "BRANCH";
2401         break;
2402     case EXACT:
2403         sv_catpvf(sv, "EXACT <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2404         break;
2405     case EXACTF:
2406         sv_catpvf(sv, "EXACTF <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2407         break;
2408     case EXACTFL:
2409         sv_catpvf(sv, "EXACTFL <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2410         break;
2411     case NOTHING:
2412         p = "NOTHING";
2413         break;
2414     case TAIL:
2415         p = "TAIL";
2416         break;
2417     case BACK:
2418         p = "BACK";
2419         break;
2420     case END:
2421         p = "END";
2422         break;
2423     case BOUND:
2424         p = "BOUND";
2425         break;
2426     case BOUNDL:
2427         p = "BOUNDL";
2428         break;
2429     case NBOUND:
2430         p = "NBOUND";
2431         break;
2432     case NBOUNDL:
2433         p = "NBOUNDL";
2434         break;
2435     case CURLY:
2436         sv_catpvf(sv, "CURLY {%d,%d}", ARG1(o), ARG2(o));
2437         break;
2438     case CURLYM:
2439         sv_catpvf(sv, "CURLYM[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2440         break;
2441     case CURLYN:
2442         sv_catpvf(sv, "CURLYN[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2443         break;
2444     case CURLYX:
2445         sv_catpvf(sv, "CURLYX {%d,%d}", ARG1(o), ARG2(o));
2446         break;
2447     case REF:
2448         sv_catpvf(sv, "REF%d", ARG(o));
2449         break;
2450     case REFF:
2451         sv_catpvf(sv, "REFF%d", ARG(o));
2452         break;
2453     case REFFL:
2454         sv_catpvf(sv, "REFFL%d", ARG(o));
2455         break;
2456     case OPEN:
2457         sv_catpvf(sv, "OPEN%d", ARG(o));
2458         break;
2459     case CLOSE:
2460         sv_catpvf(sv, "CLOSE%d", ARG(o));
2461         p = NULL;
2462         break;
2463     case STAR:
2464         p = "STAR";
2465         break;
2466     case PLUS:
2467         p = "PLUS";
2468         break;
2469     case MINMOD:
2470         p = "MINMOD";
2471         break;
2472     case GPOS:
2473         p = "GPOS";
2474         break;
2475     case UNLESSM:
2476         sv_catpvf(sv, "UNLESSM[-%d]", o->flags);
2477         break;
2478     case IFMATCH:
2479         sv_catpvf(sv, "IFMATCH[-%d]", o->flags);
2480         break;
2481     case SUCCEED:
2482         p = "SUCCEED";
2483         break;
2484     case WHILEM:
2485         p = "WHILEM";
2486         break;
2487     case DIGIT:
2488         p = "DIGIT";
2489         break;
2490     case NDIGIT:
2491         p = "NDIGIT";
2492         break;
2493     case ALNUM:
2494         p = "ALNUM";
2495         break;
2496     case NALNUM:
2497         p = "NALNUM";
2498         break;
2499     case SPACE:
2500         p = "SPACE";
2501         break;
2502     case NSPACE:
2503         p = "NSPACE";
2504         break;
2505     case ALNUML:
2506         p = "ALNUML";
2507         break;
2508     case NALNUML:
2509         p = "NALNUML";
2510         break;
2511     case SPACEL:
2512         p = "SPACEL";
2513         break;
2514     case NSPACEL:
2515         p = "NSPACEL";
2516         break;
2517     case EVAL:
2518         p = "EVAL";
2519         break;
2520     case LONGJMP:
2521         p = "LONGJMP";
2522         break;
2523     case BRANCHJ:
2524         p = "BRANCHJ";
2525         break;
2526     case IFTHEN:
2527         p = "IFTHEN";
2528         break;
2529     case GROUPP:
2530         sv_catpvf(sv, "GROUPP%d", ARG(o));
2531         break;
2532     case LOGICAL:
2533         p = "LOGICAL";
2534         break;
2535     case SUSPEND:
2536         p = "SUSPEND";
2537         break;
2538     case RENUM:
2539         p = "RENUM";
2540         break;
2541     case OPTIMIZED:
2542         p = "OPTIMIZED";
2543         break;
2544     default:
2545         FAIL("corrupted regexp opcode");
2546     }
2547     if (p)
2548         sv_catpv(sv, p);
2549 #endif  /* DEBUGGING */
2550 }
2551
2552 void
2553 pregfree(struct regexp *r)
2554 {
2555     if (!r || (--r->refcnt > 0))
2556         return;
2557     if (r->precomp)
2558         Safefree(r->precomp);
2559     if (r->subbase)
2560         Safefree(r->subbase);
2561     if (r->substrs) {
2562         if (r->anchored_substr)
2563             SvREFCNT_dec(r->anchored_substr);
2564         if (r->float_substr)
2565             SvREFCNT_dec(r->float_substr);
2566         Safefree(r->substrs);
2567     }
2568     if (r->data) {
2569         int n = r->data->count;
2570         while (--n >= 0) {
2571             switch (r->data->what[n]) {
2572             case 's':
2573                 SvREFCNT_dec((SV*)r->data->data[n]);
2574                 break;
2575             case 'o':
2576                 op_free((OP_4tree*)r->data->data[n]);
2577                 break;
2578             case 'n':
2579                 break;
2580             default:
2581                 FAIL2("panic: regfree data code '%c'", r->data->what[n]);
2582             }
2583         }
2584         Safefree(r->data->what);
2585         Safefree(r->data);
2586     }
2587     Safefree(r->startp);
2588     Safefree(r->endp);
2589     Safefree(r);
2590 }
2591
2592 /*
2593  - regnext - dig the "next" pointer out of a node
2594  *
2595  * [Note, when REGALIGN is defined there are two places in regmatch()
2596  * that bypass this code for speed.]
2597  */
2598 regnode *
2599 regnext(register regnode *p)
2600 {
2601     register I32 offset;
2602
2603     if (p == &regdummy)
2604         return(NULL);
2605
2606     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
2607     if (offset == 0)
2608         return(NULL);
2609
2610     return(p+offset);
2611 }
2612
2613 STATIC void
2614 re_croak2(const char* pat1,const char* pat2,...)
2615 {
2616     va_list args;
2617     STRLEN l1 = strlen(pat1);
2618     STRLEN l2 = strlen(pat2);
2619     char buf[512];
2620     char *message;
2621
2622     if (l1 > 510)
2623         l1 = 510;
2624     if (l1 + l2 > 510)
2625         l2 = 510 - l1;
2626     Copy(pat1, buf, l1 , char);
2627     Copy(pat2, buf + l1, l2 , char);
2628     buf[l1 + l2] = '\n';
2629     buf[l1 + l2 + 1] = '\0';
2630     va_start(args, pat2);
2631     message = mess(buf, &args);
2632     va_end(args);
2633     l1 = strlen(message);
2634     if (l1 > 512)
2635         l1 = 512;
2636     Copy(message, buf, l1 , char);
2637     buf[l1] = '\0';                     /* Overwrite \n */
2638     croak("%s", buf);
2639 }