Re-introduce the changes from change 68 (runops becomes a
[p5sagit/p5-mst-13.2.git] / toke.c
diff --git a/toke.c b/toke.c
index d1c60dd..78ae386 100644 (file)
--- a/toke.c
+++ b/toke.c
@@ -22,13 +22,15 @@ static SV *q _((SV *sv));
 static char *scan_const _((char *start));
 static char *scan_formline _((char *s));
 static char *scan_heredoc _((char *s));
-static char *scan_ident _((char *s, char *send, char *dest, I32 ck_uni));
+static char *scan_ident _((char *s, char *send, char *dest, STRLEN destlen,
+                          I32 ck_uni));
 static char *scan_inputsymbol _((char *start));
 static char *scan_pat _((char *start));
 static char *scan_str _((char *start));
 static char *scan_subst _((char *start));
 static char *scan_trans _((char *start));
-static char *scan_word _((char *s, char *dest, int allow_package, STRLEN *slp));
+static char *scan_word _((char *s, char *dest, STRLEN destlen,
+                         int allow_package, STRLEN *slp));
 static char *skipspace _((char *s));
 static void checkcomma _((char *s, char *name, char *what));
 static void force_ident _((char *s, int kind));
@@ -48,6 +50,8 @@ static int uni _((I32 f, char *s));
 static char * filter_gets _((SV *sv, PerlIO *fp, STRLEN append));
 static void restore_rsfp _((void *f));
 
+static char ident_too_long[] = "Identifier too long";
+
 static char *linestart;                /* beg. of most recently read line */
 
 static char pending_ident;     /* pending identifier lookup */
@@ -159,13 +163,9 @@ char *s;
 {
     char *oldbp = bufptr;
     bool is_first = (oldbufptr == linestart);
-    char *msg;
 
     bufptr = s;
-    New(890, msg, strlen(what) + 40, char);
-    sprintf(msg, "%s found where operator expected", what);
-    yywarn(msg);
-    Safefree(msg);
+    yywarn(form("%s found where operator expected", what));
     if (is_first)
        warn("\t(Missing semicolon on previous line?)\n");
     else if (oldoldbufptr && isIDFIRST(*oldoldbufptr)) {
@@ -226,6 +226,7 @@ void
 lex_start(line)
 SV *line;
 {
+    dTHR;
     char *s;
     STRLEN len;
 
@@ -309,6 +310,7 @@ static void
 incline(s)
 char *s;
 {
+    dTHR;
     char *t;
     char *n;
     char ch;
@@ -350,6 +352,7 @@ static char *
 skipspace(s)
 register char *s;
 {
+    dTHR;
     if (lex_formbrack && lex_brackets <= lex_formbrack) {
        while (s < bufend && (*s == ' ' || *s == '\t'))
            s++;
@@ -458,6 +461,7 @@ expectation x;
 char *s;
 #endif /* CAN_PROTOTYPE */
 {
+    dTHR;
     yylval.ival = f;
     CLINE;
     expect = x;
@@ -505,7 +509,7 @@ int allow_tick;
        (allow_pack && *s == ':') ||
        (allow_tick && *s == '\'') )
     {
-       s = scan_word(s, tokenbuf, allow_pack, &len);
+       s = scan_word(s, tokenbuf, sizeof tokenbuf, allow_pack, &len);
        if (check_keyword && keyword(tokenbuf, len))
            return start;
        if (token == METHOD) {
@@ -531,11 +535,12 @@ register char *s;
 int kind;
 {
     if (s && *s) {
-       OP* op = (OP*)newSVOP(OP_CONST, 0, newSVpv(s,0));
-       nextval[nexttoke].opval = op;
+       OP* o = (OP*)newSVOP(OP_CONST, 0, newSVpv(s,0));
+       nextval[nexttoke].opval = o;
        force_next(WORD);
        if (kind) {
-           op->op_private = OPpCONST_ENTERED;
+           dTHR;               /* just for in_eval */
+           o->op_private = OPpCONST_ENTERED;
            /* XXX see note in pp_entereval() for why we forgo typo
               warnings if the symbol must be introduced in an eval.
               GSAR 96-10-12 */
@@ -622,7 +627,11 @@ sublex_start()
        return THING;
     }
     if (op_type == OP_CONST || op_type == OP_READLINE) {
-       yylval.opval = (OP*)newSVOP(op_type, 0, q(lex_stuff));
+       SV *sv = q(lex_stuff);
+       STRLEN len;
+       char *p = SvPV(sv, len);
+       yylval.opval = (OP*)newSVOP(op_type, 0, newSVpv(p, len));
+       SvREFCNT_dec(sv);
        lex_stuff = Nullsv;
        return THING;
     }
@@ -645,6 +654,7 @@ sublex_start()
 static I32
 sublex_push()
 {
+    dTHR;
     push_scope();
 
     lex_state = sublex_info.super_state;
@@ -749,7 +759,7 @@ char *start;
     register char *d = SvPVX(sv);
     bool dorange = FALSE;
     I32 len;
-    char *leave =
+    char *leaveit =
        lex_inpat
            ? "\\.^$@AGZdDwWsSbB+*?|()-nrtfeaxc0123456789[{]} \t\n\r\f\v#"
            : (lex_inwhat & OP_TRANS)
@@ -795,7 +805,7 @@ char *start;
        }
        if (*s == '\\' && s+1 < send) {
            s++;
-           if (*s && strchr(leave, *s)) {
+           if (*s && strchr(leaveit, *s)) {
                *d++ = '\\';
                *d++ = *s++;
                continue;
@@ -919,7 +929,7 @@ register char *s;
        char seen[256];
        unsigned char un_char = 0, last_un_char;
        char *send = strchr(s,']');
-       char tmpbuf[512];
+       char tmpbuf[sizeof tokenbuf * 4];
 
        if (!send)              /* has to be an expression */
            return TRUE;
@@ -944,7 +954,7 @@ register char *s;
            case '$':
                weight -= seen[un_char] * 10;
                if (isALNUM(s[1])) {
-                   scan_ident(s,send,tmpbuf,FALSE);
+                   scan_ident(s, send, tmpbuf, sizeof tmpbuf, FALSE);
                    if ((int)strlen(tmpbuf) > 1 && gv_fetchpv(tmpbuf,FALSE, SVt_PV))
                        weight -= 100;
                    else
@@ -1014,7 +1024,7 @@ char *start;
 GV *gv;
 {
     char *s = start + (*start == '$');
-    char tmpbuf[1024];
+    char tmpbuf[sizeof tokenbuf];
     STRLEN len;
     GV* indirgv;
 
@@ -1024,7 +1034,7 @@ GV *gv;
        if (!GvCVu(gv))
            gv = 0;
     }
-    s = scan_word(s, tmpbuf, TRUE, &len);
+    s = scan_word(s, tmpbuf, sizeof tmpbuf, TRUE, &len);
     if (*start == '$') {
        if (gv || last_lop_op == OP_PRINT || isUPPER(*tokenbuf))
            return 0;
@@ -1222,6 +1232,7 @@ EXT int yychar;           /* last token */
 int
 yylex()
 {
+    dTHR;
     register char *s;
     register char *d;
     register I32 tmp;
@@ -1239,7 +1250,8 @@ yylex()
            return PRIVATEREF;
        }
 
-       if (!strchr(tokenbuf,':') && (tmp = pad_findmy(tokenbuf))) {
+       if (!strchr(tokenbuf,':')
+           && (tmp = pad_findmy(tokenbuf)) != NOT_IN_PAD) {
            if (last_lop_op == OP_SORT &&
                tokenbuf[0] == '$' &&
                (tokenbuf[1] == 'a' || tokenbuf[1] == 'b')
@@ -1264,12 +1276,9 @@ yylex()
        /* Force them to make up their mind on "@foo". */
        if (pit == '@' && lex_state != LEX_NORMAL && !lex_brackets) {
            GV *gv = gv_fetchpv(tokenbuf+1, FALSE, SVt_PVAV);
-           if (!gv || ((tokenbuf[0] == '@') ? !GvAV(gv) : !GvHV(gv))) {
-               char tmpbuf[1024];
-               sprintf(tmpbuf, "In string, %s now must be written as \\%s",
-                       tokenbuf, tokenbuf);
-               yyerror(tmpbuf);
-           }
+           if (!gv || ((tokenbuf[0] == '@') ? !GvAV(gv) : !GvHV(gv)))
+               yyerror(form("In string, %s now must be written as \\%s",
+                            tokenbuf, tokenbuf));
        }
 
        yylval.opval = (OP*)newSVOP(OP_CONST, 0, newSVpv(tokenbuf+1, 0));
@@ -1458,8 +1467,7 @@ yylex()
   retry:
     switch (*s) {
     default:
-       warn("Unrecognized character \\%03o ignored", *s++ & 255);
-       goto retry;
+       croak("Unrecognized character \\%03o", *s & 255);
     case 4:
     case 26:
        goto fake_eof;                  /* emulate EOF on ^D or ^Z */
@@ -1499,14 +1507,23 @@ yylex()
                    if (gv)
                        GvIMPORTED_AV_on(gv);
                    if (minus_F) {
-                       char tmpbuf1[50];
-                       if ( splitstr[0] == '/' || 
-                            splitstr[0] == '\'' || 
-                            splitstr[0] == '"' )
-                           sprintf( tmpbuf1, "@F=split(%s);", splitstr );
-                       else
-                           sprintf( tmpbuf1, "@F=split('%s');", splitstr );
-                       sv_catpv(linestr,tmpbuf1);
+                       if (strchr("/'\"", *splitstr)
+                             && strchr(splitstr + 1, *splitstr))
+                           sv_catpvf(linestr, "@F=split(%s);", splitstr);
+                       else {
+                           char delim;
+                           s = "'~#\200\1'"; /* surely one char is unused...*/
+                           while (s[1] && strchr(splitstr, *s))  s++;
+                           delim = *s;
+                           sv_catpvf(linestr, "@F=split(%s%c",
+                                     "q" + (delim == '\''), delim);
+                           for (s = splitstr; *s; s++) {
+                               if (*s == '\\')
+                                   sv_catpvn(linestr, "\\", 1);
+                               sv_catpvn(linestr, s, 1);
+                           }
+                           sv_catpvf(linestr, "%c);", delim);
+                       }
                    }
                    else
                        sv_catpv(linestr,"@F=split(' ');");
@@ -1671,15 +1688,23 @@ yylex()
                    croak("Can't exec %s", ipath);
                }
                if (d) {
-                   int oldpdb = perldb;
-                   int oldn = minus_n;
-                   int oldp = minus_p;
+                   U32 oldpdb = perldb;
+                   bool oldn = minus_n;
+                   bool oldp = minus_p;
 
                    while (*d && !isSPACE(*d)) d++;
                    while (*d == ' ' || *d == '\t') d++;
 
                    if (*d++ == '-') {
-                       while (d = moreswitches(d)) ;
+                       do {
+                           if (*d == 'M' || *d == 'm') {
+                               char *m = d;
+                               while (*d && !isSPACE(*d)) d++;
+                               croak("Too late for \"-%.*s\" option",
+                                     (int)(d - m), m);
+                           }
+                           d = moreswitches(d);
+                       } while (d);
                        if (perldb && !oldpdb ||
                            ( minus_n || minus_p ) && !(oldn || oldp) )
                              /* if we have already added "LINE: while (<>) {",
@@ -1704,7 +1729,9 @@ yylex()
        }
        goto retry;
     case '\r':
-       croak("Illegal character \\%03o (carriage return)", '\r');
+       warn("Illegal character \\%03o (carriage return)", '\r');
+       croak(
+      "(Maybe you didn't strip carriage returns after a network transfer?)\n");
     case ' ': case '\t': case '\f': case 013:
        s++;
        goto retry;
@@ -1826,7 +1853,7 @@ yylex()
 
     case '*':
        if (expect != XOPERATOR) {
-           s = scan_ident(s, bufend, tokenbuf, TRUE);
+           s = scan_ident(s, bufend, tokenbuf, sizeof tokenbuf, TRUE);
            expect = XOPERATOR;
            force_ident(tokenbuf, '*');
            if (!*tokenbuf)
@@ -1846,7 +1873,7 @@ yylex()
            Mop(OP_MODULO);
        }
        tokenbuf[0] = '%';
-       s = scan_ident(s, bufend, tokenbuf+1, TRUE);
+       s = scan_ident(s, bufend, tokenbuf + 1, sizeof tokenbuf - 1, TRUE);
        if (!tokenbuf[1]) {
            if (s == bufend)
                yyerror("Final % should be \\% or %name");
@@ -1936,7 +1963,8 @@ yylex()
                    d++;
            }
            if (d < bufend && isIDFIRST(*d)) {
-               d = scan_word(d, tokenbuf + 1, FALSE, &len);
+               d = scan_word(d, tokenbuf + 1, sizeof tokenbuf - 1,
+                             FALSE, &len);
                while (d < bufend && (*d == ' ' || *d == '\t'))
                    d++;
                if (*d == '}') {
@@ -2041,7 +2069,7 @@ yylex()
            BAop(OP_BIT_AND);
        }
 
-       s = scan_ident(s-1, bufend, tokenbuf, TRUE);
+       s = scan_ident(s - 1, bufend, tokenbuf, sizeof tokenbuf, TRUE);
        if (*tokenbuf) {
            expect = XOPERATOR;
            force_ident(tokenbuf, '&');
@@ -2163,7 +2191,8 @@ yylex()
            if (expect == XOPERATOR)
                no_op("Array length", bufptr);
            tokenbuf[0] = '@';
-           s = scan_ident(s+1, bufend, tokenbuf+1, FALSE);
+           s = scan_ident(s + 1, bufend, tokenbuf + 1, sizeof tokenbuf - 1,
+                          FALSE);
            if (!tokenbuf[1])
                PREREF(DOLSHARP);
            expect = XOPERATOR;
@@ -2174,7 +2203,7 @@ yylex()
        if (expect == XOPERATOR)
            no_op("Scalar", bufptr);
        tokenbuf[0] = '$';
-       s = scan_ident(s, bufend, tokenbuf+1, FALSE);
+       s = scan_ident(s, bufend, tokenbuf + 1, sizeof tokenbuf - 1, FALSE);
        if (!tokenbuf[1]) {
            if (s == bufend)
                yyerror("Final $ should be \\$ or $name");
@@ -2215,11 +2244,11 @@ yylex()
                if (dowarn && strEQ(tokenbuf+1, "SIG") &&
                    (t = strchr(s, '}')) && (t = strchr(t, '=')))
                {
-                   char tmpbuf[1024];
+                   char tmpbuf[sizeof tokenbuf];
                    STRLEN len;
                    for (t++; isSPACE(*t); t++) ;
                    if (isIDFIRST(*t)) {
-                       t = scan_word(t, tmpbuf, TRUE, &len);
+                       t = scan_word(t, tmpbuf, sizeof tmpbuf, TRUE, &len);
                        if (*t != '(' && perl_get_cv(tmpbuf, FALSE))
                            warn("You need to quote \"%s\"", tmpbuf);
                    }
@@ -2237,8 +2266,8 @@ yylex()
            else if (strchr("&*<%", *s) && isIDFIRST(s[1]))
                expect = XTERM;         /* e.g. print $fh &sub */
            else if (isIDFIRST(*s)) {
-               char tmpbuf[1024];
-               scan_word(s, tmpbuf, TRUE, &len);
+               char tmpbuf[sizeof tokenbuf];
+               scan_word(s, tmpbuf, sizeof tmpbuf, TRUE, &len);
                if (keyword(tmpbuf, len))
                    expect = XTERM;     /* e.g. print $fh length() */
                else {
@@ -2263,7 +2292,7 @@ yylex()
        if (expect == XOPERATOR)
            no_op("Array", s);
        tokenbuf[0] = '@';
-       s = scan_ident(s, bufend, tokenbuf+1, FALSE);
+       s = scan_ident(s, bufend, tokenbuf + 1, sizeof tokenbuf - 1, FALSE);
        if (!tokenbuf[1]) {
            if (s == bufend)
                yyerror("Final @ should be \\@ or @name");
@@ -2429,7 +2458,7 @@ yylex()
 
       keylookup:
        bufptr = s;
-       s = scan_word(s, tokenbuf, FALSE, &len);
+       s = scan_word(s, tokenbuf, sizeof tokenbuf, FALSE, &len);
 
        /* Some keywords can be followed by any delimiter, including ':' */
        tmp = (len == 1 && strchr("msyq", tokenbuf[0]) ||
@@ -2487,12 +2516,14 @@ yylex()
        default:                        /* not a keyword */
          just_a_word: {
                GV *gv;
+               SV *sv;
                char lastchar = (bufptr == oldoldbufptr ? 0 : bufptr[-1]);
 
                /* Get the rest if it looks like a package qualifier */
 
                if (*s == '\'' || *s == ':' && s[1] == ':') {
-                   s = scan_word(s, tokenbuf + len, TRUE, &len);
+                   s = scan_word(s, tokenbuf + len, sizeof tokenbuf - len,
+                                 TRUE, &len);
                    if (!len)
                        croak("Bad name after %s::", tokenbuf);
                }
@@ -2504,7 +2535,7 @@ yylex()
                        curcop->cop_line++;
                    }
                    else
-                       no_op("Bare word",s);
+                       no_op("Bareword",s);
                }
 
                /* Look for a subroutine with this name in current package. */
@@ -2553,6 +2584,13 @@ yylex()
                s = skipspace(s);
                if (*s == '(') {
                    CLINE;
+                   if (gv && GvCVu(gv)) {
+                       for (d = s + 1; *d == ' ' || *d == '\t'; d++) ;
+                       if (*d == ')' && (sv = cv_const_sv(GvCV(gv)))) {
+                           s = d + 1;
+                           goto its_constant;
+                       }
+                   }
                    nextval[nexttoke].opval = yylval.opval;
                    expect = XOPERATOR;
                    force_next(WORD);
@@ -2576,28 +2614,20 @@ yylex()
                /* Not a method, so call it a subroutine (if defined) */
 
                if (gv && GvCVu(gv)) {
-                   CV* cv = GvCV(gv);
-                   if (*s == '(') {
-                       nextval[nexttoke].opval = yylval.opval;
-                       expect = XTERM;
-                       force_next(WORD);
-                       yylval.ival = 0;
-                       TOKEN('&');
-                   }
+                   CV* cv;
                    if (lastchar == '-')
                        warn("Ambiguous use of -%s resolved as -&%s()",
                                tokenbuf, tokenbuf);
                    last_lop = oldbufptr;
                    last_lop_op = OP_ENTERSUB;
                    /* Check for a constant sub */
-                   {
-                       SV *sv = cv_const_sv(cv);
-                       if (sv) {
-                           SvREFCNT_dec(((SVOP*)yylval.opval)->op_sv);
-                           ((SVOP*)yylval.opval)->op_sv = SvREFCNT_inc(sv);
-                           yylval.opval->op_private = 0;
-                           TOKEN(WORD);
-                       }
+                   cv = GvCV(gv);
+                   if ((sv = cv_const_sv(cv))) {
+                 its_constant:
+                       SvREFCNT_dec(((SVOP*)yylval.opval)->op_sv);
+                       ((SVOP*)yylval.opval)->op_sv = SvREFCNT_inc(sv);
+                       yylval.opval->op_private = 0;
+                       TOKEN(WORD);
                    }
 
                    /* Resolve to GV now. */
@@ -2656,12 +2686,13 @@ yylex()
            }
 
        case KEY___FILE__:
+           yylval.opval = (OP*)newSVOP(OP_CONST, 0,
+                                       newSVsv(GvSV(curcop->cop_filegv)));
+           TERM(THING);
+
        case KEY___LINE__:
-           if (tokenbuf[2] == 'L')
-               (void)sprintf(tokenbuf,"%ld",(long)curcop->cop_line);
-           else
-               strcpy(tokenbuf, SvPVX(GvSV(curcop->cop_filegv)));
-           yylval.opval = (OP*)newSVOP(OP_CONST, 0, newSVpv(tokenbuf,0));
+           yylval.opval = (OP*)newSVOP(OP_CONST, 0,
+                                   newSVpvf("%ld", (long)curcop->cop_line));
            TERM(THING);
 
        case KEY___PACKAGE__:
@@ -2677,12 +2708,10 @@ yylex()
 
            /*SUPPRESS 560*/
            if (rsfp && (!in_eval || tokenbuf[2] == 'D')) {
-               char dname[256];
                char *pname = "main";
                if (tokenbuf[2] == 'D')
                    pname = HvNAME(curstash ? curstash : defstash);
-               sprintf(dname,"%s::DATA", pname);
-               gv = gv_fetchpv(dname,TRUE, SVt_PVIO);
+               gv = gv_fetchpv(form("%s::DATA", pname), TRUE, SVt_PVIO);
                GvMULTI_on(gv);
                if (!GvIO(gv))
                    GvIOp(gv) = newIO();
@@ -2710,6 +2739,7 @@ yylex()
        case KEY_DESTROY:
        case KEY_BEGIN:
        case KEY_END:
+       case KEY_INIT:
            if (expect == XSTATE) {
                s = bufptr;
                goto really_sub;
@@ -2720,7 +2750,7 @@ yylex()
            if (*s == ':' && s[1] == ':') {
                s += 2;
                d = s;
-               s = scan_word(s, tokenbuf, FALSE, &len);
+               s = scan_word(s, tokenbuf, sizeof tokenbuf, FALSE, &len);
                tmp = keyword(tokenbuf, len);
                if (tmp < 0)
                    tmp = -tmp;
@@ -3072,6 +3102,9 @@ yylex()
        case KEY_listen:
            LOP(OP_LISTEN,XTERM);
 
+       case KEY_lock:
+           UNI(OP_LOCK);
+
        case KEY_lstat:
            UNI(OP_LSTAT);
 
@@ -3099,6 +3132,17 @@ yylex()
 
        case KEY_my:
            in_my = TRUE;
+           s = skipspace(s);
+           if (isIDFIRST(*s)) {
+               s = scan_word(s, tokenbuf, sizeof tokenbuf, TRUE, &len);
+               in_my_stash = gv_stashpv(tokenbuf, FALSE);
+               if (!in_my_stash) {
+                   char tmpbuf[1024];
+                   bufptr = s;
+                   sprintf(tmpbuf, "No such class %.1000s", tokenbuf);
+                   yyerror(tmpbuf);
+               }
+           }
            OPERATOR(MY);
 
        case KEY_next:
@@ -3425,9 +3469,9 @@ yylex()
            s = skipspace(s);
 
            if (isIDFIRST(*s) || *s == '\'' || *s == ':') {
-               char tmpbuf[128];
+               char tmpbuf[sizeof tokenbuf];
                expect = XBLOCK;
-               d = scan_word(s, tmpbuf, TRUE, &len);
+               d = scan_word(s, tmpbuf, sizeof tmpbuf, TRUE, &len);
                if (strchr(tmpbuf, ':'))
                    sv_setpv(subname, tmpbuf);
                else {
@@ -3503,6 +3547,9 @@ yylex()
        case KEY_sysopen:
            LOP(OP_SYSOPEN,XTERM);
 
+       case KEY_sysseek:
+           LOP(OP_SYSSEEK,XTERM);
+
        case KEY_sysread:
            LOP(OP_SYSREAD,XTERM);
 
@@ -3884,6 +3931,9 @@ I32 len;
     case 'h':
        if (strEQ(d,"hex"))                     return -KEY_hex;
        break;
+    case 'I':
+       if (strEQ(d,"INIT"))                    return KEY_INIT;
+       break;
     case 'i':
        switch (len) {
        case 2:
@@ -3926,6 +3976,7 @@ I32 len;
        case 4:
            if (strEQ(d,"last"))                return KEY_last;
            if (strEQ(d,"link"))                return -KEY_link;
+           if (strEQ(d,"lock"))                return -KEY_lock;
            break;
        case 5:
            if (strEQ(d,"local"))               return KEY_local;
@@ -4153,10 +4204,11 @@ I32 len;
                if (strEQ(d,"system"))          return -KEY_system;
                break;
            case 7:
-               if (strEQ(d,"sysopen"))         return -KEY_sysopen;
-               if (strEQ(d,"sysread"))         return -KEY_sysread;
                if (strEQ(d,"symlink"))         return -KEY_symlink;
                if (strEQ(d,"syscall"))         return -KEY_syscall;
+               if (strEQ(d,"sysopen"))         return -KEY_sysopen;
+               if (strEQ(d,"sysread"))         return -KEY_sysread;
+               if (strEQ(d,"sysseek"))         return -KEY_sysseek;
                break;
            case 8:
                if (strEQ(d,"syswrite"))        return -KEY_syswrite;
@@ -4296,14 +4348,18 @@ char *what;
 }
 
 static char *
-scan_word(s, dest, allow_package, slp)
+scan_word(s, dest, destlen, allow_package, slp)
 register char *s;
 char *dest;
+STRLEN destlen;
 int allow_package;
 STRLEN *slp;
 {
     register char *d = dest;
+    register char *e = d + destlen - 3;  /* two-character token, ending NUL */
     for (;;) {
+       if (d >= e)
+           croak(ident_too_long);
        if (isALNUM(*s))
            *d++ = *s++;
        else if (*s == '\'' && allow_package && isIDFIRST(s[1])) {
@@ -4324,13 +4380,15 @@ STRLEN *slp;
 }
 
 static char *
-scan_ident(s,send,dest,ck_uni)
+scan_ident(s, send, dest, destlen, ck_uni)
 register char *s;
 register char *send;
 char *dest;
+STRLEN destlen;
 I32 ck_uni;
 {
     register char *d;
+    register char *e;
     char *bracket = 0;
     char funny = *s++;
 
@@ -4339,12 +4397,18 @@ I32 ck_uni;
     if (isSPACE(*s))
        s = skipspace(s);
     d = dest;
+    e = d + destlen - 3;       /* two-character token, ending NUL */
     if (isDIGIT(*s)) {
-       while (isDIGIT(*s))
+       while (isDIGIT(*s)) {
+           if (d >= e)
+               croak(ident_too_long);
            *d++ = *s++;
+       }
     }
     else {
        for (;;) {
+           if (d >= e)
+               croak(ident_too_long);
            if (isALNUM(*s))
                *d++ = *s++;
            else if (*s == '\'' && isIDFIRST(s[1])) {
@@ -4369,7 +4433,12 @@ I32 ck_uni;
     }
     if (*s == '$' && s[1] &&
       (isALNUM(s[1]) || strchr("${", s[1]) || strnEQ(s+1,"::",2)) )
-       return s;
+    {
+       if (isDIGIT(s[1]) && lex_state == LEX_INTERPNORMAL)
+           deprecate("\"$$<digit>\" to mean \"${$}<digit>\"");
+       else
+           return s;
+    }
     if (*s == '{') {
        bracket = s;
        s++;
@@ -4440,6 +4509,8 @@ int ch;
        *pmfl |= PMf_FOLD;
     else if (ch == 'g')
        *pmfl |= PMf_GLOBAL;
+    else if (ch == 'c')
+       *pmfl |= PMf_CONTINUE;
     else if (ch == 'o')
        *pmfl |= PMf_KEEP;
     else if (ch == 'm')
@@ -4468,7 +4539,7 @@ char *start;
     pm = (PMOP*)newPMOP(OP_MATCH, 0);
     if (multi_open == '?')
        pm->op_pmflags |= PMf_ONCE;
-    while (*s && strchr("iogmsx", *s))
+    while (*s && strchr("iogcmsx", *s))
        pmflag(&pm->op_pmflags,*s++);
     pm->op_pmpermflags = pm->op_pmflags;
 
@@ -4514,7 +4585,7 @@ char *start;
     multi_start = first_start; /* so whole substitution is taken together */
 
     pm = (PMOP*)newPMOP(OP_SUBST, 0);
-    while (*s && strchr("iogmsex", *s)) {
+    while (*s && strchr("iogcmsex", *s)) {
        if (*s == 'e') {
            s++;
            es++;
@@ -4547,6 +4618,7 @@ void
 hoistmust(pm)
 register PMOP *pm;
 {
+    dTHR;
     if (!pm->op_pmshort && pm->op_pmregexp->regstart &&
        (!pm->op_pmregexp->regmust || pm->op_pmregexp->reganch & ROPT_ANCH)
        ) {
@@ -4570,7 +4642,8 @@ register PMOP *pm;
            }
        }
        /* promote the better string */
-       if ((!pm->op_pmshort && !(pm->op_pmregexp->reganch & ROPT_ANCH)) ||
+       if ((!pm->op_pmshort &&
+            !(pm->op_pmregexp->reganch & ROPT_ANCH_GPOS)) ||
            ((pm->op_pmflags & PMf_SCANFIRST) &&
             (SvCUR(pm->op_pmshort) < SvCUR(pm->op_pmregexp->regmust)))) {
            SvREFCNT_dec(pm->op_pmshort);               /* ok if null */
@@ -4587,7 +4660,7 @@ scan_trans(start)
 char *start;
 {
     register char* s;
-    OP *op;
+    OP *o;
     short *tbl;
     I32 squash;
     I32 delete;
@@ -4617,7 +4690,7 @@ char *start;
     }
 
     New(803,tbl,256,short);
-    op = newPVOP(OP_TRANS, 0, (char*)tbl);
+    o = newPVOP(OP_TRANS, 0, (char*)tbl);
 
     complement = delete = squash = 0;
     while (*s == 'c' || *s == 'd' || *s == 's') {
@@ -4629,9 +4702,9 @@ char *start;
            squash = OPpTRANS_SQUASH;
        s++;
     }
-    op->op_private = delete|squash|complement;
+    o->op_private = delete|squash|complement;
 
-    lex_op = op;
+    lex_op = o;
     yylval.ival = OP_TRANS;
     return s;
 }
@@ -4640,27 +4713,30 @@ static char *
 scan_heredoc(s)
 register char *s;
 {
+    dTHR;
     SV *herewas;
     I32 op_type = OP_SCALAR;
     I32 len;
     SV *tmpstr;
     char term;
     register char *d;
+    register char *e;
     char *peek;
     int outer = (rsfp && !lex_inwhat);
 
     s += 2;
     d = tokenbuf;
+    e = tokenbuf + sizeof tokenbuf - 1;
     if (!outer)
        *d++ = '\n';
     for (peek = s; *peek == ' ' || *peek == '\t'; peek++) ;
     if (*peek && strchr("`'\"",*peek)) {
        s = peek;
        term = *s++;
-       s = cpytill(d,s,bufend,term,&len);
+       s = delimcpy(d, e, s, bufend, term, &len);
+       d += len;
        if (s < bufend)
            s++;
-       d += len;
     }
     else {
        if (*s == '\\')
@@ -4669,9 +4745,13 @@ register char *s;
            term = '"';
        if (!isALNUM(*s))
            deprecate("bare << to mean <<\"\"");
-       while (isALNUM(*s))
-           *d++ = *s++;
-    }                          /* assuming tokenbuf won't clobber */
+       for (; isALNUM(*s); s++) {
+           if (d < e)
+               *d++ = *s;
+       }
+    }
+    if (d >= tokenbuf + sizeof tokenbuf - 1)
+       croak("Delimiter for here document is too long");
     *d++ = '\n';
     *d = '\0';
     len = d - tokenbuf;
@@ -4762,15 +4842,17 @@ char *start;
 {
     register char *s = start;
     register char *d;
+    register char *e;
     I32 len;
 
     d = tokenbuf;
-    s = cpytill(d, s+1, bufend, '>', &len);
-    if (s < bufend)
-       s++;
-    else
+    e = tokenbuf + sizeof tokenbuf;
+    s = delimcpy(d, e, s + 1, bufend, '>', &len);
+    if (len >= sizeof tokenbuf)
+       croak("Excessively long <> operator");
+    if (s >= bufend)
        croak("Unterminated <> operator");
-
+    s++;
     if (*d == '$' && d[1]) d++;
     while (*d && (isALNUM(*d) || *d == '\'' || *d == ':'))
        d++;
@@ -4788,10 +4870,10 @@ char *start;
            (void)strcpy(d,"ARGV");
        if (*d == '$') {
            I32 tmp;
-           if (tmp = pad_findmy(d)) {
-               OP *op = newOP(OP_PADSV, 0);
-               op->op_targ = tmp;
-               lex_op = (OP*)newUNOP(OP_READLINE, 0, newUNOP(OP_RV2GV, 0, op));
+           if ((tmp = pad_findmy(d)) != NOT_IN_PAD) {
+               OP *o = newOP(OP_PADSV, 0);
+               o->op_targ = tmp;
+               lex_op = (OP*)newUNOP(OP_READLINE, 0, newUNOP(OP_RV2GV, 0, o));
            }
            else {
                GV *gv = gv_fetchpv(d+1,TRUE, SVt_PV);
@@ -4815,6 +4897,7 @@ static char *
 scan_str(start)
 char *start;
 {
+    dTHR;
     SV *sv;
     char *tmps;
     register char *s = start;
@@ -4913,11 +4996,13 @@ char *start;
 {
     register char *s = start;
     register char *d;
+    register char *e;
     I32 tryiv;
     double value;
     SV *sv;
     I32 floatit;
     char *lastub = 0;
+    static char number_too_long[] = "Number too long";
 
     switch (*s) {
     default:
@@ -4979,6 +5064,7 @@ char *start;
     case '6': case '7': case '8': case '9': case '.':
       decimal:
        d = tokenbuf;
+       e = tokenbuf + sizeof tokenbuf - 6; /* room for various punctuation */
        floatit = FALSE;
        while (isDIGIT(*s) || *s == '_') {
            if (*s == '_') {
@@ -4986,19 +5072,22 @@ char *start;
                    warn("Misplaced _ in number");
                lastub = ++s;
            }
-           else
+           else {
+               if (d >= e)
+                   croak(number_too_long);
                *d++ = *s++;
+           }
        }
        if (dowarn && lastub && s - lastub != 3)
            warn("Misplaced _ in number");
        if (*s == '.' && s[1] != '.') {
            floatit = TRUE;
            *d++ = *s++;
-           while (isDIGIT(*s) || *s == '_') {
-               if (*s == '_')
-                   s++;
-               else
-                   *d++ = *s++;
+           for (; isDIGIT(*s) || *s == '_'; s++) {
+               if (d >= e)
+                   croak(number_too_long);
+               if (*s != '_')
+                   *d++ = *s;
            }
        }
        if (*s && strchr("eE",*s) && strchr("+-0123456789",s[1])) {
@@ -5007,8 +5096,11 @@ char *start;
            *d++ = 'e';         /* At least some Mach atof()s don't grok 'E' */
            if (*s == '+' || *s == '-')
                *d++ = *s++;
-           while (isDIGIT(*s))
+           while (isDIGIT(*s)) {
+               if (d >= e)
+                   croak(number_too_long);
                *d++ = *s++;
+           }
        }
        *d = '\0';
        sv = NEWSV(92,0);
@@ -5031,6 +5123,7 @@ static char *
 scan_formline(s)
 register char *s;
 {
+    dTHR;
     register char *eol;
     register char *t;
     SV *stuff = newSVpv("",0);
@@ -5106,12 +5199,13 @@ set_csh()
 #endif
 }
 
-int
+I32
 start_subparse(is_format, flags)
 I32 is_format;
 U32 flags;
 {
-    int oldsavestack_ix = savestack_ix;
+    dTHR;
+    I32 oldsavestack_ix = savestack_ix;
     CV* outsidecv = compcv;
     AV* comppadlist;
 
@@ -5135,13 +5229,21 @@ U32 flags;
     CvFLAGS(compcv) |= flags;
 
     comppad = newAV();
+    av_push(comppad, Nullsv);
+    curpad = AvARRAY(comppad);
     comppad_name = newAV();
     comppad_name_fill = 0;
     min_intro_pending = 0;
-    av_push(comppad, Nullsv);
-    curpad = AvARRAY(comppad);
     padix = 0;
     subline = curcop->cop_line;
+#ifdef USE_THREADS
+    av_store(comppad_name, 0, newSVpv("@_", 2));
+    curpad[0] = (SV*)newAV();
+    SvPADMY_on(curpad[0]);     /* XXX Needed? */
+    CvOWNER(compcv) = 0;
+    New(666, CvMUTEXP(compcv), 1, perl_mutex);
+    MUTEX_INIT(CvMUTEXP(compcv));
+#endif /* USE_THREADS */
 
     comppadlist = newAV();
     AvREAL_off(comppadlist);
@@ -5150,6 +5252,11 @@ U32 flags;
 
     CvPADLIST(compcv) = comppadlist;
     CvOUTSIDE(compcv) = (CV*)SvREFCNT_inc((SV*)outsidecv);
+#ifdef USE_THREADS
+    CvOWNER(compcv) = 0;
+    New(666, CvMUTEXP(compcv), 1, perl_mutex);
+    MUTEX_INIT(CvMUTEXP(compcv));
+#endif /* USE_THREADS */
 
     return oldsavestack_ix;
 }
@@ -5158,6 +5265,7 @@ int
 yywarn(s)
 char *s;
 {
+    dTHR;
     --error_count;
     in_eval |= 2;
     yyerror(s);
@@ -5169,12 +5277,15 @@ int
 yyerror(s)
 char *s;
 {
-    char wbuf[40];
+    dTHR;
     char *where = NULL;
     char *context = NULL;
     int contlen = -1;
+    SV *msg;
 
-    if (bufptr > oldoldbufptr && bufptr - oldoldbufptr < 200 &&
+    if (!yychar || (yychar == ';' && !rsfp))
+       where = "at EOF";
+    else if (bufptr > oldoldbufptr && bufptr - oldoldbufptr < 200 &&
       oldoldbufptr != oldbufptr && oldbufptr != bufptr) {
        while (isSPACE(*oldoldbufptr))
            oldoldbufptr++;
@@ -5190,8 +5301,6 @@ char *s;
     }
     else if (yychar > 255)
        where = "next token ???";
-    else if (!yychar || (yychar == ';' && !rsfp))
-       where = "at EOF";
     else if ((yychar & 127) == 127) {
        if (lex_state == LEX_NORMAL ||
           (lex_state == LEX_KNOWNEXT && lex_defer == LEX_NORMAL))
@@ -5201,35 +5310,38 @@ char *s;
        else
            where = "within string";
     }
-    else if (yychar < 32)
-       (void)sprintf(where = wbuf, "next char ^%c", toCTRL(yychar));
-    else if (isPRINT_LC(yychar))
-       (void)sprintf(where = wbuf, "next char %c", yychar);
-    else
-       (void)sprintf(where = wbuf, "next char \\%03o", yychar & 255);
-    if (contlen == -1)
-       contlen = strlen(where);
-    (void)sprintf(buf, "%s at %s line %d, ",
-                 s, SvPVX(GvSV(curcop->cop_filegv)), curcop->cop_line);
+    else {
+       SV *where_sv = sv_2mortal(newSVpv("next char ", 0));
+       if (yychar < 32)
+           sv_catpvf(where_sv, "^%c", toCTRL(yychar));
+       else if (isPRINT_LC(yychar))
+           sv_catpvf(where_sv, "%c", yychar);
+       else
+           sv_catpvf(where_sv, "\\%03o", yychar & 255);
+       where = SvPVX(where_sv);
+    }
+    msg = sv_2mortal(newSVpv(s, 0));
+    sv_catpvf(msg, " at %_ line %ld, ",
+             GvSV(curcop->cop_filegv), (long)curcop->cop_line);
     if (context)
-       (void)sprintf(buf+strlen(buf), "near \"%.*s\"\n", contlen, context);
+       sv_catpvf(msg, "near \"%.*s\"\n", contlen, context);
     else
-       (void)sprintf(buf+strlen(buf), "%s\n", where);
+       sv_catpvf(msg, "%s\n", where);
     if (multi_start < multi_end && (U32)(curcop->cop_line - multi_end) <= 1) {
-       sprintf(buf+strlen(buf),
+       sv_catpvf(msg,
        "  (Might be a runaway multi-line %c%c string starting on line %ld)\n",
                (int)multi_open,(int)multi_close,(long)multi_start);
         multi_end = 0;
     }
     if (in_eval & 2)
-       warn("%s",buf);
+       warn("%_", msg);
     else if (in_eval)
-       sv_catpv(GvSV(errgv),buf);
+       sv_catsv(GvSV(errgv), msg);
     else
-       PerlIO_printf(PerlIO_stderr(), "%s",buf);
+       PerlIO_write(PerlIO_stderr(), SvPVX(msg), SvCUR(msg));
     if (++error_count >= 10)
-       croak("%s has too many errors.\n",
-       SvPVX(GvSV(curcop->cop_filegv)));
+       croak("%_ has too many errors.\n", GvSV(curcop->cop_filegv));
     in_my = 0;
+    in_my_stash = Nullhv;
     return 0;
 }