doop.c

   1 /*    doop.c
   2  *
   3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
   4  *    2001, 2002, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall and others
   5  *
   6  *    You may distribute under the terms of either the GNU General Public
   7  *    License or the Artistic License, as specified in the README file.
   8  *
   9  */
  10
  11 /*
  12  *  'So that was the job I felt I had to do when I started,' thought Sam.
  13  *
  14  *     [p.934 of _The Lord of the Rings_, VI/iii: "Mount Doom"]
  15  */
  16
  17 /* This file contains some common functions needed to carry out certain
  18  * ops. For example both pp_schomp() and pp_chomp() - scalar and array
  19  * chomp operations - call the function do_chomp() found in this file.
  20  */
  21
  22 #include "EXTERN.h"
  23 #define PERL_IN_DOOP_C
  24 #include "perl.h"
  25
  26 #ifndef PERL_MICRO
  27 #include <signal.h>
  28 #endif
  29
  30 STATIC I32
  31 S_do_trans_simple(pTHX_ SV * const sv)
  32 {
  33     dVAR;
  34     I32 matches = 0;
  35     STRLEN len;
  36     U8 *s = (U8*)SvPV(sv,len);
  37     U8 * const send = s+len;
  38     const short * const tbl = (short*)cPVOP->op_pv;
  39
  40     PERL_ARGS_ASSERT_DO_TRANS_SIMPLE;
  41
  42     if (!tbl)
  43         Perl_croak(aTHX_ "panic: do_trans_simple line %d",__LINE__);
  44
  45     /* First, take care of non-UTF-8 input strings, because they're easy */
  46     if (!SvUTF8(sv)) {
  47         while (s < send) {
  48             const I32 ch = tbl[*s];
  49             if (ch >= 0) {
  50                 matches++;
  51                 *s = (U8)ch;
  52             }
  53             s++;
  54         }
  55         SvSETMAGIC(sv);
  56     }
  57     else {
  58         const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
  59         U8 *d;
  60         U8 *dstart;
  61
  62         /* Allow for expansion: $_="a".chr(400); tr/a/\xFE/, FE needs encoding */
  63         if (grows)
  64             Newx(d, len*2+1, U8);
  65         else
  66             d = s;
  67         dstart = d;
  68         while (s < send) {
  69             STRLEN ulen;
  70             I32 ch;
  71
  72             /* Need to check this, otherwise 128..255 won't match */
  73             const UV c = utf8n_to_uvchr(s, send - s, &ulen, UTF8_ALLOW_DEFAULT);
  74             if (c < 0x100 && (ch = tbl[c]) >= 0) {
  75                 matches++;
  76                 d = uvchr_to_utf8(d, ch);
  77                 s += ulen;
  78             }
  79             else { /* No match -> copy */
  80                 Move(s, d, ulen, U8);
  81                 d += ulen;
  82                 s += ulen;
  83             }
  84         }
  85         if (grows) {
  86             sv_setpvn(sv, (char*)dstart, d - dstart);
  87             Safefree(dstart);
  88         }
  89         else {
  90             *d = '\0';
  91             SvCUR_set(sv, d - dstart);
  92         }
  93         SvUTF8_on(sv);
  94         SvSETMAGIC(sv);
  95     }
  96     return matches;
  97 }
  98
  99 STATIC I32
 100 S_do_trans_count(pTHX_ SV * const sv)
 101 {
 102     dVAR;
 103     STRLEN len;
 104     const U8 *s = (const U8*)SvPV_const(sv, len);
 105     const U8 * const send = s + len;
 106     I32 matches = 0;
 107     const short * const tbl = (short*)cPVOP->op_pv;
 108
 109     PERL_ARGS_ASSERT_DO_TRANS_COUNT;
 110
 111     if (!tbl)
 112         Perl_croak(aTHX_ "panic: do_trans_count line %d",__LINE__);
 113
 114     if (!SvUTF8(sv)) {
 115         while (s < send) {
 116             if (tbl[*s++] >= 0)
 117                 matches++;
 118         }
 119     }
 120     else {
 121         const I32 complement = PL_op->op_private & OPpTRANS_COMPLEMENT;
 122         while (s < send) {
 123             STRLEN ulen;
 124             const UV c = utf8n_to_uvchr(s, send - s, &ulen, UTF8_ALLOW_DEFAULT);
 125             if (c < 0x100) {
 126                 if (tbl[c] >= 0)
 127                     matches++;
 128             } else if (complement)
 129                 matches++;
 130             s += ulen;
 131         }
 132     }
 133
 134     return matches;
 135 }
 136
 137 STATIC I32
 138 S_do_trans_complex(pTHX_ SV * const sv)
 139 {
 140     dVAR;
 141     STRLEN len;
 142     U8 *s = (U8*)SvPV(sv, len);
 143     U8 * const send = s+len;
 144     I32 matches = 0;
 145     const short * const tbl = (short*)cPVOP->op_pv;
 146
 147     PERL_ARGS_ASSERT_DO_TRANS_COMPLEX;
 148
 149     if (!tbl)
 150         Perl_croak(aTHX_ "panic: do_trans_complex line %d",__LINE__);
 151
 152     if (!SvUTF8(sv)) {
 153         U8 *d = s;
 154         U8 * const dstart = d;
 155
 156         if (PL_op->op_private & OPpTRANS_SQUASH) {
 157             const U8* p = send;
 158             while (s < send) {
 159                 const I32 ch = tbl[*s];
 160                 if (ch >= 0) {
 161                     *d = (U8)ch;
 162                     matches++;
 163                     if (p != d - 1 || *p != *d)
 164                         p = d++;
 165                 }
 166                 else if (ch == -1)      /* -1 is unmapped character */
 167                     *d++ = *s;
 168                 else if (ch == -2)      /* -2 is delete character */
 169                     matches++;
 170                 s++;
 171             }
 172         }
 173         else {
 174             while (s < send) {
 175                 const I32 ch = tbl[*s];
 176                 if (ch >= 0) {
 177                     matches++;
 178                     *d++ = (U8)ch;
 179                 }
 180                 else if (ch == -1)      /* -1 is unmapped character */
 181                     *d++ = *s;
 182                 else if (ch == -2)      /* -2 is delete character */
 183                     matches++;
 184                 s++;
 185             }
 186         }
 187         *d = '\0';
 188         SvCUR_set(sv, d - dstart);
 189     }
 190     else { /* is utf8 */
 191         const I32 complement = PL_op->op_private & OPpTRANS_COMPLEMENT;
 192         const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
 193         const I32 del = PL_op->op_private & OPpTRANS_DELETE;
 194         U8 *d;
 195         U8 *dstart;
 196         STRLEN rlen = 0;
 197
 198         if (grows)
 199             Newx(d, len*2+1, U8);
 200         else
 201             d = s;
 202         dstart = d;
 203         if (complement && !del)
 204             rlen = tbl[0x100];
 205
 206         if (PL_op->op_private & OPpTRANS_SQUASH) {
 207             UV pch = 0xfeedface;
 208             while (s < send) {
 209                 STRLEN len;
 210                 const UV comp = utf8n_to_uvchr(s, send - s, &len,
 211                                                UTF8_ALLOW_DEFAULT);
 212                 I32 ch;
 213
 214                 if (comp > 0xff) {
 215                     if (!complement) {
 216                         Move(s, d, len, U8);
 217                         d += len;
 218                     }
 219                     else {
 220                         matches++;
 221                         if (!del) {
 222                             ch = (rlen == 0) ? (I32)comp :
 223                                 (comp - 0x100 < rlen) ?
 224                                 tbl[comp+1] : tbl[0x100+rlen];
 225                             if ((UV)ch != pch) {
 226                                 d = uvchr_to_utf8(d, ch);
 227                                 pch = (UV)ch;
 228                             }
 229                             s += len;
 230                             continue;
 231                         }
 232                     }
 233                 }
 234                 else if ((ch = tbl[comp]) >= 0) {
 235                     matches++;
 236                     if ((UV)ch != pch) {
 237                         d = uvchr_to_utf8(d, ch);
 238                         pch = (UV)ch;
 239                     }
 240                     s += len;
 241                     continue;
 242                 }
 243                 else if (ch == -1) {    /* -1 is unmapped character */
 244                     Move(s, d, len, U8);
 245                     d += len;
 246                 }
 247                 else if (ch == -2)      /* -2 is delete character */
 248                     matches++;
 249                 s += len;
 250                 pch = 0xfeedface;
 251             }
 252         }
 253         else {
 254             while (s < send) {
 255                 STRLEN len;
 256                 const UV comp = utf8n_to_uvchr(s, send - s, &len,
 257                                                UTF8_ALLOW_DEFAULT);
 258                 I32 ch;
 259                 if (comp > 0xff) {
 260                     if (!complement) {
 261                         Move(s, d, len, U8);
 262                         d += len;
 263                     }
 264                     else {
 265                         matches++;
 266                         if (!del) {
 267                             if (comp - 0x100 < rlen)
 268                                 d = uvchr_to_utf8(d, tbl[comp+1]);
 269                             else
 270                                 d = uvchr_to_utf8(d, tbl[0x100+rlen]);
 271                         }
 272                     }
 273                 }
 274                 else if ((ch = tbl[comp]) >= 0) {
 275                     d = uvchr_to_utf8(d, ch);
 276                     matches++;
 277                 }
 278                 else if (ch == -1) {    /* -1 is unmapped character */
 279                     Move(s, d, len, U8);
 280                     d += len;
 281                 }
 282                 else if (ch == -2)      /* -2 is delete character */
 283                     matches++;
 284                 s += len;
 285             }
 286         }
 287         if (grows) {
 288             sv_setpvn(sv, (char*)dstart, d - dstart);
 289             Safefree(dstart);
 290         }
 291         else {
 292             *d = '\0';
 293             SvCUR_set(sv, d - dstart);
 294         }
 295         SvUTF8_on(sv);
 296     }
 297     SvSETMAGIC(sv);
 298     return matches;
 299 }
 300
 301 STATIC I32
 302 S_do_trans_simple_utf8(pTHX_ SV * const sv)
 303 {
 304     dVAR;
 305     U8 *s;
 306     U8 *send;
 307     U8 *d;
 308     U8 *start;
 309     U8 *dstart, *dend;
 310     I32 matches = 0;
 311     const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
 312     STRLEN len;
 313     SV* const  rv =
 314 #ifdef USE_ITHREADS
 315                     PAD_SVl(cPADOP->op_padix);
 316 #else
 317                     MUTABLE_SV(cSVOP->op_sv);
 318 #endif
 319     HV* const  hv = MUTABLE_HV(SvRV(rv));
 320     SV* const * svp = hv_fetchs(hv, "NONE", FALSE);
 321     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
 322     const UV extra = none + 1;
 323     UV final = 0;
 324     U8 hibit = 0;
 325
 326     PERL_ARGS_ASSERT_DO_TRANS_SIMPLE_UTF8;
 327
 328     s = (U8*)SvPV(sv, len);
 329     if (!SvUTF8(sv)) {
 330         const U8 *t = s;
 331         const U8 * const e = s + len;
 332         while (t < e) {
 333             const U8 ch = *t++;
 334             hibit = !NATIVE_IS_INVARIANT(ch);
 335             if (hibit) {
 336                 s = bytes_to_utf8(s, &len);
 337                 break;
 338             }
 339         }
 340     }
 341     send = s + len;
 342     start = s;
 343
 344     svp = hv_fetchs(hv, "FINAL", FALSE);
 345     if (svp)
 346         final = SvUV(*svp);
 347
 348     if (grows) {
 349         /* d needs to be bigger than s, in case e.g. upgrading is required */
 350         Newx(d, len * 3 + UTF8_MAXBYTES, U8);
 351         dend = d + len * 3;
 352         dstart = d;
 353     }
 354     else {
 355         dstart = d = s;
 356         dend = d + len;
 357     }
 358
 359     while (s < send) {
 360         const UV uv = swash_fetch(rv, s, TRUE);
 361         if (uv < none) {
 362             s += UTF8SKIP(s);
 363             matches++;
 364             d = uvuni_to_utf8(d, uv);
 365         }
 366         else if (uv == none) {
 367             const int i = UTF8SKIP(s);
 368             Move(s, d, i, U8);
 369             d += i;
 370             s += i;
 371         }
 372         else if (uv == extra) {
 373             s += UTF8SKIP(s);
 374             matches++;
 375             d = uvuni_to_utf8(d, final);
 376         }
 377         else
 378             s += UTF8SKIP(s);
 379
 380         if (d > dend) {
 381             const STRLEN clen = d - dstart;
 382             const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
 383             if (!grows)
 384                 Perl_croak(aTHX_ "panic: do_trans_simple_utf8 line %d",__LINE__);
 385             Renew(dstart, nlen + UTF8_MAXBYTES, U8);
 386             d = dstart + clen;
 387             dend = dstart + nlen;
 388         }
 389     }
 390     if (grows || hibit) {
 391         sv_setpvn(sv, (char*)dstart, d - dstart);
 392         Safefree(dstart);
 393         if (grows && hibit)
 394             Safefree(start);
 395     }
 396     else {
 397         *d = '\0';
 398         SvCUR_set(sv, d - dstart);
 399     }
 400     SvSETMAGIC(sv);
 401     SvUTF8_on(sv);
 402
 403     return matches;
 404 }
 405
 406 STATIC I32
 407 S_do_trans_count_utf8(pTHX_ SV * const sv)
 408 {
 409     dVAR;
 410     const U8 *s;
 411     const U8 *start = NULL;
 412     const U8 *send;
 413     I32 matches = 0;
 414     STRLEN len;
 415     SV* const  rv =
 416 #ifdef USE_ITHREADS
 417                     PAD_SVl(cPADOP->op_padix);
 418 #else
 419                     MUTABLE_SV(cSVOP->op_sv);
 420 #endif
 421     HV* const hv = MUTABLE_HV(SvRV(rv));
 422     SV* const * const svp = hv_fetchs(hv, "NONE", FALSE);
 423     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
 424     const UV extra = none + 1;
 425     U8 hibit = 0;
 426
 427     PERL_ARGS_ASSERT_DO_TRANS_COUNT_UTF8;
 428
 429     s = (const U8*)SvPV_const(sv, len);
 430     if (!SvUTF8(sv)) {
 431         const U8 *t = s;
 432         const U8 * const e = s + len;
 433         while (t < e) {
 434             const U8 ch = *t++;
 435             hibit = !NATIVE_IS_INVARIANT(ch);
 436             if (hibit) {
 437                 start = s = bytes_to_utf8(s, &len);
 438                 break;
 439             }
 440         }
 441     }
 442     send = s + len;
 443
 444     while (s < send) {
 445         const UV uv = swash_fetch(rv, s, TRUE);
 446         if (uv < none || uv == extra)
 447             matches++;
 448         s += UTF8SKIP(s);
 449     }
 450     if (hibit)
 451         Safefree(start);
 452
 453     return matches;
 454 }
 455
 456 STATIC I32
 457 S_do_trans_complex_utf8(pTHX_ SV * const sv)
 458 {
 459     dVAR;
 460     U8 *start, *send;
 461     U8 *d;
 462     I32 matches = 0;
 463     const I32 squash   = PL_op->op_private & OPpTRANS_SQUASH;
 464     const I32 del      = PL_op->op_private & OPpTRANS_DELETE;
 465     const I32 grows    = PL_op->op_private & OPpTRANS_GROWS;
 466     SV* const  rv =
 467 #ifdef USE_ITHREADS
 468                     PAD_SVl(cPADOP->op_padix);
 469 #else
 470                     MUTABLE_SV(cSVOP->op_sv);
 471 #endif
 472     HV * const hv = MUTABLE_HV(SvRV(rv));
 473     SV * const *svp = hv_fetchs(hv, "NONE", FALSE);
 474     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
 475     const UV extra = none + 1;
 476     UV final = 0;
 477     bool havefinal = FALSE;
 478     STRLEN len;
 479     U8 *dstart, *dend;
 480     U8 hibit = 0;
 481     U8 *s = (U8*)SvPV(sv, len);
 482
 483     PERL_ARGS_ASSERT_DO_TRANS_COMPLEX_UTF8;
 484
 485     if (!SvUTF8(sv)) {
 486         const U8 *t = s;
 487         const U8 * const e = s + len;
 488         while (t < e) {
 489             const U8 ch = *t++;
 490             hibit = !NATIVE_IS_INVARIANT(ch);
 491             if (hibit) {
 492                 s = bytes_to_utf8(s, &len);
 493                 break;
 494             }
 495         }
 496     }
 497     send = s + len;
 498     start = s;
 499
 500     svp = hv_fetchs(hv, "FINAL", FALSE);
 501     if (svp) {
 502         final = SvUV(*svp);
 503         havefinal = TRUE;
 504     }
 505
 506     if (grows) {
 507         /* d needs to be bigger than s, in case e.g. upgrading is required */
 508         Newx(d, len * 3 + UTF8_MAXBYTES, U8);
 509         dend = d + len * 3;
 510         dstart = d;
 511     }
 512     else {
 513         dstart = d = s;
 514         dend = d + len;
 515     }
 516
 517     if (squash) {
 518         UV puv = 0xfeedface;
 519         while (s < send) {
 520             UV uv = swash_fetch(rv, s, TRUE);
 521
 522             if (d > dend) {
 523                 const STRLEN clen = d - dstart;
 524                 const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
 525                 if (!grows)
 526                     Perl_croak(aTHX_ "panic: do_trans_complex_utf8 line %d",__LINE__);
 527                 Renew(dstart, nlen + UTF8_MAXBYTES, U8);
 528                 d = dstart + clen;
 529                 dend = dstart + nlen;
 530             }
 531             if (uv < none) {
 532                 matches++;
 533                 s += UTF8SKIP(s);
 534                 if (uv != puv) {
 535                     d = uvuni_to_utf8(d, uv);
 536                     puv = uv;
 537                 }
 538                 continue;
 539             }
 540             else if (uv == none) {      /* "none" is unmapped character */
 541                 const int i = UTF8SKIP(s);
 542                 Move(s, d, i, U8);
 543                 d += i;
 544                 s += i;
 545                 puv = 0xfeedface;
 546                 continue;
 547             }
 548             else if (uv == extra && !del) {
 549                 matches++;
 550                 if (havefinal) {
 551                     s += UTF8SKIP(s);
 552                     if (puv != final) {
 553                         d = uvuni_to_utf8(d, final);
 554                         puv = final;
 555                     }
 556                 }
 557                 else {
 558                     STRLEN len;
 559                     uv = utf8n_to_uvuni(s, send - s, &len, UTF8_ALLOW_DEFAULT);
 560                     if (uv != puv) {
 561                         Move(s, d, len, U8);
 562                         d += len;
 563                         puv = uv;
 564                     }
 565                     s += len;
 566                 }
 567                 continue;
 568             }
 569             matches++;                  /* "none+1" is delete character */
 570             s += UTF8SKIP(s);
 571         }
 572     }
 573     else {
 574         while (s < send) {
 575             const UV uv = swash_fetch(rv, s, TRUE);
 576             if (d > dend) {
 577                 const STRLEN clen = d - dstart;
 578                 const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
 579                 if (!grows)
 580                     Perl_croak(aTHX_ "panic: do_trans_complex_utf8 line %d",__LINE__);
 581                 Renew(dstart, nlen + UTF8_MAXBYTES, U8);
 582                 d = dstart + clen;
 583                 dend = dstart + nlen;
 584             }
 585             if (uv < none) {
 586                 matches++;
 587                 s += UTF8SKIP(s);
 588                 d = uvuni_to_utf8(d, uv);
 589                 continue;
 590             }
 591             else if (uv == none) {      /* "none" is unmapped character */
 592                 const int i = UTF8SKIP(s);
 593                 Move(s, d, i, U8);
 594                 d += i;
 595                 s += i;
 596                 continue;
 597             }
 598             else if (uv == extra && !del) {
 599                 matches++;
 600                 s += UTF8SKIP(s);
 601                 d = uvuni_to_utf8(d, final);
 602                 continue;
 603             }
 604             matches++;                  /* "none+1" is delete character */
 605             s += UTF8SKIP(s);
 606         }
 607     }
 608     if (grows || hibit) {
 609         sv_setpvn(sv, (char*)dstart, d - dstart);
 610         Safefree(dstart);
 611         if (grows && hibit)
 612             Safefree(start);
 613     }
 614     else {
 615         *d = '\0';
 616         SvCUR_set(sv, d - dstart);
 617     }
 618     SvUTF8_on(sv);
 619     SvSETMAGIC(sv);
 620
 621     return matches;
 622 }
 623
 624 I32
 625 Perl_do_trans(pTHX_ SV *sv)
 626 {
 627     dVAR;
 628     STRLEN len;
 629     const I32 hasutf = (PL_op->op_private &
 630                     (OPpTRANS_FROM_UTF|OPpTRANS_TO_UTF));
 631
 632     PERL_ARGS_ASSERT_DO_TRANS;
 633
 634     if (SvREADONLY(sv) && !(PL_op->op_private & OPpTRANS_IDENTICAL)) {
 635         if (SvIsCOW(sv))
 636             sv_force_normal_flags(sv, 0);
 637         if (SvREADONLY(sv))
 638             Perl_croak(aTHX_ "%s", PL_no_modify);
 639     }
 640     (void)SvPV_const(sv, len);
 641     if (!len)
 642         return 0;
 643     if (!(PL_op->op_private & OPpTRANS_IDENTICAL)) {
 644         if (!SvPOKp(sv))
 645             (void)SvPV_force(sv, len);
 646         (void)SvPOK_only_UTF8(sv);
 647     }
 648
 649     DEBUG_t( Perl_deb(aTHX_ "2.TBL\n"));
 650
 651     switch (PL_op->op_private & ~hasutf & (
 652                 OPpTRANS_FROM_UTF|OPpTRANS_TO_UTF|OPpTRANS_IDENTICAL|
 653                 OPpTRANS_SQUASH|OPpTRANS_DELETE|OPpTRANS_COMPLEMENT)) {
 654     case 0:
 655         if (hasutf)
 656             return do_trans_simple_utf8(sv);
 657         else
 658             return do_trans_simple(sv);
 659
 660     case OPpTRANS_IDENTICAL:
 661     case OPpTRANS_IDENTICAL|OPpTRANS_COMPLEMENT:
 662         if (hasutf)
 663             return do_trans_count_utf8(sv);
 664         else
 665             return do_trans_count(sv);
 666
 667     default:
 668         if (hasutf)
 669             return do_trans_complex_utf8(sv);
 670         else
 671             return do_trans_complex(sv);
 672     }
 673 }
 674
 675 void
 676 Perl_do_join(pTHX_ register SV *sv, SV *delim, register SV **mark, register SV **sp)
 677 {
 678     dVAR;
 679     SV ** const oldmark = mark;
 680     register I32 items = sp - mark;
 681     register STRLEN len;
 682     STRLEN delimlen;
 683
 684     PERL_ARGS_ASSERT_DO_JOIN;
 685
 686     (void) SvPV_const(delim, delimlen); /* stringify and get the delimlen */
 687     /* SvCUR assumes it's SvPOK() and woe betide you if it's not. */
 688
 689     mark++;
 690     len = (items > 0 ? (delimlen * (items - 1) ) : 0);
 691     SvUPGRADE(sv, SVt_PV);
 692     if (SvLEN(sv) < len + items) {      /* current length is way too short */
 693         while (items-- > 0) {
 694             if (*mark && !SvGAMAGIC(*mark) && SvOK(*mark)) {
 695                 STRLEN tmplen;
 696                 SvPV_const(*mark, tmplen);
 697                 len += tmplen;
 698             }
 699             mark++;
 700         }
 701         SvGROW(sv, len + 1);            /* so try to pre-extend */
 702
 703         mark = oldmark;
 704         items = sp - mark;
 705         ++mark;
 706     }
 707
 708     sv_setpvs(sv, "");
 709     /* sv_setpv retains old UTF8ness [perl #24846] */
 710     SvUTF8_off(sv);
 711
 712     if (PL_tainting && SvMAGICAL(sv))
 713         SvTAINTED_off(sv);
 714
 715     if (items-- > 0) {
 716         if (*mark)
 717             sv_catsv(sv, *mark);
 718         mark++;
 719     }
 720
 721     if (delimlen) {
 722         for (; items > 0; items--,mark++) {
 723             sv_catsv(sv,delim);
 724             sv_catsv(sv,*mark);
 725         }
 726     }
 727     else {
 728         for (; items > 0; items--,mark++)
 729             sv_catsv(sv,*mark);
 730     }
 731     SvSETMAGIC(sv);
 732 }
 733
 734 void
 735 Perl_do_sprintf(pTHX_ SV *sv, I32 len, SV **sarg)
 736 {
 737     dVAR;
 738     STRLEN patlen;
 739     const char * const pat = SvPV_const(*sarg, patlen);
 740     bool do_taint = FALSE;
 741
 742     PERL_ARGS_ASSERT_DO_SPRINTF;
 743
 744     SvUTF8_off(sv);
 745     if (DO_UTF8(*sarg))
 746         SvUTF8_on(sv);
 747     sv_vsetpvfn(sv, pat, patlen, NULL, sarg + 1, len - 1, &do_taint);
 748     SvSETMAGIC(sv);
 749     if (do_taint)
 750         SvTAINTED_on(sv);
 751 }
 752
 753 /* currently converts input to bytes if possible, but doesn't sweat failure */
 754 UV
 755 Perl_do_vecget(pTHX_ SV *sv, I32 offset, I32 size)
 756 {
 757     dVAR;
 758     STRLEN srclen, len, uoffset, bitoffs = 0;
 759     const unsigned char *s = (const unsigned char *) SvPV_const(sv, srclen);
 760     UV retnum = 0;
 761
 762     PERL_ARGS_ASSERT_DO_VECGET;
 763
 764     if (offset < 0)
 765         return 0;
 766     if (size < 1 || (size & (size-1))) /* size < 1 or not a power of two */
 767         Perl_croak(aTHX_ "Illegal number of bits in vec");
 768
 769     if (SvUTF8(sv))
 770         (void) Perl_sv_utf8_downgrade(aTHX_ sv, TRUE);
 771
 772     if (size < 8) {
 773         bitoffs = ((offset%8)*size)%8;
 774         uoffset = offset/(8/size);
 775     }
 776     else if (size > 8)
 777         uoffset = offset*(size/8);
 778     else
 779         uoffset = offset;
 780
 781     len = uoffset + (bitoffs + size + 7)/8;     /* required number of bytes */
 782     if (len > srclen) {
 783         if (size <= 8)
 784             retnum = 0;
 785         else {
 786             if (size == 16) {
 787                 if (uoffset >= srclen)
 788                     retnum = 0;
 789                 else
 790                     retnum = (UV) s[uoffset] <<  8;
 791             }
 792             else if (size == 32) {
 793                 if (uoffset >= srclen)
 794                     retnum = 0;
 795                 else if (uoffset + 1 >= srclen)
 796                     retnum =
 797                         ((UV) s[uoffset    ] << 24);
 798                 else if (uoffset + 2 >= srclen)
 799                     retnum =
 800                         ((UV) s[uoffset    ] << 24) +
 801                         ((UV) s[uoffset + 1] << 16);
 802                 else
 803                     retnum =
 804                         ((UV) s[uoffset    ] << 24) +
 805                         ((UV) s[uoffset + 1] << 16) +
 806                         (     s[uoffset + 2] <<  8);
 807             }
 808 #ifdef UV_IS_QUAD
 809             else if (size == 64) {
 810                 if (ckWARN(WARN_PORTABLE))
 811                     Perl_warner(aTHX_ packWARN(WARN_PORTABLE),
 812                                 "Bit vector size > 32 non-portable");
 813                 if (uoffset >= srclen)
 814                     retnum = 0;
 815                 else if (uoffset + 1 >= srclen)
 816                     retnum =
 817                         (UV) s[uoffset     ] << 56;
 818                 else if (uoffset + 2 >= srclen)
 819                     retnum =
 820                         ((UV) s[uoffset    ] << 56) +
 821                         ((UV) s[uoffset + 1] << 48);
 822                 else if (uoffset + 3 >= srclen)
 823                     retnum =
 824                         ((UV) s[uoffset    ] << 56) +
 825                         ((UV) s[uoffset + 1] << 48) +
 826                         ((UV) s[uoffset + 2] << 40);
 827                 else if (uoffset + 4 >= srclen)
 828                     retnum =
 829                         ((UV) s[uoffset    ] << 56) +
 830                         ((UV) s[uoffset + 1] << 48) +
 831                         ((UV) s[uoffset + 2] << 40) +
 832                         ((UV) s[uoffset + 3] << 32);
 833                 else if (uoffset + 5 >= srclen)
 834                     retnum =
 835                         ((UV) s[uoffset    ] << 56) +
 836                         ((UV) s[uoffset + 1] << 48) +
 837                         ((UV) s[uoffset + 2] << 40) +
 838                         ((UV) s[uoffset + 3] << 32) +
 839                         (     s[uoffset + 4] << 24);
 840                 else if (uoffset + 6 >= srclen)
 841                     retnum =
 842                         ((UV) s[uoffset    ] << 56) +
 843                         ((UV) s[uoffset + 1] << 48) +
 844                         ((UV) s[uoffset + 2] << 40) +
 845                         ((UV) s[uoffset + 3] << 32) +
 846                         ((UV) s[uoffset + 4] << 24) +
 847                         ((UV) s[uoffset + 5] << 16);
 848                 else
 849                     retnum =
 850                         ((UV) s[uoffset    ] << 56) +
 851                         ((UV) s[uoffset + 1] << 48) +
 852                         ((UV) s[uoffset + 2] << 40) +
 853                         ((UV) s[uoffset + 3] << 32) +
 854                         ((UV) s[uoffset + 4] << 24) +
 855                         ((UV) s[uoffset + 5] << 16) +
 856                         (     s[uoffset + 6] <<  8);
 857             }
 858 #endif
 859         }
 860     }
 861     else if (size < 8)
 862         retnum = (s[uoffset] >> bitoffs) & ((1 << size) - 1);
 863     else {
 864         if (size == 8)
 865             retnum = s[uoffset];
 866         else if (size == 16)
 867             retnum =
 868                 ((UV) s[uoffset] <<      8) +
 869                       s[uoffset + 1];
 870         else if (size == 32)
 871             retnum =
 872                 ((UV) s[uoffset    ] << 24) +
 873                 ((UV) s[uoffset + 1] << 16) +
 874                 (     s[uoffset + 2] <<  8) +
 875                       s[uoffset + 3];
 876 #ifdef UV_IS_QUAD
 877         else if (size == 64) {
 878             if (ckWARN(WARN_PORTABLE))
 879                 Perl_warner(aTHX_ packWARN(WARN_PORTABLE),
 880                             "Bit vector size > 32 non-portable");
 881             retnum =
 882                 ((UV) s[uoffset    ] << 56) +
 883                 ((UV) s[uoffset + 1] << 48) +
 884                 ((UV) s[uoffset + 2] << 40) +
 885                 ((UV) s[uoffset + 3] << 32) +
 886                 ((UV) s[uoffset + 4] << 24) +
 887                 ((UV) s[uoffset + 5] << 16) +
 888                 (     s[uoffset + 6] <<  8) +
 889                       s[uoffset + 7];
 890         }
 891 #endif
 892     }
 893
 894     return retnum;
 895 }
 896
 897 /* currently converts input to bytes if possible but doesn't sweat failures,
 898  * although it does ensure that the string it clobbers is not marked as
 899  * utf8-valid any more
 900  */
 901 void
 902 Perl_do_vecset(pTHX_ SV *sv)
 903 {
 904     dVAR;
 905     register I32 offset, bitoffs = 0;
 906     register I32 size;
 907     register unsigned char *s;
 908     register UV lval;
 909     I32 mask;
 910     STRLEN targlen;
 911     STRLEN len;
 912     SV * const targ = LvTARG(sv);
 913
 914     PERL_ARGS_ASSERT_DO_VECSET;
 915
 916     if (!targ)
 917         return;
 918     s = (unsigned char*)SvPV_force(targ, targlen);
 919     if (SvUTF8(targ)) {
 920         /* This is handled by the SvPOK_only below...
 921         if (!Perl_sv_utf8_downgrade(aTHX_ targ, TRUE))
 922             SvUTF8_off(targ);
 923          */
 924         (void) Perl_sv_utf8_downgrade(aTHX_ targ, TRUE);
 925     }
 926
 927     (void)SvPOK_only(targ);
 928     lval = SvUV(sv);
 929     offset = LvTARGOFF(sv);
 930     if (offset < 0)
 931         Perl_croak(aTHX_ "Negative offset to vec in lvalue context");
 932     size = LvTARGLEN(sv);
 933     if (size < 1 || (size & (size-1))) /* size < 1 or not a power of two */
 934         Perl_croak(aTHX_ "Illegal number of bits in vec");
 935
 936     if (size < 8) {
 937         bitoffs = ((offset%8)*size)%8;
 938         offset /= 8/size;
 939     }
 940     else if (size > 8)
 941         offset *= size/8;
 942
 943     len = offset + (bitoffs + size + 7)/8;      /* required number of bytes */
 944     if (len > targlen) {
 945         s = (unsigned char*)SvGROW(targ, len + 1);
 946         (void)memzero((char *)(s + targlen), len - targlen + 1);
 947         SvCUR_set(targ, len);
 948     }
 949
 950     if (size < 8) {
 951         mask = (1 << size) - 1;
 952         lval &= mask;
 953         s[offset] &= ~(mask << bitoffs);
 954         s[offset] |= lval << bitoffs;
 955     }
 956     else {
 957         if (size == 8)
 958             s[offset  ] = (U8)( lval        & 0xff);
 959         else if (size == 16) {
 960             s[offset  ] = (U8)((lval >>  8) & 0xff);
 961             s[offset+1] = (U8)( lval        & 0xff);
 962         }
 963         else if (size == 32) {
 964             s[offset  ] = (U8)((lval >> 24) & 0xff);
 965             s[offset+1] = (U8)((lval >> 16) & 0xff);
 966             s[offset+2] = (U8)((lval >>  8) & 0xff);
 967             s[offset+3] = (U8)( lval        & 0xff);
 968         }
 969 #ifdef UV_IS_QUAD
 970         else if (size == 64) {
 971             if (ckWARN(WARN_PORTABLE))
 972                 Perl_warner(aTHX_ packWARN(WARN_PORTABLE),
 973                             "Bit vector size > 32 non-portable");
 974             s[offset  ] = (U8)((lval >> 56) & 0xff);
 975             s[offset+1] = (U8)((lval >> 48) & 0xff);
 976             s[offset+2] = (U8)((lval >> 40) & 0xff);
 977             s[offset+3] = (U8)((lval >> 32) & 0xff);
 978             s[offset+4] = (U8)((lval >> 24) & 0xff);
 979             s[offset+5] = (U8)((lval >> 16) & 0xff);
 980             s[offset+6] = (U8)((lval >>  8) & 0xff);
 981             s[offset+7] = (U8)( lval        & 0xff);
 982         }
 983 #endif
 984     }
 985     SvSETMAGIC(targ);
 986 }
 987
 988 void
 989 Perl_do_chop(pTHX_ register SV *astr, register SV *sv)
 990 {
 991     dVAR;
 992     STRLEN len;
 993     char *s;
 994
 995     PERL_ARGS_ASSERT_DO_CHOP;
 996
 997     if (SvTYPE(sv) == SVt_PVAV) {
 998         register I32 i;
 999         AV *const av = MUTABLE_AV(sv);
1000         const I32 max = AvFILL(av);
1001
1002         for (i = 0; i <= max; i++) {
1003             sv = MUTABLE_SV(av_fetch(av, i, FALSE));
1004             if (sv && ((sv = *(SV**)sv), sv != &PL_sv_undef))
1005                 do_chop(astr, sv);
1006         }
1007         return;
1008     }
1009     else if (SvTYPE(sv) == SVt_PVHV) {
1010         HV* const hv = MUTABLE_HV(sv);
1011         HE* entry;
1012         (void)hv_iterinit(hv);
1013         while ((entry = hv_iternext(hv)))
1014             do_chop(astr,hv_iterval(hv,entry));
1015         return;
1016     }
1017     else if (SvREADONLY(sv)) {
1018         if (SvFAKE(sv)) {
1019             /* SV is copy-on-write */
1020             sv_force_normal_flags(sv, 0);
1021         }
1022         if (SvREADONLY(sv))
1023             Perl_croak(aTHX_ "%s", PL_no_modify);
1024     }
1025
1026     if (PL_encoding && !SvUTF8(sv)) {
1027         /* like in do_chomp(), utf8-ize the sv as a side-effect
1028          * if we're using encoding. */
1029         sv_recode_to_utf8(sv, PL_encoding);
1030     }
1031
1032     s = SvPV(sv, len);
1033     if (len && !SvPOK(sv))
1034         s = SvPV_force_nomg(sv, len);
1035     if (DO_UTF8(sv)) {
1036         if (s && len) {
1037             char * const send = s + len;
1038             char * const start = s;
1039             s = send - 1;
1040             while (s > start && UTF8_IS_CONTINUATION(*s))
1041                 s--;
1042             if (is_utf8_string((U8*)s, send - s)) {
1043                 sv_setpvn(astr, s, send - s);
1044                 *s = '\0';
1045                 SvCUR_set(sv, s - start);
1046                 SvNIOK_off(sv);
1047                 SvUTF8_on(astr);
1048             }
1049         }
1050         else
1051             sv_setpvs(astr, "");
1052     }
1053     else if (s && len) {
1054         s += --len;
1055         sv_setpvn(astr, s, 1);
1056         *s = '\0';
1057         SvCUR_set(sv, len);
1058         SvUTF8_off(sv);
1059         SvNIOK_off(sv);
1060     }
1061     else
1062         sv_setpvs(astr, "");
1063     SvSETMAGIC(sv);
1064 }
1065
1066 I32
1067 Perl_do_chomp(pTHX_ register SV *sv)
1068 {
1069     dVAR;
1070     register I32 count;
1071     STRLEN len;
1072     char *s;
1073     char *temp_buffer = NULL;
1074     SV* svrecode = NULL;
1075
1076     PERL_ARGS_ASSERT_DO_CHOMP;
1077
1078     if (RsSNARF(PL_rs))
1079         return 0;
1080     if (RsRECORD(PL_rs))
1081       return 0;
1082     count = 0;
1083     if (SvTYPE(sv) == SVt_PVAV) {
1084         register I32 i;
1085         AV *const av = MUTABLE_AV(sv);
1086         const I32 max = AvFILL(av);
1087
1088         for (i = 0; i <= max; i++) {
1089             sv = MUTABLE_SV(av_fetch(av, i, FALSE));
1090             if (sv && ((sv = *(SV**)sv), sv != &PL_sv_undef))
1091                 count += do_chomp(sv);
1092         }
1093         return count;
1094     }
1095     else if (SvTYPE(sv) == SVt_PVHV) {
1096         HV* const hv = MUTABLE_HV(sv);
1097         HE* entry;
1098         (void)hv_iterinit(hv);
1099         while ((entry = hv_iternext(hv)))
1100             count += do_chomp(hv_iterval(hv,entry));
1101         return count;
1102     }
1103     else if (SvREADONLY(sv)) {
1104         if (SvFAKE(sv)) {
1105             /* SV is copy-on-write */
1106             sv_force_normal_flags(sv, 0);
1107         }
1108         if (SvREADONLY(sv))
1109             Perl_croak(aTHX_ "%s", PL_no_modify);
1110     }
1111
1112     if (PL_encoding) {
1113         if (!SvUTF8(sv)) {
1114         /* XXX, here sv is utf8-ized as a side-effect!
1115            If encoding.pm is used properly, almost string-generating
1116            operations, including literal strings, chr(), input data, etc.
1117            should have been utf8-ized already, right?
1118         */
1119             sv_recode_to_utf8(sv, PL_encoding);
1120         }
1121     }
1122
1123     s = SvPV(sv, len);
1124     if (s && len) {
1125         s += --len;
1126         if (RsPARA(PL_rs)) {
1127             if (*s != '\n')
1128                 goto nope;
1129             ++count;
1130             while (len && s[-1] == '\n') {
1131                 --len;
1132                 --s;
1133                 ++count;
1134             }
1135         }
1136         else {
1137             STRLEN rslen, rs_charlen;
1138             const char *rsptr = SvPV_const(PL_rs, rslen);
1139
1140             rs_charlen = SvUTF8(PL_rs)
1141                 ? sv_len_utf8(PL_rs)
1142                 : rslen;
1143
1144             if (SvUTF8(PL_rs) != SvUTF8(sv)) {
1145                 /* Assumption is that rs is shorter than the scalar.  */
1146                 if (SvUTF8(PL_rs)) {
1147                     /* RS is utf8, scalar is 8 bit.  */
1148                     bool is_utf8 = TRUE;
1149                     temp_buffer = (char*)bytes_from_utf8((U8*)rsptr,
1150                                                          &rslen, &is_utf8);
1151                     if (is_utf8) {
1152                         /* Cannot downgrade, therefore cannot possibly match
1153                          */
1154                         assert (temp_buffer == rsptr);
1155                         temp_buffer = NULL;
1156                         goto nope;
1157                     }
1158                     rsptr = temp_buffer;
1159                 }
1160                 else if (PL_encoding) {
1161                     /* RS is 8 bit, encoding.pm is used.
1162                      * Do not recode PL_rs as a side-effect. */
1163                    svrecode = newSVpvn(rsptr, rslen);
1164                    sv_recode_to_utf8(svrecode, PL_encoding);
1165                    rsptr = SvPV_const(svrecode, rslen);
1166                    rs_charlen = sv_len_utf8(svrecode);
1167                 }
1168                 else {
1169                     /* RS is 8 bit, scalar is utf8.  */
1170                     temp_buffer = (char*)bytes_to_utf8((U8*)rsptr, &rslen);
1171                     rsptr = temp_buffer;
1172                 }
1173             }
1174             if (rslen == 1) {
1175                 if (*s != *rsptr)
1176                     goto nope;
1177                 ++count;
1178             }
1179             else {
1180                 if (len < rslen - 1)
1181                     goto nope;
1182                 len -= rslen - 1;
1183                 s -= rslen - 1;
1184                 if (memNE(s, rsptr, rslen))
1185                     goto nope;
1186                 count += rs_charlen;
1187             }
1188         }
1189         s = SvPV_force_nolen(sv);
1190         SvCUR_set(sv, len);
1191         *SvEND(sv) = '\0';
1192         SvNIOK_off(sv);
1193         SvSETMAGIC(sv);
1194     }
1195   nope:
1196
1197     if (svrecode)
1198          SvREFCNT_dec(svrecode);
1199
1200     Safefree(temp_buffer);
1201     return count;
1202 }
1203
1204 void
1205 Perl_do_vop(pTHX_ I32 optype, SV *sv, SV *left, SV *right)
1206 {
1207     dVAR;
1208 #ifdef LIBERAL
1209     register long *dl;
1210     register long *ll;
1211     register long *rl;
1212 #endif
1213     register char *dc;
1214     STRLEN leftlen;
1215     STRLEN rightlen;
1216     register const char *lc;
1217     register const char *rc;
1218     register STRLEN len;
1219     STRLEN lensave;
1220     const char *lsave;
1221     const char *rsave;
1222     bool left_utf;
1223     bool right_utf;
1224     STRLEN needlen = 0;
1225
1226     PERL_ARGS_ASSERT_DO_VOP;
1227
1228     if (sv != left || (optype != OP_BIT_AND && !SvOK(sv) && !SvGMAGICAL(sv)))
1229         sv_setpvs(sv, "");      /* avoid undef warning on |= and ^= */
1230     if (sv == left) {
1231         lsave = lc = SvPV_force_nomg(left, leftlen);
1232     }
1233     else {
1234         lsave = lc = SvPV_nomg_const(left, leftlen);
1235         SvPV_force_nomg_nolen(sv);
1236     }
1237     rsave = rc = SvPV_nomg_const(right, rightlen);
1238
1239     /* This need to come after SvPV to ensure that string overloading has
1240        fired off.  */
1241
1242     left_utf = DO_UTF8(left);
1243     right_utf = DO_UTF8(right);
1244
1245     if (left_utf && !right_utf) {
1246         /* Avoid triggering overloading again by using temporaries.
1247            Maybe there should be a variant of sv_utf8_upgrade that takes pvn
1248         */
1249         right = newSVpvn_flags(rsave, rightlen, SVs_TEMP);
1250         sv_utf8_upgrade(right);
1251         rsave = rc = SvPV_nomg_const(right, rightlen);
1252         right_utf = TRUE;
1253     }
1254     else if (!left_utf && right_utf) {
1255         left = newSVpvn_flags(lsave, leftlen, SVs_TEMP);
1256         sv_utf8_upgrade(left);
1257         lsave = lc = SvPV_nomg_const(left, leftlen);
1258         left_utf = TRUE;
1259     }
1260
1261     len = leftlen < rightlen ? leftlen : rightlen;
1262     lensave = len;
1263     SvCUR_set(sv, len);
1264     (void)SvPOK_only(sv);
1265     if ((left_utf || right_utf) && (sv == left || sv == right)) {
1266         needlen = optype == OP_BIT_AND ? len : leftlen + rightlen;
1267         Newxz(dc, needlen + 1, char);
1268     }
1269     else if (SvOK(sv) || SvTYPE(sv) > SVt_PVMG) {
1270         dc = SvPV_force_nomg_nolen(sv);
1271         if (SvLEN(sv) < len + 1) {
1272             dc = SvGROW(sv, len + 1);
1273             (void)memzero(dc + SvCUR(sv), len - SvCUR(sv) + 1);
1274         }
1275         if (optype != OP_BIT_AND && (left_utf || right_utf))
1276             dc = SvGROW(sv, leftlen + rightlen + 1);
1277     }
1278     else {
1279         needlen = optype == OP_BIT_AND
1280                     ? len : (leftlen > rightlen ? leftlen : rightlen);
1281         Newxz(dc, needlen + 1, char);
1282         sv_usepvn_flags(sv, dc, needlen, SV_HAS_TRAILING_NUL);
1283         dc = SvPVX(sv);         /* sv_usepvn() calls Renew() */
1284     }
1285     if (left_utf || right_utf) {
1286         UV duc, luc, ruc;
1287         char *dcorig = dc;
1288         char *dcsave = NULL;
1289         STRLEN lulen = leftlen;
1290         STRLEN rulen = rightlen;
1291         STRLEN ulen;
1292
1293         switch (optype) {
1294         case OP_BIT_AND:
1295             while (lulen && rulen) {
1296                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1297                 lc += ulen;
1298                 lulen -= ulen;
1299                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1300                 rc += ulen;
1301                 rulen -= ulen;
1302                 duc = luc & ruc;
1303                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1304             }
1305             if (sv == left || sv == right)
1306                 (void)sv_usepvn(sv, dcorig, needlen);
1307             SvCUR_set(sv, dc - dcorig);
1308             break;
1309         case OP_BIT_XOR:
1310             while (lulen && rulen) {
1311                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1312                 lc += ulen;
1313                 lulen -= ulen;
1314                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1315                 rc += ulen;
1316                 rulen -= ulen;
1317                 duc = luc ^ ruc;
1318                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1319             }
1320             goto mop_up_utf;
1321         case OP_BIT_OR:
1322             while (lulen && rulen) {
1323                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1324                 lc += ulen;
1325                 lulen -= ulen;
1326                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1327                 rc += ulen;
1328                 rulen -= ulen;
1329                 duc = luc | ruc;
1330                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1331             }
1332           mop_up_utf:
1333             if (rulen)
1334                 dcsave = savepvn(rc, rulen);
1335             else if (lulen)
1336                 dcsave = savepvn(lc, lulen);
1337             if (sv == left || sv == right)
1338                 (void)sv_usepvn(sv, dcorig, needlen); /* Uses Renew(). */
1339             SvCUR_set(sv, dc - dcorig);
1340             if (rulen)
1341                 sv_catpvn(sv, dcsave, rulen);
1342             else if (lulen)
1343                 sv_catpvn(sv, dcsave, lulen);
1344             else
1345                 *SvEND(sv) = '\0';
1346             Safefree(dcsave);
1347             break;
1348         default:
1349             if (sv == left || sv == right)
1350                 Safefree(dcorig);
1351             Perl_croak(aTHX_ "panic: do_vop called for op %u (%s)",
1352                         (unsigned)optype, PL_op_name[optype]);
1353         }
1354         SvUTF8_on(sv);
1355         goto finish;
1356     }
1357     else
1358 #ifdef LIBERAL
1359     if (len >= sizeof(long)*4 &&
1360         !((unsigned long)dc % sizeof(long)) &&
1361         !((unsigned long)lc % sizeof(long)) &&
1362         !((unsigned long)rc % sizeof(long)))    /* It's almost always aligned... */
1363     {
1364         const STRLEN remainder = len % (sizeof(long)*4);
1365         len /= (sizeof(long)*4);
1366
1367         dl = (long*)dc;
1368         ll = (long*)lc;
1369         rl = (long*)rc;
1370
1371         switch (optype) {
1372         case OP_BIT_AND:
1373             while (len--) {
1374                 *dl++ = *ll++ & *rl++;
1375                 *dl++ = *ll++ & *rl++;
1376                 *dl++ = *ll++ & *rl++;
1377                 *dl++ = *ll++ & *rl++;
1378             }
1379             break;
1380         case OP_BIT_XOR:
1381             while (len--) {
1382                 *dl++ = *ll++ ^ *rl++;
1383                 *dl++ = *ll++ ^ *rl++;
1384                 *dl++ = *ll++ ^ *rl++;
1385                 *dl++ = *ll++ ^ *rl++;
1386             }
1387             break;
1388         case OP_BIT_OR:
1389             while (len--) {
1390                 *dl++ = *ll++ | *rl++;
1391                 *dl++ = *ll++ | *rl++;
1392                 *dl++ = *ll++ | *rl++;
1393                 *dl++ = *ll++ | *rl++;
1394             }
1395         }
1396
1397         dc = (char*)dl;
1398         lc = (char*)ll;
1399         rc = (char*)rl;
1400
1401         len = remainder;
1402     }
1403 #endif
1404     {
1405         switch (optype) {
1406         case OP_BIT_AND:
1407             while (len--)
1408                 *dc++ = *lc++ & *rc++;
1409             *dc = '\0';
1410             break;
1411         case OP_BIT_XOR:
1412             while (len--)
1413                 *dc++ = *lc++ ^ *rc++;
1414             goto mop_up;
1415         case OP_BIT_OR:
1416             while (len--)
1417                 *dc++ = *lc++ | *rc++;
1418           mop_up:
1419             len = lensave;
1420             if (rightlen > len)
1421                 sv_catpvn(sv, rsave + len, rightlen - len);
1422             else if (leftlen > (STRLEN)len)
1423                 sv_catpvn(sv, lsave + len, leftlen - len);
1424             else
1425                 *SvEND(sv) = '\0';
1426             break;
1427         }
1428     }
1429 finish:
1430     SvTAINT(sv);
1431 }
1432
1433 OP *
1434 Perl_do_kv(pTHX)
1435 {
1436     dVAR;
1437     dSP;
1438     HV * const hv = MUTABLE_HV(POPs);
1439     HV *keys;
1440     register HE *entry;
1441     const I32 gimme = GIMME_V;
1442     const I32 dokv =     (PL_op->op_type == OP_RV2HV || PL_op->op_type == OP_PADHV);
1443     const I32 dokeys =   dokv || (PL_op->op_type == OP_KEYS);
1444     const I32 dovalues = dokv || (PL_op->op_type == OP_VALUES);
1445
1446     if (!hv) {
1447         if (PL_op->op_flags & OPf_MOD || LVRET) {       /* lvalue */
1448             dTARGET;            /* make sure to clear its target here */
1449             if (SvTYPE(TARG) == SVt_PVLV)
1450                 LvTARG(TARG) = NULL;
1451             PUSHs(TARG);
1452         }
1453         RETURN;
1454     }
1455
1456     keys = hv;
1457     (void)hv_iterinit(keys);    /* always reset iterator regardless */
1458
1459     if (gimme == G_VOID)
1460         RETURN;
1461
1462     if (gimme == G_SCALAR) {
1463         IV i;
1464         dTARGET;
1465
1466         if (PL_op->op_flags & OPf_MOD || LVRET) {       /* lvalue */
1467             if (SvTYPE(TARG) < SVt_PVLV) {
1468                 sv_upgrade(TARG, SVt_PVLV);
1469                 sv_magic(TARG, NULL, PERL_MAGIC_nkeys, NULL, 0);
1470             }
1471             LvTYPE(TARG) = 'k';
1472             if (LvTARG(TARG) != (const SV *)keys) {
1473                 if (LvTARG(TARG))
1474                     SvREFCNT_dec(LvTARG(TARG));
1475                 LvTARG(TARG) = SvREFCNT_inc_simple(keys);
1476             }
1477             PUSHs(TARG);
1478             RETURN;
1479         }
1480
1481         if (! SvTIED_mg((const SV *)keys, PERL_MAGIC_tied) )
1482         {
1483             i = HvKEYS(keys);
1484         }
1485         else {
1486             i = 0;
1487             while (hv_iternext(keys)) i++;
1488         }
1489         PUSHi( i );
1490         RETURN;
1491     }
1492
1493     EXTEND(SP, HvKEYS(keys) * (dokeys + dovalues));
1494
1495     PUTBACK;    /* hv_iternext and hv_iterval might clobber stack_sp */
1496     while ((entry = hv_iternext(keys))) {
1497         SPAGAIN;
1498         if (dokeys) {
1499             SV* const sv = hv_iterkeysv(entry);
1500             XPUSHs(sv); /* won't clobber stack_sp */
1501         }
1502         if (dovalues) {
1503             SV *tmpstr;
1504             PUTBACK;
1505             tmpstr = hv_iterval(hv,entry);
1506             DEBUG_H(Perl_sv_setpvf(aTHX_ tmpstr, "%lu%%%d=%lu",
1507                             (unsigned long)HeHASH(entry),
1508                             (int)HvMAX(keys)+1,
1509                             (unsigned long)(HeHASH(entry) & HvMAX(keys))));
1510             SPAGAIN;
1511             XPUSHs(tmpstr);
1512         }
1513         PUTBACK;
1514     }
1515     return NORMAL;
1516 }
1517
1518 /*
1519  * Local variables:
1520  * c-indentation-style: bsd
1521  * c-basic-offset: 4
1522  * indent-tabs-mode: t
1523  * End:
1524  *
1525  * ex: set ts=8 sts=4 sw=4 noet:
1526  */