gbarr is maintaining IO.
[p5sagit/p5-mst-13.2.git] / doop.c
1 /*    doop.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2004, 2005, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  */
10
11 /*
12  * "'So that was the job I felt I had to do when I started,' thought Sam."
13  */
14
15 /* This file contains some common functions needed to carry out certain
16  * ops. For example both pp_schomp() and pp_chomp() - scalar and array
17  * chomp operations - call the function do_chomp() found in this file.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_DOOP_C
22 #include "perl.h"
23
24 #ifndef PERL_MICRO
25 #include <signal.h>
26 #endif
27
28 STATIC I32
29 S_do_trans_simple(pTHX_ SV *sv)
30 {
31     U8 *s;
32     U8 *d;
33     const U8 *send;
34     U8 *dstart;
35     I32 matches = 0;
36     const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
37     STRLEN len;
38
39     const short *tbl = (short*)cPVOP->op_pv;
40     if (!tbl)
41         Perl_croak(aTHX_ "panic: do_trans_simple line %d",__LINE__);
42
43     s = (U8*)SvPV(sv, len);
44     send = s + len;
45
46     /* First, take care of non-UTF-8 input strings, because they're easy */
47     if (!SvUTF8(sv)) {
48         while (s < send) {
49             const I32 ch = tbl[*s];
50             if (ch >= 0) {
51                 matches++;
52                 *s++ = (U8)ch;
53             }
54             else
55                 s++;
56         }
57         SvSETMAGIC(sv);
58         return matches;
59     }
60
61     /* Allow for expansion: $_="a".chr(400); tr/a/\xFE/, FE needs encoding */
62     if (grows)
63         Newx(d, len*2+1, U8);
64     else
65         d = s;
66     dstart = d;
67     while (s < send) {
68         STRLEN ulen;
69         I32 ch;
70
71         /* Need to check this, otherwise 128..255 won't match */
72         const UV c = utf8n_to_uvchr(s, send - s, &ulen, 0);
73         if (c < 0x100 && (ch = tbl[c]) >= 0) {
74             matches++;
75             d = uvchr_to_utf8(d, ch);
76             s += ulen;
77         }
78         else { /* No match -> copy */
79             Move(s, d, ulen, U8);
80             d += ulen;
81             s += ulen;
82         }
83     }
84     if (grows) {
85         sv_setpvn(sv, (char*)dstart, d - dstart);
86         Safefree(dstart);
87     }
88     else {
89         *d = '\0';
90         SvCUR_set(sv, d - dstart);
91     }
92     SvUTF8_on(sv);
93     SvSETMAGIC(sv);
94     return matches;
95 }
96
97 STATIC I32
98 S_do_trans_count(pTHX_ SV *sv)
99 {
100     const U8 *s;
101     const U8 *send;
102     I32 matches = 0;
103     STRLEN len;
104     const I32 complement = PL_op->op_private & OPpTRANS_COMPLEMENT;
105
106     const short * const tbl = (short*)cPVOP->op_pv;
107     if (!tbl)
108         Perl_croak(aTHX_ "panic: do_trans_count line %d",__LINE__);
109
110     s = (const U8*)SvPV_const(sv, len);
111     send = s + len;
112
113     if (!SvUTF8(sv))
114         while (s < send) {
115             if (tbl[*s++] >= 0)
116                 matches++;
117         }
118     else
119         while (s < send) {
120             STRLEN ulen;
121             const UV c = utf8n_to_uvchr(s, send - s, &ulen, 0);
122             if (c < 0x100) {
123                 if (tbl[c] >= 0)
124                     matches++;
125             } else if (complement)
126                 matches++;
127             s += ulen;
128         }
129
130     return matches;
131 }
132
133 STATIC I32
134 S_do_trans_complex(pTHX_ SV *sv)
135 {
136     U8 *s;
137     U8 *send;
138     U8 *d;
139     U8 *dstart;
140     I32 isutf8;
141     I32 matches = 0;
142     const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
143     const I32 complement = PL_op->op_private & OPpTRANS_COMPLEMENT;
144     const I32 del = PL_op->op_private & OPpTRANS_DELETE;
145     STRLEN len, rlen = 0;
146
147     const short * const tbl = (short*)cPVOP->op_pv;
148     if (!tbl)
149         Perl_croak(aTHX_ "panic: do_trans_complex line %d",__LINE__);
150
151     s = (U8*)SvPV(sv, len);
152     isutf8 = SvUTF8(sv);
153     send = s + len;
154
155     if (!isutf8) {
156         dstart = d = s;
157         if (PL_op->op_private & OPpTRANS_SQUASH) {
158             const U8* p = send;
159             while (s < send) {
160                 const I32 ch = tbl[*s];
161                 if (ch >= 0) {
162                     *d = (U8)ch;
163                     matches++;
164                     if (p != d - 1 || *p != *d)
165                         p = d++;
166                 }
167                 else if (ch == -1)      /* -1 is unmapped character */
168                     *d++ = *s;  
169                 else if (ch == -2)      /* -2 is delete character */
170                     matches++;
171                 s++;
172             }
173         }
174         else {
175             while (s < send) {
176                 const I32 ch = tbl[*s];
177                 if (ch >= 0) {
178                     matches++;
179                     *d++ = (U8)ch;
180                 }
181                 else if (ch == -1)      /* -1 is unmapped character */
182                     *d++ = *s;
183                 else if (ch == -2)      /* -2 is delete character */
184                     matches++;
185                 s++;
186             }
187         }
188         *d = '\0';
189         SvCUR_set(sv, d - dstart);
190     }
191     else { /* isutf8 */
192         if (grows)
193             Newx(d, len*2+1, U8);
194         else
195             d = s;
196         dstart = d;
197         if (complement && !del)
198             rlen = tbl[0x100];
199
200 #ifdef MACOS_TRADITIONAL
201 #define comp CoMP   /* "comp" is a keyword in some compilers ... */
202 #endif
203
204         if (PL_op->op_private & OPpTRANS_SQUASH) {
205             UV pch = 0xfeedface;
206             while (s < send) {
207                 STRLEN len;
208                 const UV comp = utf8_to_uvchr(s, &len);
209                 I32 ch;
210
211                 if (comp > 0xff) {
212                     if (!complement) {
213                         Copy(s, d, len, U8);
214                         d += len;
215                     }
216                     else {
217                         matches++;
218                         if (!del) {
219                             ch = (rlen == 0) ? comp :
220                                 (comp - 0x100 < rlen) ?
221                                 tbl[comp+1] : tbl[0x100+rlen];
222                             if ((UV)ch != pch) {
223                                 d = uvchr_to_utf8(d, ch);
224                                 pch = (UV)ch;
225                             }
226                             s += len;
227                             continue;
228                         }
229                     }
230                 }
231                 else if ((ch = tbl[comp]) >= 0) {
232                     matches++;
233                     if ((UV)ch != pch) {
234                         d = uvchr_to_utf8(d, ch);
235                         pch = (UV)ch;
236                     }
237                     s += len;
238                     continue;
239                 }
240                 else if (ch == -1) {    /* -1 is unmapped character */
241                     Copy(s, d, len, U8);
242                     d += len;
243                 }
244                 else if (ch == -2)      /* -2 is delete character */
245                     matches++;
246                 s += len;
247                 pch = 0xfeedface;
248             }
249         }
250         else {
251             while (s < send) {
252                 STRLEN len;
253                 const UV comp = utf8_to_uvchr(s, &len);
254                 I32 ch;
255                 if (comp > 0xff) {
256                     if (!complement) {
257                         Move(s, d, len, U8);
258                         d += len;
259                     }
260                     else {
261                         matches++;
262                         if (!del) {
263                             if (comp - 0x100 < rlen)
264                                 d = uvchr_to_utf8(d, tbl[comp+1]);
265                             else
266                                 d = uvchr_to_utf8(d, tbl[0x100+rlen]);
267                         }
268                     }
269                 }
270                 else if ((ch = tbl[comp]) >= 0) {
271                     d = uvchr_to_utf8(d, ch);
272                     matches++;
273                 }
274                 else if (ch == -1) {    /* -1 is unmapped character */
275                     Copy(s, d, len, U8);
276                     d += len;
277                 }
278                 else if (ch == -2)      /* -2 is delete character */
279                     matches++;
280                 s += len;
281             }
282         }
283         if (grows) {
284             sv_setpvn(sv, (char*)dstart, d - dstart);
285             Safefree(dstart);
286         }
287         else {
288             *d = '\0';
289             SvCUR_set(sv, d - dstart);
290         }
291         SvUTF8_on(sv);
292     }
293     SvSETMAGIC(sv);
294     return matches;
295 }
296
297 STATIC I32
298 S_do_trans_simple_utf8(pTHX_ SV *sv)
299 {
300     U8 *s;
301     U8 *send;
302     U8 *d;
303     U8 *start;
304     U8 *dstart, *dend;
305     I32 matches = 0;
306     const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
307     STRLEN len;
308
309     SV* const  rv = (SV*)cSVOP->op_sv;
310     HV* const  hv = (HV*)SvRV(rv);
311     SV** svp = hv_fetch(hv, "NONE", 4, FALSE);
312     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
313     const UV extra = none + 1;
314     UV final = 0;
315     UV uv;
316     I32 isutf8;
317     U8 hibit = 0;
318
319     s = (U8*)SvPV(sv, len);
320     isutf8 = SvUTF8(sv);
321     if (!isutf8) {
322         const U8 *t = s, *e = s + len;
323         while (t < e) {
324             const U8 ch = *t++;
325             if ((hibit = !NATIVE_IS_INVARIANT(ch)))
326                 break;
327         }
328         if (hibit)
329             s = bytes_to_utf8(s, &len);
330     }
331     send = s + len;
332     start = s;
333
334     svp = hv_fetch(hv, "FINAL", 5, FALSE);
335     if (svp)
336         final = SvUV(*svp);
337
338     if (grows) {
339         /* d needs to be bigger than s, in case e.g. upgrading is required */
340         Newx(d, len * 3 + UTF8_MAXBYTES, U8);
341         dend = d + len * 3;
342         dstart = d;
343     }
344     else {
345         dstart = d = s;
346         dend = d + len;
347     }
348
349     while (s < send) {
350         if ((uv = swash_fetch(rv, s, TRUE)) < none) {
351             s += UTF8SKIP(s);
352             matches++;
353             d = uvuni_to_utf8(d, uv);
354         }
355         else if (uv == none) {
356             const int i = UTF8SKIP(s);
357             Move(s, d, i, U8);
358             d += i;
359             s += i;
360         }
361         else if (uv == extra) {
362             s += UTF8SKIP(s);
363             matches++;
364             d = uvuni_to_utf8(d, final);
365         }
366         else
367             s += UTF8SKIP(s);
368
369         if (d > dend) {
370             const STRLEN clen = d - dstart;
371             const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
372             if (!grows)
373                 Perl_croak(aTHX_ "panic: do_trans_simple_utf8 line %d",__LINE__);
374             Renew(dstart, nlen + UTF8_MAXBYTES, U8);
375             d = dstart + clen;
376             dend = dstart + nlen;
377         }
378     }
379     if (grows || hibit) {
380         sv_setpvn(sv, (char*)dstart, d - dstart);
381         Safefree(dstart);
382         if (grows && hibit)
383             Safefree(start);
384     }
385     else {
386         *d = '\0';
387         SvCUR_set(sv, d - dstart);
388     }
389     SvSETMAGIC(sv);
390     SvUTF8_on(sv);
391
392     return matches;
393 }
394
395 STATIC I32
396 S_do_trans_count_utf8(pTHX_ SV *sv)
397 {
398     const U8 *s;
399     const U8 *start = 0, *send;
400     I32 matches = 0;
401     STRLEN len;
402
403     SV* const rv = (SV*)cSVOP->op_sv;
404     HV* const hv = (HV*)SvRV(rv);
405     SV** const svp = hv_fetch(hv, "NONE", 4, FALSE);
406     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
407     const UV extra = none + 1;
408     U8 hibit = 0;
409
410     s = (const U8*)SvPV_const(sv, len);
411     if (!SvUTF8(sv)) {
412         const U8 *t = s;
413         const U8 *e = s + len;
414         while (t < e) {
415             const U8 ch = *t++;
416             if ((hibit = !NATIVE_IS_INVARIANT(ch)))
417                 break;
418         }
419         if (hibit)
420             start = s = bytes_to_utf8(s, &len);
421     }
422     send = s + len;
423
424     while (s < send) {
425         UV uv;
426         if ((uv = swash_fetch(rv, s, TRUE)) < none || uv == extra)
427             matches++;
428         s += UTF8SKIP(s);
429     }
430     if (hibit)
431         Safefree(start);
432
433     return matches;
434 }
435
436 STATIC I32
437 S_do_trans_complex_utf8(pTHX_ SV *sv)
438 {
439     U8 *start, *send;
440     U8 *d;
441     I32 matches = 0;
442     const I32 squash   = PL_op->op_private & OPpTRANS_SQUASH;
443     const I32 del      = PL_op->op_private & OPpTRANS_DELETE;
444     const I32 grows    = PL_op->op_private & OPpTRANS_GROWS;
445     SV * const rv = (SV*)cSVOP->op_sv;
446     HV * const hv = (HV*)SvRV(rv);
447     SV** svp = hv_fetch(hv, "NONE", 4, FALSE);
448     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
449     const UV extra = none + 1;
450     UV final = 0;
451     bool havefinal = FALSE;
452     STRLEN len;
453     U8 *dstart, *dend;
454     U8 hibit = 0;
455
456     U8 *s = (U8*)SvPV(sv, len);
457     const I32 isutf8 = SvUTF8(sv);
458     if (!isutf8) {
459         const U8 *t = s;
460         const U8 * const e = s + len;
461         while (t < e) {
462             const U8 ch = *t++;
463             if ((hibit = !NATIVE_IS_INVARIANT(ch)))
464                 break;
465         }
466         if (hibit)
467             s = bytes_to_utf8(s, &len);
468     }
469     send = s + len;
470     start = s;
471
472     svp = hv_fetch(hv, "FINAL", 5, FALSE);
473     if (svp) {
474         final = SvUV(*svp);
475         havefinal = TRUE;
476     }
477
478     if (grows) {
479         /* d needs to be bigger than s, in case e.g. upgrading is required */
480         Newx(d, len * 3 + UTF8_MAXBYTES, U8);
481         dend = d + len * 3;
482         dstart = d;
483     }
484     else {
485         dstart = d = s;
486         dend = d + len;
487     }
488
489     if (squash) {
490         UV puv = 0xfeedface;
491         while (s < send) {
492             UV uv = swash_fetch(rv, s, TRUE);
493         
494             if (d > dend) {
495                 const STRLEN clen = d - dstart;
496                 const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
497                 if (!grows)
498                     Perl_croak(aTHX_ "panic: do_trans_complex_utf8 line %d",__LINE__);
499                 Renew(dstart, nlen + UTF8_MAXBYTES, U8);
500                 d = dstart + clen;
501                 dend = dstart + nlen;
502             }
503             if (uv < none) {
504                 matches++;
505                 s += UTF8SKIP(s);
506                 if (uv != puv) {
507                     d = uvuni_to_utf8(d, uv);
508                     puv = uv;
509                 }
510                 continue;
511             }
512             else if (uv == none) {      /* "none" is unmapped character */
513                 const int i = UTF8SKIP(s);
514                 Move(s, d, i, U8);
515                 d += i;
516                 s += i;
517                 puv = 0xfeedface;
518                 continue;
519             }
520             else if (uv == extra && !del) {
521                 matches++;
522                 if (havefinal) {
523                     s += UTF8SKIP(s);
524                     if (puv != final) {
525                         d = uvuni_to_utf8(d, final);
526                         puv = final;
527                     }
528                 }
529                 else {
530                     STRLEN len;
531                     uv = utf8_to_uvuni(s, &len);
532                     if (uv != puv) {
533                         Move(s, d, len, U8);
534                         d += len;
535                         puv = uv;
536                     }
537                     s += len;
538                 }
539                 continue;
540             }
541             matches++;                  /* "none+1" is delete character */
542             s += UTF8SKIP(s);
543         }
544     }
545     else {
546         while (s < send) {
547             const UV uv = swash_fetch(rv, s, TRUE);
548             if (d > dend) {
549                 const STRLEN clen = d - dstart;
550                 const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
551                 if (!grows)
552                     Perl_croak(aTHX_ "panic: do_trans_complex_utf8 line %d",__LINE__);
553                 Renew(dstart, nlen + UTF8_MAXBYTES, U8);
554                 d = dstart + clen;
555                 dend = dstart + nlen;
556             }
557             if (uv < none) {
558                 matches++;
559                 s += UTF8SKIP(s);
560                 d = uvuni_to_utf8(d, uv);
561                 continue;
562             }
563             else if (uv == none) {      /* "none" is unmapped character */
564                 const int i = UTF8SKIP(s);
565                 Move(s, d, i, U8);
566                 d += i;
567                 s += i;
568                 continue;
569             }
570             else if (uv == extra && !del) {
571                 matches++;
572                 s += UTF8SKIP(s);
573                 d = uvuni_to_utf8(d, final);
574                 continue;
575             }
576             matches++;                  /* "none+1" is delete character */
577             s += UTF8SKIP(s);
578         }
579     }
580     if (grows || hibit) {
581         sv_setpvn(sv, (char*)dstart, d - dstart);
582         Safefree(dstart);
583         if (grows && hibit)
584             Safefree(start);
585     }
586     else {
587         *d = '\0';
588         SvCUR_set(sv, d - dstart);
589     }
590     SvUTF8_on(sv);
591     SvSETMAGIC(sv);
592
593     return matches;
594 }
595
596 I32
597 Perl_do_trans(pTHX_ SV *sv)
598 {
599     STRLEN len;
600     const I32 hasutf = (PL_op->op_private &
601                     (OPpTRANS_FROM_UTF|OPpTRANS_TO_UTF));
602
603     if (SvREADONLY(sv)) {
604         if (SvIsCOW(sv))
605             sv_force_normal_flags(sv, 0);
606         if (SvREADONLY(sv) && !(PL_op->op_private & OPpTRANS_IDENTICAL))
607             Perl_croak(aTHX_ PL_no_modify);
608     }
609     (void)SvPV_const(sv, len);
610     if (!len)
611         return 0;
612     if (!(PL_op->op_private & OPpTRANS_IDENTICAL)) {
613         if (!SvPOKp(sv))
614             (void)SvPV_force(sv, len);
615         (void)SvPOK_only_UTF8(sv);
616     }
617
618     DEBUG_t( Perl_deb(aTHX_ "2.TBL\n"));
619
620     switch (PL_op->op_private & ~hasutf & (
621                 OPpTRANS_FROM_UTF|OPpTRANS_TO_UTF|OPpTRANS_IDENTICAL|
622                 OPpTRANS_SQUASH|OPpTRANS_DELETE|OPpTRANS_COMPLEMENT)) {
623     case 0:
624         if (hasutf)
625             return do_trans_simple_utf8(sv);
626         else
627             return do_trans_simple(sv);
628
629     case OPpTRANS_IDENTICAL:
630     case OPpTRANS_IDENTICAL|OPpTRANS_COMPLEMENT:
631         if (hasutf)
632             return do_trans_count_utf8(sv);
633         else
634             return do_trans_count(sv);
635
636     default:
637         if (hasutf)
638             return do_trans_complex_utf8(sv);
639         else
640             return do_trans_complex(sv);
641     }
642 }
643
644 void
645 Perl_do_join(pTHX_ register SV *sv, SV *del, register SV **mark, register SV **sp)
646 {
647     SV ** const oldmark = mark;
648     register I32 items = sp - mark;
649     register STRLEN len;
650     STRLEN delimlen;
651
652     (void) SvPV_const(del, delimlen); /* stringify and get the delimlen */
653     /* SvCUR assumes it's SvPOK() and woe betide you if it's not. */
654
655     mark++;
656     len = (items > 0 ? (delimlen * (items - 1) ) : 0);
657     SvUPGRADE(sv, SVt_PV);
658     if (SvLEN(sv) < len + items) {      /* current length is way too short */
659         while (items-- > 0) {
660             if (*mark && !SvGAMAGIC(*mark) && SvOK(*mark)) {
661                 STRLEN tmplen;
662                 SvPV_const(*mark, tmplen);
663                 len += tmplen;
664             }
665             mark++;
666         }
667         SvGROW(sv, len + 1);            /* so try to pre-extend */
668
669         mark = oldmark;
670         items = sp - mark;
671         ++mark;
672     }
673
674     sv_setpvn(sv, "", 0);
675     /* sv_setpv retains old UTF8ness [perl #24846] */
676     SvUTF8_off(sv);
677
678     if (PL_tainting && SvMAGICAL(sv))
679         SvTAINTED_off(sv);
680
681     if (items-- > 0) {
682         if (*mark)
683             sv_catsv(sv, *mark);
684         mark++;
685     }
686
687     if (delimlen) {
688         for (; items > 0; items--,mark++) {
689             sv_catsv(sv,del);
690             sv_catsv(sv,*mark);
691         }
692     }
693     else {
694         for (; items > 0; items--,mark++)
695             sv_catsv(sv,*mark);
696     }
697     SvSETMAGIC(sv);
698 }
699
700 void
701 Perl_do_sprintf(pTHX_ SV *sv, I32 len, SV **sarg)
702 {
703     STRLEN patlen;
704     const char * const pat = SvPV_const(*sarg, patlen);
705     bool do_taint = FALSE;
706
707     SvUTF8_off(sv);
708     if (DO_UTF8(*sarg))
709         SvUTF8_on(sv);
710     sv_vsetpvfn(sv, pat, patlen, Null(va_list*), sarg + 1, len - 1, &do_taint);
711     SvSETMAGIC(sv);
712     if (do_taint)
713         SvTAINTED_on(sv);
714 }
715
716 /* currently converts input to bytes if possible, but doesn't sweat failure */
717 UV
718 Perl_do_vecget(pTHX_ SV *sv, I32 offset, I32 size)
719 {
720     STRLEN srclen, len;
721     const unsigned char *s = (const unsigned char *) SvPV_const(sv, srclen);
722     UV retnum = 0;
723
724     if (offset < 0)
725         return retnum;
726     if (size < 1 || (size & (size-1))) /* size < 1 or not a power of two */
727         Perl_croak(aTHX_ "Illegal number of bits in vec");
728
729     if (SvUTF8(sv))
730         (void) Perl_sv_utf8_downgrade(aTHX_ sv, TRUE);
731
732     offset *= size;     /* turn into bit offset */
733     len = (offset + size + 7) / 8;      /* required number of bytes */
734     if (len > srclen) {
735         if (size <= 8)
736             retnum = 0;
737         else {
738             offset >>= 3;       /* turn into byte offset */
739             if (size == 16) {
740                 if ((STRLEN)offset >= srclen)
741                     retnum = 0;
742                 else
743                     retnum = (UV) s[offset] <<  8;
744             }
745             else if (size == 32) {
746                 if ((STRLEN)offset >= srclen)
747                     retnum = 0;
748                 else if ((STRLEN)(offset + 1) >= srclen)
749                     retnum =
750                         ((UV) s[offset    ] << 24);
751                 else if ((STRLEN)(offset + 2) >= srclen)
752                     retnum =
753                         ((UV) s[offset    ] << 24) +
754                         ((UV) s[offset + 1] << 16);
755                 else
756                     retnum =
757                         ((UV) s[offset    ] << 24) +
758                         ((UV) s[offset + 1] << 16) +
759                         (     s[offset + 2] <<  8);
760             }
761 #ifdef UV_IS_QUAD
762             else if (size == 64) {
763                 if (ckWARN(WARN_PORTABLE))
764                     Perl_warner(aTHX_ packWARN(WARN_PORTABLE),
765                                 "Bit vector size > 32 non-portable");
766                 if (offset >= srclen)
767                     retnum = 0;
768                 else if (offset + 1 >= srclen)
769                     retnum =
770                         (UV) s[offset     ] << 56;
771                 else if (offset + 2 >= srclen)
772                     retnum =
773                         ((UV) s[offset    ] << 56) +
774                         ((UV) s[offset + 1] << 48);
775                 else if (offset + 3 >= srclen)
776                     retnum =
777                         ((UV) s[offset    ] << 56) +
778                         ((UV) s[offset + 1] << 48) +
779                         ((UV) s[offset + 2] << 40);
780                 else if (offset + 4 >= srclen)
781                     retnum =
782                         ((UV) s[offset    ] << 56) +
783                         ((UV) s[offset + 1] << 48) +
784                         ((UV) s[offset + 2] << 40) +
785                         ((UV) s[offset + 3] << 32);
786                 else if (offset + 5 >= srclen)
787                     retnum =
788                         ((UV) s[offset    ] << 56) +
789                         ((UV) s[offset + 1] << 48) +
790                         ((UV) s[offset + 2] << 40) +
791                         ((UV) s[offset + 3] << 32) +
792                         (     s[offset + 4] << 24);
793                 else if (offset + 6 >= srclen)
794                     retnum =
795                         ((UV) s[offset    ] << 56) +
796                         ((UV) s[offset + 1] << 48) +
797                         ((UV) s[offset + 2] << 40) +
798                         ((UV) s[offset + 3] << 32) +
799                         ((UV) s[offset + 4] << 24) +
800                         ((UV) s[offset + 5] << 16);
801                 else
802                     retnum =
803                         ((UV) s[offset    ] << 56) +
804                         ((UV) s[offset + 1] << 48) +
805                         ((UV) s[offset + 2] << 40) +
806                         ((UV) s[offset + 3] << 32) +
807                         ((UV) s[offset + 4] << 24) +
808                         ((UV) s[offset + 5] << 16) +
809                         (     s[offset + 6] <<  8);
810             }
811 #endif
812         }
813     }
814     else if (size < 8)
815         retnum = (s[offset >> 3] >> (offset & 7)) & ((1 << size) - 1);
816     else {
817         offset >>= 3;   /* turn into byte offset */
818         if (size == 8)
819             retnum = s[offset];
820         else if (size == 16)
821             retnum =
822                 ((UV) s[offset] <<      8) +
823                       s[offset + 1];
824         else if (size == 32)
825             retnum =
826                 ((UV) s[offset    ] << 24) +
827                 ((UV) s[offset + 1] << 16) +
828                 (     s[offset + 2] <<  8) +
829                       s[offset + 3];
830 #ifdef UV_IS_QUAD
831         else if (size == 64) {
832             if (ckWARN(WARN_PORTABLE))
833                 Perl_warner(aTHX_ packWARN(WARN_PORTABLE),
834                             "Bit vector size > 32 non-portable");
835             retnum =
836                 ((UV) s[offset    ] << 56) +
837                 ((UV) s[offset + 1] << 48) +
838                 ((UV) s[offset + 2] << 40) +
839                 ((UV) s[offset + 3] << 32) +
840                 ((UV) s[offset + 4] << 24) +
841                 ((UV) s[offset + 5] << 16) +
842                 (     s[offset + 6] <<  8) +
843                       s[offset + 7];
844         }
845 #endif
846     }
847
848     return retnum;
849 }
850
851 /* currently converts input to bytes if possible but doesn't sweat failures,
852  * although it does ensure that the string it clobbers is not marked as
853  * utf8-valid any more
854  */
855 void
856 Perl_do_vecset(pTHX_ SV *sv)
857 {
858     SV *targ = LvTARG(sv);
859     register I32 offset;
860     register I32 size;
861     register unsigned char *s;
862     register UV lval;
863     I32 mask;
864     STRLEN targlen;
865     STRLEN len;
866
867     if (!targ)
868         return;
869     s = (unsigned char*)SvPV_force(targ, targlen);
870     if (SvUTF8(targ)) {
871         /* This is handled by the SvPOK_only below...
872         if (!Perl_sv_utf8_downgrade(aTHX_ targ, TRUE))
873             SvUTF8_off(targ);
874          */
875         (void) Perl_sv_utf8_downgrade(aTHX_ targ, TRUE);
876     }
877
878     (void)SvPOK_only(targ);
879     lval = SvUV(sv);
880     offset = LvTARGOFF(sv);
881     if (offset < 0)
882         Perl_croak(aTHX_ "Negative offset to vec in lvalue context");
883     size = LvTARGLEN(sv);
884     if (size < 1 || (size & (size-1))) /* size < 1 or not a power of two */
885         Perl_croak(aTHX_ "Illegal number of bits in vec");
886
887     offset *= size;                     /* turn into bit offset */
888     len = (offset + size + 7) / 8;      /* required number of bytes */
889     if (len > targlen) {
890         s = (unsigned char*)SvGROW(targ, len + 1);
891         (void)memzero((char *)(s + targlen), len - targlen + 1);
892         SvCUR_set(targ, len);
893     }
894
895     if (size < 8) {
896         mask = (1 << size) - 1;
897         size = offset & 7;
898         lval &= mask;
899         offset >>= 3;                   /* turn into byte offset */
900         s[offset] &= ~(mask << size);
901         s[offset] |= lval << size;
902     }
903     else {
904         offset >>= 3;                   /* turn into byte offset */
905         if (size == 8)
906             s[offset  ] = (U8)( lval        & 0xff);
907         else if (size == 16) {
908             s[offset  ] = (U8)((lval >>  8) & 0xff);
909             s[offset+1] = (U8)( lval        & 0xff);
910         }
911         else if (size == 32) {
912             s[offset  ] = (U8)((lval >> 24) & 0xff);
913             s[offset+1] = (U8)((lval >> 16) & 0xff);
914             s[offset+2] = (U8)((lval >>  8) & 0xff);
915             s[offset+3] = (U8)( lval        & 0xff);
916         }
917 #ifdef UV_IS_QUAD
918         else if (size == 64) {
919             if (ckWARN(WARN_PORTABLE))
920                 Perl_warner(aTHX_ packWARN(WARN_PORTABLE),
921                             "Bit vector size > 32 non-portable");
922             s[offset  ] = (U8)((lval >> 56) & 0xff);
923             s[offset+1] = (U8)((lval >> 48) & 0xff);
924             s[offset+2] = (U8)((lval >> 40) & 0xff);
925             s[offset+3] = (U8)((lval >> 32) & 0xff);
926             s[offset+4] = (U8)((lval >> 24) & 0xff);
927             s[offset+5] = (U8)((lval >> 16) & 0xff);
928             s[offset+6] = (U8)((lval >>  8) & 0xff);
929             s[offset+7] = (U8)( lval        & 0xff);
930         }
931 #endif
932     }
933     SvSETMAGIC(targ);
934 }
935
936 void
937 Perl_do_chop(pTHX_ register SV *astr, register SV *sv)
938 {
939     STRLEN len;
940     char *s;
941
942     if (SvTYPE(sv) == SVt_PVAV) {
943         register I32 i;
944         AV* av = (AV*)sv;
945         const I32 max = AvFILL(av);
946
947         for (i = 0; i <= max; i++) {
948             sv = (SV*)av_fetch(av, i, FALSE);
949             if (sv && ((sv = *(SV**)sv), sv != &PL_sv_undef))
950                 do_chop(astr, sv);
951         }
952         return;
953     }
954     else if (SvTYPE(sv) == SVt_PVHV) {
955         HV* hv = (HV*)sv;
956         HE* entry;
957         (void)hv_iterinit(hv);
958         while ((entry = hv_iternext(hv)))
959             do_chop(astr,hv_iterval(hv,entry));
960         return;
961     }
962     else if (SvREADONLY(sv)) {
963         if (SvFAKE(sv)) {
964             /* SV is copy-on-write */
965             sv_force_normal_flags(sv, 0);
966         }
967         if (SvREADONLY(sv))
968             Perl_croak(aTHX_ PL_no_modify);
969     }
970     s = SvPV(sv, len);
971     if (len && !SvPOK(sv))
972         s = SvPV_force(sv, len);
973     if (DO_UTF8(sv)) {
974         if (s && len) {
975             char *send = s + len;
976             char *start = s;
977             s = send - 1;
978             while (s > start && UTF8_IS_CONTINUATION(*s))
979                 s--;
980             if (is_utf8_string((U8*)s, send - s)) {
981                 sv_setpvn(astr, s, send - s);
982                 *s = '\0';
983                 SvCUR_set(sv, s - start);
984                 SvNIOK_off(sv);
985                 SvUTF8_on(astr);
986             }
987         }
988         else
989             sv_setpvn(astr, "", 0);
990     }
991     else if (s && len) {
992         s += --len;
993         sv_setpvn(astr, s, 1);
994         *s = '\0';
995         SvCUR_set(sv, len);
996         SvUTF8_off(sv);
997         SvNIOK_off(sv);
998     }
999     else
1000         sv_setpvn(astr, "", 0);
1001     SvSETMAGIC(sv);
1002 }
1003
1004 I32
1005 Perl_do_chomp(pTHX_ register SV *sv)
1006 {
1007     register I32 count;
1008     STRLEN len;
1009     char *s;
1010     char *temp_buffer = NULL;
1011     SV* svrecode = Nullsv;
1012
1013     if (RsSNARF(PL_rs))
1014         return 0;
1015     if (RsRECORD(PL_rs))
1016       return 0;
1017     count = 0;
1018     if (SvTYPE(sv) == SVt_PVAV) {
1019         register I32 i;
1020         AV* const av = (AV*)sv;
1021         const I32 max = AvFILL(av);
1022
1023         for (i = 0; i <= max; i++) {
1024             sv = (SV*)av_fetch(av, i, FALSE);
1025             if (sv && ((sv = *(SV**)sv), sv != &PL_sv_undef))
1026                 count += do_chomp(sv);
1027         }
1028         return count;
1029     }
1030     else if (SvTYPE(sv) == SVt_PVHV) {
1031         HV* const hv = (HV*)sv;
1032         HE* entry;
1033         (void)hv_iterinit(hv);
1034         while ((entry = hv_iternext(hv)))
1035             count += do_chomp(hv_iterval(hv,entry));
1036         return count;
1037     }
1038     else if (SvREADONLY(sv)) {
1039         if (SvFAKE(sv)) {
1040             /* SV is copy-on-write */
1041             sv_force_normal_flags(sv, 0);
1042         }
1043         if (SvREADONLY(sv))
1044             Perl_croak(aTHX_ PL_no_modify);
1045     }
1046
1047     if (PL_encoding) {
1048         if (!SvUTF8(sv)) {
1049         /* XXX, here sv is utf8-ized as a side-effect!
1050            If encoding.pm is used properly, almost string-generating
1051            operations, including literal strings, chr(), input data, etc.
1052            should have been utf8-ized already, right?
1053         */
1054             sv_recode_to_utf8(sv, PL_encoding);
1055         }
1056     }
1057
1058     s = SvPV(sv, len);
1059     if (s && len) {
1060         s += --len;
1061         if (RsPARA(PL_rs)) {
1062             if (*s != '\n')
1063                 goto nope;
1064             ++count;
1065             while (len && s[-1] == '\n') {
1066                 --len;
1067                 --s;
1068                 ++count;
1069             }
1070         }
1071         else {
1072             STRLEN rslen, rs_charlen;
1073             const char *rsptr = SvPV_const(PL_rs, rslen);
1074
1075             rs_charlen = SvUTF8(PL_rs)
1076                 ? sv_len_utf8(PL_rs)
1077                 : rslen;
1078
1079             if (SvUTF8(PL_rs) != SvUTF8(sv)) {
1080                 /* Assumption is that rs is shorter than the scalar.  */
1081                 if (SvUTF8(PL_rs)) {
1082                     /* RS is utf8, scalar is 8 bit.  */
1083                     bool is_utf8 = TRUE;
1084                     temp_buffer = (char*)bytes_from_utf8((U8*)rsptr,
1085                                                          &rslen, &is_utf8);
1086                     if (is_utf8) {
1087                         /* Cannot downgrade, therefore cannot possibly match
1088                          */
1089                         assert (temp_buffer == rsptr);
1090                         temp_buffer = NULL;
1091                         goto nope;
1092                     }
1093                     rsptr = temp_buffer;
1094                 }
1095                 else if (PL_encoding) {
1096                     /* RS is 8 bit, encoding.pm is used.
1097                      * Do not recode PL_rs as a side-effect. */
1098                    svrecode = newSVpvn(rsptr, rslen);
1099                    sv_recode_to_utf8(svrecode, PL_encoding);
1100                    rsptr = SvPV_const(svrecode, rslen);
1101                    rs_charlen = sv_len_utf8(svrecode);
1102                 }
1103                 else {
1104                     /* RS is 8 bit, scalar is utf8.  */
1105                     temp_buffer = (char*)bytes_to_utf8((U8*)rsptr, &rslen);
1106                     rsptr = temp_buffer;
1107                 }
1108             }
1109             if (rslen == 1) {
1110                 if (*s != *rsptr)
1111                     goto nope;
1112                 ++count;
1113             }
1114             else {
1115                 if (len < rslen - 1)
1116                     goto nope;
1117                 len -= rslen - 1;
1118                 s -= rslen - 1;
1119                 if (memNE(s, rsptr, rslen))
1120                     goto nope;
1121                 count += rs_charlen;
1122             }
1123         }
1124         s = SvPV_force_nolen(sv);
1125         SvCUR_set(sv, len);
1126         *SvEND(sv) = '\0';
1127         SvNIOK_off(sv);
1128         SvSETMAGIC(sv);
1129     }
1130   nope:
1131
1132     if (svrecode)
1133          SvREFCNT_dec(svrecode);
1134
1135     Safefree(temp_buffer);
1136     return count;
1137 }
1138
1139 void
1140 Perl_do_vop(pTHX_ I32 optype, SV *sv, SV *left, SV *right)
1141 {
1142 #ifdef LIBERAL
1143     register long *dl;
1144     register long *ll;
1145     register long *rl;
1146 #endif
1147     register char *dc;
1148     STRLEN leftlen;
1149     STRLEN rightlen;
1150     register const char *lc;
1151     register const char *rc;
1152     register I32 len;
1153     I32 lensave;
1154     const char *lsave;
1155     const char *rsave;
1156     const bool left_utf = DO_UTF8(left);
1157     const bool right_utf = DO_UTF8(right);
1158     I32 needlen = 0;
1159
1160     if (left_utf && !right_utf)
1161         sv_utf8_upgrade(right);
1162     else if (!left_utf && right_utf)
1163         sv_utf8_upgrade(left);
1164
1165     if (sv != left || (optype != OP_BIT_AND && !SvOK(sv) && !SvGMAGICAL(sv)))
1166         sv_setpvn(sv, "", 0);   /* avoid undef warning on |= and ^= */
1167     lsave = lc = SvPV_nomg_const(left, leftlen);
1168     rsave = rc = SvPV_nomg_const(right, rightlen);
1169     len = leftlen < rightlen ? leftlen : rightlen;
1170     lensave = len;
1171     if ((left_utf || right_utf) && (sv == left || sv == right)) {
1172         needlen = optype == OP_BIT_AND ? len : leftlen + rightlen;
1173         Newxz(dc, needlen + 1, char);
1174     }
1175     else if (SvOK(sv) || SvTYPE(sv) > SVt_PVMG) {
1176         dc = SvPV_force_nomg_nolen(sv);
1177         if (SvCUR(sv) < (STRLEN)len) {
1178             dc = SvGROW(sv, (STRLEN)(len + 1));
1179             (void)memzero(dc + SvCUR(sv), len - SvCUR(sv) + 1);
1180         }
1181         if (optype != OP_BIT_AND && (left_utf || right_utf))
1182             dc = SvGROW(sv, leftlen + rightlen + 1);
1183     }
1184     else {
1185         needlen = ((optype == OP_BIT_AND)
1186                     ? len : (leftlen > rightlen ? leftlen : rightlen));
1187         Newxz(dc, needlen + 1, char);
1188         (void)sv_usepvn(sv, dc, needlen);
1189         dc = SvPVX(sv);         /* sv_usepvn() calls Renew() */
1190     }
1191     SvCUR_set(sv, len);
1192     (void)SvPOK_only(sv);
1193     if (left_utf || right_utf) {
1194         UV duc, luc, ruc;
1195         char *dcsave = dc;
1196         STRLEN lulen = leftlen;
1197         STRLEN rulen = rightlen;
1198         STRLEN ulen;
1199
1200         switch (optype) {
1201         case OP_BIT_AND:
1202             while (lulen && rulen) {
1203                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1204                 lc += ulen;
1205                 lulen -= ulen;
1206                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1207                 rc += ulen;
1208                 rulen -= ulen;
1209                 duc = luc & ruc;
1210                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1211             }
1212             if (sv == left || sv == right)
1213                 (void)sv_usepvn(sv, dcsave, needlen);
1214             SvCUR_set(sv, dc - dcsave);
1215             break;
1216         case OP_BIT_XOR:
1217             while (lulen && rulen) {
1218                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1219                 lc += ulen;
1220                 lulen -= ulen;
1221                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1222                 rc += ulen;
1223                 rulen -= ulen;
1224                 duc = luc ^ ruc;
1225                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1226             }
1227             goto mop_up_utf;
1228         case OP_BIT_OR:
1229             while (lulen && rulen) {
1230                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1231                 lc += ulen;
1232                 lulen -= ulen;
1233                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1234                 rc += ulen;
1235                 rulen -= ulen;
1236                 duc = luc | ruc;
1237                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1238             }
1239           mop_up_utf:
1240             if (sv == left || sv == right)
1241                 (void)sv_usepvn(sv, dcsave, needlen);
1242             SvCUR_set(sv, dc - dcsave);
1243             if (rulen)
1244                 sv_catpvn(sv, rc, rulen);
1245             else if (lulen)
1246                 sv_catpvn(sv, lc, lulen);
1247             else
1248                 *SvEND(sv) = '\0';
1249             break;
1250         }
1251         SvUTF8_on(sv);
1252         goto finish;
1253     }
1254     else
1255 #ifdef LIBERAL
1256     if (len >= sizeof(long)*4 &&
1257         !((long)dc % sizeof(long)) &&
1258         !((long)lc % sizeof(long)) &&
1259         !((long)rc % sizeof(long)))     /* It's almost always aligned... */
1260     {
1261         const I32 remainder = len % (sizeof(long)*4);
1262         len /= (sizeof(long)*4);
1263
1264         dl = (long*)dc;
1265         ll = (long*)lc;
1266         rl = (long*)rc;
1267
1268         switch (optype) {
1269         case OP_BIT_AND:
1270             while (len--) {
1271                 *dl++ = *ll++ & *rl++;
1272                 *dl++ = *ll++ & *rl++;
1273                 *dl++ = *ll++ & *rl++;
1274                 *dl++ = *ll++ & *rl++;
1275             }
1276             break;
1277         case OP_BIT_XOR:
1278             while (len--) {
1279                 *dl++ = *ll++ ^ *rl++;
1280                 *dl++ = *ll++ ^ *rl++;
1281                 *dl++ = *ll++ ^ *rl++;
1282                 *dl++ = *ll++ ^ *rl++;
1283             }
1284             break;
1285         case OP_BIT_OR:
1286             while (len--) {
1287                 *dl++ = *ll++ | *rl++;
1288                 *dl++ = *ll++ | *rl++;
1289                 *dl++ = *ll++ | *rl++;
1290                 *dl++ = *ll++ | *rl++;
1291             }
1292         }
1293
1294         dc = (char*)dl;
1295         lc = (char*)ll;
1296         rc = (char*)rl;
1297
1298         len = remainder;
1299     }
1300 #endif
1301     {
1302         switch (optype) {
1303         case OP_BIT_AND:
1304             while (len--)
1305                 *dc++ = *lc++ & *rc++;
1306             break;
1307         case OP_BIT_XOR:
1308             while (len--)
1309                 *dc++ = *lc++ ^ *rc++;
1310             goto mop_up;
1311         case OP_BIT_OR:
1312             while (len--)
1313                 *dc++ = *lc++ | *rc++;
1314           mop_up:
1315             len = lensave;
1316             if (rightlen > (STRLEN)len)
1317                 sv_catpvn(sv, rsave + len, rightlen - len);
1318             else if (leftlen > (STRLEN)len)
1319                 sv_catpvn(sv, lsave + len, leftlen - len);
1320             else
1321                 *SvEND(sv) = '\0';
1322             break;
1323         }
1324     }
1325 finish:
1326     SvTAINT(sv);
1327 }
1328
1329 OP *
1330 Perl_do_kv(pTHX)
1331 {
1332     dSP;
1333     HV *hv = (HV*)POPs;
1334     HV *keys;
1335     register HE *entry;
1336     const I32 gimme = GIMME_V;
1337     const I32 dokv =     (PL_op->op_type == OP_RV2HV || PL_op->op_type == OP_PADHV);
1338     const I32 dokeys =   dokv || (PL_op->op_type == OP_KEYS);
1339     const I32 dovalues = dokv || (PL_op->op_type == OP_VALUES);
1340
1341     if (!hv) {
1342         if (PL_op->op_flags & OPf_MOD || LVRET) {       /* lvalue */
1343             dTARGET;            /* make sure to clear its target here */
1344             if (SvTYPE(TARG) == SVt_PVLV)
1345                 LvTARG(TARG) = Nullsv;
1346             PUSHs(TARG);
1347         }
1348         RETURN;
1349     }
1350
1351     keys = hv;
1352     (void)hv_iterinit(keys);    /* always reset iterator regardless */
1353
1354     if (gimme == G_VOID)
1355         RETURN;
1356
1357     if (gimme == G_SCALAR) {
1358         IV i;
1359         dTARGET;
1360
1361         if (PL_op->op_flags & OPf_MOD || LVRET) {       /* lvalue */
1362             if (SvTYPE(TARG) < SVt_PVLV) {
1363                 sv_upgrade(TARG, SVt_PVLV);
1364                 sv_magic(TARG, Nullsv, PERL_MAGIC_nkeys, Nullch, 0);
1365             }
1366             LvTYPE(TARG) = 'k';
1367             if (LvTARG(TARG) != (SV*)keys) {
1368                 if (LvTARG(TARG))
1369                     SvREFCNT_dec(LvTARG(TARG));
1370                 LvTARG(TARG) = SvREFCNT_inc(keys);
1371             }
1372             PUSHs(TARG);
1373             RETURN;
1374         }
1375
1376         if (! SvTIED_mg((SV*)keys, PERL_MAGIC_tied))
1377             i = HvKEYS(keys);
1378         else {
1379             i = 0;
1380             while (hv_iternext(keys)) i++;
1381         }
1382         PUSHi( i );
1383         RETURN;
1384     }
1385
1386     EXTEND(SP, HvKEYS(keys) * (dokeys + dovalues));
1387
1388     PUTBACK;    /* hv_iternext and hv_iterval might clobber stack_sp */
1389     while ((entry = hv_iternext(keys))) {
1390         SPAGAIN;
1391         if (dokeys) {
1392             SV* const sv = hv_iterkeysv(entry);
1393             XPUSHs(sv); /* won't clobber stack_sp */
1394         }
1395         if (dovalues) {
1396             SV *tmpstr;
1397             PUTBACK;
1398             tmpstr = hv_iterval(hv,entry);
1399             DEBUG_H(Perl_sv_setpvf(aTHX_ tmpstr, "%lu%%%d=%lu",
1400                             (unsigned long)HeHASH(entry),
1401                             (int)HvMAX(keys)+1,
1402                             (unsigned long)(HeHASH(entry) & HvMAX(keys))));
1403             SPAGAIN;
1404             XPUSHs(tmpstr);
1405         }
1406         PUTBACK;
1407     }
1408     return NORMAL;
1409 }
1410
1411 /*
1412  * Local variables:
1413  * c-indentation-style: bsd
1414  * c-basic-offset: 4
1415  * indent-tabs-mode: t
1416  * End:
1417  *
1418  * ex: set ts=8 sts=4 sw=4 noet:
1419  */