Add a TODO test cases RT# 43403.
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* if adding more checks watch out for the following tests:
34  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
35  *   lib/utf8.t lib/Unicode/Collate/t/index.t
36  * --jhi
37  */
38 #   define ASSERT_UTF8_CACHE(cache) \
39     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
40                               assert((cache)[2] <= (cache)[3]); \
41                               assert((cache)[3] <= (cache)[1]);} \
42                               } STMT_END
43 #else
44 #   define ASSERT_UTF8_CACHE(cache) NOOP
45 #endif
46
47 #ifdef PERL_OLD_COPY_ON_WRITE
48 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
49 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
50 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
51    on-write.  */
52 #endif
53
54 /* ============================================================================
55
56 =head1 Allocation and deallocation of SVs.
57
58 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
59 sv, av, hv...) contains type and reference count information, and for
60 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
61 contains fields specific to each type.  Some types store all they need
62 in the head, so don't have a body.
63
64 In all but the most memory-paranoid configuations (ex: PURIFY), heads
65 and bodies are allocated out of arenas, which by default are
66 approximately 4K chunks of memory parcelled up into N heads or bodies.
67 Sv-bodies are allocated by their sv-type, guaranteeing size
68 consistency needed to allocate safely from arrays.
69
70 For SV-heads, the first slot in each arena is reserved, and holds a
71 link to the next arena, some flags, and a note of the number of slots.
72 Snaked through each arena chain is a linked list of free items; when
73 this becomes empty, an extra arena is allocated and divided up into N
74 items which are threaded into the free list.
75
76 SV-bodies are similar, but they use arena-sets by default, which
77 separate the link and info from the arena itself, and reclaim the 1st
78 slot in the arena.  SV-bodies are further described later.
79
80 The following global variables are associated with arenas:
81
82     PL_sv_arenaroot     pointer to list of SV arenas
83     PL_sv_root          pointer to list of free SV structures
84
85     PL_body_arenas      head of linked-list of body arenas
86     PL_body_roots[]     array of pointers to list of free bodies of svtype
87                         arrays are indexed by the svtype needed
88
89 A few special SV heads are not allocated from an arena, but are
90 instead directly created in the interpreter structure, eg PL_sv_undef.
91 The size of arenas can be changed from the default by setting
92 PERL_ARENA_SIZE appropriately at compile time.
93
94 The SV arena serves the secondary purpose of allowing still-live SVs
95 to be located and destroyed during final cleanup.
96
97 At the lowest level, the macros new_SV() and del_SV() grab and free
98 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
99 to return the SV to the free list with error checking.) new_SV() calls
100 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
101 SVs in the free list have their SvTYPE field set to all ones.
102
103 At the time of very final cleanup, sv_free_arenas() is called from
104 perl_destruct() to physically free all the arenas allocated since the
105 start of the interpreter.
106
107 The function visit() scans the SV arenas list, and calls a specified
108 function for each SV it finds which is still live - ie which has an SvTYPE
109 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
110 following functions (specified as [function that calls visit()] / [function
111 called by visit() for each SV]):
112
113     sv_report_used() / do_report_used()
114                         dump all remaining SVs (debugging aid)
115
116     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
117                         Attempt to free all objects pointed to by RVs,
118                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
119                         try to do the same for all objects indirectly
120                         referenced by typeglobs too.  Called once from
121                         perl_destruct(), prior to calling sv_clean_all()
122                         below.
123
124     sv_clean_all() / do_clean_all()
125                         SvREFCNT_dec(sv) each remaining SV, possibly
126                         triggering an sv_free(). It also sets the
127                         SVf_BREAK flag on the SV to indicate that the
128                         refcnt has been artificially lowered, and thus
129                         stopping sv_free() from giving spurious warnings
130                         about SVs which unexpectedly have a refcnt
131                         of zero.  called repeatedly from perl_destruct()
132                         until there are no SVs left.
133
134 =head2 Arena allocator API Summary
135
136 Private API to rest of sv.c
137
138     new_SV(),  del_SV(),
139
140     new_XIV(), del_XIV(),
141     new_XNV(), del_XNV(),
142     etc
143
144 Public API:
145
146     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
147
148 =cut
149
150 ============================================================================ */
151
152 /*
153  * "A time to plant, and a time to uproot what was planted..."
154  */
155
156 void
157 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
158 {
159     dVAR;
160     void *new_chunk;
161     U32 new_chunk_size;
162     new_chunk = (void *)(chunk);
163     new_chunk_size = (chunk_size);
164     if (new_chunk_size > PL_nice_chunk_size) {
165         Safefree(PL_nice_chunk);
166         PL_nice_chunk = (char *) new_chunk;
167         PL_nice_chunk_size = new_chunk_size;
168     } else {
169         Safefree(chunk);
170     }
171 }
172
173 #ifdef DEBUG_LEAKING_SCALARS
174 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
175 #else
176 #  define FREE_SV_DEBUG_FILE(sv)
177 #endif
178
179 #ifdef PERL_POISON
180 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
181 /* Whilst I'd love to do this, it seems that things like to check on
182    unreferenced scalars
183 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
184 */
185 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
186                                 PoisonNew(&SvREFCNT(sv), 1, U32)
187 #else
188 #  define SvARENA_CHAIN(sv)     SvANY(sv)
189 #  define POSION_SV_HEAD(sv)
190 #endif
191
192 #define plant_SV(p) \
193     STMT_START {                                        \
194         FREE_SV_DEBUG_FILE(p);                          \
195         POSION_SV_HEAD(p);                              \
196         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
197         SvFLAGS(p) = SVTYPEMASK;                        \
198         PL_sv_root = (p);                               \
199         --PL_sv_count;                                  \
200     } STMT_END
201
202 #define uproot_SV(p) \
203     STMT_START {                                        \
204         (p) = PL_sv_root;                               \
205         PL_sv_root = (SV*)SvARENA_CHAIN(p);             \
206         ++PL_sv_count;                                  \
207     } STMT_END
208
209
210 /* make some more SVs by adding another arena */
211
212 STATIC SV*
213 S_more_sv(pTHX)
214 {
215     dVAR;
216     SV* sv;
217
218     if (PL_nice_chunk) {
219         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
220         PL_nice_chunk = NULL;
221         PL_nice_chunk_size = 0;
222     }
223     else {
224         char *chunk;                /* must use New here to match call to */
225         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
226         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
227     }
228     uproot_SV(sv);
229     return sv;
230 }
231
232 /* new_SV(): return a new, empty SV head */
233
234 #ifdef DEBUG_LEAKING_SCALARS
235 /* provide a real function for a debugger to play with */
236 STATIC SV*
237 S_new_SV(pTHX)
238 {
239     SV* sv;
240
241     if (PL_sv_root)
242         uproot_SV(sv);
243     else
244         sv = S_more_sv(aTHX);
245     SvANY(sv) = 0;
246     SvREFCNT(sv) = 1;
247     SvFLAGS(sv) = 0;
248     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
249     sv->sv_debug_line = (U16) (PL_parser
250             ?  PL_parser->copline == NOLINE
251                 ?  PL_curcop
252                     ? CopLINE(PL_curcop)
253                     : 0
254                 : PL_parser->copline
255             : 0);
256     sv->sv_debug_inpad = 0;
257     sv->sv_debug_cloned = 0;
258     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
259     
260     return sv;
261 }
262 #  define new_SV(p) (p)=S_new_SV(aTHX)
263
264 #else
265 #  define new_SV(p) \
266     STMT_START {                                        \
267         if (PL_sv_root)                                 \
268             uproot_SV(p);                               \
269         else                                            \
270             (p) = S_more_sv(aTHX);                      \
271         SvANY(p) = 0;                                   \
272         SvREFCNT(p) = 1;                                \
273         SvFLAGS(p) = 0;                                 \
274     } STMT_END
275 #endif
276
277
278 /* del_SV(): return an empty SV head to the free list */
279
280 #ifdef DEBUGGING
281
282 #define del_SV(p) \
283     STMT_START {                                        \
284         if (DEBUG_D_TEST)                               \
285             del_sv(p);                                  \
286         else                                            \
287             plant_SV(p);                                \
288     } STMT_END
289
290 STATIC void
291 S_del_sv(pTHX_ SV *p)
292 {
293     dVAR;
294     if (DEBUG_D_TEST) {
295         SV* sva;
296         bool ok = 0;
297         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
298             const SV * const sv = sva + 1;
299             const SV * const svend = &sva[SvREFCNT(sva)];
300             if (p >= sv && p < svend) {
301                 ok = 1;
302                 break;
303             }
304         }
305         if (!ok) {
306             if (ckWARN_d(WARN_INTERNAL))        
307                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
308                             "Attempt to free non-arena SV: 0x%"UVxf
309                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
310             return;
311         }
312     }
313     plant_SV(p);
314 }
315
316 #else /* ! DEBUGGING */
317
318 #define del_SV(p)   plant_SV(p)
319
320 #endif /* DEBUGGING */
321
322
323 /*
324 =head1 SV Manipulation Functions
325
326 =for apidoc sv_add_arena
327
328 Given a chunk of memory, link it to the head of the list of arenas,
329 and split it into a list of free SVs.
330
331 =cut
332 */
333
334 void
335 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
336 {
337     dVAR;
338     SV* const sva = (SV*)ptr;
339     register SV* sv;
340     register SV* svend;
341
342     /* The first SV in an arena isn't an SV. */
343     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
344     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
345     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
346
347     PL_sv_arenaroot = sva;
348     PL_sv_root = sva + 1;
349
350     svend = &sva[SvREFCNT(sva) - 1];
351     sv = sva + 1;
352     while (sv < svend) {
353         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
354 #ifdef DEBUGGING
355         SvREFCNT(sv) = 0;
356 #endif
357         /* Must always set typemask because it's awlays checked in on cleanup
358            when the arenas are walked looking for objects.  */
359         SvFLAGS(sv) = SVTYPEMASK;
360         sv++;
361     }
362     SvARENA_CHAIN(sv) = 0;
363 #ifdef DEBUGGING
364     SvREFCNT(sv) = 0;
365 #endif
366     SvFLAGS(sv) = SVTYPEMASK;
367 }
368
369 /* visit(): call the named function for each non-free SV in the arenas
370  * whose flags field matches the flags/mask args. */
371
372 STATIC I32
373 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
374 {
375     dVAR;
376     SV* sva;
377     I32 visited = 0;
378
379     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
380         register const SV * const svend = &sva[SvREFCNT(sva)];
381         register SV* sv;
382         for (sv = sva + 1; sv < svend; ++sv) {
383             if (SvTYPE(sv) != SVTYPEMASK
384                     && (sv->sv_flags & mask) == flags
385                     && SvREFCNT(sv))
386             {
387                 (FCALL)(aTHX_ sv);
388                 ++visited;
389             }
390         }
391     }
392     return visited;
393 }
394
395 #ifdef DEBUGGING
396
397 /* called by sv_report_used() for each live SV */
398
399 static void
400 do_report_used(pTHX_ SV *sv)
401 {
402     if (SvTYPE(sv) != SVTYPEMASK) {
403         PerlIO_printf(Perl_debug_log, "****\n");
404         sv_dump(sv);
405     }
406 }
407 #endif
408
409 /*
410 =for apidoc sv_report_used
411
412 Dump the contents of all SVs not yet freed. (Debugging aid).
413
414 =cut
415 */
416
417 void
418 Perl_sv_report_used(pTHX)
419 {
420 #ifdef DEBUGGING
421     visit(do_report_used, 0, 0);
422 #else
423     PERL_UNUSED_CONTEXT;
424 #endif
425 }
426
427 /* called by sv_clean_objs() for each live SV */
428
429 static void
430 do_clean_objs(pTHX_ SV *ref)
431 {
432     dVAR;
433     assert (SvROK(ref));
434     {
435         SV * const target = SvRV(ref);
436         if (SvOBJECT(target)) {
437             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
438             if (SvWEAKREF(ref)) {
439                 sv_del_backref(target, ref);
440                 SvWEAKREF_off(ref);
441                 SvRV_set(ref, NULL);
442             } else {
443                 SvROK_off(ref);
444                 SvRV_set(ref, NULL);
445                 SvREFCNT_dec(target);
446             }
447         }
448     }
449
450     /* XXX Might want to check arrays, etc. */
451 }
452
453 /* called by sv_clean_objs() for each live SV */
454
455 #ifndef DISABLE_DESTRUCTOR_KLUDGE
456 static void
457 do_clean_named_objs(pTHX_ SV *sv)
458 {
459     dVAR;
460     assert(SvTYPE(sv) == SVt_PVGV);
461     assert(isGV_with_GP(sv));
462     if (GvGP(sv)) {
463         if ((
464 #ifdef PERL_DONT_CREATE_GVSV
465              GvSV(sv) &&
466 #endif
467              SvOBJECT(GvSV(sv))) ||
468              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
469              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
470              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
471              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
472              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
473         {
474             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
475             SvFLAGS(sv) |= SVf_BREAK;
476             SvREFCNT_dec(sv);
477         }
478     }
479 }
480 #endif
481
482 /*
483 =for apidoc sv_clean_objs
484
485 Attempt to destroy all objects not yet freed
486
487 =cut
488 */
489
490 void
491 Perl_sv_clean_objs(pTHX)
492 {
493     dVAR;
494     PL_in_clean_objs = TRUE;
495     visit(do_clean_objs, SVf_ROK, SVf_ROK);
496 #ifndef DISABLE_DESTRUCTOR_KLUDGE
497     /* some barnacles may yet remain, clinging to typeglobs */
498     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
499 #endif
500     PL_in_clean_objs = FALSE;
501 }
502
503 /* called by sv_clean_all() for each live SV */
504
505 static void
506 do_clean_all(pTHX_ SV *sv)
507 {
508     dVAR;
509     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
510     SvFLAGS(sv) |= SVf_BREAK;
511     SvREFCNT_dec(sv);
512 }
513
514 /*
515 =for apidoc sv_clean_all
516
517 Decrement the refcnt of each remaining SV, possibly triggering a
518 cleanup. This function may have to be called multiple times to free
519 SVs which are in complex self-referential hierarchies.
520
521 =cut
522 */
523
524 I32
525 Perl_sv_clean_all(pTHX)
526 {
527     dVAR;
528     I32 cleaned;
529     PL_in_clean_all = TRUE;
530     cleaned = visit(do_clean_all, 0,0);
531     PL_in_clean_all = FALSE;
532     return cleaned;
533 }
534
535 /*
536   ARENASETS: a meta-arena implementation which separates arena-info
537   into struct arena_set, which contains an array of struct
538   arena_descs, each holding info for a single arena.  By separating
539   the meta-info from the arena, we recover the 1st slot, formerly
540   borrowed for list management.  The arena_set is about the size of an
541   arena, avoiding the needless malloc overhead of a naive linked-list.
542
543   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
544   memory in the last arena-set (1/2 on average).  In trade, we get
545   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
546   smaller types).  The recovery of the wasted space allows use of
547   small arenas for large, rare body types,
548 */
549 struct arena_desc {
550     char       *arena;          /* the raw storage, allocated aligned */
551     size_t      size;           /* its size ~4k typ */
552     U32         misc;           /* type, and in future other things. */
553 };
554
555 struct arena_set;
556
557 /* Get the maximum number of elements in set[] such that struct arena_set
558    will fit within PERL_ARENA_SIZE, which is probabably just under 4K, and
559    therefore likely to be 1 aligned memory page.  */
560
561 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
562                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
563
564 struct arena_set {
565     struct arena_set* next;
566     unsigned int   set_size;    /* ie ARENAS_PER_SET */
567     unsigned int   curr;        /* index of next available arena-desc */
568     struct arena_desc set[ARENAS_PER_SET];
569 };
570
571 /*
572 =for apidoc sv_free_arenas
573
574 Deallocate the memory used by all arenas. Note that all the individual SV
575 heads and bodies within the arenas must already have been freed.
576
577 =cut
578 */
579 void
580 Perl_sv_free_arenas(pTHX)
581 {
582     dVAR;
583     SV* sva;
584     SV* svanext;
585     unsigned int i;
586
587     /* Free arenas here, but be careful about fake ones.  (We assume
588        contiguity of the fake ones with the corresponding real ones.) */
589
590     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
591         svanext = (SV*) SvANY(sva);
592         while (svanext && SvFAKE(svanext))
593             svanext = (SV*) SvANY(svanext);
594
595         if (!SvFAKE(sva))
596             Safefree(sva);
597     }
598
599     {
600         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
601
602         while (aroot) {
603             struct arena_set *current = aroot;
604             i = aroot->curr;
605             while (i--) {
606                 assert(aroot->set[i].arena);
607                 Safefree(aroot->set[i].arena);
608             }
609             aroot = aroot->next;
610             Safefree(current);
611         }
612     }
613     PL_body_arenas = 0;
614
615     i = PERL_ARENA_ROOTS_SIZE;
616     while (i--)
617         PL_body_roots[i] = 0;
618
619     Safefree(PL_nice_chunk);
620     PL_nice_chunk = NULL;
621     PL_nice_chunk_size = 0;
622     PL_sv_arenaroot = 0;
623     PL_sv_root = 0;
624 }
625
626 /*
627   Here are mid-level routines that manage the allocation of bodies out
628   of the various arenas.  There are 5 kinds of arenas:
629
630   1. SV-head arenas, which are discussed and handled above
631   2. regular body arenas
632   3. arenas for reduced-size bodies
633   4. Hash-Entry arenas
634   5. pte arenas (thread related)
635
636   Arena types 2 & 3 are chained by body-type off an array of
637   arena-root pointers, which is indexed by svtype.  Some of the
638   larger/less used body types are malloced singly, since a large
639   unused block of them is wasteful.  Also, several svtypes dont have
640   bodies; the data fits into the sv-head itself.  The arena-root
641   pointer thus has a few unused root-pointers (which may be hijacked
642   later for arena types 4,5)
643
644   3 differs from 2 as an optimization; some body types have several
645   unused fields in the front of the structure (which are kept in-place
646   for consistency).  These bodies can be allocated in smaller chunks,
647   because the leading fields arent accessed.  Pointers to such bodies
648   are decremented to point at the unused 'ghost' memory, knowing that
649   the pointers are used with offsets to the real memory.
650
651   HE, HEK arenas are managed separately, with separate code, but may
652   be merge-able later..
653
654   PTE arenas are not sv-bodies, but they share these mid-level
655   mechanics, so are considered here.  The new mid-level mechanics rely
656   on the sv_type of the body being allocated, so we just reserve one
657   of the unused body-slots for PTEs, then use it in those (2) PTE
658   contexts below (line ~10k)
659 */
660
661 /* get_arena(size): this creates custom-sized arenas
662    TBD: export properly for hv.c: S_more_he().
663 */
664 void*
665 Perl_get_arena(pTHX_ size_t arena_size, U32 misc)
666 {
667     dVAR;
668     struct arena_desc* adesc;
669     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
670     unsigned int curr;
671
672     /* shouldnt need this
673     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
674     */
675
676     /* may need new arena-set to hold new arena */
677     if (!aroot || aroot->curr >= aroot->set_size) {
678         struct arena_set *newroot;
679         Newxz(newroot, 1, struct arena_set);
680         newroot->set_size = ARENAS_PER_SET;
681         newroot->next = aroot;
682         aroot = newroot;
683         PL_body_arenas = (void *) newroot;
684         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
685     }
686
687     /* ok, now have arena-set with at least 1 empty/available arena-desc */
688     curr = aroot->curr++;
689     adesc = &(aroot->set[curr]);
690     assert(!adesc->arena);
691     
692     Newx(adesc->arena, arena_size, char);
693     adesc->size = arena_size;
694     adesc->misc = misc;
695     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
696                           curr, (void*)adesc->arena, (UV)arena_size));
697
698     return adesc->arena;
699 }
700
701
702 /* return a thing to the free list */
703
704 #define del_body(thing, root)                   \
705     STMT_START {                                \
706         void ** const thing_copy = (void **)thing;\
707         *thing_copy = *root;                    \
708         *root = (void*)thing_copy;              \
709     } STMT_END
710
711 /* 
712
713 =head1 SV-Body Allocation
714
715 Allocation of SV-bodies is similar to SV-heads, differing as follows;
716 the allocation mechanism is used for many body types, so is somewhat
717 more complicated, it uses arena-sets, and has no need for still-live
718 SV detection.
719
720 At the outermost level, (new|del)_X*V macros return bodies of the
721 appropriate type.  These macros call either (new|del)_body_type or
722 (new|del)_body_allocated macro pairs, depending on specifics of the
723 type.  Most body types use the former pair, the latter pair is used to
724 allocate body types with "ghost fields".
725
726 "ghost fields" are fields that are unused in certain types, and
727 consequently dont need to actually exist.  They are declared because
728 they're part of a "base type", which allows use of functions as
729 methods.  The simplest examples are AVs and HVs, 2 aggregate types
730 which don't use the fields which support SCALAR semantics.
731
732 For these types, the arenas are carved up into *_allocated size
733 chunks, we thus avoid wasted memory for those unaccessed members.
734 When bodies are allocated, we adjust the pointer back in memory by the
735 size of the bit not allocated, so it's as if we allocated the full
736 structure.  (But things will all go boom if you write to the part that
737 is "not there", because you'll be overwriting the last members of the
738 preceding structure in memory.)
739
740 We calculate the correction using the STRUCT_OFFSET macro. For
741 example, if xpv_allocated is the same structure as XPV then the two
742 OFFSETs sum to zero, and the pointer is unchanged. If the allocated
743 structure is smaller (no initial NV actually allocated) then the net
744 effect is to subtract the size of the NV from the pointer, to return a
745 new pointer as if an initial NV were actually allocated.
746
747 This is the same trick as was used for NV and IV bodies. Ironically it
748 doesn't need to be used for NV bodies any more, because NV is now at
749 the start of the structure. IV bodies don't need it either, because
750 they are no longer allocated.
751
752 In turn, the new_body_* allocators call S_new_body(), which invokes
753 new_body_inline macro, which takes a lock, and takes a body off the
754 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
755 necessary to refresh an empty list.  Then the lock is released, and
756 the body is returned.
757
758 S_more_bodies calls get_arena(), and carves it up into an array of N
759 bodies, which it strings into a linked list.  It looks up arena-size
760 and body-size from the body_details table described below, thus
761 supporting the multiple body-types.
762
763 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
764 the (new|del)_X*V macros are mapped directly to malloc/free.
765
766 */
767
768 /* 
769
770 For each sv-type, struct body_details bodies_by_type[] carries
771 parameters which control these aspects of SV handling:
772
773 Arena_size determines whether arenas are used for this body type, and if
774 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
775 zero, forcing individual mallocs and frees.
776
777 Body_size determines how big a body is, and therefore how many fit into
778 each arena.  Offset carries the body-pointer adjustment needed for
779 *_allocated body types, and is used in *_allocated macros.
780
781 But its main purpose is to parameterize info needed in
782 Perl_sv_upgrade().  The info here dramatically simplifies the function
783 vs the implementation in 5.8.7, making it table-driven.  All fields
784 are used for this, except for arena_size.
785
786 For the sv-types that have no bodies, arenas are not used, so those
787 PL_body_roots[sv_type] are unused, and can be overloaded.  In
788 something of a special case, SVt_NULL is borrowed for HE arenas;
789 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
790 bodies_by_type[SVt_NULL] slot is not used, as the table is not
791 available in hv.c.
792
793 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
794 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
795 just use the same allocation semantics.  At first, PTEs were also
796 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
797 bugs, so was simplified by claiming a new slot.  This choice has no
798 consequence at this time.
799
800 */
801
802 struct body_details {
803     U8 body_size;       /* Size to allocate  */
804     U8 copy;            /* Size of structure to copy (may be shorter)  */
805     U8 offset;
806     unsigned int type : 4;          /* We have space for a sanity check.  */
807     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
808     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
809     unsigned int arena : 1;         /* Allocated from an arena */
810     size_t arena_size;              /* Size of arena to allocate */
811 };
812
813 #define HADNV FALSE
814 #define NONV TRUE
815
816
817 #ifdef PURIFY
818 /* With -DPURFIY we allocate everything directly, and don't use arenas.
819    This seems a rather elegant way to simplify some of the code below.  */
820 #define HASARENA FALSE
821 #else
822 #define HASARENA TRUE
823 #endif
824 #define NOARENA FALSE
825
826 /* Size the arenas to exactly fit a given number of bodies.  A count
827    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
828    simplifying the default.  If count > 0, the arena is sized to fit
829    only that many bodies, allowing arenas to be used for large, rare
830    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
831    limited by PERL_ARENA_SIZE, so we can safely oversize the
832    declarations.
833  */
834 #define FIT_ARENA0(body_size)                           \
835     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
836 #define FIT_ARENAn(count,body_size)                     \
837     ( count * body_size <= PERL_ARENA_SIZE)             \
838     ? count * body_size                                 \
839     : FIT_ARENA0 (body_size)
840 #define FIT_ARENA(count,body_size)                      \
841     count                                               \
842     ? FIT_ARENAn (count, body_size)                     \
843     : FIT_ARENA0 (body_size)
844
845 /* A macro to work out the offset needed to subtract from a pointer to (say)
846
847 typedef struct {
848     STRLEN      xpv_cur;
849     STRLEN      xpv_len;
850 } xpv_allocated;
851
852 to make its members accessible via a pointer to (say)
853
854 struct xpv {
855     NV          xnv_nv;
856     STRLEN      xpv_cur;
857     STRLEN      xpv_len;
858 };
859
860 */
861
862 #define relative_STRUCT_OFFSET(longer, shorter, member) \
863     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
864
865 /* Calculate the length to copy. Specifically work out the length less any
866    final padding the compiler needed to add.  See the comment in sv_upgrade
867    for why copying the padding proved to be a bug.  */
868
869 #define copy_length(type, last_member) \
870         STRUCT_OFFSET(type, last_member) \
871         + sizeof (((type*)SvANY((SV*)0))->last_member)
872
873 static const struct body_details bodies_by_type[] = {
874     { sizeof(HE), 0, 0, SVt_NULL,
875       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
876
877     /* The bind placeholder pretends to be an RV for now.
878        Also it's marked as "can't upgrade" to stop anyone using it before it's
879        implemented.  */
880     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
881
882     /* IVs are in the head, so the allocation size is 0.
883        However, the slot is overloaded for PTEs.  */
884     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
885       sizeof(IV), /* This is used to copy out the IV body.  */
886       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
887       NOARENA /* IVS don't need an arena  */,
888       /* But PTEs need to know the size of their arena  */
889       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
890     },
891
892     /* 8 bytes on most ILP32 with IEEE doubles */
893     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
894       FIT_ARENA(0, sizeof(NV)) },
895
896     /* RVs are in the head now.  */
897     { 0, 0, 0, SVt_RV, FALSE, NONV, NOARENA, 0 },
898
899     /* 8 bytes on most ILP32 with IEEE doubles */
900     { sizeof(xpv_allocated),
901       copy_length(XPV, xpv_len)
902       - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
903       + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
904       SVt_PV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpv_allocated)) },
905
906     /* 12 */
907     { sizeof(xpviv_allocated),
908       copy_length(XPVIV, xiv_u)
909       - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
910       + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
911       SVt_PVIV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpviv_allocated)) },
912
913     /* 20 */
914     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
915       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
916
917     /* 28 */
918     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
919       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
920     
921     /* 48 */
922     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
923       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
924     
925     /* 64 */
926     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
927       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
928
929     { sizeof(xpvav_allocated),
930       copy_length(XPVAV, xmg_stash)
931       - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
932       + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
933       SVt_PVAV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvav_allocated)) },
934
935     { sizeof(xpvhv_allocated),
936       copy_length(XPVHV, xmg_stash)
937       - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
938       + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
939       SVt_PVHV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvhv_allocated)) },
940
941     /* 56 */
942     { sizeof(xpvcv_allocated), sizeof(xpvcv_allocated),
943       + relative_STRUCT_OFFSET(xpvcv_allocated, XPVCV, xpv_cur),
944       SVt_PVCV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvcv_allocated)) },
945
946     { sizeof(xpvfm_allocated), sizeof(xpvfm_allocated),
947       + relative_STRUCT_OFFSET(xpvfm_allocated, XPVFM, xpv_cur),
948       SVt_PVFM, TRUE, NONV, NOARENA, FIT_ARENA(20, sizeof(xpvfm_allocated)) },
949
950     /* XPVIO is 84 bytes, fits 48x */
951     { sizeof(XPVIO), sizeof(XPVIO), 0, SVt_PVIO, TRUE, HADNV,
952       HASARENA, FIT_ARENA(24, sizeof(XPVIO)) },
953 };
954
955 #define new_body_type(sv_type)          \
956     (void *)((char *)S_new_body(aTHX_ sv_type))
957
958 #define del_body_type(p, sv_type)       \
959     del_body(p, &PL_body_roots[sv_type])
960
961
962 #define new_body_allocated(sv_type)             \
963     (void *)((char *)S_new_body(aTHX_ sv_type)  \
964              - bodies_by_type[sv_type].offset)
965
966 #define del_body_allocated(p, sv_type)          \
967     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
968
969
970 #define my_safemalloc(s)        (void*)safemalloc(s)
971 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
972 #define my_safefree(p)  safefree((char*)p)
973
974 #ifdef PURIFY
975
976 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
977 #define del_XNV(p)      my_safefree(p)
978
979 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
980 #define del_XPVNV(p)    my_safefree(p)
981
982 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
983 #define del_XPVAV(p)    my_safefree(p)
984
985 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
986 #define del_XPVHV(p)    my_safefree(p)
987
988 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
989 #define del_XPVMG(p)    my_safefree(p)
990
991 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
992 #define del_XPVGV(p)    my_safefree(p)
993
994 #else /* !PURIFY */
995
996 #define new_XNV()       new_body_type(SVt_NV)
997 #define del_XNV(p)      del_body_type(p, SVt_NV)
998
999 #define new_XPVNV()     new_body_type(SVt_PVNV)
1000 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1001
1002 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1003 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1004
1005 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1006 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1007
1008 #define new_XPVMG()     new_body_type(SVt_PVMG)
1009 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1010
1011 #define new_XPVGV()     new_body_type(SVt_PVGV)
1012 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1013
1014 #endif /* PURIFY */
1015
1016 /* no arena for you! */
1017
1018 #define new_NOARENA(details) \
1019         my_safemalloc((details)->body_size + (details)->offset)
1020 #define new_NOARENAZ(details) \
1021         my_safecalloc((details)->body_size + (details)->offset)
1022
1023 STATIC void *
1024 S_more_bodies (pTHX_ svtype sv_type)
1025 {
1026     dVAR;
1027     void ** const root = &PL_body_roots[sv_type];
1028     const struct body_details * const bdp = &bodies_by_type[sv_type];
1029     const size_t body_size = bdp->body_size;
1030     char *start;
1031     const char *end;
1032 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1033     static bool done_sanity_check;
1034
1035     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1036      * variables like done_sanity_check. */
1037     if (!done_sanity_check) {
1038         unsigned int i = SVt_LAST;
1039
1040         done_sanity_check = TRUE;
1041
1042         while (i--)
1043             assert (bodies_by_type[i].type == i);
1044     }
1045 #endif
1046
1047     assert(bdp->arena_size);
1048
1049     start = (char*) Perl_get_arena(aTHX_ bdp->arena_size, sv_type);
1050
1051     end = start + bdp->arena_size - body_size;
1052
1053     /* computed count doesnt reflect the 1st slot reservation */
1054     DEBUG_m(PerlIO_printf(Perl_debug_log,
1055                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1056                           (void*)start, (void*)end,
1057                           (int)bdp->arena_size, sv_type, (int)body_size,
1058                           (int)bdp->arena_size / (int)body_size));
1059
1060     *root = (void *)start;
1061
1062     while (start < end) {
1063         char * const next = start + body_size;
1064         *(void**) start = (void *)next;
1065         start = next;
1066     }
1067     *(void **)start = 0;
1068
1069     return *root;
1070 }
1071
1072 /* grab a new thing from the free list, allocating more if necessary.
1073    The inline version is used for speed in hot routines, and the
1074    function using it serves the rest (unless PURIFY).
1075 */
1076 #define new_body_inline(xpv, sv_type) \
1077     STMT_START { \
1078         void ** const r3wt = &PL_body_roots[sv_type]; \
1079         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1080           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1081         *(r3wt) = *(void**)(xpv); \
1082     } STMT_END
1083
1084 #ifndef PURIFY
1085
1086 STATIC void *
1087 S_new_body(pTHX_ svtype sv_type)
1088 {
1089     dVAR;
1090     void *xpv;
1091     new_body_inline(xpv, sv_type);
1092     return xpv;
1093 }
1094
1095 #endif
1096
1097 /*
1098 =for apidoc sv_upgrade
1099
1100 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1101 SV, then copies across as much information as possible from the old body.
1102 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1103
1104 =cut
1105 */
1106
1107 void
1108 Perl_sv_upgrade(pTHX_ register SV *sv, svtype new_type)
1109 {
1110     dVAR;
1111     void*       old_body;
1112     void*       new_body;
1113     const svtype old_type = SvTYPE(sv);
1114     const struct body_details *new_type_details;
1115     const struct body_details *const old_type_details
1116         = bodies_by_type + old_type;
1117
1118     if (new_type != SVt_PV && SvIsCOW(sv)) {
1119         sv_force_normal_flags(sv, 0);
1120     }
1121
1122     if (old_type == new_type)
1123         return;
1124
1125     if (old_type > new_type)
1126         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1127                 (int)old_type, (int)new_type);
1128
1129
1130     old_body = SvANY(sv);
1131
1132     /* Copying structures onto other structures that have been neatly zeroed
1133        has a subtle gotcha. Consider XPVMG
1134
1135        +------+------+------+------+------+-------+-------+
1136        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1137        +------+------+------+------+------+-------+-------+
1138        0      4      8     12     16     20      24      28
1139
1140        where NVs are aligned to 8 bytes, so that sizeof that structure is
1141        actually 32 bytes long, with 4 bytes of padding at the end:
1142
1143        +------+------+------+------+------+-------+-------+------+
1144        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1145        +------+------+------+------+------+-------+-------+------+
1146        0      4      8     12     16     20      24      28     32
1147
1148        so what happens if you allocate memory for this structure:
1149
1150        +------+------+------+------+------+-------+-------+------+------+...
1151        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1152        +------+------+------+------+------+-------+-------+------+------+...
1153        0      4      8     12     16     20      24      28     32     36
1154
1155        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1156        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1157        started out as zero once, but it's quite possible that it isn't. So now,
1158        rather than a nicely zeroed GP, you have it pointing somewhere random.
1159        Bugs ensue.
1160
1161        (In fact, GP ends up pointing at a previous GP structure, because the
1162        principle cause of the padding in XPVMG getting garbage is a copy of
1163        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1164        this happens to be moot because XPVGV has been re-ordered, with GP
1165        no longer after STASH)
1166
1167        So we are careful and work out the size of used parts of all the
1168        structures.  */
1169
1170     switch (old_type) {
1171     case SVt_NULL:
1172         break;
1173     case SVt_IV:
1174         if (new_type < SVt_PVIV) {
1175             new_type = (new_type == SVt_NV)
1176                 ? SVt_PVNV : SVt_PVIV;
1177         }
1178         break;
1179     case SVt_NV:
1180         if (new_type < SVt_PVNV) {
1181             new_type = SVt_PVNV;
1182         }
1183         break;
1184     case SVt_RV:
1185         break;
1186     case SVt_PV:
1187         assert(new_type > SVt_PV);
1188         assert(SVt_IV < SVt_PV);
1189         assert(SVt_NV < SVt_PV);
1190         break;
1191     case SVt_PVIV:
1192         break;
1193     case SVt_PVNV:
1194         break;
1195     case SVt_PVMG:
1196         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1197            there's no way that it can be safely upgraded, because perl.c
1198            expects to Safefree(SvANY(PL_mess_sv))  */
1199         assert(sv != PL_mess_sv);
1200         /* This flag bit is used to mean other things in other scalar types.
1201            Given that it only has meaning inside the pad, it shouldn't be set
1202            on anything that can get upgraded.  */
1203         assert(!SvPAD_TYPED(sv));
1204         break;
1205     default:
1206         if (old_type_details->cant_upgrade)
1207             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1208                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1209     }
1210     new_type_details = bodies_by_type + new_type;
1211
1212     SvFLAGS(sv) &= ~SVTYPEMASK;
1213     SvFLAGS(sv) |= new_type;
1214
1215     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1216        the return statements above will have triggered.  */
1217     assert (new_type != SVt_NULL);
1218     switch (new_type) {
1219     case SVt_IV:
1220         assert(old_type == SVt_NULL);
1221         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1222         SvIV_set(sv, 0);
1223         return;
1224     case SVt_NV:
1225         assert(old_type == SVt_NULL);
1226         SvANY(sv) = new_XNV();
1227         SvNV_set(sv, 0);
1228         return;
1229     case SVt_RV:
1230         assert(old_type == SVt_NULL);
1231         SvANY(sv) = &sv->sv_u.svu_rv;
1232         SvRV_set(sv, 0);
1233         return;
1234     case SVt_PVHV:
1235     case SVt_PVAV:
1236         assert(new_type_details->body_size);
1237
1238 #ifndef PURIFY  
1239         assert(new_type_details->arena);
1240         assert(new_type_details->arena_size);
1241         /* This points to the start of the allocated area.  */
1242         new_body_inline(new_body, new_type);
1243         Zero(new_body, new_type_details->body_size, char);
1244         new_body = ((char *)new_body) - new_type_details->offset;
1245 #else
1246         /* We always allocated the full length item with PURIFY. To do this
1247            we fake things so that arena is false for all 16 types..  */
1248         new_body = new_NOARENAZ(new_type_details);
1249 #endif
1250         SvANY(sv) = new_body;
1251         if (new_type == SVt_PVAV) {
1252             AvMAX(sv)   = -1;
1253             AvFILLp(sv) = -1;
1254             AvREAL_only(sv);
1255         }
1256
1257         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1258            The target created by newSVrv also is, and it can have magic.
1259            However, it never has SvPVX set.
1260         */
1261         if (old_type >= SVt_RV) {
1262             assert(SvPVX_const(sv) == 0);
1263         }
1264
1265         if (old_type >= SVt_PVMG) {
1266             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1267             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1268         } else {
1269             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1270         }
1271         break;
1272
1273
1274     case SVt_PVIV:
1275         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1276            no route from NV to PVIV, NOK can never be true  */
1277         assert(!SvNOKp(sv));
1278         assert(!SvNOK(sv));
1279     case SVt_PVIO:
1280     case SVt_PVFM:
1281     case SVt_PVGV:
1282     case SVt_PVCV:
1283     case SVt_PVLV:
1284     case SVt_PVMG:
1285     case SVt_PVNV:
1286     case SVt_PV:
1287
1288         assert(new_type_details->body_size);
1289         /* We always allocated the full length item with PURIFY. To do this
1290            we fake things so that arena is false for all 16 types..  */
1291         if(new_type_details->arena) {
1292             /* This points to the start of the allocated area.  */
1293             new_body_inline(new_body, new_type);
1294             Zero(new_body, new_type_details->body_size, char);
1295             new_body = ((char *)new_body) - new_type_details->offset;
1296         } else {
1297             new_body = new_NOARENAZ(new_type_details);
1298         }
1299         SvANY(sv) = new_body;
1300
1301         if (old_type_details->copy) {
1302             /* There is now the potential for an upgrade from something without
1303                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1304             int offset = old_type_details->offset;
1305             int length = old_type_details->copy;
1306
1307             if (new_type_details->offset > old_type_details->offset) {
1308                 const int difference
1309                     = new_type_details->offset - old_type_details->offset;
1310                 offset += difference;
1311                 length -= difference;
1312             }
1313             assert (length >= 0);
1314                 
1315             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1316                  char);
1317         }
1318
1319 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1320         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1321          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1322          * NV slot, but the new one does, then we need to initialise the
1323          * freshly created NV slot with whatever the correct bit pattern is
1324          * for 0.0  */
1325         if (old_type_details->zero_nv && !new_type_details->zero_nv
1326             && !isGV_with_GP(sv))
1327             SvNV_set(sv, 0);
1328 #endif
1329
1330         if (new_type == SVt_PVIO)
1331             IoPAGE_LEN(sv) = 60;
1332         if (old_type < SVt_RV)
1333             SvPV_set(sv, NULL);
1334         break;
1335     default:
1336         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1337                    (unsigned long)new_type);
1338     }
1339
1340     if (old_type_details->arena) {
1341         /* If there was an old body, then we need to free it.
1342            Note that there is an assumption that all bodies of types that
1343            can be upgraded came from arenas. Only the more complex non-
1344            upgradable types are allowed to be directly malloc()ed.  */
1345 #ifdef PURIFY
1346         my_safefree(old_body);
1347 #else
1348         del_body((void*)((char*)old_body + old_type_details->offset),
1349                  &PL_body_roots[old_type]);
1350 #endif
1351     }
1352 }
1353
1354 /*
1355 =for apidoc sv_backoff
1356
1357 Remove any string offset. You should normally use the C<SvOOK_off> macro
1358 wrapper instead.
1359
1360 =cut
1361 */
1362
1363 int
1364 Perl_sv_backoff(pTHX_ register SV *sv)
1365 {
1366     PERL_UNUSED_CONTEXT;
1367     assert(SvOOK(sv));
1368     assert(SvTYPE(sv) != SVt_PVHV);
1369     assert(SvTYPE(sv) != SVt_PVAV);
1370     if (SvIVX(sv)) {
1371         const char * const s = SvPVX_const(sv);
1372         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1373         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1374         SvIV_set(sv, 0);
1375         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1376     }
1377     SvFLAGS(sv) &= ~SVf_OOK;
1378     return 0;
1379 }
1380
1381 /*
1382 =for apidoc sv_grow
1383
1384 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1385 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1386 Use the C<SvGROW> wrapper instead.
1387
1388 =cut
1389 */
1390
1391 char *
1392 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1393 {
1394     register char *s;
1395
1396     if (PL_madskills && newlen >= 0x100000) {
1397         PerlIO_printf(Perl_debug_log,
1398                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1399     }
1400 #ifdef HAS_64K_LIMIT
1401     if (newlen >= 0x10000) {
1402         PerlIO_printf(Perl_debug_log,
1403                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1404         my_exit(1);
1405     }
1406 #endif /* HAS_64K_LIMIT */
1407     if (SvROK(sv))
1408         sv_unref(sv);
1409     if (SvTYPE(sv) < SVt_PV) {
1410         sv_upgrade(sv, SVt_PV);
1411         s = SvPVX_mutable(sv);
1412     }
1413     else if (SvOOK(sv)) {       /* pv is offset? */
1414         sv_backoff(sv);
1415         s = SvPVX_mutable(sv);
1416         if (newlen > SvLEN(sv))
1417             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1418 #ifdef HAS_64K_LIMIT
1419         if (newlen >= 0x10000)
1420             newlen = 0xFFFF;
1421 #endif
1422     }
1423     else
1424         s = SvPVX_mutable(sv);
1425
1426     if (newlen > SvLEN(sv)) {           /* need more room? */
1427         newlen = PERL_STRLEN_ROUNDUP(newlen);
1428         if (SvLEN(sv) && s) {
1429 #ifdef MYMALLOC
1430             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1431             if (newlen <= l) {
1432                 SvLEN_set(sv, l);
1433                 return s;
1434             } else
1435 #endif
1436             s = (char*)saferealloc(s, newlen);
1437         }
1438         else {
1439             s = (char*)safemalloc(newlen);
1440             if (SvPVX_const(sv) && SvCUR(sv)) {
1441                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1442             }
1443         }
1444         SvPV_set(sv, s);
1445         SvLEN_set(sv, newlen);
1446     }
1447     return s;
1448 }
1449
1450 /*
1451 =for apidoc sv_setiv
1452
1453 Copies an integer into the given SV, upgrading first if necessary.
1454 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1455
1456 =cut
1457 */
1458
1459 void
1460 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1461 {
1462     dVAR;
1463     SV_CHECK_THINKFIRST_COW_DROP(sv);
1464     switch (SvTYPE(sv)) {
1465     case SVt_NULL:
1466         sv_upgrade(sv, SVt_IV);
1467         break;
1468     case SVt_NV:
1469         sv_upgrade(sv, SVt_PVNV);
1470         break;
1471     case SVt_RV:
1472     case SVt_PV:
1473         sv_upgrade(sv, SVt_PVIV);
1474         break;
1475
1476     case SVt_PVGV:
1477     case SVt_PVAV:
1478     case SVt_PVHV:
1479     case SVt_PVCV:
1480     case SVt_PVFM:
1481     case SVt_PVIO:
1482         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1483                    OP_DESC(PL_op));
1484     default: NOOP;
1485     }
1486     (void)SvIOK_only(sv);                       /* validate number */
1487     SvIV_set(sv, i);
1488     SvTAINT(sv);
1489 }
1490
1491 /*
1492 =for apidoc sv_setiv_mg
1493
1494 Like C<sv_setiv>, but also handles 'set' magic.
1495
1496 =cut
1497 */
1498
1499 void
1500 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1501 {
1502     sv_setiv(sv,i);
1503     SvSETMAGIC(sv);
1504 }
1505
1506 /*
1507 =for apidoc sv_setuv
1508
1509 Copies an unsigned integer into the given SV, upgrading first if necessary.
1510 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1511
1512 =cut
1513 */
1514
1515 void
1516 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1517 {
1518     /* With these two if statements:
1519        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1520
1521        without
1522        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1523
1524        If you wish to remove them, please benchmark to see what the effect is
1525     */
1526     if (u <= (UV)IV_MAX) {
1527        sv_setiv(sv, (IV)u);
1528        return;
1529     }
1530     sv_setiv(sv, 0);
1531     SvIsUV_on(sv);
1532     SvUV_set(sv, u);
1533 }
1534
1535 /*
1536 =for apidoc sv_setuv_mg
1537
1538 Like C<sv_setuv>, but also handles 'set' magic.
1539
1540 =cut
1541 */
1542
1543 void
1544 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1545 {
1546     sv_setuv(sv,u);
1547     SvSETMAGIC(sv);
1548 }
1549
1550 /*
1551 =for apidoc sv_setnv
1552
1553 Copies a double into the given SV, upgrading first if necessary.
1554 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1555
1556 =cut
1557 */
1558
1559 void
1560 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1561 {
1562     dVAR;
1563     SV_CHECK_THINKFIRST_COW_DROP(sv);
1564     switch (SvTYPE(sv)) {
1565     case SVt_NULL:
1566     case SVt_IV:
1567         sv_upgrade(sv, SVt_NV);
1568         break;
1569     case SVt_RV:
1570     case SVt_PV:
1571     case SVt_PVIV:
1572         sv_upgrade(sv, SVt_PVNV);
1573         break;
1574
1575     case SVt_PVGV:
1576     case SVt_PVAV:
1577     case SVt_PVHV:
1578     case SVt_PVCV:
1579     case SVt_PVFM:
1580     case SVt_PVIO:
1581         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1582                    OP_NAME(PL_op));
1583     default: NOOP;
1584     }
1585     SvNV_set(sv, num);
1586     (void)SvNOK_only(sv);                       /* validate number */
1587     SvTAINT(sv);
1588 }
1589
1590 /*
1591 =for apidoc sv_setnv_mg
1592
1593 Like C<sv_setnv>, but also handles 'set' magic.
1594
1595 =cut
1596 */
1597
1598 void
1599 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1600 {
1601     sv_setnv(sv,num);
1602     SvSETMAGIC(sv);
1603 }
1604
1605 /* Print an "isn't numeric" warning, using a cleaned-up,
1606  * printable version of the offending string
1607  */
1608
1609 STATIC void
1610 S_not_a_number(pTHX_ SV *sv)
1611 {
1612      dVAR;
1613      SV *dsv;
1614      char tmpbuf[64];
1615      const char *pv;
1616
1617      if (DO_UTF8(sv)) {
1618           dsv = sv_2mortal(newSVpvs(""));
1619           pv = sv_uni_display(dsv, sv, 10, 0);
1620      } else {
1621           char *d = tmpbuf;
1622           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1623           /* each *s can expand to 4 chars + "...\0",
1624              i.e. need room for 8 chars */
1625         
1626           const char *s = SvPVX_const(sv);
1627           const char * const end = s + SvCUR(sv);
1628           for ( ; s < end && d < limit; s++ ) {
1629                int ch = *s & 0xFF;
1630                if (ch & 128 && !isPRINT_LC(ch)) {
1631                     *d++ = 'M';
1632                     *d++ = '-';
1633                     ch &= 127;
1634                }
1635                if (ch == '\n') {
1636                     *d++ = '\\';
1637                     *d++ = 'n';
1638                }
1639                else if (ch == '\r') {
1640                     *d++ = '\\';
1641                     *d++ = 'r';
1642                }
1643                else if (ch == '\f') {
1644                     *d++ = '\\';
1645                     *d++ = 'f';
1646                }
1647                else if (ch == '\\') {
1648                     *d++ = '\\';
1649                     *d++ = '\\';
1650                }
1651                else if (ch == '\0') {
1652                     *d++ = '\\';
1653                     *d++ = '0';
1654                }
1655                else if (isPRINT_LC(ch))
1656                     *d++ = ch;
1657                else {
1658                     *d++ = '^';
1659                     *d++ = toCTRL(ch);
1660                }
1661           }
1662           if (s < end) {
1663                *d++ = '.';
1664                *d++ = '.';
1665                *d++ = '.';
1666           }
1667           *d = '\0';
1668           pv = tmpbuf;
1669     }
1670
1671     if (PL_op)
1672         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1673                     "Argument \"%s\" isn't numeric in %s", pv,
1674                     OP_DESC(PL_op));
1675     else
1676         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1677                     "Argument \"%s\" isn't numeric", pv);
1678 }
1679
1680 /*
1681 =for apidoc looks_like_number
1682
1683 Test if the content of an SV looks like a number (or is a number).
1684 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1685 non-numeric warning), even if your atof() doesn't grok them.
1686
1687 =cut
1688 */
1689
1690 I32
1691 Perl_looks_like_number(pTHX_ SV *sv)
1692 {
1693     register const char *sbegin;
1694     STRLEN len;
1695
1696     if (SvPOK(sv)) {
1697         sbegin = SvPVX_const(sv);
1698         len = SvCUR(sv);
1699     }
1700     else if (SvPOKp(sv))
1701         sbegin = SvPV_const(sv, len);
1702     else
1703         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1704     return grok_number(sbegin, len, NULL);
1705 }
1706
1707 STATIC bool
1708 S_glob_2number(pTHX_ GV * const gv)
1709 {
1710     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1711     SV *const buffer = sv_newmortal();
1712
1713     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1714        is on.  */
1715     SvFAKE_off(gv);
1716     gv_efullname3(buffer, gv, "*");
1717     SvFLAGS(gv) |= wasfake;
1718
1719     /* We know that all GVs stringify to something that is not-a-number,
1720         so no need to test that.  */
1721     if (ckWARN(WARN_NUMERIC))
1722         not_a_number(buffer);
1723     /* We just want something true to return, so that S_sv_2iuv_common
1724         can tail call us and return true.  */
1725     return TRUE;
1726 }
1727
1728 STATIC char *
1729 S_glob_2pv(pTHX_ GV * const gv, STRLEN * const len)
1730 {
1731     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1732     SV *const buffer = sv_newmortal();
1733
1734     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1735        is on.  */
1736     SvFAKE_off(gv);
1737     gv_efullname3(buffer, gv, "*");
1738     SvFLAGS(gv) |= wasfake;
1739
1740     assert(SvPOK(buffer));
1741     if (len) {
1742         *len = SvCUR(buffer);
1743     }
1744     return SvPVX(buffer);
1745 }
1746
1747 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1748    until proven guilty, assume that things are not that bad... */
1749
1750 /*
1751    NV_PRESERVES_UV:
1752
1753    As 64 bit platforms often have an NV that doesn't preserve all bits of
1754    an IV (an assumption perl has been based on to date) it becomes necessary
1755    to remove the assumption that the NV always carries enough precision to
1756    recreate the IV whenever needed, and that the NV is the canonical form.
1757    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1758    precision as a side effect of conversion (which would lead to insanity
1759    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1760    1) to distinguish between IV/UV/NV slots that have cached a valid
1761       conversion where precision was lost and IV/UV/NV slots that have a
1762       valid conversion which has lost no precision
1763    2) to ensure that if a numeric conversion to one form is requested that
1764       would lose precision, the precise conversion (or differently
1765       imprecise conversion) is also performed and cached, to prevent
1766       requests for different numeric formats on the same SV causing
1767       lossy conversion chains. (lossless conversion chains are perfectly
1768       acceptable (still))
1769
1770
1771    flags are used:
1772    SvIOKp is true if the IV slot contains a valid value
1773    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1774    SvNOKp is true if the NV slot contains a valid value
1775    SvNOK  is true only if the NV value is accurate
1776
1777    so
1778    while converting from PV to NV, check to see if converting that NV to an
1779    IV(or UV) would lose accuracy over a direct conversion from PV to
1780    IV(or UV). If it would, cache both conversions, return NV, but mark
1781    SV as IOK NOKp (ie not NOK).
1782
1783    While converting from PV to IV, check to see if converting that IV to an
1784    NV would lose accuracy over a direct conversion from PV to NV. If it
1785    would, cache both conversions, flag similarly.
1786
1787    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1788    correctly because if IV & NV were set NV *always* overruled.
1789    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1790    changes - now IV and NV together means that the two are interchangeable:
1791    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1792
1793    The benefit of this is that operations such as pp_add know that if
1794    SvIOK is true for both left and right operands, then integer addition
1795    can be used instead of floating point (for cases where the result won't
1796    overflow). Before, floating point was always used, which could lead to
1797    loss of precision compared with integer addition.
1798
1799    * making IV and NV equal status should make maths accurate on 64 bit
1800      platforms
1801    * may speed up maths somewhat if pp_add and friends start to use
1802      integers when possible instead of fp. (Hopefully the overhead in
1803      looking for SvIOK and checking for overflow will not outweigh the
1804      fp to integer speedup)
1805    * will slow down integer operations (callers of SvIV) on "inaccurate"
1806      values, as the change from SvIOK to SvIOKp will cause a call into
1807      sv_2iv each time rather than a macro access direct to the IV slot
1808    * should speed up number->string conversion on integers as IV is
1809      favoured when IV and NV are equally accurate
1810
1811    ####################################################################
1812    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1813    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1814    On the other hand, SvUOK is true iff UV.
1815    ####################################################################
1816
1817    Your mileage will vary depending your CPU's relative fp to integer
1818    performance ratio.
1819 */
1820
1821 #ifndef NV_PRESERVES_UV
1822 #  define IS_NUMBER_UNDERFLOW_IV 1
1823 #  define IS_NUMBER_UNDERFLOW_UV 2
1824 #  define IS_NUMBER_IV_AND_UV    2
1825 #  define IS_NUMBER_OVERFLOW_IV  4
1826 #  define IS_NUMBER_OVERFLOW_UV  5
1827
1828 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1829
1830 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1831 STATIC int
1832 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1833 {
1834     dVAR;
1835     PERL_UNUSED_ARG(numtype); /* Used only under DEBUGGING? */
1836     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1837     if (SvNVX(sv) < (NV)IV_MIN) {
1838         (void)SvIOKp_on(sv);
1839         (void)SvNOK_on(sv);
1840         SvIV_set(sv, IV_MIN);
1841         return IS_NUMBER_UNDERFLOW_IV;
1842     }
1843     if (SvNVX(sv) > (NV)UV_MAX) {
1844         (void)SvIOKp_on(sv);
1845         (void)SvNOK_on(sv);
1846         SvIsUV_on(sv);
1847         SvUV_set(sv, UV_MAX);
1848         return IS_NUMBER_OVERFLOW_UV;
1849     }
1850     (void)SvIOKp_on(sv);
1851     (void)SvNOK_on(sv);
1852     /* Can't use strtol etc to convert this string.  (See truth table in
1853        sv_2iv  */
1854     if (SvNVX(sv) <= (UV)IV_MAX) {
1855         SvIV_set(sv, I_V(SvNVX(sv)));
1856         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1857             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1858         } else {
1859             /* Integer is imprecise. NOK, IOKp */
1860         }
1861         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1862     }
1863     SvIsUV_on(sv);
1864     SvUV_set(sv, U_V(SvNVX(sv)));
1865     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1866         if (SvUVX(sv) == UV_MAX) {
1867             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1868                possibly be preserved by NV. Hence, it must be overflow.
1869                NOK, IOKp */
1870             return IS_NUMBER_OVERFLOW_UV;
1871         }
1872         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1873     } else {
1874         /* Integer is imprecise. NOK, IOKp */
1875     }
1876     return IS_NUMBER_OVERFLOW_IV;
1877 }
1878 #endif /* !NV_PRESERVES_UV*/
1879
1880 STATIC bool
1881 S_sv_2iuv_common(pTHX_ SV *sv) {
1882     dVAR;
1883     if (SvNOKp(sv)) {
1884         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1885          * without also getting a cached IV/UV from it at the same time
1886          * (ie PV->NV conversion should detect loss of accuracy and cache
1887          * IV or UV at same time to avoid this. */
1888         /* IV-over-UV optimisation - choose to cache IV if possible */
1889
1890         if (SvTYPE(sv) == SVt_NV)
1891             sv_upgrade(sv, SVt_PVNV);
1892
1893         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1894         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1895            certainly cast into the IV range at IV_MAX, whereas the correct
1896            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1897            cases go to UV */
1898 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
1899         if (Perl_isnan(SvNVX(sv))) {
1900             SvUV_set(sv, 0);
1901             SvIsUV_on(sv);
1902             return FALSE;
1903         }
1904 #endif
1905         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1906             SvIV_set(sv, I_V(SvNVX(sv)));
1907             if (SvNVX(sv) == (NV) SvIVX(sv)
1908 #ifndef NV_PRESERVES_UV
1909                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1910                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1911                 /* Don't flag it as "accurately an integer" if the number
1912                    came from a (by definition imprecise) NV operation, and
1913                    we're outside the range of NV integer precision */
1914 #endif
1915                 ) {
1916                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1917                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1918                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1919                                       PTR2UV(sv),
1920                                       SvNVX(sv),
1921                                       SvIVX(sv)));
1922
1923             } else {
1924                 /* IV not precise.  No need to convert from PV, as NV
1925                    conversion would already have cached IV if it detected
1926                    that PV->IV would be better than PV->NV->IV
1927                    flags already correct - don't set public IOK.  */
1928                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1929                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1930                                       PTR2UV(sv),
1931                                       SvNVX(sv),
1932                                       SvIVX(sv)));
1933             }
1934             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1935                but the cast (NV)IV_MIN rounds to a the value less (more
1936                negative) than IV_MIN which happens to be equal to SvNVX ??
1937                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1938                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1939                (NV)UVX == NVX are both true, but the values differ. :-(
1940                Hopefully for 2s complement IV_MIN is something like
1941                0x8000000000000000 which will be exact. NWC */
1942         }
1943         else {
1944             SvUV_set(sv, U_V(SvNVX(sv)));
1945             if (
1946                 (SvNVX(sv) == (NV) SvUVX(sv))
1947 #ifndef  NV_PRESERVES_UV
1948                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1949                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1950                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1951                 /* Don't flag it as "accurately an integer" if the number
1952                    came from a (by definition imprecise) NV operation, and
1953                    we're outside the range of NV integer precision */
1954 #endif
1955                 )
1956                 SvIOK_on(sv);
1957             SvIsUV_on(sv);
1958             DEBUG_c(PerlIO_printf(Perl_debug_log,
1959                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1960                                   PTR2UV(sv),
1961                                   SvUVX(sv),
1962                                   SvUVX(sv)));
1963         }
1964     }
1965     else if (SvPOKp(sv) && SvLEN(sv)) {
1966         UV value;
1967         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1968         /* We want to avoid a possible problem when we cache an IV/ a UV which
1969            may be later translated to an NV, and the resulting NV is not
1970            the same as the direct translation of the initial string
1971            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1972            be careful to ensure that the value with the .456 is around if the
1973            NV value is requested in the future).
1974         
1975            This means that if we cache such an IV/a UV, we need to cache the
1976            NV as well.  Moreover, we trade speed for space, and do not
1977            cache the NV if we are sure it's not needed.
1978          */
1979
1980         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
1981         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1982              == IS_NUMBER_IN_UV) {
1983             /* It's definitely an integer, only upgrade to PVIV */
1984             if (SvTYPE(sv) < SVt_PVIV)
1985                 sv_upgrade(sv, SVt_PVIV);
1986             (void)SvIOK_on(sv);
1987         } else if (SvTYPE(sv) < SVt_PVNV)
1988             sv_upgrade(sv, SVt_PVNV);
1989
1990         /* If NVs preserve UVs then we only use the UV value if we know that
1991            we aren't going to call atof() below. If NVs don't preserve UVs
1992            then the value returned may have more precision than atof() will
1993            return, even though value isn't perfectly accurate.  */
1994         if ((numtype & (IS_NUMBER_IN_UV
1995 #ifdef NV_PRESERVES_UV
1996                         | IS_NUMBER_NOT_INT
1997 #endif
1998             )) == IS_NUMBER_IN_UV) {
1999             /* This won't turn off the public IOK flag if it was set above  */
2000             (void)SvIOKp_on(sv);
2001
2002             if (!(numtype & IS_NUMBER_NEG)) {
2003                 /* positive */;
2004                 if (value <= (UV)IV_MAX) {
2005                     SvIV_set(sv, (IV)value);
2006                 } else {
2007                     /* it didn't overflow, and it was positive. */
2008                     SvUV_set(sv, value);
2009                     SvIsUV_on(sv);
2010                 }
2011             } else {
2012                 /* 2s complement assumption  */
2013                 if (value <= (UV)IV_MIN) {
2014                     SvIV_set(sv, -(IV)value);
2015                 } else {
2016                     /* Too negative for an IV.  This is a double upgrade, but
2017                        I'm assuming it will be rare.  */
2018                     if (SvTYPE(sv) < SVt_PVNV)
2019                         sv_upgrade(sv, SVt_PVNV);
2020                     SvNOK_on(sv);
2021                     SvIOK_off(sv);
2022                     SvIOKp_on(sv);
2023                     SvNV_set(sv, -(NV)value);
2024                     SvIV_set(sv, IV_MIN);
2025                 }
2026             }
2027         }
2028         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2029            will be in the previous block to set the IV slot, and the next
2030            block to set the NV slot.  So no else here.  */
2031         
2032         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2033             != IS_NUMBER_IN_UV) {
2034             /* It wasn't an (integer that doesn't overflow the UV). */
2035             SvNV_set(sv, Atof(SvPVX_const(sv)));
2036
2037             if (! numtype && ckWARN(WARN_NUMERIC))
2038                 not_a_number(sv);
2039
2040 #if defined(USE_LONG_DOUBLE)
2041             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2042                                   PTR2UV(sv), SvNVX(sv)));
2043 #else
2044             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2045                                   PTR2UV(sv), SvNVX(sv)));
2046 #endif
2047
2048 #ifdef NV_PRESERVES_UV
2049             (void)SvIOKp_on(sv);
2050             (void)SvNOK_on(sv);
2051             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2052                 SvIV_set(sv, I_V(SvNVX(sv)));
2053                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2054                     SvIOK_on(sv);
2055                 } else {
2056                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2057                 }
2058                 /* UV will not work better than IV */
2059             } else {
2060                 if (SvNVX(sv) > (NV)UV_MAX) {
2061                     SvIsUV_on(sv);
2062                     /* Integer is inaccurate. NOK, IOKp, is UV */
2063                     SvUV_set(sv, UV_MAX);
2064                 } else {
2065                     SvUV_set(sv, U_V(SvNVX(sv)));
2066                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2067                        NV preservse UV so can do correct comparison.  */
2068                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2069                         SvIOK_on(sv);
2070                     } else {
2071                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2072                     }
2073                 }
2074                 SvIsUV_on(sv);
2075             }
2076 #else /* NV_PRESERVES_UV */
2077             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2078                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2079                 /* The IV/UV slot will have been set from value returned by
2080                    grok_number above.  The NV slot has just been set using
2081                    Atof.  */
2082                 SvNOK_on(sv);
2083                 assert (SvIOKp(sv));
2084             } else {
2085                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2086                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2087                     /* Small enough to preserve all bits. */
2088                     (void)SvIOKp_on(sv);
2089                     SvNOK_on(sv);
2090                     SvIV_set(sv, I_V(SvNVX(sv)));
2091                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2092                         SvIOK_on(sv);
2093                     /* Assumption: first non-preserved integer is < IV_MAX,
2094                        this NV is in the preserved range, therefore: */
2095                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2096                           < (UV)IV_MAX)) {
2097                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2098                     }
2099                 } else {
2100                     /* IN_UV NOT_INT
2101                          0      0       already failed to read UV.
2102                          0      1       already failed to read UV.
2103                          1      0       you won't get here in this case. IV/UV
2104                                         slot set, public IOK, Atof() unneeded.
2105                          1      1       already read UV.
2106                        so there's no point in sv_2iuv_non_preserve() attempting
2107                        to use atol, strtol, strtoul etc.  */
2108                     sv_2iuv_non_preserve (sv, numtype);
2109                 }
2110             }
2111 #endif /* NV_PRESERVES_UV */
2112         }
2113     }
2114     else  {
2115         if (isGV_with_GP(sv))
2116             return glob_2number((GV *)sv);
2117
2118         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2119             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2120                 report_uninit(sv);
2121         }
2122         if (SvTYPE(sv) < SVt_IV)
2123             /* Typically the caller expects that sv_any is not NULL now.  */
2124             sv_upgrade(sv, SVt_IV);
2125         /* Return 0 from the caller.  */
2126         return TRUE;
2127     }
2128     return FALSE;
2129 }
2130
2131 /*
2132 =for apidoc sv_2iv_flags
2133
2134 Return the integer value of an SV, doing any necessary string
2135 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2136 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2137
2138 =cut
2139 */
2140
2141 IV
2142 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
2143 {
2144     dVAR;
2145     if (!sv)
2146         return 0;
2147     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2148         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2149            cache IVs just in case. In practice it seems that they never
2150            actually anywhere accessible by user Perl code, let alone get used
2151            in anything other than a string context.  */
2152         if (flags & SV_GMAGIC)
2153             mg_get(sv);
2154         if (SvIOKp(sv))
2155             return SvIVX(sv);
2156         if (SvNOKp(sv)) {
2157             return I_V(SvNVX(sv));
2158         }
2159         if (SvPOKp(sv) && SvLEN(sv)) {
2160             UV value;
2161             const int numtype
2162                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2163
2164             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2165                 == IS_NUMBER_IN_UV) {
2166                 /* It's definitely an integer */
2167                 if (numtype & IS_NUMBER_NEG) {
2168                     if (value < (UV)IV_MIN)
2169                         return -(IV)value;
2170                 } else {
2171                     if (value < (UV)IV_MAX)
2172                         return (IV)value;
2173                 }
2174             }
2175             if (!numtype) {
2176                 if (ckWARN(WARN_NUMERIC))
2177                     not_a_number(sv);
2178             }
2179             return I_V(Atof(SvPVX_const(sv)));
2180         }
2181         if (SvROK(sv)) {
2182             goto return_rok;
2183         }
2184         assert(SvTYPE(sv) >= SVt_PVMG);
2185         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2186     } else if (SvTHINKFIRST(sv)) {
2187         if (SvROK(sv)) {
2188         return_rok:
2189             if (SvAMAGIC(sv)) {
2190                 SV * const tmpstr=AMG_CALLun(sv,numer);
2191                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2192                     return SvIV(tmpstr);
2193                 }
2194             }
2195             return PTR2IV(SvRV(sv));
2196         }
2197         if (SvIsCOW(sv)) {
2198             sv_force_normal_flags(sv, 0);
2199         }
2200         if (SvREADONLY(sv) && !SvOK(sv)) {
2201             if (ckWARN(WARN_UNINITIALIZED))
2202                 report_uninit(sv);
2203             return 0;
2204         }
2205     }
2206     if (!SvIOKp(sv)) {
2207         if (S_sv_2iuv_common(aTHX_ sv))
2208             return 0;
2209     }
2210     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2211         PTR2UV(sv),SvIVX(sv)));
2212     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2213 }
2214
2215 /*
2216 =for apidoc sv_2uv_flags
2217
2218 Return the unsigned integer value of an SV, doing any necessary string
2219 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2220 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2221
2222 =cut
2223 */
2224
2225 UV
2226 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
2227 {
2228     dVAR;
2229     if (!sv)
2230         return 0;
2231     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2232         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2233            cache IVs just in case.  */
2234         if (flags & SV_GMAGIC)
2235             mg_get(sv);
2236         if (SvIOKp(sv))
2237             return SvUVX(sv);
2238         if (SvNOKp(sv))
2239             return U_V(SvNVX(sv));
2240         if (SvPOKp(sv) && SvLEN(sv)) {
2241             UV value;
2242             const int numtype
2243                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2244
2245             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2246                 == IS_NUMBER_IN_UV) {
2247                 /* It's definitely an integer */
2248                 if (!(numtype & IS_NUMBER_NEG))
2249                     return value;
2250             }
2251             if (!numtype) {
2252                 if (ckWARN(WARN_NUMERIC))
2253                     not_a_number(sv);
2254             }
2255             return U_V(Atof(SvPVX_const(sv)));
2256         }
2257         if (SvROK(sv)) {
2258             goto return_rok;
2259         }
2260         assert(SvTYPE(sv) >= SVt_PVMG);
2261         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2262     } else if (SvTHINKFIRST(sv)) {
2263         if (SvROK(sv)) {
2264         return_rok:
2265             if (SvAMAGIC(sv)) {
2266                 SV *const tmpstr = AMG_CALLun(sv,numer);
2267                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2268                     return SvUV(tmpstr);
2269                 }
2270             }
2271             return PTR2UV(SvRV(sv));
2272         }
2273         if (SvIsCOW(sv)) {
2274             sv_force_normal_flags(sv, 0);
2275         }
2276         if (SvREADONLY(sv) && !SvOK(sv)) {
2277             if (ckWARN(WARN_UNINITIALIZED))
2278                 report_uninit(sv);
2279             return 0;
2280         }
2281     }
2282     if (!SvIOKp(sv)) {
2283         if (S_sv_2iuv_common(aTHX_ sv))
2284             return 0;
2285     }
2286
2287     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2288                           PTR2UV(sv),SvUVX(sv)));
2289     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2290 }
2291
2292 /*
2293 =for apidoc sv_2nv
2294
2295 Return the num value of an SV, doing any necessary string or integer
2296 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2297 macros.
2298
2299 =cut
2300 */
2301
2302 NV
2303 Perl_sv_2nv(pTHX_ register SV *sv)
2304 {
2305     dVAR;
2306     if (!sv)
2307         return 0.0;
2308     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2309         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2310            cache IVs just in case.  */
2311         mg_get(sv);
2312         if (SvNOKp(sv))
2313             return SvNVX(sv);
2314         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2315             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2316                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2317                 not_a_number(sv);
2318             return Atof(SvPVX_const(sv));
2319         }
2320         if (SvIOKp(sv)) {
2321             if (SvIsUV(sv))
2322                 return (NV)SvUVX(sv);
2323             else
2324                 return (NV)SvIVX(sv);
2325         }
2326         if (SvROK(sv)) {
2327             goto return_rok;
2328         }
2329         assert(SvTYPE(sv) >= SVt_PVMG);
2330         /* This falls through to the report_uninit near the end of the
2331            function. */
2332     } else if (SvTHINKFIRST(sv)) {
2333         if (SvROK(sv)) {
2334         return_rok:
2335             if (SvAMAGIC(sv)) {
2336                 SV *const tmpstr = AMG_CALLun(sv,numer);
2337                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2338                     return SvNV(tmpstr);
2339                 }
2340             }
2341             return PTR2NV(SvRV(sv));
2342         }
2343         if (SvIsCOW(sv)) {
2344             sv_force_normal_flags(sv, 0);
2345         }
2346         if (SvREADONLY(sv) && !SvOK(sv)) {
2347             if (ckWARN(WARN_UNINITIALIZED))
2348                 report_uninit(sv);
2349             return 0.0;
2350         }
2351     }
2352     if (SvTYPE(sv) < SVt_NV) {
2353         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2354         sv_upgrade(sv, SVt_NV);
2355 #ifdef USE_LONG_DOUBLE
2356         DEBUG_c({
2357             STORE_NUMERIC_LOCAL_SET_STANDARD();
2358             PerlIO_printf(Perl_debug_log,
2359                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2360                           PTR2UV(sv), SvNVX(sv));
2361             RESTORE_NUMERIC_LOCAL();
2362         });
2363 #else
2364         DEBUG_c({
2365             STORE_NUMERIC_LOCAL_SET_STANDARD();
2366             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2367                           PTR2UV(sv), SvNVX(sv));
2368             RESTORE_NUMERIC_LOCAL();
2369         });
2370 #endif
2371     }
2372     else if (SvTYPE(sv) < SVt_PVNV)
2373         sv_upgrade(sv, SVt_PVNV);
2374     if (SvNOKp(sv)) {
2375         return SvNVX(sv);
2376     }
2377     if (SvIOKp(sv)) {
2378         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2379 #ifdef NV_PRESERVES_UV
2380         SvNOK_on(sv);
2381 #else
2382         /* Only set the public NV OK flag if this NV preserves the IV  */
2383         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2384         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2385                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2386             SvNOK_on(sv);
2387         else
2388             SvNOKp_on(sv);
2389 #endif
2390     }
2391     else if (SvPOKp(sv) && SvLEN(sv)) {
2392         UV value;
2393         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2394         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2395             not_a_number(sv);
2396 #ifdef NV_PRESERVES_UV
2397         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2398             == IS_NUMBER_IN_UV) {
2399             /* It's definitely an integer */
2400             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2401         } else
2402             SvNV_set(sv, Atof(SvPVX_const(sv)));
2403         SvNOK_on(sv);
2404 #else
2405         SvNV_set(sv, Atof(SvPVX_const(sv)));
2406         /* Only set the public NV OK flag if this NV preserves the value in
2407            the PV at least as well as an IV/UV would.
2408            Not sure how to do this 100% reliably. */
2409         /* if that shift count is out of range then Configure's test is
2410            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2411            UV_BITS */
2412         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2413             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2414             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2415         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2416             /* Can't use strtol etc to convert this string, so don't try.
2417                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2418             SvNOK_on(sv);
2419         } else {
2420             /* value has been set.  It may not be precise.  */
2421             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2422                 /* 2s complement assumption for (UV)IV_MIN  */
2423                 SvNOK_on(sv); /* Integer is too negative.  */
2424             } else {
2425                 SvNOKp_on(sv);
2426                 SvIOKp_on(sv);
2427
2428                 if (numtype & IS_NUMBER_NEG) {
2429                     SvIV_set(sv, -(IV)value);
2430                 } else if (value <= (UV)IV_MAX) {
2431                     SvIV_set(sv, (IV)value);
2432                 } else {
2433                     SvUV_set(sv, value);
2434                     SvIsUV_on(sv);
2435                 }
2436
2437                 if (numtype & IS_NUMBER_NOT_INT) {
2438                     /* I believe that even if the original PV had decimals,
2439                        they are lost beyond the limit of the FP precision.
2440                        However, neither is canonical, so both only get p
2441                        flags.  NWC, 2000/11/25 */
2442                     /* Both already have p flags, so do nothing */
2443                 } else {
2444                     const NV nv = SvNVX(sv);
2445                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2446                         if (SvIVX(sv) == I_V(nv)) {
2447                             SvNOK_on(sv);
2448                         } else {
2449                             /* It had no "." so it must be integer.  */
2450                         }
2451                         SvIOK_on(sv);
2452                     } else {
2453                         /* between IV_MAX and NV(UV_MAX).
2454                            Could be slightly > UV_MAX */
2455
2456                         if (numtype & IS_NUMBER_NOT_INT) {
2457                             /* UV and NV both imprecise.  */
2458                         } else {
2459                             const UV nv_as_uv = U_V(nv);
2460
2461                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2462                                 SvNOK_on(sv);
2463                             }
2464                             SvIOK_on(sv);
2465                         }
2466                     }
2467                 }
2468             }
2469         }
2470 #endif /* NV_PRESERVES_UV */
2471     }
2472     else  {
2473         if (isGV_with_GP(sv)) {
2474             glob_2number((GV *)sv);
2475             return 0.0;
2476         }
2477
2478         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2479             report_uninit(sv);
2480         assert (SvTYPE(sv) >= SVt_NV);
2481         /* Typically the caller expects that sv_any is not NULL now.  */
2482         /* XXX Ilya implies that this is a bug in callers that assume this
2483            and ideally should be fixed.  */
2484         return 0.0;
2485     }
2486 #if defined(USE_LONG_DOUBLE)
2487     DEBUG_c({
2488         STORE_NUMERIC_LOCAL_SET_STANDARD();
2489         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2490                       PTR2UV(sv), SvNVX(sv));
2491         RESTORE_NUMERIC_LOCAL();
2492     });
2493 #else
2494     DEBUG_c({
2495         STORE_NUMERIC_LOCAL_SET_STANDARD();
2496         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2497                       PTR2UV(sv), SvNVX(sv));
2498         RESTORE_NUMERIC_LOCAL();
2499     });
2500 #endif
2501     return SvNVX(sv);
2502 }
2503
2504 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2505  * UV as a string towards the end of buf, and return pointers to start and
2506  * end of it.
2507  *
2508  * We assume that buf is at least TYPE_CHARS(UV) long.
2509  */
2510
2511 static char *
2512 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2513 {
2514     char *ptr = buf + TYPE_CHARS(UV);
2515     char * const ebuf = ptr;
2516     int sign;
2517
2518     if (is_uv)
2519         sign = 0;
2520     else if (iv >= 0) {
2521         uv = iv;
2522         sign = 0;
2523     } else {
2524         uv = -iv;
2525         sign = 1;
2526     }
2527     do {
2528         *--ptr = '0' + (char)(uv % 10);
2529     } while (uv /= 10);
2530     if (sign)
2531         *--ptr = '-';
2532     *peob = ebuf;
2533     return ptr;
2534 }
2535
2536 /*
2537 =for apidoc sv_2pv_flags
2538
2539 Returns a pointer to the string value of an SV, and sets *lp to its length.
2540 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2541 if necessary.
2542 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2543 usually end up here too.
2544
2545 =cut
2546 */
2547
2548 char *
2549 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2550 {
2551     dVAR;
2552     register char *s;
2553
2554     if (!sv) {
2555         if (lp)
2556             *lp = 0;
2557         return (char *)"";
2558     }
2559     if (SvGMAGICAL(sv)) {
2560         if (flags & SV_GMAGIC)
2561             mg_get(sv);
2562         if (SvPOKp(sv)) {
2563             if (lp)
2564                 *lp = SvCUR(sv);
2565             if (flags & SV_MUTABLE_RETURN)
2566                 return SvPVX_mutable(sv);
2567             if (flags & SV_CONST_RETURN)
2568                 return (char *)SvPVX_const(sv);
2569             return SvPVX(sv);
2570         }
2571         if (SvIOKp(sv) || SvNOKp(sv)) {
2572             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2573             STRLEN len;
2574
2575             if (SvIOKp(sv)) {
2576                 len = SvIsUV(sv)
2577                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2578                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2579             } else {
2580                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2581                 len = strlen(tbuf);
2582             }
2583             assert(!SvROK(sv));
2584             {
2585                 dVAR;
2586
2587 #ifdef FIXNEGATIVEZERO
2588                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2589                     tbuf[0] = '0';
2590                     tbuf[1] = 0;
2591                     len = 1;
2592                 }
2593 #endif
2594                 SvUPGRADE(sv, SVt_PV);
2595                 if (lp)
2596                     *lp = len;
2597                 s = SvGROW_mutable(sv, len + 1);
2598                 SvCUR_set(sv, len);
2599                 SvPOKp_on(sv);
2600                 return (char*)memcpy(s, tbuf, len + 1);
2601             }
2602         }
2603         if (SvROK(sv)) {
2604             goto return_rok;
2605         }
2606         assert(SvTYPE(sv) >= SVt_PVMG);
2607         /* This falls through to the report_uninit near the end of the
2608            function. */
2609     } else if (SvTHINKFIRST(sv)) {
2610         if (SvROK(sv)) {
2611         return_rok:
2612             if (SvAMAGIC(sv)) {
2613                 SV *const tmpstr = AMG_CALLun(sv,string);
2614                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2615                     /* Unwrap this:  */
2616                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2617                      */
2618
2619                     char *pv;
2620                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2621                         if (flags & SV_CONST_RETURN) {
2622                             pv = (char *) SvPVX_const(tmpstr);
2623                         } else {
2624                             pv = (flags & SV_MUTABLE_RETURN)
2625                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2626                         }
2627                         if (lp)
2628                             *lp = SvCUR(tmpstr);
2629                     } else {
2630                         pv = sv_2pv_flags(tmpstr, lp, flags);
2631                     }
2632                     if (SvUTF8(tmpstr))
2633                         SvUTF8_on(sv);
2634                     else
2635                         SvUTF8_off(sv);
2636                     return pv;
2637                 }
2638             }
2639             {
2640                 STRLEN len;
2641                 char *retval;
2642                 char *buffer;
2643                 MAGIC *mg;
2644                 const SV *const referent = (SV*)SvRV(sv);
2645
2646                 if (!referent) {
2647                     len = 7;
2648                     retval = buffer = savepvn("NULLREF", len);
2649                 } else if (SvTYPE(referent) == SVt_PVMG
2650                            && ((SvFLAGS(referent) &
2651                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2652                                == (SVs_OBJECT|SVs_SMG))
2653                            && (mg = mg_find(referent, PERL_MAGIC_qr)))
2654                 {
2655                     char *str = NULL;
2656                     I32 haseval = 0;
2657                     U32 flags = 0;
2658                     (str) = CALLREG_AS_STR(mg,lp,&flags,&haseval);
2659                     if (flags & 1)
2660                         SvUTF8_on(sv);
2661                     else
2662                         SvUTF8_off(sv);
2663                     PL_reginterp_cnt += haseval;
2664                     return str;
2665                 } else {
2666                     const char *const typestr = sv_reftype(referent, 0);
2667                     const STRLEN typelen = strlen(typestr);
2668                     UV addr = PTR2UV(referent);
2669                     const char *stashname = NULL;
2670                     STRLEN stashnamelen = 0; /* hush, gcc */
2671                     const char *buffer_end;
2672
2673                     if (SvOBJECT(referent)) {
2674                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2675
2676                         if (name) {
2677                             stashname = HEK_KEY(name);
2678                             stashnamelen = HEK_LEN(name);
2679
2680                             if (HEK_UTF8(name)) {
2681                                 SvUTF8_on(sv);
2682                             } else {
2683                                 SvUTF8_off(sv);
2684                             }
2685                         } else {
2686                             stashname = "__ANON__";
2687                             stashnamelen = 8;
2688                         }
2689                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2690                             + 2 * sizeof(UV) + 2 /* )\0 */;
2691                     } else {
2692                         len = typelen + 3 /* (0x */
2693                             + 2 * sizeof(UV) + 2 /* )\0 */;
2694                     }
2695
2696                     Newx(buffer, len, char);
2697                     buffer_end = retval = buffer + len;
2698
2699                     /* Working backwards  */
2700                     *--retval = '\0';
2701                     *--retval = ')';
2702                     do {
2703                         *--retval = PL_hexdigit[addr & 15];
2704                     } while (addr >>= 4);
2705                     *--retval = 'x';
2706                     *--retval = '0';
2707                     *--retval = '(';
2708
2709                     retval -= typelen;
2710                     memcpy(retval, typestr, typelen);
2711
2712                     if (stashname) {
2713                         *--retval = '=';
2714                         retval -= stashnamelen;
2715                         memcpy(retval, stashname, stashnamelen);
2716                     }
2717                     /* retval may not neccesarily have reached the start of the
2718                        buffer here.  */
2719                     assert (retval >= buffer);
2720
2721                     len = buffer_end - retval - 1; /* -1 for that \0  */
2722                 }
2723                 if (lp)
2724                     *lp = len;
2725                 SAVEFREEPV(buffer);
2726                 return retval;
2727             }
2728         }
2729         if (SvREADONLY(sv) && !SvOK(sv)) {
2730             if (ckWARN(WARN_UNINITIALIZED))
2731                 report_uninit(sv);
2732             if (lp)
2733                 *lp = 0;
2734             return (char *)"";
2735         }
2736     }
2737     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2738         /* I'm assuming that if both IV and NV are equally valid then
2739            converting the IV is going to be more efficient */
2740         const U32 isUIOK = SvIsUV(sv);
2741         char buf[TYPE_CHARS(UV)];
2742         char *ebuf, *ptr;
2743         STRLEN len;
2744
2745         if (SvTYPE(sv) < SVt_PVIV)
2746             sv_upgrade(sv, SVt_PVIV);
2747         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2748         len = ebuf - ptr;
2749         /* inlined from sv_setpvn */
2750         s = SvGROW_mutable(sv, len + 1);
2751         Move(ptr, s, len, char);
2752         s += len;
2753         *s = '\0';
2754     }
2755     else if (SvNOKp(sv)) {
2756         const int olderrno = errno;
2757         if (SvTYPE(sv) < SVt_PVNV)
2758             sv_upgrade(sv, SVt_PVNV);
2759         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2760         s = SvGROW_mutable(sv, NV_DIG + 20);
2761         /* some Xenix systems wipe out errno here */
2762 #ifdef apollo
2763         if (SvNVX(sv) == 0.0)
2764             my_strlcpy(s, "0", SvLEN(sv));
2765         else
2766 #endif /*apollo*/
2767         {
2768             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2769         }
2770         errno = olderrno;
2771 #ifdef FIXNEGATIVEZERO
2772         if (*s == '-' && s[1] == '0' && !s[2])
2773             my_strlcpy(s, "0", SvLEN(s));
2774 #endif
2775         while (*s) s++;
2776 #ifdef hcx
2777         if (s[-1] == '.')
2778             *--s = '\0';
2779 #endif
2780     }
2781     else {
2782         if (isGV_with_GP(sv))
2783             return glob_2pv((GV *)sv, lp);
2784
2785         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2786             report_uninit(sv);
2787         if (lp)
2788             *lp = 0;
2789         if (SvTYPE(sv) < SVt_PV)
2790             /* Typically the caller expects that sv_any is not NULL now.  */
2791             sv_upgrade(sv, SVt_PV);
2792         return (char *)"";
2793     }
2794     {
2795         const STRLEN len = s - SvPVX_const(sv);
2796         if (lp) 
2797             *lp = len;
2798         SvCUR_set(sv, len);
2799     }
2800     SvPOK_on(sv);
2801     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2802                           PTR2UV(sv),SvPVX_const(sv)));
2803     if (flags & SV_CONST_RETURN)
2804         return (char *)SvPVX_const(sv);
2805     if (flags & SV_MUTABLE_RETURN)
2806         return SvPVX_mutable(sv);
2807     return SvPVX(sv);
2808 }
2809
2810 /*
2811 =for apidoc sv_copypv
2812
2813 Copies a stringified representation of the source SV into the
2814 destination SV.  Automatically performs any necessary mg_get and
2815 coercion of numeric values into strings.  Guaranteed to preserve
2816 UTF8 flag even from overloaded objects.  Similar in nature to
2817 sv_2pv[_flags] but operates directly on an SV instead of just the
2818 string.  Mostly uses sv_2pv_flags to do its work, except when that
2819 would lose the UTF-8'ness of the PV.
2820
2821 =cut
2822 */
2823
2824 void
2825 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2826 {
2827     STRLEN len;
2828     const char * const s = SvPV_const(ssv,len);
2829     sv_setpvn(dsv,s,len);
2830     if (SvUTF8(ssv))
2831         SvUTF8_on(dsv);
2832     else
2833         SvUTF8_off(dsv);
2834 }
2835
2836 /*
2837 =for apidoc sv_2pvbyte
2838
2839 Return a pointer to the byte-encoded representation of the SV, and set *lp
2840 to its length.  May cause the SV to be downgraded from UTF-8 as a
2841 side-effect.
2842
2843 Usually accessed via the C<SvPVbyte> macro.
2844
2845 =cut
2846 */
2847
2848 char *
2849 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2850 {
2851     sv_utf8_downgrade(sv,0);
2852     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2853 }
2854
2855 /*
2856 =for apidoc sv_2pvutf8
2857
2858 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2859 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2860
2861 Usually accessed via the C<SvPVutf8> macro.
2862
2863 =cut
2864 */
2865
2866 char *
2867 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2868 {
2869     sv_utf8_upgrade(sv);
2870     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2871 }
2872
2873
2874 /*
2875 =for apidoc sv_2bool
2876
2877 This function is only called on magical items, and is only used by
2878 sv_true() or its macro equivalent.
2879
2880 =cut
2881 */
2882
2883 bool
2884 Perl_sv_2bool(pTHX_ register SV *sv)
2885 {
2886     dVAR;
2887     SvGETMAGIC(sv);
2888
2889     if (!SvOK(sv))
2890         return 0;
2891     if (SvROK(sv)) {
2892         if (SvAMAGIC(sv)) {
2893             SV * const tmpsv = AMG_CALLun(sv,bool_);
2894             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2895                 return (bool)SvTRUE(tmpsv);
2896         }
2897         return SvRV(sv) != 0;
2898     }
2899     if (SvPOKp(sv)) {
2900         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2901         if (Xpvtmp &&
2902                 (*sv->sv_u.svu_pv > '0' ||
2903                 Xpvtmp->xpv_cur > 1 ||
2904                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2905             return 1;
2906         else
2907             return 0;
2908     }
2909     else {
2910         if (SvIOKp(sv))
2911             return SvIVX(sv) != 0;
2912         else {
2913             if (SvNOKp(sv))
2914                 return SvNVX(sv) != 0.0;
2915             else {
2916                 if (isGV_with_GP(sv))
2917                     return TRUE;
2918                 else
2919                     return FALSE;
2920             }
2921         }
2922     }
2923 }
2924
2925 /*
2926 =for apidoc sv_utf8_upgrade
2927
2928 Converts the PV of an SV to its UTF-8-encoded form.
2929 Forces the SV to string form if it is not already.
2930 Always sets the SvUTF8 flag to avoid future validity checks even
2931 if all the bytes have hibit clear.
2932
2933 This is not as a general purpose byte encoding to Unicode interface:
2934 use the Encode extension for that.
2935
2936 =for apidoc sv_utf8_upgrade_flags
2937
2938 Converts the PV of an SV to its UTF-8-encoded form.
2939 Forces the SV to string form if it is not already.
2940 Always sets the SvUTF8 flag to avoid future validity checks even
2941 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2942 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2943 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2944
2945 This is not as a general purpose byte encoding to Unicode interface:
2946 use the Encode extension for that.
2947
2948 =cut
2949 */
2950
2951 STRLEN
2952 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
2953 {
2954     dVAR;
2955     if (sv == &PL_sv_undef)
2956         return 0;
2957     if (!SvPOK(sv)) {
2958         STRLEN len = 0;
2959         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
2960             (void) sv_2pv_flags(sv,&len, flags);
2961             if (SvUTF8(sv))
2962                 return len;
2963         } else {
2964             (void) SvPV_force(sv,len);
2965         }
2966     }
2967
2968     if (SvUTF8(sv)) {
2969         return SvCUR(sv);
2970     }
2971
2972     if (SvIsCOW(sv)) {
2973         sv_force_normal_flags(sv, 0);
2974     }
2975
2976     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
2977         sv_recode_to_utf8(sv, PL_encoding);
2978     else { /* Assume Latin-1/EBCDIC */
2979         /* This function could be much more efficient if we
2980          * had a FLAG in SVs to signal if there are any hibit
2981          * chars in the PV.  Given that there isn't such a flag
2982          * make the loop as fast as possible. */
2983         const U8 * const s = (U8 *) SvPVX_const(sv);
2984         const U8 * const e = (U8 *) SvEND(sv);
2985         const U8 *t = s;
2986         
2987         while (t < e) {
2988             const U8 ch = *t++;
2989             /* Check for hi bit */
2990             if (!NATIVE_IS_INVARIANT(ch)) {
2991                 STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
2992                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
2993
2994                 SvPV_free(sv); /* No longer using what was there before. */
2995                 SvPV_set(sv, (char*)recoded);
2996                 SvCUR_set(sv, len - 1);
2997                 SvLEN_set(sv, len); /* No longer know the real size. */
2998                 break;
2999             }
3000         }
3001         /* Mark as UTF-8 even if no hibit - saves scanning loop */
3002         SvUTF8_on(sv);
3003     }
3004     return SvCUR(sv);
3005 }
3006
3007 /*
3008 =for apidoc sv_utf8_downgrade
3009
3010 Attempts to convert the PV of an SV from characters to bytes.
3011 If the PV contains a character beyond byte, this conversion will fail;
3012 in this case, either returns false or, if C<fail_ok> is not
3013 true, croaks.
3014
3015 This is not as a general purpose Unicode to byte encoding interface:
3016 use the Encode extension for that.
3017
3018 =cut
3019 */
3020
3021 bool
3022 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
3023 {
3024     dVAR;
3025     if (SvPOKp(sv) && SvUTF8(sv)) {
3026         if (SvCUR(sv)) {
3027             U8 *s;
3028             STRLEN len;
3029
3030             if (SvIsCOW(sv)) {
3031                 sv_force_normal_flags(sv, 0);
3032             }
3033             s = (U8 *) SvPV(sv, len);
3034             if (!utf8_to_bytes(s, &len)) {
3035                 if (fail_ok)
3036                     return FALSE;
3037                 else {
3038                     if (PL_op)
3039                         Perl_croak(aTHX_ "Wide character in %s",
3040                                    OP_DESC(PL_op));
3041                     else
3042                         Perl_croak(aTHX_ "Wide character");
3043                 }
3044             }
3045             SvCUR_set(sv, len);
3046         }
3047     }
3048     SvUTF8_off(sv);
3049     return TRUE;
3050 }
3051
3052 /*
3053 =for apidoc sv_utf8_encode
3054
3055 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3056 flag off so that it looks like octets again.
3057
3058 =cut
3059 */
3060
3061 void
3062 Perl_sv_utf8_encode(pTHX_ register SV *sv)
3063 {
3064     if (SvIsCOW(sv)) {
3065         sv_force_normal_flags(sv, 0);
3066     }
3067     if (SvREADONLY(sv)) {
3068         Perl_croak(aTHX_ PL_no_modify);
3069     }
3070     (void) sv_utf8_upgrade(sv);
3071     SvUTF8_off(sv);
3072 }
3073
3074 /*
3075 =for apidoc sv_utf8_decode
3076
3077 If the PV of the SV is an octet sequence in UTF-8
3078 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3079 so that it looks like a character. If the PV contains only single-byte
3080 characters, the C<SvUTF8> flag stays being off.
3081 Scans PV for validity and returns false if the PV is invalid UTF-8.
3082
3083 =cut
3084 */
3085
3086 bool
3087 Perl_sv_utf8_decode(pTHX_ register SV *sv)
3088 {
3089     if (SvPOKp(sv)) {
3090         const U8 *c;
3091         const U8 *e;
3092
3093         /* The octets may have got themselves encoded - get them back as
3094          * bytes
3095          */
3096         if (!sv_utf8_downgrade(sv, TRUE))
3097             return FALSE;
3098
3099         /* it is actually just a matter of turning the utf8 flag on, but
3100          * we want to make sure everything inside is valid utf8 first.
3101          */
3102         c = (const U8 *) SvPVX_const(sv);
3103         if (!is_utf8_string(c, SvCUR(sv)+1))
3104             return FALSE;
3105         e = (const U8 *) SvEND(sv);
3106         while (c < e) {
3107             const U8 ch = *c++;
3108             if (!UTF8_IS_INVARIANT(ch)) {
3109                 SvUTF8_on(sv);
3110                 break;
3111             }
3112         }
3113     }
3114     return TRUE;
3115 }
3116
3117 /*
3118 =for apidoc sv_setsv
3119
3120 Copies the contents of the source SV C<ssv> into the destination SV
3121 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3122 function if the source SV needs to be reused. Does not handle 'set' magic.
3123 Loosely speaking, it performs a copy-by-value, obliterating any previous
3124 content of the destination.
3125
3126 You probably want to use one of the assortment of wrappers, such as
3127 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3128 C<SvSetMagicSV_nosteal>.
3129
3130 =for apidoc sv_setsv_flags
3131
3132 Copies the contents of the source SV C<ssv> into the destination SV
3133 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3134 function if the source SV needs to be reused. Does not handle 'set' magic.
3135 Loosely speaking, it performs a copy-by-value, obliterating any previous
3136 content of the destination.
3137 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3138 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3139 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3140 and C<sv_setsv_nomg> are implemented in terms of this function.
3141
3142 You probably want to use one of the assortment of wrappers, such as
3143 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3144 C<SvSetMagicSV_nosteal>.
3145
3146 This is the primary function for copying scalars, and most other
3147 copy-ish functions and macros use this underneath.
3148
3149 =cut
3150 */
3151
3152 static void
3153 S_glob_assign_glob(pTHX_ SV *dstr, SV *sstr, const int dtype)
3154 {
3155     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3156
3157     if (dtype != SVt_PVGV) {
3158         const char * const name = GvNAME(sstr);
3159         const STRLEN len = GvNAMELEN(sstr);
3160         {
3161             if (dtype >= SVt_PV) {
3162                 SvPV_free(dstr);
3163                 SvPV_set(dstr, 0);
3164                 SvLEN_set(dstr, 0);
3165                 SvCUR_set(dstr, 0);
3166             }
3167             SvUPGRADE(dstr, SVt_PVGV);
3168             (void)SvOK_off(dstr);
3169             /* FIXME - why are we doing this, then turning it off and on again
3170                below?  */
3171             isGV_with_GP_on(dstr);
3172         }
3173         GvSTASH(dstr) = GvSTASH(sstr);
3174         if (GvSTASH(dstr))
3175             Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
3176         gv_name_set((GV *)dstr, name, len, GV_ADD);
3177         SvFAKE_on(dstr);        /* can coerce to non-glob */
3178     }
3179
3180 #ifdef GV_UNIQUE_CHECK
3181     if (GvUNIQUE((GV*)dstr)) {
3182         Perl_croak(aTHX_ PL_no_modify);
3183     }
3184 #endif
3185
3186     if(GvGP((GV*)sstr)) {
3187         /* If source has method cache entry, clear it */
3188         if(GvCVGEN(sstr)) {
3189             SvREFCNT_dec(GvCV(sstr));
3190             GvCV(sstr) = NULL;
3191             GvCVGEN(sstr) = 0;
3192         }
3193         /* If source has a real method, then a method is
3194            going to change */
3195         else if(GvCV((GV*)sstr)) {
3196             mro_changes = 1;
3197         }
3198     }
3199
3200     /* If dest already had a real method, that's a change as well */
3201     if(!mro_changes && GvGP((GV*)dstr) && GvCVu((GV*)dstr)) {
3202         mro_changes = 1;
3203     }
3204
3205     if(strEQ(GvNAME((GV*)dstr),"ISA"))
3206         mro_changes = 2;
3207
3208     gp_free((GV*)dstr);
3209     isGV_with_GP_off(dstr);
3210     (void)SvOK_off(dstr);
3211     isGV_with_GP_on(dstr);
3212     GvINTRO_off(dstr);          /* one-shot flag */
3213     GvGP(dstr) = gp_ref(GvGP(sstr));
3214     if (SvTAINTED(sstr))
3215         SvTAINT(dstr);
3216     if (GvIMPORTED(dstr) != GVf_IMPORTED
3217         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3218         {
3219             GvIMPORTED_on(dstr);
3220         }
3221     GvMULTI_on(dstr);
3222     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3223     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3224     return;
3225 }
3226
3227 static void
3228 S_glob_assign_ref(pTHX_ SV *dstr, SV *sstr) {
3229     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3230     SV *dref = NULL;
3231     const int intro = GvINTRO(dstr);
3232     SV **location;
3233     U8 import_flag = 0;
3234     const U32 stype = SvTYPE(sref);
3235
3236
3237 #ifdef GV_UNIQUE_CHECK
3238     if (GvUNIQUE((GV*)dstr)) {
3239         Perl_croak(aTHX_ PL_no_modify);
3240     }
3241 #endif
3242
3243     if (intro) {
3244         GvINTRO_off(dstr);      /* one-shot flag */
3245         GvLINE(dstr) = CopLINE(PL_curcop);
3246         GvEGV(dstr) = (GV*)dstr;
3247     }
3248     GvMULTI_on(dstr);
3249     switch (stype) {
3250     case SVt_PVCV:
3251         location = (SV **) &GvCV(dstr);
3252         import_flag = GVf_IMPORTED_CV;
3253         goto common;
3254     case SVt_PVHV:
3255         location = (SV **) &GvHV(dstr);
3256         import_flag = GVf_IMPORTED_HV;
3257         goto common;
3258     case SVt_PVAV:
3259         location = (SV **) &GvAV(dstr);
3260         import_flag = GVf_IMPORTED_AV;
3261         goto common;
3262     case SVt_PVIO:
3263         location = (SV **) &GvIOp(dstr);
3264         goto common;
3265     case SVt_PVFM:
3266         location = (SV **) &GvFORM(dstr);
3267     default:
3268         location = &GvSV(dstr);
3269         import_flag = GVf_IMPORTED_SV;
3270     common:
3271         if (intro) {
3272             if (stype == SVt_PVCV) {
3273                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (CV*)sref || GvCVGEN(dstr))) {*/
3274                 if (GvCVGEN(dstr)) {
3275                     SvREFCNT_dec(GvCV(dstr));
3276                     GvCV(dstr) = NULL;
3277                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3278                 }
3279             }
3280             SAVEGENERICSV(*location);
3281         }
3282         else
3283             dref = *location;
3284         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3285             CV* const cv = (CV*)*location;
3286             if (cv) {
3287                 if (!GvCVGEN((GV*)dstr) &&
3288                     (CvROOT(cv) || CvXSUB(cv)))
3289                     {
3290                         /* Redefining a sub - warning is mandatory if
3291                            it was a const and its value changed. */
3292                         if (CvCONST(cv) && CvCONST((CV*)sref)
3293                             && cv_const_sv(cv) == cv_const_sv((CV*)sref)) {
3294                             NOOP;
3295                             /* They are 2 constant subroutines generated from
3296                                the same constant. This probably means that
3297                                they are really the "same" proxy subroutine
3298                                instantiated in 2 places. Most likely this is
3299                                when a constant is exported twice.  Don't warn.
3300                             */
3301                         }
3302                         else if (ckWARN(WARN_REDEFINE)
3303                                  || (CvCONST(cv)
3304                                      && (!CvCONST((CV*)sref)
3305                                          || sv_cmp(cv_const_sv(cv),
3306                                                    cv_const_sv((CV*)sref))))) {
3307                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3308                                         (const char *)
3309                                         (CvCONST(cv)
3310                                          ? "Constant subroutine %s::%s redefined"
3311                                          : "Subroutine %s::%s redefined"),
3312                                         HvNAME_get(GvSTASH((GV*)dstr)),
3313                                         GvENAME((GV*)dstr));
3314                         }
3315                     }
3316                 if (!intro)
3317                     cv_ckproto_len(cv, (GV*)dstr,
3318                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3319                                    SvPOK(sref) ? SvCUR(sref) : 0);
3320             }
3321             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3322             GvASSUMECV_on(dstr);
3323             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3324         }
3325         *location = sref;
3326         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3327             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3328             GvFLAGS(dstr) |= import_flag;
3329         }
3330         break;
3331     }
3332     SvREFCNT_dec(dref);
3333     if (SvTAINTED(sstr))
3334         SvTAINT(dstr);
3335     return;
3336 }
3337
3338 void
3339 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
3340 {
3341     dVAR;
3342     register U32 sflags;
3343     register int dtype;
3344     register svtype stype;
3345
3346     if (sstr == dstr)
3347         return;
3348
3349     if (SvIS_FREED(dstr)) {
3350         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3351                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3352     }
3353     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3354     if (!sstr)
3355         sstr = &PL_sv_undef;
3356     if (SvIS_FREED(sstr)) {
3357         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3358                    (void*)sstr, (void*)dstr);
3359     }
3360     stype = SvTYPE(sstr);
3361     dtype = SvTYPE(dstr);
3362
3363     (void)SvAMAGIC_off(dstr);
3364     if ( SvVOK(dstr) )
3365     {
3366         /* need to nuke the magic */
3367         mg_free(dstr);
3368         SvRMAGICAL_off(dstr);
3369     }
3370
3371     /* There's a lot of redundancy below but we're going for speed here */
3372
3373     switch (stype) {
3374     case SVt_NULL:
3375       undef_sstr:
3376         if (dtype != SVt_PVGV) {
3377             (void)SvOK_off(dstr);
3378             return;
3379         }
3380         break;
3381     case SVt_IV:
3382         if (SvIOK(sstr)) {
3383             switch (dtype) {
3384             case SVt_NULL:
3385                 sv_upgrade(dstr, SVt_IV);
3386                 break;
3387             case SVt_NV:
3388             case SVt_RV:
3389             case SVt_PV:
3390                 sv_upgrade(dstr, SVt_PVIV);
3391                 break;
3392             case SVt_PVGV:
3393                 goto end_of_first_switch;
3394             }
3395             (void)SvIOK_only(dstr);
3396             SvIV_set(dstr,  SvIVX(sstr));
3397             if (SvIsUV(sstr))
3398                 SvIsUV_on(dstr);
3399             /* SvTAINTED can only be true if the SV has taint magic, which in
3400                turn means that the SV type is PVMG (or greater). This is the
3401                case statement for SVt_IV, so this cannot be true (whatever gcov
3402                may say).  */
3403             assert(!SvTAINTED(sstr));
3404             return;
3405         }
3406         goto undef_sstr;
3407
3408     case SVt_NV:
3409         if (SvNOK(sstr)) {
3410             switch (dtype) {
3411             case SVt_NULL:
3412             case SVt_IV:
3413                 sv_upgrade(dstr, SVt_NV);
3414                 break;
3415             case SVt_RV:
3416             case SVt_PV:
3417             case SVt_PVIV:
3418                 sv_upgrade(dstr, SVt_PVNV);
3419                 break;
3420             case SVt_PVGV:
3421                 goto end_of_first_switch;
3422             }
3423             SvNV_set(dstr, SvNVX(sstr));
3424             (void)SvNOK_only(dstr);
3425             /* SvTAINTED can only be true if the SV has taint magic, which in
3426                turn means that the SV type is PVMG (or greater). This is the
3427                case statement for SVt_NV, so this cannot be true (whatever gcov
3428                may say).  */
3429             assert(!SvTAINTED(sstr));
3430             return;
3431         }
3432         goto undef_sstr;
3433
3434     case SVt_RV:
3435         if (dtype < SVt_RV)
3436             sv_upgrade(dstr, SVt_RV);
3437         break;
3438     case SVt_PVFM:
3439 #ifdef PERL_OLD_COPY_ON_WRITE
3440         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3441             if (dtype < SVt_PVIV)
3442                 sv_upgrade(dstr, SVt_PVIV);
3443             break;
3444         }
3445         /* Fall through */
3446 #endif
3447     case SVt_PV:
3448         if (dtype < SVt_PV)
3449             sv_upgrade(dstr, SVt_PV);
3450         break;
3451     case SVt_PVIV:
3452         if (dtype < SVt_PVIV)
3453             sv_upgrade(dstr, SVt_PVIV);
3454         break;
3455     case SVt_PVNV:
3456         if (dtype < SVt_PVNV)
3457             sv_upgrade(dstr, SVt_PVNV);
3458         break;
3459     default:
3460         {
3461         const char * const type = sv_reftype(sstr,0);
3462         if (PL_op)
3463             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3464         else
3465             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3466         }
3467         break;
3468
3469         /* case SVt_BIND: */
3470     case SVt_PVLV:
3471     case SVt_PVGV:
3472         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3473             glob_assign_glob(dstr, sstr, dtype);
3474             return;
3475         }
3476         /* SvVALID means that this PVGV is playing at being an FBM.  */
3477         /*FALLTHROUGH*/
3478
3479     case SVt_PVMG:
3480         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3481             mg_get(sstr);
3482             if (SvTYPE(sstr) != stype) {
3483                 stype = SvTYPE(sstr);
3484                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3485                     glob_assign_glob(dstr, sstr, dtype);
3486                     return;
3487                 }
3488             }
3489         }
3490         if (stype == SVt_PVLV)
3491             SvUPGRADE(dstr, SVt_PVNV);
3492         else
3493             SvUPGRADE(dstr, (svtype)stype);
3494     }
3495  end_of_first_switch:
3496
3497     /* dstr may have been upgraded.  */
3498     dtype = SvTYPE(dstr);
3499     sflags = SvFLAGS(sstr);
3500
3501     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3502         /* Assigning to a subroutine sets the prototype.  */
3503         if (SvOK(sstr)) {
3504             STRLEN len;
3505             const char *const ptr = SvPV_const(sstr, len);
3506
3507             SvGROW(dstr, len + 1);
3508             Copy(ptr, SvPVX(dstr), len + 1, char);
3509             SvCUR_set(dstr, len);
3510             SvPOK_only(dstr);
3511             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3512         } else {
3513             SvOK_off(dstr);
3514         }
3515     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3516         const char * const type = sv_reftype(dstr,0);
3517         if (PL_op)
3518             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3519         else
3520             Perl_croak(aTHX_ "Cannot copy to %s", type);
3521     } else if (sflags & SVf_ROK) {
3522         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3523             && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3524             sstr = SvRV(sstr);
3525             if (sstr == dstr) {
3526                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3527                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3528                 {
3529                     GvIMPORTED_on(dstr);
3530                 }
3531                 GvMULTI_on(dstr);
3532                 return;
3533             }
3534             glob_assign_glob(dstr, sstr, dtype);
3535             return;
3536         }
3537
3538         if (dtype >= SVt_PV) {
3539             if (dtype == SVt_PVGV) {
3540                 glob_assign_ref(dstr, sstr);
3541                 return;
3542             }
3543             if (SvPVX_const(dstr)) {
3544                 SvPV_free(dstr);
3545                 SvLEN_set(dstr, 0);
3546                 SvCUR_set(dstr, 0);
3547             }
3548         }
3549         (void)SvOK_off(dstr);
3550         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3551         SvFLAGS(dstr) |= sflags & SVf_ROK;
3552         assert(!(sflags & SVp_NOK));
3553         assert(!(sflags & SVp_IOK));
3554         assert(!(sflags & SVf_NOK));
3555         assert(!(sflags & SVf_IOK));
3556     }
3557     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3558         if (!(sflags & SVf_OK)) {
3559             if (ckWARN(WARN_MISC))
3560                 Perl_warner(aTHX_ packWARN(WARN_MISC),
3561                             "Undefined value assigned to typeglob");
3562         }
3563         else {
3564             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
3565             if (dstr != (SV*)gv) {
3566                 if (GvGP(dstr))
3567                     gp_free((GV*)dstr);
3568                 GvGP(dstr) = gp_ref(GvGP(gv));
3569             }
3570         }
3571     }
3572     else if (sflags & SVp_POK) {
3573         bool isSwipe = 0;
3574
3575         /*
3576          * Check to see if we can just swipe the string.  If so, it's a
3577          * possible small lose on short strings, but a big win on long ones.
3578          * It might even be a win on short strings if SvPVX_const(dstr)
3579          * has to be allocated and SvPVX_const(sstr) has to be freed.
3580          * Likewise if we can set up COW rather than doing an actual copy, we
3581          * drop to the else clause, as the swipe code and the COW setup code
3582          * have much in common.
3583          */
3584
3585         /* Whichever path we take through the next code, we want this true,
3586            and doing it now facilitates the COW check.  */
3587         (void)SvPOK_only(dstr);
3588
3589         if (
3590             /* If we're already COW then this clause is not true, and if COW
3591                is allowed then we drop down to the else and make dest COW 
3592                with us.  If caller hasn't said that we're allowed to COW
3593                shared hash keys then we don't do the COW setup, even if the
3594                source scalar is a shared hash key scalar.  */
3595             (((flags & SV_COW_SHARED_HASH_KEYS)
3596                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
3597                : 1 /* If making a COW copy is forbidden then the behaviour we
3598                        desire is as if the source SV isn't actually already
3599                        COW, even if it is.  So we act as if the source flags
3600                        are not COW, rather than actually testing them.  */
3601               )
3602 #ifndef PERL_OLD_COPY_ON_WRITE
3603              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
3604                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
3605                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
3606                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
3607                 but in turn, it's somewhat dead code, never expected to go
3608                 live, but more kept as a placeholder on how to do it better
3609                 in a newer implementation.  */
3610              /* If we are COW and dstr is a suitable target then we drop down
3611                 into the else and make dest a COW of us.  */
3612              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3613 #endif
3614              )
3615             &&
3616             !(isSwipe =
3617                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3618                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3619                  (!(flags & SV_NOSTEAL)) &&
3620                                         /* and we're allowed to steal temps */
3621                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3622                  SvLEN(sstr)    &&        /* and really is a string */
3623                                 /* and won't be needed again, potentially */
3624               !(PL_op && PL_op->op_type == OP_AASSIGN))
3625 #ifdef PERL_OLD_COPY_ON_WRITE
3626             && ((flags & SV_COW_SHARED_HASH_KEYS)
3627                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3628                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3629                      && SvTYPE(sstr) >= SVt_PVIV))
3630                 : 1)
3631 #endif
3632             ) {
3633             /* Failed the swipe test, and it's not a shared hash key either.
3634                Have to copy the string.  */
3635             STRLEN len = SvCUR(sstr);
3636             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3637             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3638             SvCUR_set(dstr, len);
3639             *SvEND(dstr) = '\0';
3640         } else {
3641             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3642                be true in here.  */
3643             /* Either it's a shared hash key, or it's suitable for
3644                copy-on-write or we can swipe the string.  */
3645             if (DEBUG_C_TEST) {
3646                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3647                 sv_dump(sstr);
3648                 sv_dump(dstr);
3649             }
3650 #ifdef PERL_OLD_COPY_ON_WRITE
3651             if (!isSwipe) {
3652                 /* I believe I should acquire a global SV mutex if
3653                    it's a COW sv (not a shared hash key) to stop
3654                    it going un copy-on-write.
3655                    If the source SV has gone un copy on write between up there
3656                    and down here, then (assert() that) it is of the correct
3657                    form to make it copy on write again */
3658                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3659                     != (SVf_FAKE | SVf_READONLY)) {
3660                     SvREADONLY_on(sstr);
3661                     SvFAKE_on(sstr);
3662                     /* Make the source SV into a loop of 1.
3663                        (about to become 2) */
3664                     SV_COW_NEXT_SV_SET(sstr, sstr);
3665                 }
3666             }
3667 #endif
3668             /* Initial code is common.  */
3669             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3670                 SvPV_free(dstr);
3671             }
3672
3673             if (!isSwipe) {
3674                 /* making another shared SV.  */
3675                 STRLEN cur = SvCUR(sstr);
3676                 STRLEN len = SvLEN(sstr);
3677 #ifdef PERL_OLD_COPY_ON_WRITE
3678                 if (len) {
3679                     assert (SvTYPE(dstr) >= SVt_PVIV);
3680                     /* SvIsCOW_normal */
3681                     /* splice us in between source and next-after-source.  */
3682                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3683                     SV_COW_NEXT_SV_SET(sstr, dstr);
3684                     SvPV_set(dstr, SvPVX_mutable(sstr));
3685                 } else
3686 #endif
3687                 {
3688                     /* SvIsCOW_shared_hash */
3689                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3690                                           "Copy on write: Sharing hash\n"));
3691
3692                     assert (SvTYPE(dstr) >= SVt_PV);
3693                     SvPV_set(dstr,
3694                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3695                 }
3696                 SvLEN_set(dstr, len);
3697                 SvCUR_set(dstr, cur);
3698                 SvREADONLY_on(dstr);
3699                 SvFAKE_on(dstr);
3700                 /* Relesase a global SV mutex.  */
3701             }
3702             else
3703                 {       /* Passes the swipe test.  */
3704                 SvPV_set(dstr, SvPVX_mutable(sstr));
3705                 SvLEN_set(dstr, SvLEN(sstr));
3706                 SvCUR_set(dstr, SvCUR(sstr));
3707
3708                 SvTEMP_off(dstr);
3709                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3710                 SvPV_set(sstr, NULL);
3711                 SvLEN_set(sstr, 0);
3712                 SvCUR_set(sstr, 0);
3713                 SvTEMP_off(sstr);
3714             }
3715         }
3716         if (sflags & SVp_NOK) {
3717             SvNV_set(dstr, SvNVX(sstr));
3718         }
3719         if (sflags & SVp_IOK) {
3720             SvOOK_off(dstr);
3721             SvIV_set(dstr, SvIVX(sstr));
3722             /* Must do this otherwise some other overloaded use of 0x80000000
3723                gets confused. I guess SVpbm_VALID */
3724             if (sflags & SVf_IVisUV)
3725                 SvIsUV_on(dstr);
3726         }
3727         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
3728         {
3729             const MAGIC * const smg = SvVSTRING_mg(sstr);
3730             if (smg) {
3731                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3732                          smg->mg_ptr, smg->mg_len);
3733                 SvRMAGICAL_on(dstr);
3734             }
3735         }
3736     }
3737     else if (sflags & (SVp_IOK|SVp_NOK)) {
3738         (void)SvOK_off(dstr);
3739         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
3740         if (sflags & SVp_IOK) {
3741             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3742             SvIV_set(dstr, SvIVX(sstr));
3743         }
3744         if (sflags & SVp_NOK) {
3745             SvNV_set(dstr, SvNVX(sstr));
3746         }
3747     }
3748     else {
3749         if (isGV_with_GP(sstr)) {
3750             /* This stringification rule for globs is spread in 3 places.
3751                This feels bad. FIXME.  */
3752             const U32 wasfake = sflags & SVf_FAKE;
3753
3754             /* FAKE globs can get coerced, so need to turn this off
3755                temporarily if it is on.  */
3756             SvFAKE_off(sstr);
3757             gv_efullname3(dstr, (GV *)sstr, "*");
3758             SvFLAGS(sstr) |= wasfake;
3759         }
3760         else
3761             (void)SvOK_off(dstr);
3762     }
3763     if (SvTAINTED(sstr))
3764         SvTAINT(dstr);
3765 }
3766
3767 /*
3768 =for apidoc sv_setsv_mg
3769
3770 Like C<sv_setsv>, but also handles 'set' magic.
3771
3772 =cut
3773 */
3774
3775 void
3776 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3777 {
3778     sv_setsv(dstr,sstr);
3779     SvSETMAGIC(dstr);
3780 }
3781
3782 #ifdef PERL_OLD_COPY_ON_WRITE
3783 SV *
3784 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3785 {
3786     STRLEN cur = SvCUR(sstr);
3787     STRLEN len = SvLEN(sstr);
3788     register char *new_pv;
3789
3790     if (DEBUG_C_TEST) {
3791         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3792                       (void*)sstr, (void*)dstr);
3793         sv_dump(sstr);
3794         if (dstr)
3795                     sv_dump(dstr);
3796     }
3797
3798     if (dstr) {
3799         if (SvTHINKFIRST(dstr))
3800             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3801         else if (SvPVX_const(dstr))
3802             Safefree(SvPVX_const(dstr));
3803     }
3804     else
3805         new_SV(dstr);
3806     SvUPGRADE(dstr, SVt_PVIV);
3807
3808     assert (SvPOK(sstr));
3809     assert (SvPOKp(sstr));
3810     assert (!SvIOK(sstr));
3811     assert (!SvIOKp(sstr));
3812     assert (!SvNOK(sstr));
3813     assert (!SvNOKp(sstr));
3814
3815     if (SvIsCOW(sstr)) {
3816
3817         if (SvLEN(sstr) == 0) {
3818             /* source is a COW shared hash key.  */
3819             DEBUG_C(PerlIO_printf(Perl_debug_log,
3820                                   "Fast copy on write: Sharing hash\n"));
3821             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3822             goto common_exit;
3823         }
3824         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3825     } else {
3826         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3827         SvUPGRADE(sstr, SVt_PVIV);
3828         SvREADONLY_on(sstr);
3829         SvFAKE_on(sstr);
3830         DEBUG_C(PerlIO_printf(Perl_debug_log,
3831                               "Fast copy on write: Converting sstr to COW\n"));
3832         SV_COW_NEXT_SV_SET(dstr, sstr);
3833     }
3834     SV_COW_NEXT_SV_SET(sstr, dstr);
3835     new_pv = SvPVX_mutable(sstr);
3836
3837   common_exit:
3838     SvPV_set(dstr, new_pv);
3839     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3840     if (SvUTF8(sstr))
3841         SvUTF8_on(dstr);
3842     SvLEN_set(dstr, len);
3843     SvCUR_set(dstr, cur);
3844     if (DEBUG_C_TEST) {
3845         sv_dump(dstr);
3846     }
3847     return dstr;
3848 }
3849 #endif
3850
3851 /*
3852 =for apidoc sv_setpvn
3853
3854 Copies a string into an SV.  The C<len> parameter indicates the number of
3855 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3856 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3857
3858 =cut
3859 */
3860
3861 void
3862 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3863 {
3864     dVAR;
3865     register char *dptr;
3866
3867     SV_CHECK_THINKFIRST_COW_DROP(sv);
3868     if (!ptr) {
3869         (void)SvOK_off(sv);
3870         return;
3871     }
3872     else {
3873         /* len is STRLEN which is unsigned, need to copy to signed */
3874         const IV iv = len;
3875         if (iv < 0)
3876             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3877     }
3878     SvUPGRADE(sv, SVt_PV);
3879
3880     dptr = SvGROW(sv, len + 1);
3881     Move(ptr,dptr,len,char);
3882     dptr[len] = '\0';
3883     SvCUR_set(sv, len);
3884     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3885     SvTAINT(sv);
3886 }
3887
3888 /*
3889 =for apidoc sv_setpvn_mg
3890
3891 Like C<sv_setpvn>, but also handles 'set' magic.
3892
3893 =cut
3894 */
3895
3896 void
3897 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3898 {
3899     sv_setpvn(sv,ptr,len);
3900     SvSETMAGIC(sv);
3901 }
3902
3903 /*
3904 =for apidoc sv_setpv
3905
3906 Copies a string into an SV.  The string must be null-terminated.  Does not
3907 handle 'set' magic.  See C<sv_setpv_mg>.
3908
3909 =cut
3910 */
3911
3912 void
3913 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3914 {
3915     dVAR;
3916     register STRLEN len;
3917
3918     SV_CHECK_THINKFIRST_COW_DROP(sv);
3919     if (!ptr) {
3920         (void)SvOK_off(sv);
3921         return;
3922     }
3923     len = strlen(ptr);
3924     SvUPGRADE(sv, SVt_PV);
3925
3926     SvGROW(sv, len + 1);
3927     Move(ptr,SvPVX(sv),len+1,char);
3928     SvCUR_set(sv, len);
3929     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3930     SvTAINT(sv);
3931 }
3932
3933 /*
3934 =for apidoc sv_setpv_mg
3935
3936 Like C<sv_setpv>, but also handles 'set' magic.
3937
3938 =cut
3939 */
3940
3941 void
3942 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3943 {
3944     sv_setpv(sv,ptr);
3945     SvSETMAGIC(sv);
3946 }
3947
3948 /*
3949 =for apidoc sv_usepvn_flags
3950
3951 Tells an SV to use C<ptr> to find its string value.  Normally the
3952 string is stored inside the SV but sv_usepvn allows the SV to use an
3953 outside string.  The C<ptr> should point to memory that was allocated
3954 by C<malloc>.  The string length, C<len>, must be supplied.  By default
3955 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
3956 so that pointer should not be freed or used by the programmer after
3957 giving it to sv_usepvn, and neither should any pointers from "behind"
3958 that pointer (e.g. ptr + 1) be used.
3959
3960 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
3961 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
3962 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
3963 C<len>, and already meets the requirements for storing in C<SvPVX>)
3964
3965 =cut
3966 */
3967
3968 void
3969 Perl_sv_usepvn_flags(pTHX_ SV *sv, char *ptr, STRLEN len, U32 flags)
3970 {
3971     dVAR;
3972     STRLEN allocate;
3973     SV_CHECK_THINKFIRST_COW_DROP(sv);
3974     SvUPGRADE(sv, SVt_PV);
3975     if (!ptr) {
3976         (void)SvOK_off(sv);
3977         if (flags & SV_SMAGIC)
3978             SvSETMAGIC(sv);
3979         return;
3980     }
3981     if (SvPVX_const(sv))
3982         SvPV_free(sv);
3983
3984 #ifdef DEBUGGING
3985     if (flags & SV_HAS_TRAILING_NUL)
3986         assert(ptr[len] == '\0');
3987 #endif
3988
3989     allocate = (flags & SV_HAS_TRAILING_NUL)
3990         ? len + 1: PERL_STRLEN_ROUNDUP(len + 1);
3991     if (flags & SV_HAS_TRAILING_NUL) {
3992         /* It's long enough - do nothing.
3993            Specfically Perl_newCONSTSUB is relying on this.  */
3994     } else {
3995 #ifdef DEBUGGING
3996         /* Force a move to shake out bugs in callers.  */
3997         char *new_ptr = (char*)safemalloc(allocate);
3998         Copy(ptr, new_ptr, len, char);
3999         PoisonFree(ptr,len,char);
4000         Safefree(ptr);
4001         ptr = new_ptr;
4002 #else
4003         ptr = (char*) saferealloc (ptr, allocate);
4004 #endif
4005     }
4006     SvPV_set(sv, ptr);
4007     SvCUR_set(sv, len);
4008     SvLEN_set(sv, allocate);
4009     if (!(flags & SV_HAS_TRAILING_NUL)) {
4010         ptr[len] = '\0';
4011     }
4012     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4013     SvTAINT(sv);
4014     if (flags & SV_SMAGIC)
4015         SvSETMAGIC(sv);
4016 }
4017
4018 #ifdef PERL_OLD_COPY_ON_WRITE
4019 /* Need to do this *after* making the SV normal, as we need the buffer
4020    pointer to remain valid until after we've copied it.  If we let go too early,
4021    another thread could invalidate it by unsharing last of the same hash key
4022    (which it can do by means other than releasing copy-on-write Svs)
4023    or by changing the other copy-on-write SVs in the loop.  */
4024 STATIC void
4025 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4026 {
4027     { /* this SV was SvIsCOW_normal(sv) */
4028          /* we need to find the SV pointing to us.  */
4029         SV *current = SV_COW_NEXT_SV(after);
4030
4031         if (current == sv) {
4032             /* The SV we point to points back to us (there were only two of us
4033                in the loop.)
4034                Hence other SV is no longer copy on write either.  */
4035             SvFAKE_off(after);
4036             SvREADONLY_off(after);
4037         } else {
4038             /* We need to follow the pointers around the loop.  */
4039             SV *next;
4040             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4041                 assert (next);
4042                 current = next;
4043                  /* don't loop forever if the structure is bust, and we have
4044                     a pointer into a closed loop.  */
4045                 assert (current != after);
4046                 assert (SvPVX_const(current) == pvx);
4047             }
4048             /* Make the SV before us point to the SV after us.  */
4049             SV_COW_NEXT_SV_SET(current, after);
4050         }
4051     }
4052 }
4053 #endif
4054 /*
4055 =for apidoc sv_force_normal_flags
4056
4057 Undo various types of fakery on an SV: if the PV is a shared string, make
4058 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4059 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4060 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4061 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4062 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4063 set to some other value.) In addition, the C<flags> parameter gets passed to
4064 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4065 with flags set to 0.
4066
4067 =cut
4068 */
4069
4070 void
4071 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
4072 {
4073     dVAR;
4074 #ifdef PERL_OLD_COPY_ON_WRITE
4075     if (SvREADONLY(sv)) {
4076         /* At this point I believe I should acquire a global SV mutex.  */
4077         if (SvFAKE(sv)) {
4078             const char * const pvx = SvPVX_const(sv);
4079             const STRLEN len = SvLEN(sv);
4080             const STRLEN cur = SvCUR(sv);
4081             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4082                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4083                we'll fail an assertion.  */
4084             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4085
4086             if (DEBUG_C_TEST) {
4087                 PerlIO_printf(Perl_debug_log,
4088                               "Copy on write: Force normal %ld\n",
4089                               (long) flags);
4090                 sv_dump(sv);
4091             }
4092             SvFAKE_off(sv);
4093             SvREADONLY_off(sv);
4094             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4095             SvPV_set(sv, NULL);
4096             SvLEN_set(sv, 0);
4097             if (flags & SV_COW_DROP_PV) {
4098                 /* OK, so we don't need to copy our buffer.  */
4099                 SvPOK_off(sv);
4100             } else {
4101                 SvGROW(sv, cur + 1);
4102                 Move(pvx,SvPVX(sv),cur,char);
4103                 SvCUR_set(sv, cur);
4104                 *SvEND(sv) = '\0';
4105             }
4106             if (len) {
4107                 sv_release_COW(sv, pvx, next);
4108             } else {
4109                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4110             }
4111             if (DEBUG_C_TEST) {
4112                 sv_dump(sv);
4113             }
4114         }
4115         else if (IN_PERL_RUNTIME)
4116             Perl_croak(aTHX_ PL_no_modify);
4117         /* At this point I believe that I can drop the global SV mutex.  */
4118     }
4119 #else
4120     if (SvREADONLY(sv)) {
4121         if (SvFAKE(sv)) {
4122             const char * const pvx = SvPVX_const(sv);
4123             const STRLEN len = SvCUR(sv);
4124             SvFAKE_off(sv);
4125             SvREADONLY_off(sv);
4126             SvPV_set(sv, NULL);
4127             SvLEN_set(sv, 0);
4128             SvGROW(sv, len + 1);
4129             Move(pvx,SvPVX(sv),len,char);
4130             *SvEND(sv) = '\0';
4131             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4132         }
4133         else if (IN_PERL_RUNTIME)
4134             Perl_croak(aTHX_ PL_no_modify);
4135     }
4136 #endif
4137     if (SvROK(sv))
4138         sv_unref_flags(sv, flags);
4139     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4140         sv_unglob(sv);
4141 }
4142
4143 /*
4144 =for apidoc sv_chop
4145
4146 Efficient removal of characters from the beginning of the string buffer.
4147 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4148 the string buffer.  The C<ptr> becomes the first character of the adjusted
4149 string. Uses the "OOK hack".
4150 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4151 refer to the same chunk of data.
4152
4153 =cut
4154 */
4155
4156 void
4157 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
4158 {
4159     register STRLEN delta;
4160     if (!ptr || !SvPOKp(sv))
4161         return;
4162     delta = ptr - SvPVX_const(sv);
4163     SV_CHECK_THINKFIRST(sv);
4164     if (SvTYPE(sv) < SVt_PVIV)
4165         sv_upgrade(sv,SVt_PVIV);
4166
4167     if (!SvOOK(sv)) {
4168         if (!SvLEN(sv)) { /* make copy of shared string */
4169             const char *pvx = SvPVX_const(sv);
4170             const STRLEN len = SvCUR(sv);
4171             SvGROW(sv, len + 1);
4172             Move(pvx,SvPVX(sv),len,char);
4173             *SvEND(sv) = '\0';
4174         }
4175         SvIV_set(sv, 0);
4176         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
4177            and we do that anyway inside the SvNIOK_off
4178         */
4179         SvFLAGS(sv) |= SVf_OOK;
4180     }
4181     SvNIOK_off(sv);
4182     SvLEN_set(sv, SvLEN(sv) - delta);
4183     SvCUR_set(sv, SvCUR(sv) - delta);
4184     SvPV_set(sv, SvPVX(sv) + delta);
4185     SvIV_set(sv, SvIVX(sv) + delta);
4186 }
4187
4188 /*
4189 =for apidoc sv_catpvn
4190
4191 Concatenates the string onto the end of the string which is in the SV.  The
4192 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4193 status set, then the bytes appended should be valid UTF-8.
4194 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4195
4196 =for apidoc sv_catpvn_flags
4197
4198 Concatenates the string onto the end of the string which is in the SV.  The
4199 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4200 status set, then the bytes appended should be valid UTF-8.
4201 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4202 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4203 in terms of this function.
4204
4205 =cut
4206 */
4207
4208 void
4209 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
4210 {
4211     dVAR;
4212     STRLEN dlen;
4213     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4214
4215     SvGROW(dsv, dlen + slen + 1);
4216     if (sstr == dstr)
4217         sstr = SvPVX_const(dsv);
4218     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4219     SvCUR_set(dsv, SvCUR(dsv) + slen);
4220     *SvEND(dsv) = '\0';
4221     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4222     SvTAINT(dsv);
4223     if (flags & SV_SMAGIC)
4224         SvSETMAGIC(dsv);
4225 }
4226
4227 /*
4228 =for apidoc sv_catsv
4229
4230 Concatenates the string from SV C<ssv> onto the end of the string in
4231 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4232 not 'set' magic.  See C<sv_catsv_mg>.
4233
4234 =for apidoc sv_catsv_flags
4235
4236 Concatenates the string from SV C<ssv> onto the end of the string in
4237 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4238 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4239 and C<sv_catsv_nomg> are implemented in terms of this function.
4240
4241 =cut */
4242
4243 void
4244 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
4245 {
4246     dVAR;
4247     if (ssv) {
4248         STRLEN slen;
4249         const char *spv = SvPV_const(ssv, slen);
4250         if (spv) {
4251             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4252                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4253                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4254                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4255                 dsv->sv_flags doesn't have that bit set.
4256                 Andy Dougherty  12 Oct 2001
4257             */
4258             const I32 sutf8 = DO_UTF8(ssv);
4259             I32 dutf8;
4260
4261             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4262                 mg_get(dsv);
4263             dutf8 = DO_UTF8(dsv);
4264
4265             if (dutf8 != sutf8) {
4266                 if (dutf8) {
4267                     /* Not modifying source SV, so taking a temporary copy. */
4268                     SV* const csv = sv_2mortal(newSVpvn(spv, slen));
4269
4270                     sv_utf8_upgrade(csv);
4271                     spv = SvPV_const(csv, slen);
4272                 }
4273                 else
4274                     sv_utf8_upgrade_nomg(dsv);
4275             }
4276             sv_catpvn_nomg(dsv, spv, slen);
4277         }
4278     }
4279     if (flags & SV_SMAGIC)
4280         SvSETMAGIC(dsv);
4281 }
4282
4283 /*
4284 =for apidoc sv_catpv
4285
4286 Concatenates the string onto the end of the string which is in the SV.
4287 If the SV has the UTF-8 status set, then the bytes appended should be
4288 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4289
4290 =cut */
4291
4292 void
4293 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
4294 {
4295     dVAR;
4296     register STRLEN len;
4297     STRLEN tlen;
4298     char *junk;
4299
4300     if (!ptr)
4301         return;
4302     junk = SvPV_force(sv, tlen);
4303     len = strlen(ptr);
4304     SvGROW(sv, tlen + len + 1);
4305     if (ptr == junk)
4306         ptr = SvPVX_const(sv);
4307     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4308     SvCUR_set(sv, SvCUR(sv) + len);
4309     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4310     SvTAINT(sv);
4311 }
4312
4313 /*
4314 =for apidoc sv_catpv_mg
4315
4316 Like C<sv_catpv>, but also handles 'set' magic.
4317
4318 =cut
4319 */
4320
4321 void
4322 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
4323 {
4324     sv_catpv(sv,ptr);
4325     SvSETMAGIC(sv);
4326 }
4327
4328 /*
4329 =for apidoc newSV
4330
4331 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4332 bytes of preallocated string space the SV should have.  An extra byte for a
4333 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4334 space is allocated.)  The reference count for the new SV is set to 1.
4335
4336 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4337 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4338 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4339 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4340 modules supporting older perls.
4341
4342 =cut
4343 */
4344
4345 SV *
4346 Perl_newSV(pTHX_ STRLEN len)
4347 {
4348     dVAR;
4349     register SV *sv;
4350
4351     new_SV(sv);
4352     if (len) {
4353         sv_upgrade(sv, SVt_PV);
4354         SvGROW(sv, len + 1);
4355     }
4356     return sv;
4357 }
4358 /*
4359 =for apidoc sv_magicext
4360
4361 Adds magic to an SV, upgrading it if necessary. Applies the
4362 supplied vtable and returns a pointer to the magic added.
4363
4364 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4365 In particular, you can add magic to SvREADONLY SVs, and add more than
4366 one instance of the same 'how'.
4367
4368 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4369 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4370 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4371 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4372
4373 (This is now used as a subroutine by C<sv_magic>.)
4374
4375 =cut
4376 */
4377 MAGIC * 
4378 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, const MGVTBL *vtable,
4379                  const char* name, I32 namlen)
4380 {
4381     dVAR;
4382     MAGIC* mg;
4383
4384     SvUPGRADE(sv, SVt_PVMG);
4385     Newxz(mg, 1, MAGIC);
4386     mg->mg_moremagic = SvMAGIC(sv);
4387     SvMAGIC_set(sv, mg);
4388
4389     /* Sometimes a magic contains a reference loop, where the sv and
4390        object refer to each other.  To prevent a reference loop that
4391        would prevent such objects being freed, we look for such loops
4392        and if we find one we avoid incrementing the object refcount.
4393
4394        Note we cannot do this to avoid self-tie loops as intervening RV must
4395        have its REFCNT incremented to keep it in existence.
4396
4397     */
4398     if (!obj || obj == sv ||
4399         how == PERL_MAGIC_arylen ||
4400         how == PERL_MAGIC_isaelem ||
4401         how == PERL_MAGIC_qr ||
4402         how == PERL_MAGIC_symtab ||
4403         (SvTYPE(obj) == SVt_PVGV &&
4404             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4405             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4406             GvFORM(obj) == (CV*)sv)))
4407     {
4408         mg->mg_obj = obj;
4409     }
4410     else {
4411         mg->mg_obj = SvREFCNT_inc_simple(obj);
4412         mg->mg_flags |= MGf_REFCOUNTED;
4413     }
4414
4415     /* Normal self-ties simply pass a null object, and instead of
4416        using mg_obj directly, use the SvTIED_obj macro to produce a
4417        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4418        with an RV obj pointing to the glob containing the PVIO.  In
4419        this case, to avoid a reference loop, we need to weaken the
4420        reference.
4421     */
4422
4423     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4424         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4425     {
4426       sv_rvweaken(obj);
4427     }
4428
4429     mg->mg_type = how;
4430     mg->mg_len = namlen;
4431     if (name) {
4432         if (namlen > 0)
4433             mg->mg_ptr = savepvn(name, namlen);
4434         else if (namlen == HEf_SVKEY)
4435             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV*)name);
4436         else
4437             mg->mg_ptr = (char *) name;
4438     }
4439     mg->mg_virtual = (MGVTBL *) vtable;
4440
4441     mg_magical(sv);
4442     if (SvGMAGICAL(sv))
4443         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4444     return mg;
4445 }
4446
4447 /*
4448 =for apidoc sv_magic
4449
4450 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4451 then adds a new magic item of type C<how> to the head of the magic list.
4452
4453 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4454 handling of the C<name> and C<namlen> arguments.
4455
4456 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4457 to add more than one instance of the same 'how'.
4458
4459 =cut
4460 */
4461
4462 void
4463 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4464 {
4465     dVAR;
4466     const MGVTBL *vtable;
4467     MAGIC* mg;
4468
4469 #ifdef PERL_OLD_COPY_ON_WRITE
4470     if (SvIsCOW(sv))
4471         sv_force_normal_flags(sv, 0);
4472 #endif
4473     if (SvREADONLY(sv)) {
4474         if (
4475             /* its okay to attach magic to shared strings; the subsequent
4476              * upgrade to PVMG will unshare the string */
4477             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4478
4479             && IN_PERL_RUNTIME
4480             && how != PERL_MAGIC_regex_global
4481             && how != PERL_MAGIC_bm
4482             && how != PERL_MAGIC_fm
4483             && how != PERL_MAGIC_sv
4484             && how != PERL_MAGIC_backref
4485            )
4486         {
4487             Perl_croak(aTHX_ PL_no_modify);
4488         }
4489     }
4490     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4491         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4492             /* sv_magic() refuses to add a magic of the same 'how' as an
4493                existing one
4494              */
4495             if (how == PERL_MAGIC_taint) {
4496                 mg->mg_len |= 1;
4497                 /* Any scalar which already had taint magic on which someone
4498                    (erroneously?) did SvIOK_on() or similar will now be
4499                    incorrectly sporting public "OK" flags.  */
4500                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4501             }
4502             return;
4503         }
4504     }
4505
4506     switch (how) {
4507     case PERL_MAGIC_sv:
4508         vtable = &PL_vtbl_sv;
4509         break;
4510     case PERL_MAGIC_overload:
4511         vtable = &PL_vtbl_amagic;
4512         break;
4513     case PERL_MAGIC_overload_elem:
4514         vtable = &PL_vtbl_amagicelem;
4515         break;
4516     case PERL_MAGIC_overload_table:
4517         vtable = &PL_vtbl_ovrld;
4518         break;
4519     case PERL_MAGIC_bm:
4520         vtable = &PL_vtbl_bm;
4521         break;
4522     case PERL_MAGIC_regdata:
4523         vtable = &PL_vtbl_regdata;
4524         break;
4525     case PERL_MAGIC_regdatum:
4526         vtable = &PL_vtbl_regdatum;
4527         break;
4528     case PERL_MAGIC_env:
4529         vtable = &PL_vtbl_env;
4530         break;
4531     case PERL_MAGIC_fm:
4532         vtable = &PL_vtbl_fm;
4533         break;
4534     case PERL_MAGIC_envelem:
4535         vtable = &PL_vtbl_envelem;
4536         break;
4537     case PERL_MAGIC_regex_global:
4538         vtable = &PL_vtbl_mglob;
4539         break;
4540     case PERL_MAGIC_isa:
4541         vtable = &PL_vtbl_isa;
4542         break;
4543     case PERL_MAGIC_isaelem:
4544         vtable = &PL_vtbl_isaelem;
4545         break;
4546     case PERL_MAGIC_nkeys:
4547         vtable = &PL_vtbl_nkeys;
4548         break;
4549     case PERL_MAGIC_dbfile:
4550         vtable = NULL;
4551         break;
4552     case PERL_MAGIC_dbline:
4553         vtable = &PL_vtbl_dbline;
4554         break;
4555 #ifdef USE_LOCALE_COLLATE
4556     case PERL_MAGIC_collxfrm:
4557         vtable = &PL_vtbl_collxfrm;
4558         break;
4559 #endif /* USE_LOCALE_COLLATE */
4560     case PERL_MAGIC_tied:
4561         vtable = &PL_vtbl_pack;
4562         break;
4563     case PERL_MAGIC_tiedelem:
4564     case PERL_MAGIC_tiedscalar:
4565         vtable = &PL_vtbl_packelem;
4566         break;
4567     case PERL_MAGIC_qr:
4568         vtable = &PL_vtbl_regexp;
4569         break;
4570     case PERL_MAGIC_hints:
4571         /* As this vtable is all NULL, we can reuse it.  */
4572     case PERL_MAGIC_sig:
4573         vtable = &PL_vtbl_sig;
4574         break;
4575     case PERL_MAGIC_sigelem:
4576         vtable = &PL_vtbl_sigelem;
4577         break;
4578     case PERL_MAGIC_taint:
4579         vtable = &PL_vtbl_taint;
4580         break;
4581     case PERL_MAGIC_uvar:
4582         vtable = &PL_vtbl_uvar;
4583         break;
4584     case PERL_MAGIC_vec:
4585         vtable = &PL_vtbl_vec;
4586         break;
4587     case PERL_MAGIC_arylen_p:
4588     case PERL_MAGIC_rhash:
4589     case PERL_MAGIC_symtab:
4590     case PERL_MAGIC_vstring:
4591         vtable = NULL;
4592         break;
4593     case PERL_MAGIC_utf8:
4594         vtable = &PL_vtbl_utf8;
4595         break;
4596     case PERL_MAGIC_substr:
4597         vtable = &PL_vtbl_substr;
4598         break;
4599     case PERL_MAGIC_defelem:
4600         vtable = &PL_vtbl_defelem;
4601         break;
4602     case PERL_MAGIC_arylen:
4603         vtable = &PL_vtbl_arylen;
4604         break;
4605     case PERL_MAGIC_pos:
4606         vtable = &PL_vtbl_pos;
4607         break;
4608     case PERL_MAGIC_backref:
4609         vtable = &PL_vtbl_backref;
4610         break;
4611     case PERL_MAGIC_hintselem:
4612         vtable = &PL_vtbl_hintselem;
4613         break;
4614     case PERL_MAGIC_ext:
4615         /* Reserved for use by extensions not perl internals.           */
4616         /* Useful for attaching extension internal data to perl vars.   */
4617         /* Note that multiple extensions may clash if magical scalars   */
4618         /* etc holding private data from one are passed to another.     */
4619         vtable = NULL;
4620         break;
4621     default:
4622         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4623     }
4624
4625     /* Rest of work is done else where */
4626     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4627
4628     switch (how) {
4629     case PERL_MAGIC_taint:
4630         mg->mg_len = 1;
4631         break;
4632     case PERL_MAGIC_ext:
4633     case PERL_MAGIC_dbfile:
4634         SvRMAGICAL_on(sv);
4635         break;
4636     }
4637 }
4638
4639 /*
4640 =for apidoc sv_unmagic
4641
4642 Removes all magic of type C<type> from an SV.
4643
4644 =cut
4645 */
4646
4647 int
4648 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4649 {
4650     MAGIC* mg;
4651     MAGIC** mgp;
4652     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4653         return 0;
4654     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
4655     for (mg = *mgp; mg; mg = *mgp) {
4656         if (mg->mg_type == type) {
4657             const MGVTBL* const vtbl = mg->mg_virtual;
4658             *mgp = mg->mg_moremagic;
4659             if (vtbl && vtbl->svt_free)
4660                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4661             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4662                 if (mg->mg_len > 0)
4663                     Safefree(mg->mg_ptr);
4664                 else if (mg->mg_len == HEf_SVKEY)
4665                     SvREFCNT_dec((SV*)mg->mg_ptr);
4666                 else if (mg->mg_type == PERL_MAGIC_utf8)
4667                     Safefree(mg->mg_ptr);
4668             }
4669             if (mg->mg_flags & MGf_REFCOUNTED)
4670                 SvREFCNT_dec(mg->mg_obj);
4671             Safefree(mg);
4672         }
4673         else
4674             mgp = &mg->mg_moremagic;
4675     }
4676     if (!SvMAGIC(sv)) {
4677         SvMAGICAL_off(sv);
4678         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4679         SvMAGIC_set(sv, NULL);
4680     }
4681
4682     return 0;
4683 }
4684
4685 /*
4686 =for apidoc sv_rvweaken
4687
4688 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4689 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4690 push a back-reference to this RV onto the array of backreferences
4691 associated with that magic. If the RV is magical, set magic will be
4692 called after the RV is cleared.
4693
4694 =cut
4695 */
4696
4697 SV *
4698 Perl_sv_rvweaken(pTHX_ SV *sv)
4699 {
4700     SV *tsv;
4701     if (!SvOK(sv))  /* let undefs pass */
4702         return sv;
4703     if (!SvROK(sv))
4704         Perl_croak(aTHX_ "Can't weaken a nonreference");
4705     else if (SvWEAKREF(sv)) {
4706         if (ckWARN(WARN_MISC))
4707             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4708         return sv;
4709     }
4710     tsv = SvRV(sv);
4711     Perl_sv_add_backref(aTHX_ tsv, sv);
4712     SvWEAKREF_on(sv);
4713     SvREFCNT_dec(tsv);
4714     return sv;
4715 }
4716
4717 /* Give tsv backref magic if it hasn't already got it, then push a
4718  * back-reference to sv onto the array associated with the backref magic.
4719  */
4720
4721 void
4722 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4723 {
4724     dVAR;
4725     AV *av;
4726
4727     if (SvTYPE(tsv) == SVt_PVHV) {
4728         AV **const avp = Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4729
4730         av = *avp;
4731         if (!av) {
4732             /* There is no AV in the offical place - try a fixup.  */
4733             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
4734
4735             if (mg) {
4736                 /* Aha. They've got it stowed in magic.  Bring it back.  */
4737                 av = (AV*)mg->mg_obj;
4738                 /* Stop mg_free decreasing the refernce count.  */
4739                 mg->mg_obj = NULL;
4740                 /* Stop mg_free even calling the destructor, given that
4741                    there's no AV to free up.  */
4742                 mg->mg_virtual = 0;
4743                 sv_unmagic(tsv, PERL_MAGIC_backref);
4744             } else {
4745                 av = newAV();
4746                 AvREAL_off(av);
4747                 SvREFCNT_inc_simple_void(av);
4748             }
4749             *avp = av;
4750         }
4751     } else {
4752         const MAGIC *const mg
4753             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4754         if (mg)
4755             av = (AV*)mg->mg_obj;
4756         else {
4757             av = newAV();
4758             AvREAL_off(av);
4759             sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4760             /* av now has a refcnt of 2, which avoids it getting freed
4761              * before us during global cleanup. The extra ref is removed
4762              * by magic_killbackrefs() when tsv is being freed */
4763         }
4764     }
4765     if (AvFILLp(av) >= AvMAX(av)) {
4766         av_extend(av, AvFILLp(av)+1);
4767     }
4768     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4769 }
4770
4771 /* delete a back-reference to ourselves from the backref magic associated
4772  * with the SV we point to.
4773  */
4774
4775 STATIC void
4776 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4777 {
4778     dVAR;
4779     AV *av = NULL;
4780     SV **svp;
4781     I32 i;
4782
4783     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
4784         av = *Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4785         /* We mustn't attempt to "fix up" the hash here by moving the
4786            backreference array back to the hv_aux structure, as that is stored
4787            in the main HvARRAY(), and hfreentries assumes that no-one
4788            reallocates HvARRAY() while it is running.  */
4789     }
4790     if (!av) {
4791         const MAGIC *const mg
4792             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4793         if (mg)
4794             av = (AV *)mg->mg_obj;
4795     }
4796     if (!av) {
4797         if (PL_in_clean_all)
4798             return;
4799         Perl_croak(aTHX_ "panic: del_backref");
4800     }
4801
4802     if (SvIS_FREED(av))
4803         return;
4804
4805     svp = AvARRAY(av);
4806     /* We shouldn't be in here more than once, but for paranoia reasons lets
4807        not assume this.  */
4808     for (i = AvFILLp(av); i >= 0; i--) {
4809         if (svp[i] == sv) {
4810             const SSize_t fill = AvFILLp(av);
4811             if (i != fill) {
4812                 /* We weren't the last entry.
4813                    An unordered list has this property that you can take the
4814                    last element off the end to fill the hole, and it's still
4815                    an unordered list :-)
4816                 */
4817                 svp[i] = svp[fill];
4818             }
4819             svp[fill] = NULL;
4820             AvFILLp(av) = fill - 1;
4821         }
4822     }
4823 }
4824
4825 int
4826 Perl_sv_kill_backrefs(pTHX_ SV *sv, AV *av)
4827 {
4828     SV **svp = AvARRAY(av);
4829
4830     PERL_UNUSED_ARG(sv);
4831
4832     /* Not sure why the av can get freed ahead of its sv, but somehow it does
4833        in ext/B/t/bytecode.t test 15 (involving print <DATA>)  */
4834     if (svp && !SvIS_FREED(av)) {
4835         SV *const *const last = svp + AvFILLp(av);
4836
4837         while (svp <= last) {
4838             if (*svp) {
4839                 SV *const referrer = *svp;
4840                 if (SvWEAKREF(referrer)) {
4841                     /* XXX Should we check that it hasn't changed? */
4842                     SvRV_set(referrer, 0);
4843                     SvOK_off(referrer);
4844                     SvWEAKREF_off(referrer);
4845                     SvSETMAGIC(referrer);
4846                 } else if (SvTYPE(referrer) == SVt_PVGV ||
4847                            SvTYPE(referrer) == SVt_PVLV) {
4848                     /* You lookin' at me?  */
4849                     assert(GvSTASH(referrer));
4850                     assert(GvSTASH(referrer) == (HV*)sv);
4851                     GvSTASH(referrer) = 0;
4852                 } else {
4853                     Perl_croak(aTHX_
4854                                "panic: magic_killbackrefs (flags=%"UVxf")",
4855                                (UV)SvFLAGS(referrer));
4856                 }
4857
4858                 *svp = NULL;
4859             }
4860             svp++;
4861         }
4862     }
4863     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
4864     return 0;
4865 }
4866
4867 /*
4868 =for apidoc sv_insert
4869
4870 Inserts a string at the specified offset/length within the SV. Similar to
4871 the Perl substr() function.
4872
4873 =cut
4874 */
4875
4876 void
4877 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4878 {
4879     dVAR;
4880     register char *big;
4881     register char *mid;
4882     register char *midend;
4883     register char *bigend;
4884     register I32 i;
4885     STRLEN curlen;
4886
4887
4888     if (!bigstr)
4889         Perl_croak(aTHX_ "Can't modify non-existent substring");
4890     SvPV_force(bigstr, curlen);
4891     (void)SvPOK_only_UTF8(bigstr);
4892     if (offset + len > curlen) {
4893         SvGROW(bigstr, offset+len+1);
4894         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4895         SvCUR_set(bigstr, offset+len);
4896     }
4897
4898     SvTAINT(bigstr);
4899     i = littlelen - len;
4900     if (i > 0) {                        /* string might grow */
4901         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4902         mid = big + offset + len;
4903         midend = bigend = big + SvCUR(bigstr);
4904         bigend += i;
4905         *bigend = '\0';
4906         while (midend > mid)            /* shove everything down */
4907             *--bigend = *--midend;
4908         Move(little,big+offset,littlelen,char);
4909         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4910         SvSETMAGIC(bigstr);
4911         return;
4912     }
4913     else if (i == 0) {
4914         Move(little,SvPVX(bigstr)+offset,len,char);
4915         SvSETMAGIC(bigstr);
4916         return;
4917     }
4918
4919     big = SvPVX(bigstr);
4920     mid = big + offset;
4921     midend = mid + len;
4922     bigend = big + SvCUR(bigstr);
4923
4924     if (midend > bigend)
4925         Perl_croak(aTHX_ "panic: sv_insert");
4926
4927     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4928         if (littlelen) {
4929             Move(little, mid, littlelen,char);
4930             mid += littlelen;
4931         }
4932         i = bigend - midend;
4933         if (i > 0) {
4934             Move(midend, mid, i,char);
4935             mid += i;
4936         }
4937         *mid = '\0';
4938         SvCUR_set(bigstr, mid - big);
4939     }
4940     else if ((i = mid - big)) { /* faster from front */
4941         midend -= littlelen;
4942         mid = midend;
4943         sv_chop(bigstr,midend-i);
4944         big += i;
4945         while (i--)
4946             *--midend = *--big;
4947         if (littlelen)
4948             Move(little, mid, littlelen,char);
4949     }
4950     else if (littlelen) {
4951         midend -= littlelen;
4952         sv_chop(bigstr,midend);
4953         Move(little,midend,littlelen,char);
4954     }
4955     else {
4956         sv_chop(bigstr,midend);
4957     }
4958     SvSETMAGIC(bigstr);
4959 }
4960
4961 /*
4962 =for apidoc sv_replace
4963
4964 Make the first argument a copy of the second, then delete the original.
4965 The target SV physically takes over ownership of the body of the source SV
4966 and inherits its flags; however, the target keeps any magic it owns,
4967 and any magic in the source is discarded.
4968 Note that this is a rather specialist SV copying operation; most of the
4969 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
4970
4971 =cut
4972 */
4973
4974 void
4975 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
4976 {
4977     dVAR;
4978     const U32 refcnt = SvREFCNT(sv);
4979     SV_CHECK_THINKFIRST_COW_DROP(sv);
4980     if (SvREFCNT(nsv) != 1) {
4981         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
4982                    UVuf " != 1)", (UV) SvREFCNT(nsv));
4983     }
4984     if (SvMAGICAL(sv)) {
4985         if (SvMAGICAL(nsv))
4986             mg_free(nsv);
4987         else
4988             sv_upgrade(nsv, SVt_PVMG);
4989         SvMAGIC_set(nsv, SvMAGIC(sv));
4990         SvFLAGS(nsv) |= SvMAGICAL(sv);
4991         SvMAGICAL_off(sv);
4992         SvMAGIC_set(sv, NULL);
4993     }
4994     SvREFCNT(sv) = 0;
4995     sv_clear(sv);
4996     assert(!SvREFCNT(sv));
4997 #ifdef DEBUG_LEAKING_SCALARS
4998     sv->sv_flags  = nsv->sv_flags;
4999     sv->sv_any    = nsv->sv_any;
5000     sv->sv_refcnt = nsv->sv_refcnt;
5001     sv->sv_u      = nsv->sv_u;
5002 #else
5003     StructCopy(nsv,sv,SV);
5004 #endif
5005     /* Currently could join these into one piece of pointer arithmetic, but
5006        it would be unclear.  */
5007     if(SvTYPE(sv) == SVt_IV)
5008         SvANY(sv)
5009             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5010     else if (SvTYPE(sv) == SVt_RV) {
5011         SvANY(sv) = &sv->sv_u.svu_rv;
5012     }
5013         
5014
5015 #ifdef PERL_OLD_COPY_ON_WRITE
5016     if (SvIsCOW_normal(nsv)) {
5017         /* We need to follow the pointers around the loop to make the
5018            previous SV point to sv, rather than nsv.  */
5019         SV *next;
5020         SV *current = nsv;
5021         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5022             assert(next);
5023             current = next;
5024             assert(SvPVX_const(current) == SvPVX_const(nsv));
5025         }
5026         /* Make the SV before us point to the SV after us.  */
5027         if (DEBUG_C_TEST) {
5028             PerlIO_printf(Perl_debug_log, "previous is\n");
5029             sv_dump(current);
5030             PerlIO_printf(Perl_debug_log,
5031                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5032                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5033         }
5034         SV_COW_NEXT_SV_SET(current, sv);
5035     }
5036 #endif
5037     SvREFCNT(sv) = refcnt;
5038     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5039     SvREFCNT(nsv) = 0;
5040     del_SV(nsv);
5041 }
5042
5043 /*
5044 =for apidoc sv_clear
5045
5046 Clear an SV: call any destructors, free up any memory used by the body,
5047 and free the body itself. The SV's head is I<not> freed, although
5048 its type is set to all 1's so that it won't inadvertently be assumed
5049 to be live during global destruction etc.
5050 This function should only be called when REFCNT is zero. Most of the time
5051 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5052 instead.
5053
5054 =cut
5055 */
5056
5057 void
5058 Perl_sv_clear(pTHX_ register SV *sv)
5059 {
5060     dVAR;
5061     const U32 type = SvTYPE(sv);
5062     const struct body_details *const sv_type_details
5063         = bodies_by_type + type;
5064     HV *stash;
5065
5066     assert(sv);
5067     assert(SvREFCNT(sv) == 0);
5068
5069     if (type <= SVt_IV) {
5070         /* See the comment in sv.h about the collusion between this early
5071            return and the overloading of the NULL and IV slots in the size
5072            table.  */
5073         return;
5074     }
5075
5076     if (SvOBJECT(sv)) {
5077         if (PL_defstash) {              /* Still have a symbol table? */
5078             dSP;
5079             HV* stash;
5080             do {        
5081                 CV* destructor;
5082                 stash = SvSTASH(sv);
5083                 destructor = StashHANDLER(stash,DESTROY);
5084                 if (destructor) {
5085                     SV* const tmpref = newRV(sv);
5086                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5087                     ENTER;
5088                     PUSHSTACKi(PERLSI_DESTROY);
5089                     EXTEND(SP, 2);
5090                     PUSHMARK(SP);
5091                     PUSHs(tmpref);
5092                     PUTBACK;
5093                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5094                 
5095                 
5096                     POPSTACK;
5097                     SPAGAIN;
5098                     LEAVE;
5099                     if(SvREFCNT(tmpref) < 2) {
5100                         /* tmpref is not kept alive! */
5101                         SvREFCNT(sv)--;
5102                         SvRV_set(tmpref, NULL);
5103                         SvROK_off(tmpref);
5104                     }
5105                     SvREFCNT_dec(tmpref);
5106                 }
5107             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5108
5109
5110             if (SvREFCNT(sv)) {
5111                 if (PL_in_clean_objs)
5112                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5113                           HvNAME_get(stash));
5114                 /* DESTROY gave object new lease on life */
5115                 return;
5116             }
5117         }
5118
5119         if (SvOBJECT(sv)) {
5120             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5121             SvOBJECT_off(sv);   /* Curse the object. */
5122             if (type != SVt_PVIO)
5123                 --PL_sv_objcount;       /* XXX Might want something more general */
5124         }
5125     }
5126     if (type >= SVt_PVMG) {
5127         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5128             SvREFCNT_dec(SvOURSTASH(sv));
5129         } else if (SvMAGIC(sv))
5130             mg_free(sv);
5131         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5132             SvREFCNT_dec(SvSTASH(sv));
5133     }
5134     switch (type) {
5135         /* case SVt_BIND: */
5136     case SVt_PVIO:
5137         if (IoIFP(sv) &&
5138             IoIFP(sv) != PerlIO_stdin() &&
5139             IoIFP(sv) != PerlIO_stdout() &&
5140             IoIFP(sv) != PerlIO_stderr())
5141         {
5142             io_close((IO*)sv, FALSE);
5143         }
5144         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5145             PerlDir_close(IoDIRP(sv));
5146         IoDIRP(sv) = (DIR*)NULL;
5147         Safefree(IoTOP_NAME(sv));
5148         Safefree(IoFMT_NAME(sv));
5149         Safefree(IoBOTTOM_NAME(sv));
5150         goto freescalar;
5151     case SVt_PVCV:
5152     case SVt_PVFM:
5153         cv_undef((CV*)sv);
5154         goto freescalar;
5155     case SVt_PVHV:
5156         Perl_hv_kill_backrefs(aTHX_ (HV*)sv);
5157         hv_undef((HV*)sv);
5158         break;
5159     case SVt_PVAV:
5160         if (PL_comppad == (AV*)sv) {
5161             PL_comppad = NULL;
5162             PL_curpad = NULL;
5163         }
5164         av_undef((AV*)sv);
5165         break;
5166     case SVt_PVLV:
5167         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5168             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5169             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5170             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5171         }
5172         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5173             SvREFCNT_dec(LvTARG(sv));
5174     case SVt_PVGV:
5175         if (isGV_with_GP(sv)) {
5176             if(GvCVu((GV*)sv) && (stash = GvSTASH((GV*)sv)) && HvNAME_get(stash))
5177                 mro_method_changed_in(stash);
5178             gp_free((GV*)sv);
5179             if (GvNAME_HEK(sv))
5180                 unshare_hek(GvNAME_HEK(sv));
5181             /* If we're in a stash, we don't own a reference to it. However it does
5182                have a back reference to us, which needs to be cleared.  */
5183             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5184                     sv_del_backref((SV*)stash, sv);
5185         }
5186         /* FIXME. There are probably more unreferenced pointers to SVs in the
5187            interpreter struct that we should check and tidy in a similar
5188            fashion to this:  */
5189         if ((GV*)sv == PL_last_in_gv)
5190             PL_last_in_gv = NULL;
5191     case SVt_PVMG:
5192     case SVt_PVNV:
5193     case SVt_PVIV:
5194       freescalar:
5195         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5196         if (SvOOK(sv)) {
5197             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
5198             /* Don't even bother with turning off the OOK flag.  */
5199         }
5200     case SVt_PV:
5201     case SVt_RV:
5202         if (SvROK(sv)) {
5203             SV * const target = SvRV(sv);
5204             if (SvWEAKREF(sv))
5205                 sv_del_backref(target, sv);
5206             else
5207                 SvREFCNT_dec(target);
5208         }
5209 #ifdef PERL_OLD_COPY_ON_WRITE
5210         else if (SvPVX_const(sv)) {
5211             if (SvIsCOW(sv)) {
5212                 /* I believe I need to grab the global SV mutex here and
5213                    then recheck the COW status.  */
5214                 if (DEBUG_C_TEST) {
5215                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5216                     sv_dump(sv);
5217                 }
5218                 if (SvLEN(sv)) {
5219                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5220                 } else {
5221                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5222                 }
5223
5224                 /* And drop it here.  */
5225                 SvFAKE_off(sv);
5226             } else if (SvLEN(sv)) {
5227                 Safefree(SvPVX_const(sv));
5228             }
5229         }
5230 #else
5231         else if (SvPVX_const(sv) && SvLEN(sv))
5232             Safefree(SvPVX_mutable(sv));
5233         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5234             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5235             SvFAKE_off(sv);
5236         }
5237 #endif
5238         break;
5239     case SVt_NV:
5240         break;
5241     }
5242
5243     SvFLAGS(sv) &= SVf_BREAK;
5244     SvFLAGS(sv) |= SVTYPEMASK;
5245
5246     if (sv_type_details->arena) {
5247         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5248                  &PL_body_roots[type]);
5249     }
5250     else if (sv_type_details->body_size) {
5251         my_safefree(SvANY(sv));
5252     }
5253 }
5254
5255 /*
5256 =for apidoc sv_newref
5257
5258 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5259 instead.
5260
5261 =cut
5262 */
5263
5264 SV *
5265 Perl_sv_newref(pTHX_ SV *sv)
5266 {
5267     PERL_UNUSED_CONTEXT;
5268     if (sv)
5269         (SvREFCNT(sv))++;
5270     return sv;
5271 }
5272
5273 /*
5274 =for apidoc sv_free
5275
5276 Decrement an SV's reference count, and if it drops to zero, call
5277 C<sv_clear> to invoke destructors and free up any memory used by
5278 the body; finally, deallocate the SV's head itself.
5279 Normally called via a wrapper macro C<SvREFCNT_dec>.
5280
5281 =cut
5282 */
5283
5284 void
5285 Perl_sv_free(pTHX_ SV *sv)
5286 {
5287     dVAR;
5288     if (!sv)
5289         return;
5290     if (SvREFCNT(sv) == 0) {
5291         if (SvFLAGS(sv) & SVf_BREAK)
5292             /* this SV's refcnt has been artificially decremented to
5293              * trigger cleanup */
5294             return;
5295         if (PL_in_clean_all) /* All is fair */
5296             return;
5297         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5298             /* make sure SvREFCNT(sv)==0 happens very seldom */
5299             SvREFCNT(sv) = (~(U32)0)/2;
5300             return;
5301         }
5302         if (ckWARN_d(WARN_INTERNAL)) {
5303             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5304                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5305                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5306 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5307             Perl_dump_sv_child(aTHX_ sv);
5308 #else
5309   #ifdef DEBUG_LEAKING_SCALARS
5310         sv_dump(sv);
5311   #endif
5312 #endif
5313         }
5314         return;
5315     }
5316     if (--(SvREFCNT(sv)) > 0)
5317         return;
5318     Perl_sv_free2(aTHX_ sv);
5319 }
5320
5321 void
5322 Perl_sv_free2(pTHX_ SV *sv)
5323 {
5324     dVAR;
5325 #ifdef DEBUGGING
5326     if (SvTEMP(sv)) {
5327         if (ckWARN_d(WARN_DEBUGGING))
5328             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5329                         "Attempt to free temp prematurely: SV 0x%"UVxf
5330                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5331         return;
5332     }
5333 #endif
5334     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5335         /* make sure SvREFCNT(sv)==0 happens very seldom */
5336         SvREFCNT(sv) = (~(U32)0)/2;
5337         return;
5338     }
5339     sv_clear(sv);
5340     if (! SvREFCNT(sv))
5341         del_SV(sv);
5342 }
5343
5344 /*
5345 =for apidoc sv_len
5346
5347 Returns the length of the string in the SV. Handles magic and type
5348 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5349
5350 =cut
5351 */
5352
5353 STRLEN
5354 Perl_sv_len(pTHX_ register SV *sv)
5355 {
5356     STRLEN len;
5357
5358     if (!sv)
5359         return 0;
5360
5361     if (SvGMAGICAL(sv))
5362         len = mg_length(sv);
5363     else
5364         (void)SvPV_const(sv, len);
5365     return len;
5366 }
5367
5368 /*
5369 =for apidoc sv_len_utf8
5370
5371 Returns the number of characters in the string in an SV, counting wide
5372 UTF-8 bytes as a single character. Handles magic and type coercion.
5373
5374 =cut
5375 */
5376
5377 /*
5378  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5379  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5380  * (Note that the mg_len is not the length of the mg_ptr field.
5381  * This allows the cache to store the character length of the string without
5382  * needing to malloc() extra storage to attach to the mg_ptr.)
5383  *
5384  */
5385
5386 STRLEN
5387 Perl_sv_len_utf8(pTHX_ register SV *sv)
5388 {
5389     if (!sv)
5390         return 0;
5391
5392     if (SvGMAGICAL(sv))
5393         return mg_length(sv);
5394     else
5395     {
5396         STRLEN len;
5397         const U8 *s = (U8*)SvPV_const(sv, len);
5398
5399         if (PL_utf8cache) {
5400             STRLEN ulen;
5401             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : 0;
5402
5403             if (mg && mg->mg_len != -1) {
5404                 ulen = mg->mg_len;
5405                 if (PL_utf8cache < 0) {
5406                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
5407                     if (real != ulen) {
5408                         /* Need to turn the assertions off otherwise we may
5409                            recurse infinitely while printing error messages.
5410                         */
5411                         SAVEI8(PL_utf8cache);
5412                         PL_utf8cache = 0;
5413                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
5414                                    " real %"UVuf" for %"SVf,
5415                                    (UV) ulen, (UV) real, SVfARG(sv));
5416                     }
5417                 }
5418             }
5419             else {
5420                 ulen = Perl_utf8_length(aTHX_ s, s + len);
5421                 if (!SvREADONLY(sv)) {
5422                     if (!mg) {
5423                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
5424                                          &PL_vtbl_utf8, 0, 0);
5425                     }
5426                     assert(mg);
5427                     mg->mg_len = ulen;
5428                 }
5429             }
5430             return ulen;
5431         }
5432         return Perl_utf8_length(aTHX_ s, s + len);
5433     }
5434 }
5435
5436 /* Walk forwards to find the byte corresponding to the passed in UTF-8
5437    offset.  */
5438 static STRLEN
5439 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
5440                       STRLEN uoffset)
5441 {
5442     const U8 *s = start;
5443
5444     while (s < send && uoffset--)
5445         s += UTF8SKIP(s);
5446     if (s > send) {
5447         /* This is the existing behaviour. Possibly it should be a croak, as
5448            it's actually a bounds error  */
5449         s = send;
5450     }
5451     return s - start;
5452 }
5453
5454 /* Given the length of the string in both bytes and UTF-8 characters, decide
5455    whether to walk forwards or backwards to find the byte corresponding to
5456    the passed in UTF-8 offset.  */
5457 static STRLEN
5458 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
5459                       STRLEN uoffset, STRLEN uend)
5460 {
5461     STRLEN backw = uend - uoffset;
5462     if (uoffset < 2 * backw) {
5463         /* The assumption is that going forwards is twice the speed of going
5464            forward (that's where the 2 * backw comes from).
5465            (The real figure of course depends on the UTF-8 data.)  */
5466         return sv_pos_u2b_forwards(start, send, uoffset);
5467     }
5468
5469     while (backw--) {
5470         send--;
5471         while (UTF8_IS_CONTINUATION(*send))
5472             send--;
5473     }
5474     return send - start;
5475 }
5476
5477 /* For the string representation of the given scalar, find the byte
5478    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
5479    give another position in the string, *before* the sought offset, which
5480    (which is always true, as 0, 0 is a valid pair of positions), which should
5481    help reduce the amount of linear searching.
5482    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
5483    will be used to reduce the amount of linear searching. The cache will be
5484    created if necessary, and the found value offered to it for update.  */
5485 static STRLEN
5486 S_sv_pos_u2b_cached(pTHX_ SV *sv, MAGIC **mgp, const U8 *const start,
5487                     const U8 *const send, STRLEN uoffset,
5488                     STRLEN uoffset0, STRLEN boffset0) {
5489     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
5490     bool found = FALSE;
5491
5492     assert (uoffset >= uoffset0);
5493
5494     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5495         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
5496         if ((*mgp)->mg_ptr) {
5497             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
5498             if (cache[0] == uoffset) {
5499                 /* An exact match. */
5500                 return cache[1];
5501             }
5502             if (cache[2] == uoffset) {
5503                 /* An exact match. */
5504                 return cache[3];
5505             }
5506
5507             if (cache[0] < uoffset) {
5508                 /* The cache already knows part of the way.   */
5509                 if (cache[0] > uoffset0) {
5510                     /* The cache knows more than the passed in pair  */
5511                     uoffset0 = cache[0];
5512                     boffset0 = cache[1];
5513                 }
5514                 if ((*mgp)->mg_len != -1) {
5515                     /* And we know the end too.  */
5516                     boffset = boffset0
5517                         + sv_pos_u2b_midway(start + boffset0, send,
5518                                               uoffset - uoffset0,
5519                                               (*mgp)->mg_len - uoffset0);
5520                 } else {
5521                     boffset = boffset0
5522                         + sv_pos_u2b_forwards(start + boffset0,
5523                                                 send, uoffset - uoffset0);
5524                 }
5525             }
5526             else if (cache[2] < uoffset) {
5527                 /* We're between the two cache entries.  */
5528                 if (cache[2] > uoffset0) {
5529                     /* and the cache knows more than the passed in pair  */
5530                     uoffset0 = cache[2];
5531                     boffset0 = cache[3];
5532                 }
5533
5534                 boffset = boffset0
5535                     + sv_pos_u2b_midway(start + boffset0,
5536                                           start + cache[1],
5537                                           uoffset - uoffset0,
5538                                           cache[0] - uoffset0);
5539             } else {
5540                 boffset = boffset0
5541                     + sv_pos_u2b_midway(start + boffset0,
5542                                           start + cache[3],
5543                                           uoffset - uoffset0,
5544                                           cache[2] - uoffset0);
5545             }
5546             found = TRUE;
5547         }
5548         else if ((*mgp)->mg_len != -1) {
5549             /* If we can take advantage of a passed in offset, do so.  */
5550             /* In fact, offset0 is either 0, or less than offset, so don't
5551                need to worry about the other possibility.  */
5552             boffset = boffset0
5553                 + sv_pos_u2b_midway(start + boffset0, send,
5554                                       uoffset - uoffset0,
5555                                       (*mgp)->mg_len - uoffset0);
5556             found = TRUE;
5557         }
5558     }
5559
5560     if (!found || PL_utf8cache < 0) {
5561         const STRLEN real_boffset
5562             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
5563                                                send, uoffset - uoffset0);
5564
5565         if (found && PL_utf8cache < 0) {
5566             if (real_boffset != boffset) {
5567                 /* Need to turn the assertions off otherwise we may recurse
5568                    infinitely while printing error messages.  */
5569                 SAVEI8(PL_utf8cache);
5570                 PL_utf8cache = 0;
5571                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
5572                            " real %"UVuf" for %"SVf,
5573                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
5574             }
5575         }
5576         boffset = real_boffset;
5577     }
5578
5579     S_utf8_mg_pos_cache_update(aTHX_ sv, mgp, boffset, uoffset, send - start);
5580     return boffset;
5581 }
5582
5583
5584 /*
5585 =for apidoc sv_pos_u2b
5586
5587 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5588 the start of the string, to a count of the equivalent number of bytes; if
5589 lenp is non-zero, it does the same to lenp, but this time starting from
5590 the offset, rather than from the start of the string. Handles magic and
5591 type coercion.
5592
5593 =cut
5594 */
5595
5596 /*
5597  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5598  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5599  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
5600  *
5601  */
5602
5603 void
5604 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5605 {
5606     const U8 *start;
5607     STRLEN len;
5608
5609     if (!sv)
5610         return;
5611
5612     start = (U8*)SvPV_const(sv, len);
5613     if (len) {
5614         STRLEN uoffset = (STRLEN) *offsetp;
5615         const U8 * const send = start + len;
5616         MAGIC *mg = NULL;
5617         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
5618                                              uoffset, 0, 0);
5619
5620         *offsetp = (I32) boffset;
5621
5622         if (lenp) {
5623             /* Convert the relative offset to absolute.  */
5624             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
5625             const STRLEN boffset2
5626                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
5627                                       uoffset, boffset) - boffset;
5628
5629             *lenp = boffset2;
5630         }
5631     }
5632     else {
5633          *offsetp = 0;
5634          if (lenp)
5635               *lenp = 0;
5636     }
5637
5638     return;
5639 }
5640
5641 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
5642    byte length pairing. The (byte) length of the total SV is passed in too,
5643    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
5644    may not have updated SvCUR, so we can't rely on reading it directly.
5645
5646    The proffered utf8/byte length pairing isn't used if the cache already has
5647    two pairs, and swapping either for the proffered pair would increase the
5648    RMS of the intervals between known byte offsets.
5649
5650    The cache itself consists of 4 STRLEN values
5651    0: larger UTF-8 offset
5652    1: corresponding byte offset
5653    2: smaller UTF-8 offset
5654    3: corresponding byte offset
5655
5656    Unused cache pairs have the value 0, 0.
5657    Keeping the cache "backwards" means that the invariant of
5658    cache[0] >= cache[2] is maintained even with empty slots, which means that
5659    the code that uses it doesn't need to worry if only 1 entry has actually
5660    been set to non-zero.  It also makes the "position beyond the end of the
5661    cache" logic much simpler, as the first slot is always the one to start
5662    from.   
5663 */
5664 static void
5665 S_utf8_mg_pos_cache_update(pTHX_ SV *sv, MAGIC **mgp, STRLEN byte, STRLEN utf8,
5666                            STRLEN blen)
5667 {
5668     STRLEN *cache;
5669     if (SvREADONLY(sv))
5670         return;
5671
5672     if (!*mgp) {
5673         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
5674                            0);
5675         (*mgp)->mg_len = -1;
5676     }
5677     assert(*mgp);
5678
5679     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
5680         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5681         (*mgp)->mg_ptr = (char *) cache;
5682     }
5683     assert(cache);
5684
5685     if (PL_utf8cache < 0) {
5686         const U8 *start = (const U8 *) SvPVX_const(sv);
5687         const STRLEN realutf8 = utf8_length(start, start + byte);
5688
5689         if (realutf8 != utf8) {
5690             /* Need to turn the assertions off otherwise we may recurse
5691                infinitely while printing error messages.  */
5692             SAVEI8(PL_utf8cache);
5693             PL_utf8cache = 0;
5694             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
5695                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
5696         }
5697     }
5698
5699     /* Cache is held with the later position first, to simplify the code
5700        that deals with unbounded ends.  */
5701        
5702     ASSERT_UTF8_CACHE(cache);
5703     if (cache[1] == 0) {
5704         /* Cache is totally empty  */
5705         cache[0] = utf8;
5706         cache[1] = byte;
5707     } else if (cache[3] == 0) {
5708         if (byte > cache[1]) {
5709             /* New one is larger, so goes first.  */
5710             cache[2] = cache[0];
5711             cache[3] = cache[1];
5712             cache[0] = utf8;
5713             cache[1] = byte;
5714         } else {
5715             cache[2] = utf8;
5716             cache[3] = byte;
5717         }
5718     } else {
5719 #define THREEWAY_SQUARE(a,b,c,d) \
5720             ((float)((d) - (c))) * ((float)((d) - (c))) \
5721             + ((float)((c) - (b))) * ((float)((c) - (b))) \
5722                + ((float)((b) - (a))) * ((float)((b) - (a)))
5723
5724         /* Cache has 2 slots in use, and we know three potential pairs.
5725            Keep the two that give the lowest RMS distance. Do the
5726            calcualation in bytes simply because we always know the byte
5727            length.  squareroot has the same ordering as the positive value,
5728            so don't bother with the actual square root.  */
5729         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
5730         if (byte > cache[1]) {
5731             /* New position is after the existing pair of pairs.  */
5732             const float keep_earlier
5733                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5734             const float keep_later
5735                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
5736
5737             if (keep_later < keep_earlier) {
5738                 if (keep_later < existing) {
5739                     cache[2] = cache[0];
5740                     cache[3] = cache[1];
5741                     cache[0] = utf8;
5742                     cache[1] = byte;
5743                 }
5744             }
5745             else {
5746                 if (keep_earlier < existing) {
5747                     cache[0] = utf8;
5748                     cache[1] = byte;
5749                 }
5750             }
5751         }
5752         else if (byte > cache[3]) {
5753             /* New position is between the existing pair of pairs.  */
5754             const float keep_earlier
5755                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5756             const float keep_later
5757                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5758
5759             if (keep_later < keep_earlier) {
5760                 if (keep_later < existing) {
5761                     cache[2] = utf8;
5762                     cache[3] = byte;
5763                 }
5764             }
5765             else {
5766                 if (keep_earlier < existing) {
5767                     cache[0] = utf8;
5768                     cache[1] = byte;
5769                 }
5770             }
5771         }
5772         else {
5773             /* New position is before the existing pair of pairs.  */
5774             const float keep_earlier
5775                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
5776             const float keep_later
5777                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5778
5779             if (keep_later < keep_earlier) {
5780                 if (keep_later < existing) {
5781                     cache[2] = utf8;
5782                     cache[3] = byte;
5783                 }
5784             }
5785             else {
5786                 if (keep_earlier < existing) {
5787                     cache[0] = cache[2];
5788                     cache[1] = cache[3];
5789                     cache[2] = utf8;
5790                     cache[3] = byte;
5791                 }
5792             }
5793         }
5794     }
5795     ASSERT_UTF8_CACHE(cache);
5796 }
5797
5798 /* We already know all of the way, now we may be able to walk back.  The same
5799    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
5800    backward is half the speed of walking forward. */
5801 static STRLEN
5802 S_sv_pos_b2u_midway(pTHX_ const U8 *s, const U8 *const target, const U8 *end,
5803                     STRLEN endu)
5804 {
5805     const STRLEN forw = target - s;
5806     STRLEN backw = end - target;
5807
5808     if (forw < 2 * backw) {
5809         return utf8_length(s, target);
5810     }
5811
5812     while (end > target) {
5813         end--;
5814         while (UTF8_IS_CONTINUATION(*end)) {
5815             end--;
5816         }
5817         endu--;
5818     }
5819     return endu;
5820 }
5821
5822 /*
5823 =for apidoc sv_pos_b2u
5824
5825 Converts the value pointed to by offsetp from a count of bytes from the
5826 start of the string, to a count of the equivalent number of UTF-8 chars.
5827 Handles magic and type coercion.
5828
5829 =cut
5830 */
5831
5832 /*
5833  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5834  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5835  * byte offsets.
5836  *
5837  */
5838 void
5839 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5840 {
5841     const U8* s;
5842     const STRLEN byte = *offsetp;
5843     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
5844     STRLEN blen;
5845     MAGIC* mg = NULL;
5846     const U8* send;
5847     bool found = FALSE;
5848
5849     if (!sv)
5850         return;
5851
5852     s = (const U8*)SvPV_const(sv, blen);
5853
5854     if (blen < byte)
5855         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5856
5857     send = s + byte;
5858
5859     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5860         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
5861         if (mg->mg_ptr) {
5862             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
5863             if (cache[1] == byte) {
5864                 /* An exact match. */
5865                 *offsetp = cache[0];
5866                 return;
5867             }
5868             if (cache[3] == byte) {
5869                 /* An exact match. */
5870                 *offsetp = cache[2];
5871                 return;
5872             }
5873
5874             if (cache[1] < byte) {
5875                 /* We already know part of the way. */
5876                 if (mg->mg_len != -1) {
5877                     /* Actually, we know the end too.  */
5878                     len = cache[0]
5879                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
5880                                               s + blen, mg->mg_len - cache[0]);
5881                 } else {
5882                     len = cache[0] + utf8_length(s + cache[1], send);
5883                 }
5884             }
5885             else if (cache[3] < byte) {
5886                 /* We're between the two cached pairs, so we do the calculation
5887                    offset by the byte/utf-8 positions for the earlier pair,
5888                    then add the utf-8 characters from the string start to
5889                    there.  */
5890                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
5891                                           s + cache[1], cache[0] - cache[2])
5892                     + cache[2];
5893
5894             }
5895             else { /* cache[3] > byte */
5896                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
5897                                           cache[2]);
5898
5899             }
5900             ASSERT_UTF8_CACHE(cache);
5901             found = TRUE;
5902         } else if (mg->mg_len != -1) {
5903             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
5904             found = TRUE;
5905         }
5906     }
5907     if (!found || PL_utf8cache < 0) {
5908         const STRLEN real_len = utf8_length(s, send);
5909
5910         if (found && PL_utf8cache < 0) {
5911             if (len != real_len) {
5912                 /* Need to turn the assertions off otherwise we may recurse
5913                    infinitely while printing error messages.  */
5914                 SAVEI8(PL_utf8cache);
5915                 PL_utf8cache = 0;
5916                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
5917                            " real %"UVuf" for %"SVf,
5918                            (UV) len, (UV) real_len, SVfARG(sv));
5919             }
5920         }
5921         len = real_len;
5922     }
5923     *offsetp = len;
5924
5925     S_utf8_mg_pos_cache_update(aTHX_ sv, &mg, byte, len, blen);
5926 }
5927
5928 /*
5929 =for apidoc sv_eq
5930
5931 Returns a boolean indicating whether the strings in the two SVs are
5932 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5933 coerce its args to strings if necessary.
5934
5935 =cut
5936 */
5937
5938 I32
5939 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
5940 {
5941     dVAR;
5942     const char *pv1;
5943     STRLEN cur1;
5944     const char *pv2;
5945     STRLEN cur2;
5946     I32  eq     = 0;
5947     char *tpv   = NULL;
5948     SV* svrecode = NULL;
5949
5950     if (!sv1) {
5951         pv1 = "";
5952         cur1 = 0;
5953     }
5954     else {
5955         /* if pv1 and pv2 are the same, second SvPV_const call may
5956          * invalidate pv1, so we may need to make a copy */
5957         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
5958             pv1 = SvPV_const(sv1, cur1);
5959             sv1 = sv_2mortal(newSVpvn(pv1, cur1));
5960             if (SvUTF8(sv2)) SvUTF8_on(sv1);
5961         }
5962         pv1 = SvPV_const(sv1, cur1);
5963     }
5964
5965     if (!sv2){
5966         pv2 = "";
5967         cur2 = 0;
5968     }
5969     else
5970         pv2 = SvPV_const(sv2, cur2);
5971
5972     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5973         /* Differing utf8ness.
5974          * Do not UTF8size the comparands as a side-effect. */
5975          if (PL_encoding) {
5976               if (SvUTF8(sv1)) {
5977                    svrecode = newSVpvn(pv2, cur2);
5978                    sv_recode_to_utf8(svrecode, PL_encoding);
5979                    pv2 = SvPV_const(svrecode, cur2);
5980               }
5981               else {
5982                    svrecode = newSVpvn(pv1, cur1);
5983                    sv_recode_to_utf8(svrecode, PL_encoding);
5984                    pv1 = SvPV_const(svrecode, cur1);
5985               }
5986               /* Now both are in UTF-8. */
5987               if (cur1 != cur2) {
5988                    SvREFCNT_dec(svrecode);
5989                    return FALSE;
5990               }
5991          }
5992          else {
5993               bool is_utf8 = TRUE;
5994
5995               if (SvUTF8(sv1)) {
5996                    /* sv1 is the UTF-8 one,
5997                     * if is equal it must be downgrade-able */
5998                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
5999                                                      &cur1, &is_utf8);
6000                    if (pv != pv1)
6001                         pv1 = tpv = pv;
6002               }
6003               else {
6004                    /* sv2 is the UTF-8 one,
6005                     * if is equal it must be downgrade-able */
6006                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6007                                                       &cur2, &is_utf8);
6008                    if (pv != pv2)
6009                         pv2 = tpv = pv;
6010               }
6011               if (is_utf8) {
6012                    /* Downgrade not possible - cannot be eq */
6013                    assert (tpv == 0);
6014                    return FALSE;
6015               }
6016          }
6017     }
6018
6019     if (cur1 == cur2)
6020         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6021         
6022     SvREFCNT_dec(svrecode);
6023     if (tpv)
6024         Safefree(tpv);
6025
6026     return eq;
6027 }
6028
6029 /*
6030 =for apidoc sv_cmp
6031
6032 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6033 string in C<sv1> is less than, equal to, or greater than the string in
6034 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6035 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6036
6037 =cut
6038 */
6039
6040 I32
6041 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
6042 {
6043     dVAR;
6044     STRLEN cur1, cur2;
6045     const char *pv1, *pv2;
6046     char *tpv = NULL;
6047     I32  cmp;
6048     SV *svrecode = NULL;
6049
6050     if (!sv1) {
6051         pv1 = "";
6052         cur1 = 0;
6053     }
6054     else
6055         pv1 = SvPV_const(sv1, cur1);
6056
6057     if (!sv2) {
6058         pv2 = "";
6059         cur2 = 0;
6060     }
6061     else
6062         pv2 = SvPV_const(sv2, cur2);
6063
6064     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6065         /* Differing utf8ness.
6066          * Do not UTF8size the comparands as a side-effect. */
6067         if (SvUTF8(sv1)) {
6068             if (PL_encoding) {
6069                  svrecode = newSVpvn(pv2, cur2);
6070                  sv_recode_to_utf8(svrecode, PL_encoding);
6071                  pv2 = SvPV_const(svrecode, cur2);
6072             }
6073             else {
6074                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6075             }
6076         }
6077         else {
6078             if (PL_encoding) {
6079                  svrecode = newSVpvn(pv1, cur1);
6080                  sv_recode_to_utf8(svrecode, PL_encoding);
6081                  pv1 = SvPV_const(svrecode, cur1);
6082             }
6083             else {
6084                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6085             }
6086         }
6087     }
6088
6089     if (!cur1) {
6090         cmp = cur2 ? -1 : 0;
6091     } else if (!cur2) {
6092         cmp = 1;
6093     } else {
6094         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6095
6096         if (retval) {
6097             cmp = retval < 0 ? -1 : 1;
6098         } else if (cur1 == cur2) {
6099             cmp = 0;
6100         } else {
6101             cmp = cur1 < cur2 ? -1 : 1;
6102         }
6103     }
6104
6105     SvREFCNT_dec(svrecode);
6106     if (tpv)
6107         Safefree(tpv);
6108
6109     return cmp;
6110 }
6111
6112 /*
6113 =for apidoc sv_cmp_locale
6114
6115 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6116 'use bytes' aware, handles get magic, and will coerce its args to strings
6117 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
6118
6119 =cut
6120 */
6121
6122 I32
6123 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
6124 {
6125     dVAR;
6126 #ifdef USE_LOCALE_COLLATE
6127
6128     char *pv1, *pv2;
6129     STRLEN len1, len2;
6130     I32 retval;
6131
6132     if (PL_collation_standard)
6133         goto raw_compare;
6134
6135     len1 = 0;
6136     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6137     len2 = 0;
6138     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6139
6140     if (!pv1 || !len1) {
6141         if (pv2 && len2)
6142             return -1;
6143         else
6144             goto raw_compare;
6145     }
6146     else {
6147         if (!pv2 || !len2)
6148             return 1;
6149     }
6150
6151     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6152
6153     if (retval)
6154         return retval < 0 ? -1 : 1;
6155
6156     /*
6157      * When the result of collation is equality, that doesn't mean
6158      * that there are no differences -- some locales exclude some
6159      * characters from consideration.  So to avoid false equalities,
6160      * we use the raw string as a tiebreaker.
6161      */
6162
6163   raw_compare:
6164     /*FALLTHROUGH*/
6165
6166 #endif /* USE_LOCALE_COLLATE */
6167
6168     return sv_cmp(sv1, sv2);
6169 }
6170
6171
6172 #ifdef USE_LOCALE_COLLATE
6173
6174 /*
6175 =for apidoc sv_collxfrm
6176
6177 Add Collate Transform magic to an SV if it doesn't already have it.
6178
6179 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6180 scalar data of the variable, but transformed to such a format that a normal
6181 memory comparison can be used to compare the data according to the locale
6182 settings.
6183
6184 =cut
6185 */
6186
6187 char *
6188 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
6189 {
6190     dVAR;
6191     MAGIC *mg;
6192
6193     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6194     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6195         const char *s;
6196         char *xf;
6197         STRLEN len, xlen;
6198
6199         if (mg)
6200             Safefree(mg->mg_ptr);
6201         s = SvPV_const(sv, len);
6202         if ((xf = mem_collxfrm(s, len, &xlen))) {
6203             if (SvREADONLY(sv)) {
6204                 SAVEFREEPV(xf);
6205                 *nxp = xlen;
6206                 return xf + sizeof(PL_collation_ix);
6207             }
6208             if (! mg) {
6209 #ifdef PERL_OLD_COPY_ON_WRITE
6210                 if (SvIsCOW(sv))
6211                     sv_force_normal_flags(sv, 0);
6212 #endif
6213                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6214                                  0, 0);
6215                 assert(mg);
6216             }
6217             mg->mg_ptr = xf;
6218             mg->mg_len = xlen;
6219         }
6220         else {
6221             if (mg) {
6222                 mg->mg_ptr = NULL;
6223                 mg->mg_len = -1;
6224             }
6225         }
6226     }
6227     if (mg && mg->mg_ptr) {
6228         *nxp = mg->mg_len;
6229         return mg->mg_ptr + sizeof(PL_collation_ix);
6230     }
6231     else {
6232         *nxp = 0;
6233         return NULL;
6234     }
6235 }
6236
6237 #endif /* USE_LOCALE_COLLATE */
6238
6239 /*
6240 =for apidoc sv_gets
6241
6242 Get a line from the filehandle and store it into the SV, optionally
6243 appending to the currently-stored string.
6244
6245 =cut
6246 */
6247
6248 char *
6249 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
6250 {
6251     dVAR;
6252     const char *rsptr;
6253     STRLEN rslen;
6254     register STDCHAR rslast;
6255     register STDCHAR *bp;
6256     register I32 cnt;
6257     I32 i = 0;
6258     I32 rspara = 0;
6259
6260     if (SvTHINKFIRST(sv))
6261         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6262     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6263        from <>.
6264        However, perlbench says it's slower, because the existing swipe code
6265        is faster than copy on write.
6266        Swings and roundabouts.  */
6267     SvUPGRADE(sv, SVt_PV);
6268
6269     SvSCREAM_off(sv);
6270
6271     if (append) {
6272         if (PerlIO_isutf8(fp)) {
6273             if (!SvUTF8(sv)) {
6274                 sv_utf8_upgrade_nomg(sv);
6275                 sv_pos_u2b(sv,&append,0);
6276             }
6277         } else if (SvUTF8(sv)) {
6278             SV * const tsv = newSV(0);
6279             sv_gets(tsv, fp, 0);
6280             sv_utf8_upgrade_nomg(tsv);
6281             SvCUR_set(sv,append);
6282             sv_catsv(sv,tsv);
6283             sv_free(tsv);
6284             goto return_string_or_null;
6285         }
6286     }
6287
6288     SvPOK_only(sv);
6289     if (PerlIO_isutf8(fp))
6290         SvUTF8_on(sv);
6291
6292     if (IN_PERL_COMPILETIME) {
6293         /* we always read code in line mode */
6294         rsptr = "\n";
6295         rslen = 1;
6296     }
6297     else if (RsSNARF(PL_rs)) {
6298         /* If it is a regular disk file use size from stat() as estimate
6299            of amount we are going to read -- may result in mallocing
6300            more memory than we really need if the layers below reduce
6301            the size we read (e.g. CRLF or a gzip layer).
6302          */
6303         Stat_t st;
6304         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6305             const Off_t offset = PerlIO_tell(fp);
6306             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6307                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6308             }
6309         }
6310         rsptr = NULL;
6311         rslen = 0;
6312     }
6313     else if (RsRECORD(PL_rs)) {
6314       I32 bytesread;
6315       char *buffer;
6316       U32 recsize;
6317
6318       /* Grab the size of the record we're getting */
6319       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6320       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6321       /* Go yank in */
6322 #ifdef VMS
6323       /* VMS wants read instead of fread, because fread doesn't respect */
6324       /* RMS record boundaries. This is not necessarily a good thing to be */
6325       /* doing, but we've got no other real choice - except avoid stdio
6326          as implementation - perhaps write a :vms layer ?
6327        */
6328       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
6329 #else
6330       bytesread = PerlIO_read(fp, buffer, recsize);
6331 #endif
6332       if (bytesread < 0)
6333           bytesread = 0;
6334       SvCUR_set(sv, bytesread += append);
6335       buffer[bytesread] = '\0';
6336       goto return_string_or_null;
6337     }
6338     else if (RsPARA(PL_rs)) {
6339         rsptr = "\n\n";
6340         rslen = 2;
6341         rspara = 1;
6342     }
6343     else {
6344         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6345         if (PerlIO_isutf8(fp)) {
6346             rsptr = SvPVutf8(PL_rs, rslen);
6347         }
6348         else {
6349             if (SvUTF8(PL_rs)) {
6350                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6351                     Perl_croak(aTHX_ "Wide character in $/");
6352                 }
6353             }
6354             rsptr = SvPV_const(PL_rs, rslen);
6355         }
6356     }
6357
6358     rslast = rslen ? rsptr[rslen - 1] : '\0';
6359
6360     if (rspara) {               /* have to do this both before and after */
6361         do {                    /* to make sure file boundaries work right */
6362             if (PerlIO_eof(fp))
6363                 return 0;
6364             i = PerlIO_getc(fp);
6365             if (i != '\n') {
6366                 if (i == -1)
6367                     return 0;
6368                 PerlIO_ungetc(fp,i);
6369                 break;
6370             }
6371         } while (i != EOF);
6372     }
6373
6374     /* See if we know enough about I/O mechanism to cheat it ! */
6375
6376     /* This used to be #ifdef test - it is made run-time test for ease
6377        of abstracting out stdio interface. One call should be cheap
6378        enough here - and may even be a macro allowing compile
6379        time optimization.
6380      */
6381
6382     if (PerlIO_fast_gets(fp)) {
6383
6384     /*
6385      * We're going to steal some values from the stdio struct
6386      * and put EVERYTHING in the innermost loop into registers.
6387      */
6388     register STDCHAR *ptr;
6389     STRLEN bpx;
6390     I32 shortbuffered;
6391
6392 #if defined(VMS) && defined(PERLIO_IS_STDIO)
6393     /* An ungetc()d char is handled separately from the regular
6394      * buffer, so we getc() it back out and stuff it in the buffer.
6395      */
6396     i = PerlIO_getc(fp);
6397     if (i == EOF) return 0;
6398     *(--((*fp)->_ptr)) = (unsigned char) i;
6399     (*fp)->_cnt++;
6400 #endif
6401
6402     /* Here is some breathtakingly efficient cheating */
6403
6404     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
6405     /* make sure we have the room */
6406     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
6407         /* Not room for all of it
6408            if we are looking for a separator and room for some
6409          */
6410         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
6411             /* just process what we have room for */
6412             shortbuffered = cnt - SvLEN(sv) + append + 1;
6413             cnt -= shortbuffered;
6414         }
6415         else {
6416             shortbuffered = 0;
6417             /* remember that cnt can be negative */
6418             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
6419         }
6420     }
6421     else
6422         shortbuffered = 0;
6423     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
6424     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
6425     DEBUG_P(PerlIO_printf(Perl_debug_log,
6426         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6427     DEBUG_P(PerlIO_printf(Perl_debug_log,
6428         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6429                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6430                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
6431     for (;;) {
6432       screamer:
6433         if (cnt > 0) {
6434             if (rslen) {
6435                 while (cnt > 0) {                    /* this     |  eat */
6436                     cnt--;
6437                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
6438                         goto thats_all_folks;        /* screams  |  sed :-) */
6439                 }
6440             }
6441             else {
6442                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
6443                 bp += cnt;                           /* screams  |  dust */
6444                 ptr += cnt;                          /* louder   |  sed :-) */
6445                 cnt = 0;
6446             }
6447         }
6448         
6449         if (shortbuffered) {            /* oh well, must extend */
6450             cnt = shortbuffered;
6451             shortbuffered = 0;
6452             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
6453             SvCUR_set(sv, bpx);
6454             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
6455             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
6456             continue;
6457         }
6458
6459         DEBUG_P(PerlIO_printf(Perl_debug_log,
6460                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
6461                               PTR2UV(ptr),(long)cnt));
6462         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
6463 #if 0
6464         DEBUG_P(PerlIO_printf(Perl_debug_log,
6465             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6466             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6467             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6468 #endif
6469         /* This used to call 'filbuf' in stdio form, but as that behaves like
6470            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
6471            another abstraction.  */
6472         i   = PerlIO_getc(fp);          /* get more characters */
6473 #if 0
6474         DEBUG_P(PerlIO_printf(Perl_debug_log,
6475             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6476             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6477             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6478 #endif
6479         cnt = PerlIO_get_cnt(fp);
6480         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
6481         DEBUG_P(PerlIO_printf(Perl_debug_log,
6482             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6483
6484         if (i == EOF)                   /* all done for ever? */
6485             goto thats_really_all_folks;
6486
6487         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
6488         SvCUR_set(sv, bpx);
6489         SvGROW(sv, bpx + cnt + 2);
6490         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
6491
6492         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
6493
6494         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
6495             goto thats_all_folks;
6496     }
6497
6498 thats_all_folks:
6499     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
6500           memNE((char*)bp - rslen, rsptr, rslen))
6501         goto screamer;                          /* go back to the fray */
6502 thats_really_all_folks:
6503     if (shortbuffered)
6504         cnt += shortbuffered;
6505         DEBUG_P(PerlIO_printf(Perl_debug_log,
6506             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6507     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6508     DEBUG_P(PerlIO_printf(Perl_debug_log,
6509         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6510         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6511         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6512     *bp = '\0';
6513     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6514     DEBUG_P(PerlIO_printf(Perl_debug_log,
6515         "Screamer: done, len=%ld, string=|%.*s|\n",
6516         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6517     }
6518    else
6519     {
6520        /*The big, slow, and stupid way. */
6521 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6522         STDCHAR *buf = NULL;
6523         Newx(buf, 8192, STDCHAR);
6524         assert(buf);
6525 #else
6526         STDCHAR buf[8192];
6527 #endif
6528
6529 screamer2:
6530         if (rslen) {
6531             register const STDCHAR * const bpe = buf + sizeof(buf);
6532             bp = buf;
6533             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6534                 ; /* keep reading */
6535             cnt = bp - buf;
6536         }
6537         else {
6538             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6539             /* Accomodate broken VAXC compiler, which applies U8 cast to
6540              * both args of ?: operator, causing EOF to change into 255
6541              */
6542             if (cnt > 0)
6543                  i = (U8)buf[cnt - 1];
6544             else
6545                  i = EOF;
6546         }
6547
6548         if (cnt < 0)
6549             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6550         if (append)
6551              sv_catpvn(sv, (char *) buf, cnt);
6552         else
6553              sv_setpvn(sv, (char *) buf, cnt);
6554
6555         if (i != EOF &&                 /* joy */
6556             (!rslen ||
6557              SvCUR(sv) < rslen ||
6558              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6559         {
6560             append = -1;
6561             /*
6562              * If we're reading from a TTY and we get a short read,
6563              * indicating that the user hit his EOF character, we need
6564              * to notice it now, because if we try to read from the TTY
6565              * again, the EOF condition will disappear.
6566              *
6567              * The comparison of cnt to sizeof(buf) is an optimization
6568              * that prevents unnecessary calls to feof().
6569              *
6570              * - jik 9/25/96
6571              */
6572             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
6573                 goto screamer2;
6574         }
6575
6576 #ifdef USE_HEAP_INSTEAD_OF_STACK
6577         Safefree(buf);
6578 #endif
6579     }
6580
6581     if (rspara) {               /* have to do this both before and after */
6582         while (i != EOF) {      /* to make sure file boundaries work right */
6583             i = PerlIO_getc(fp);
6584             if (i != '\n') {
6585                 PerlIO_ungetc(fp,i);
6586                 break;
6587             }
6588         }
6589     }
6590
6591 return_string_or_null:
6592     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
6593 }
6594
6595 /*
6596 =for apidoc sv_inc
6597
6598 Auto-increment of the value in the SV, doing string to numeric conversion
6599 if necessary. Handles 'get' magic.
6600
6601 =cut
6602 */
6603
6604 void
6605 Perl_sv_inc(pTHX_ register SV *sv)
6606 {
6607     dVAR;
6608     register char *d;
6609     int flags;
6610
6611     if (!sv)
6612         return;
6613     SvGETMAGIC(sv);
6614     if (SvTHINKFIRST(sv)) {
6615         if (SvIsCOW(sv))
6616             sv_force_normal_flags(sv, 0);
6617         if (SvREADONLY(sv)) {
6618             if (IN_PERL_RUNTIME)
6619                 Perl_croak(aTHX_ PL_no_modify);
6620         }
6621         if (SvROK(sv)) {
6622             IV i;
6623             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6624                 return;
6625             i = PTR2IV(SvRV(sv));
6626             sv_unref(sv);
6627             sv_setiv(sv, i);
6628         }
6629     }
6630     flags = SvFLAGS(sv);
6631     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6632         /* It's (privately or publicly) a float, but not tested as an
6633            integer, so test it to see. */
6634         (void) SvIV(sv);
6635         flags = SvFLAGS(sv);
6636     }
6637     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6638         /* It's publicly an integer, or privately an integer-not-float */
6639 #ifdef PERL_PRESERVE_IVUV
6640       oops_its_int:
6641 #endif
6642         if (SvIsUV(sv)) {
6643             if (SvUVX(sv) == UV_MAX)
6644                 sv_setnv(sv, UV_MAX_P1);
6645             else
6646                 (void)SvIOK_only_UV(sv);
6647                 SvUV_set(sv, SvUVX(sv) + 1);
6648         } else {
6649             if (SvIVX(sv) == IV_MAX)
6650                 sv_setuv(sv, (UV)IV_MAX + 1);
6651             else {
6652                 (void)SvIOK_only(sv);
6653                 SvIV_set(sv, SvIVX(sv) + 1);
6654             }   
6655         }
6656         return;
6657     }
6658     if (flags & SVp_NOK) {
6659         (void)SvNOK_only(sv);
6660         SvNV_set(sv, SvNVX(sv) + 1.0);
6661         return;
6662     }
6663
6664     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6665         if ((flags & SVTYPEMASK) < SVt_PVIV)
6666             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6667         (void)SvIOK_only(sv);
6668         SvIV_set(sv, 1);
6669         return;
6670     }
6671     d = SvPVX(sv);
6672     while (isALPHA(*d)) d++;
6673     while (isDIGIT(*d)) d++;
6674     if (*d) {
6675 #ifdef PERL_PRESERVE_IVUV
6676         /* Got to punt this as an integer if needs be, but we don't issue
6677            warnings. Probably ought to make the sv_iv_please() that does
6678            the conversion if possible, and silently.  */
6679         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6680         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6681             /* Need to try really hard to see if it's an integer.
6682                9.22337203685478e+18 is an integer.
6683                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6684                so $a="9.22337203685478e+18"; $a+0; $a++
6685                needs to be the same as $a="9.22337203685478e+18"; $a++
6686                or we go insane. */
6687         
6688             (void) sv_2iv(sv);
6689             if (SvIOK(sv))
6690                 goto oops_its_int;
6691
6692             /* sv_2iv *should* have made this an NV */
6693             if (flags & SVp_NOK) {
6694                 (void)SvNOK_only(sv);
6695                 SvNV_set(sv, SvNVX(sv) + 1.0);
6696                 return;
6697             }
6698             /* I don't think we can get here. Maybe I should assert this
6699                And if we do get here I suspect that sv_setnv will croak. NWC
6700                Fall through. */
6701 #if defined(USE_LONG_DOUBLE)
6702             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6703                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6704 #else
6705             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6706                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6707 #endif
6708         }
6709 #endif /* PERL_PRESERVE_IVUV */
6710         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6711         return;
6712     }
6713     d--;
6714     while (d >= SvPVX_const(sv)) {
6715         if (isDIGIT(*d)) {
6716             if (++*d <= '9')
6717                 return;
6718             *(d--) = '0';
6719         }
6720         else {
6721 #ifdef EBCDIC
6722             /* MKS: The original code here died if letters weren't consecutive.
6723              * at least it didn't have to worry about non-C locales.  The
6724              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6725              * arranged in order (although not consecutively) and that only
6726              * [A-Za-z] are accepted by isALPHA in the C locale.
6727              */
6728             if (*d != 'z' && *d != 'Z') {
6729                 do { ++*d; } while (!isALPHA(*d));
6730                 return;
6731             }
6732             *(d--) -= 'z' - 'a';
6733 #else
6734             ++*d;
6735             if (isALPHA(*d))
6736                 return;
6737             *(d--) -= 'z' - 'a' + 1;
6738 #endif
6739         }
6740     }
6741     /* oh,oh, the number grew */
6742     SvGROW(sv, SvCUR(sv) + 2);
6743     SvCUR_set(sv, SvCUR(sv) + 1);
6744     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6745         *d = d[-1];
6746     if (isDIGIT(d[1]))
6747         *d = '1';
6748     else
6749         *d = d[1];
6750 }
6751
6752 /*
6753 =for apidoc sv_dec
6754
6755 Auto-decrement of the value in the SV, doing string to numeric conversion
6756 if necessary. Handles 'get' magic.
6757
6758 =cut
6759 */
6760
6761 void
6762 Perl_sv_dec(pTHX_ register SV *sv)
6763 {
6764     dVAR;
6765     int flags;
6766
6767     if (!sv)
6768         return;
6769     SvGETMAGIC(sv);
6770     if (SvTHINKFIRST(sv)) {
6771         if (SvIsCOW(sv))
6772             sv_force_normal_flags(sv, 0);
6773         if (SvREADONLY(sv)) {
6774             if (IN_PERL_RUNTIME)
6775                 Perl_croak(aTHX_ PL_no_modify);
6776         }
6777         if (SvROK(sv)) {
6778             IV i;
6779             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6780                 return;
6781             i = PTR2IV(SvRV(sv));
6782             sv_unref(sv);
6783             sv_setiv(sv, i);
6784         }
6785     }
6786     /* Unlike sv_inc we don't have to worry about string-never-numbers
6787        and keeping them magic. But we mustn't warn on punting */
6788     flags = SvFLAGS(sv);
6789     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6790         /* It's publicly an integer, or privately an integer-not-float */
6791 #ifdef PERL_PRESERVE_IVUV
6792       oops_its_int:
6793 #endif
6794         if (SvIsUV(sv)) {
6795             if (SvUVX(sv) == 0) {
6796                 (void)SvIOK_only(sv);
6797                 SvIV_set(sv, -1);
6798             }
6799             else {
6800                 (void)SvIOK_only_UV(sv);
6801                 SvUV_set(sv, SvUVX(sv) - 1);
6802             }   
6803         } else {
6804             if (SvIVX(sv) == IV_MIN)
6805                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6806             else {
6807                 (void)SvIOK_only(sv);
6808                 SvIV_set(sv, SvIVX(sv) - 1);
6809             }   
6810         }
6811         return;
6812     }
6813     if (flags & SVp_NOK) {
6814         SvNV_set(sv, SvNVX(sv) - 1.0);
6815         (void)SvNOK_only(sv);
6816         return;
6817     }
6818     if (!(flags & SVp_POK)) {
6819         if ((flags & SVTYPEMASK) < SVt_PVIV)
6820             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6821         SvIV_set(sv, -1);
6822         (void)SvIOK_only(sv);
6823         return;
6824     }
6825 #ifdef PERL_PRESERVE_IVUV
6826     {
6827         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6828         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6829             /* Need to try really hard to see if it's an integer.
6830                9.22337203685478e+18 is an integer.
6831                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6832                so $a="9.22337203685478e+18"; $a+0; $a--
6833                needs to be the same as $a="9.22337203685478e+18"; $a--
6834                or we go insane. */
6835         
6836             (void) sv_2iv(sv);
6837             if (SvIOK(sv))
6838                 goto oops_its_int;
6839
6840             /* sv_2iv *should* have made this an NV */
6841             if (flags & SVp_NOK) {
6842                 (void)SvNOK_only(sv);
6843                 SvNV_set(sv, SvNVX(sv) - 1.0);
6844                 return;
6845             }
6846             /* I don't think we can get here. Maybe I should assert this
6847                And if we do get here I suspect that sv_setnv will croak. NWC
6848                Fall through. */
6849 #if defined(USE_LONG_DOUBLE)
6850             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6851                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6852 #else
6853             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6854                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6855 #endif
6856         }
6857     }
6858 #endif /* PERL_PRESERVE_IVUV */
6859     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6860 }
6861
6862 /*
6863 =for apidoc sv_mortalcopy
6864
6865 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6866 The new SV is marked as mortal. It will be destroyed "soon", either by an
6867 explicit call to FREETMPS, or by an implicit call at places such as
6868 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6869
6870 =cut
6871 */
6872
6873 /* Make a string that will exist for the duration of the expression
6874  * evaluation.  Actually, it may have to last longer than that, but
6875  * hopefully we won't free it until it has been assigned to a
6876  * permanent location. */
6877
6878 SV *
6879 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6880 {
6881     dVAR;
6882     register SV *sv;
6883
6884     new_SV(sv);
6885     sv_setsv(sv,oldstr);
6886     EXTEND_MORTAL(1);
6887     PL_tmps_stack[++PL_tmps_ix] = sv;
6888     SvTEMP_on(sv);
6889     return sv;
6890 }
6891
6892 /*
6893 =for apidoc sv_newmortal
6894
6895 Creates a new null SV which is mortal.  The reference count of the SV is
6896 set to 1. It will be destroyed "soon", either by an explicit call to
6897 FREETMPS, or by an implicit call at places such as statement boundaries.
6898 See also C<sv_mortalcopy> and C<sv_2mortal>.
6899
6900 =cut
6901 */
6902
6903 SV *
6904 Perl_sv_newmortal(pTHX)
6905 {
6906     dVAR;
6907     register SV *sv;
6908
6909     new_SV(sv);
6910     SvFLAGS(sv) = SVs_TEMP;
6911     EXTEND_MORTAL(1);
6912     PL_tmps_stack[++PL_tmps_ix] = sv;
6913     return sv;
6914 }
6915
6916 /*
6917 =for apidoc sv_2mortal
6918
6919 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6920 by an explicit call to FREETMPS, or by an implicit call at places such as
6921 statement boundaries.  SvTEMP() is turned on which means that the SV's
6922 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6923 and C<sv_mortalcopy>.
6924
6925 =cut
6926 */
6927
6928 SV *
6929 Perl_sv_2mortal(pTHX_ register SV *sv)
6930 {
6931     dVAR;
6932     if (!sv)
6933         return NULL;
6934     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6935         return sv;
6936     EXTEND_MORTAL(1);
6937     PL_tmps_stack[++PL_tmps_ix] = sv;
6938     SvTEMP_on(sv);
6939     return sv;
6940 }
6941
6942 /*
6943 =for apidoc newSVpv
6944
6945 Creates a new SV and copies a string into it.  The reference count for the
6946 SV is set to 1.  If C<len> is zero, Perl will compute the length using
6947 strlen().  For efficiency, consider using C<newSVpvn> instead.
6948
6949 =cut
6950 */
6951
6952 SV *
6953 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
6954 {
6955     dVAR;
6956     register SV *sv;
6957
6958     new_SV(sv);
6959     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
6960     return sv;
6961 }
6962
6963 /*
6964 =for apidoc newSVpvn
6965
6966 Creates a new SV and copies a string into it.  The reference count for the
6967 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
6968 string.  You are responsible for ensuring that the source string is at least
6969 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
6970
6971 =cut
6972 */
6973
6974 SV *
6975 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
6976 {
6977     dVAR;
6978     register SV *sv;
6979
6980     new_SV(sv);
6981     sv_setpvn(sv,s,len);
6982     return sv;
6983 }
6984
6985
6986 /*
6987 =for apidoc newSVhek
6988
6989 Creates a new SV from the hash key structure.  It will generate scalars that
6990 point to the shared string table where possible. Returns a new (undefined)
6991 SV if the hek is NULL.
6992
6993 =cut
6994 */
6995
6996 SV *
6997 Perl_newSVhek(pTHX_ const HEK *hek)
6998 {
6999     dVAR;
7000     if (!hek) {
7001         SV *sv;
7002
7003         new_SV(sv);
7004         return sv;
7005     }
7006
7007     if (HEK_LEN(hek) == HEf_SVKEY) {
7008         return newSVsv(*(SV**)HEK_KEY(hek));
7009     } else {
7010         const int flags = HEK_FLAGS(hek);
7011         if (flags & HVhek_WASUTF8) {
7012             /* Trouble :-)
7013                Andreas would like keys he put in as utf8 to come back as utf8
7014             */
7015             STRLEN utf8_len = HEK_LEN(hek);
7016             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7017             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7018
7019             SvUTF8_on (sv);
7020             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7021             return sv;
7022         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7023             /* We don't have a pointer to the hv, so we have to replicate the
7024                flag into every HEK. This hv is using custom a hasing
7025                algorithm. Hence we can't return a shared string scalar, as
7026                that would contain the (wrong) hash value, and might get passed
7027                into an hv routine with a regular hash.
7028                Similarly, a hash that isn't using shared hash keys has to have
7029                the flag in every key so that we know not to try to call
7030                share_hek_kek on it.  */
7031
7032             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7033             if (HEK_UTF8(hek))
7034                 SvUTF8_on (sv);
7035             return sv;
7036         }
7037         /* This will be overwhelminly the most common case.  */
7038         {
7039             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7040                more efficient than sharepvn().  */
7041             SV *sv;
7042
7043             new_SV(sv);
7044             sv_upgrade(sv, SVt_PV);
7045             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7046             SvCUR_set(sv, HEK_LEN(hek));
7047             SvLEN_set(sv, 0);
7048             SvREADONLY_on(sv);
7049             SvFAKE_on(sv);
7050             SvPOK_on(sv);
7051             if (HEK_UTF8(hek))
7052                 SvUTF8_on(sv);
7053             return sv;
7054         }
7055     }
7056 }
7057
7058 /*
7059 =for apidoc newSVpvn_share
7060
7061 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7062 table. If the string does not already exist in the table, it is created
7063 first.  Turns on READONLY and FAKE.  The string's hash is stored in the UV
7064 slot of the SV; if the C<hash> parameter is non-zero, that value is used;
7065 otherwise the hash is computed.  The idea here is that as the string table
7066 is used for shared hash keys these strings will have SvPVX_const == HeKEY and
7067 hash lookup will avoid string compare.
7068
7069 =cut
7070 */
7071
7072 SV *
7073 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7074 {
7075     dVAR;
7076     register SV *sv;
7077     bool is_utf8 = FALSE;
7078     const char *const orig_src = src;
7079
7080     if (len < 0) {
7081         STRLEN tmplen = -len;
7082         is_utf8 = TRUE;
7083         /* See the note in hv.c:hv_fetch() --jhi */
7084         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7085         len = tmplen;
7086     }
7087     if (!hash)
7088         PERL_HASH(hash, src, len);
7089     new_SV(sv);
7090     sv_upgrade(sv, SVt_PV);
7091     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7092     SvCUR_set(sv, len);
7093     SvLEN_set(sv, 0);
7094     SvREADONLY_on(sv);
7095     SvFAKE_on(sv);
7096     SvPOK_on(sv);
7097     if (is_utf8)
7098         SvUTF8_on(sv);
7099     if (src != orig_src)
7100         Safefree(src);
7101     return sv;
7102 }
7103
7104
7105 #if defined(PERL_IMPLICIT_CONTEXT)
7106
7107 /* pTHX_ magic can't cope with varargs, so this is a no-context
7108  * version of the main function, (which may itself be aliased to us).
7109  * Don't access this version directly.
7110  */
7111
7112 SV *
7113 Perl_newSVpvf_nocontext(const char* pat, ...)
7114 {
7115     dTHX;
7116     register SV *sv;
7117     va_list args;
7118     va_start(args, pat);
7119     sv = vnewSVpvf(pat, &args);
7120     va_end(args);
7121     return sv;
7122 }
7123 #endif
7124
7125 /*
7126 =for apidoc newSVpvf
7127
7128 Creates a new SV and initializes it with the string formatted like
7129 C<sprintf>.
7130
7131 =cut
7132 */
7133
7134 SV *
7135 Perl_newSVpvf(pTHX_ const char* pat, ...)
7136 {
7137     register SV *sv;
7138     va_list args;
7139     va_start(args, pat);
7140     sv = vnewSVpvf(pat, &args);
7141     va_end(args);
7142     return sv;
7143 }
7144
7145 /* backend for newSVpvf() and newSVpvf_nocontext() */
7146
7147 SV *
7148 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
7149 {
7150     dVAR;
7151     register SV *sv;
7152     new_SV(sv);
7153     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7154     return sv;
7155 }
7156
7157 /*
7158 =for apidoc newSVnv
7159
7160 Creates a new SV and copies a floating point value into it.
7161 The reference count for the SV is set to 1.
7162
7163 =cut
7164 */
7165
7166 SV *
7167 Perl_newSVnv(pTHX_ NV n)
7168 {
7169     dVAR;
7170     register SV *sv;
7171
7172     new_SV(sv);
7173     sv_setnv(sv,n);
7174     return sv;
7175 }
7176
7177 /*
7178 =for apidoc newSViv
7179
7180 Creates a new SV and copies an integer into it.  The reference count for the
7181 SV is set to 1.
7182
7183 =cut
7184 */
7185
7186 SV *
7187 Perl_newSViv(pTHX_ IV i)
7188 {
7189     dVAR;
7190     register SV *sv;
7191
7192     new_SV(sv);
7193     sv_setiv(sv,i);
7194     return sv;
7195 }
7196
7197 /*
7198 =for apidoc newSVuv
7199
7200 Creates a new SV and copies an unsigned integer into it.
7201 The reference count for the SV is set to 1.
7202
7203 =cut
7204 */
7205
7206 SV *
7207 Perl_newSVuv(pTHX_ UV u)
7208 {
7209     dVAR;
7210     register SV *sv;
7211
7212     new_SV(sv);
7213     sv_setuv(sv,u);
7214     return sv;
7215 }
7216
7217 /*
7218 =for apidoc newSV_type
7219
7220 Creates a new SV, of the type specificied.  The reference count for the new SV
7221 is set to 1.
7222
7223 =cut
7224 */
7225
7226 SV *
7227 Perl_newSV_type(pTHX_ svtype type)
7228 {
7229     register SV *sv;
7230
7231     new_SV(sv);
7232     sv_upgrade(sv, type);
7233     return sv;
7234 }
7235
7236 /*
7237 =for apidoc newRV_noinc
7238
7239 Creates an RV wrapper for an SV.  The reference count for the original
7240 SV is B<not> incremented.
7241
7242 =cut
7243 */
7244
7245 SV *
7246 Perl_newRV_noinc(pTHX_ SV *tmpRef)
7247 {
7248     dVAR;
7249     register SV *sv = newSV_type(SVt_RV);
7250     SvTEMP_off(tmpRef);
7251     SvRV_set(sv, tmpRef);
7252     SvROK_on(sv);
7253     return sv;
7254 }
7255
7256 /* newRV_inc is the official function name to use now.
7257  * newRV_inc is in fact #defined to newRV in sv.h
7258  */
7259
7260 SV *
7261 Perl_newRV(pTHX_ SV *sv)
7262 {
7263     dVAR;
7264     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7265 }
7266
7267 /*
7268 =for apidoc newSVsv
7269
7270 Creates a new SV which is an exact duplicate of the original SV.
7271 (Uses C<sv_setsv>).
7272
7273 =cut
7274 */
7275
7276 SV *
7277 Perl_newSVsv(pTHX_ register SV *old)
7278 {
7279     dVAR;
7280     register SV *sv;
7281
7282     if (!old)
7283         return NULL;
7284     if (SvTYPE(old) == SVTYPEMASK) {
7285         if (ckWARN_d(WARN_INTERNAL))
7286             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7287         return NULL;
7288     }
7289     new_SV(sv);
7290     /* SV_GMAGIC is the default for sv_setv()
7291        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7292        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
7293     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
7294     return sv;
7295 }
7296
7297 /*
7298 =for apidoc sv_reset
7299
7300 Underlying implementation for the C<reset> Perl function.
7301 Note that the perl-level function is vaguely deprecated.
7302
7303 =cut
7304 */
7305
7306 void
7307 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
7308 {
7309     dVAR;
7310     char todo[PERL_UCHAR_MAX+1];
7311
7312     if (!stash)
7313         return;
7314
7315     if (!*s) {          /* reset ?? searches */
7316         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
7317         if (mg) {
7318             const U32 count = mg->mg_len / sizeof(PMOP**);
7319             PMOP **pmp = (PMOP**) mg->mg_ptr;
7320             PMOP *const *const end = pmp + count;
7321
7322             while (pmp < end) {
7323 #ifdef USE_ITHREADS
7324                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
7325 #else
7326                 (*pmp)->op_pmflags &= ~PMf_USED;
7327 #endif
7328                 ++pmp;
7329             }
7330         }
7331         return;
7332     }
7333
7334     /* reset variables */
7335
7336     if (!HvARRAY(stash))
7337         return;
7338
7339     Zero(todo, 256, char);
7340     while (*s) {
7341         I32 max;
7342         I32 i = (unsigned char)*s;
7343         if (s[1] == '-') {
7344             s += 2;
7345         }
7346         max = (unsigned char)*s++;
7347         for ( ; i <= max; i++) {
7348             todo[i] = 1;
7349         }
7350         for (i = 0; i <= (I32) HvMAX(stash); i++) {
7351             HE *entry;
7352             for (entry = HvARRAY(stash)[i];
7353                  entry;
7354                  entry = HeNEXT(entry))
7355             {
7356                 register GV *gv;
7357                 register SV *sv;
7358
7359                 if (!todo[(U8)*HeKEY(entry)])
7360                     continue;
7361                 gv = (GV*)HeVAL(entry);
7362                 sv = GvSV(gv);
7363                 if (sv) {
7364                     if (SvTHINKFIRST(sv)) {
7365                         if (!SvREADONLY(sv) && SvROK(sv))
7366                             sv_unref(sv);
7367                         /* XXX Is this continue a bug? Why should THINKFIRST
7368                            exempt us from resetting arrays and hashes?  */
7369                         continue;
7370                     }
7371                     SvOK_off(sv);
7372                     if (SvTYPE(sv) >= SVt_PV) {
7373                         SvCUR_set(sv, 0);
7374                         if (SvPVX_const(sv) != NULL)
7375                             *SvPVX(sv) = '\0';
7376                         SvTAINT(sv);
7377                     }
7378                 }
7379                 if (GvAV(gv)) {
7380                     av_clear(GvAV(gv));
7381                 }
7382                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
7383 #if defined(VMS)
7384                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
7385 #else /* ! VMS */
7386                     hv_clear(GvHV(gv));
7387 #  if defined(USE_ENVIRON_ARRAY)
7388                     if (gv == PL_envgv)
7389                         my_clearenv();
7390 #  endif /* USE_ENVIRON_ARRAY */
7391 #endif /* VMS */
7392                 }
7393             }
7394         }
7395     }
7396 }
7397
7398 /*
7399 =for apidoc sv_2io
7400
7401 Using various gambits, try to get an IO from an SV: the IO slot if its a
7402 GV; or the recursive result if we're an RV; or the IO slot of the symbol
7403 named after the PV if we're a string.
7404
7405 =cut
7406 */
7407
7408 IO*
7409 Perl_sv_2io(pTHX_ SV *sv)
7410 {
7411     IO* io;
7412     GV* gv;
7413
7414     switch (SvTYPE(sv)) {
7415     case SVt_PVIO:
7416         io = (IO*)sv;
7417         break;
7418     case SVt_PVGV:
7419         gv = (GV*)sv;
7420         io = GvIO(gv);
7421         if (!io)
7422             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
7423         break;
7424     default:
7425         if (!SvOK(sv))
7426             Perl_croak(aTHX_ PL_no_usym, "filehandle");
7427         if (SvROK(sv))
7428             return sv_2io(SvRV(sv));
7429         gv = gv_fetchsv(sv, 0, SVt_PVIO);
7430         if (gv)
7431             io = GvIO(gv);
7432         else
7433             io = 0;
7434         if (!io)
7435             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
7436         break;
7437     }
7438     return io;
7439 }
7440
7441 /*
7442 =for apidoc sv_2cv
7443
7444 Using various gambits, try to get a CV from an SV; in addition, try if
7445 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
7446 The flags in C<lref> are passed to sv_fetchsv.
7447
7448 =cut
7449 */
7450
7451 CV *
7452 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
7453 {
7454     dVAR;
7455     GV *gv = NULL;
7456     CV *cv = NULL;
7457
7458     if (!sv) {
7459         *st = NULL;
7460         *gvp = NULL;
7461         return NULL;
7462     }
7463     switch (SvTYPE(sv)) {
7464     case SVt_PVCV:
7465         *st = CvSTASH(sv);
7466         *gvp = NULL;
7467         return (CV*)sv;
7468     case SVt_PVHV:
7469     case SVt_PVAV:
7470         *st = NULL;
7471         *gvp = NULL;
7472         return NULL;
7473     case SVt_PVGV:
7474         gv = (GV*)sv;
7475         *gvp = gv;
7476         *st = GvESTASH(gv);
7477         goto fix_gv;
7478
7479     default:
7480         SvGETMAGIC(sv);
7481         if (SvROK(sv)) {
7482             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
7483             tryAMAGICunDEREF(to_cv);
7484
7485             sv = SvRV(sv);
7486             if (SvTYPE(sv) == SVt_PVCV) {
7487                 cv = (CV*)sv;
7488                 *gvp = NULL;
7489                 *st = CvSTASH(cv);
7490                 return cv;
7491             }
7492             else if(isGV(sv))
7493                 gv = (GV*)sv;
7494             else
7495                 Perl_croak(aTHX_ "Not a subroutine reference");
7496         }
7497         else if (isGV(sv))
7498             gv = (GV*)sv;
7499         else
7500             gv = gv_fetchsv(sv, lref, SVt_PVCV);
7501         *gvp = gv;
7502         if (!gv) {
7503             *st = NULL;
7504             return NULL;
7505         }
7506         /* Some flags to gv_fetchsv mean don't really create the GV  */
7507         if (SvTYPE(gv) != SVt_PVGV) {
7508             *st = NULL;
7509             return NULL;
7510         }
7511         *st = GvESTASH(gv);
7512     fix_gv:
7513         if (lref && !GvCVu(gv)) {
7514             SV *tmpsv;
7515             ENTER;
7516             tmpsv = newSV(0);
7517             gv_efullname3(tmpsv, gv, NULL);
7518             /* XXX this is probably not what they think they're getting.
7519              * It has the same effect as "sub name;", i.e. just a forward
7520              * declaration! */
7521             newSUB(start_subparse(FALSE, 0),
7522                    newSVOP(OP_CONST, 0, tmpsv),
7523                    NULL, NULL);
7524             LEAVE;
7525             if (!GvCVu(gv))
7526                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
7527                            SVfARG(sv));
7528         }
7529         return GvCVu(gv);
7530     }
7531 }
7532
7533 /*
7534 =for apidoc sv_true
7535
7536 Returns true if the SV has a true value by Perl's rules.
7537 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
7538 instead use an in-line version.
7539
7540 =cut
7541 */
7542
7543 I32
7544 Perl_sv_true(pTHX_ register SV *sv)
7545 {
7546     if (!sv)
7547         return 0;
7548     if (SvPOK(sv)) {
7549         register const XPV* const tXpv = (XPV*)SvANY(sv);
7550         if (tXpv &&
7551                 (tXpv->xpv_cur > 1 ||
7552                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
7553             return 1;
7554         else
7555             return 0;
7556     }
7557     else {
7558         if (SvIOK(sv))
7559             return SvIVX(sv) != 0;
7560         else {
7561             if (SvNOK(sv))
7562                 return SvNVX(sv) != 0.0;
7563             else
7564                 return sv_2bool(sv);
7565         }
7566     }
7567 }
7568
7569 /*
7570 =for apidoc sv_pvn_force
7571
7572 Get a sensible string out of the SV somehow.
7573 A private implementation of the C<SvPV_force> macro for compilers which
7574 can't cope with complex macro expressions. Always use the macro instead.
7575
7576 =for apidoc sv_pvn_force_flags
7577
7578 Get a sensible string out of the SV somehow.
7579 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7580 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7581 implemented in terms of this function.
7582 You normally want to use the various wrapper macros instead: see
7583 C<SvPV_force> and C<SvPV_force_nomg>
7584
7585 =cut
7586 */
7587
7588 char *
7589 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7590 {
7591     dVAR;
7592     if (SvTHINKFIRST(sv) && !SvROK(sv))
7593         sv_force_normal_flags(sv, 0);
7594
7595     if (SvPOK(sv)) {
7596         if (lp)
7597             *lp = SvCUR(sv);
7598     }
7599     else {
7600         char *s;
7601         STRLEN len;
7602  
7603         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7604             const char * const ref = sv_reftype(sv,0);
7605             if (PL_op)
7606                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7607                            ref, OP_NAME(PL_op));
7608             else
7609                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7610         }
7611         if (SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7612             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7613                 OP_NAME(PL_op));
7614         s = sv_2pv_flags(sv, &len, flags);
7615         if (lp)
7616             *lp = len;
7617
7618         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7619             if (SvROK(sv))
7620                 sv_unref(sv);
7621             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7622             SvGROW(sv, len + 1);
7623             Move(s,SvPVX(sv),len,char);
7624             SvCUR_set(sv, len);
7625             SvPVX(sv)[len] = '\0';
7626         }
7627         if (!SvPOK(sv)) {
7628             SvPOK_on(sv);               /* validate pointer */
7629             SvTAINT(sv);
7630             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7631                                   PTR2UV(sv),SvPVX_const(sv)));
7632         }
7633     }
7634     return SvPVX_mutable(sv);
7635 }
7636
7637 /*
7638 =for apidoc sv_pvbyten_force
7639
7640 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7641
7642 =cut
7643 */
7644
7645 char *
7646 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7647 {
7648     sv_pvn_force(sv,lp);
7649     sv_utf8_downgrade(sv,0);
7650     *lp = SvCUR(sv);
7651     return SvPVX(sv);
7652 }
7653
7654 /*
7655 =for apidoc sv_pvutf8n_force
7656
7657 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7658
7659 =cut
7660 */
7661
7662 char *
7663 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7664 {
7665     sv_pvn_force(sv,lp);
7666     sv_utf8_upgrade(sv);
7667     *lp = SvCUR(sv);
7668     return SvPVX(sv);
7669 }
7670
7671 /*
7672 =for apidoc sv_reftype
7673
7674 Returns a string describing what the SV is a reference to.
7675
7676 =cut
7677 */
7678
7679 const char *
7680 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7681 {
7682     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7683        inside return suggests a const propagation bug in g++.  */
7684     if (ob && SvOBJECT(sv)) {
7685         char * const name = HvNAME_get(SvSTASH(sv));
7686         return name ? name : (char *) "__ANON__";
7687     }
7688     else {
7689         switch (SvTYPE(sv)) {
7690         case SVt_NULL:
7691         case SVt_IV:
7692         case SVt_NV:
7693         case SVt_RV:
7694         case SVt_PV:
7695         case SVt_PVIV:
7696         case SVt_PVNV:
7697         case SVt_PVMG:
7698                                 if (SvVOK(sv))
7699                                     return "VSTRING";
7700                                 if (SvROK(sv))
7701                                     return "REF";
7702                                 else
7703                                     return "SCALAR";
7704
7705         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7706                                 /* tied lvalues should appear to be
7707                                  * scalars for backwards compatitbility */
7708                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7709                                     ? "SCALAR" : "LVALUE");
7710         case SVt_PVAV:          return "ARRAY";
7711         case SVt_PVHV:          return "HASH";
7712         case SVt_PVCV:          return "CODE";
7713         case SVt_PVGV:          return "GLOB";
7714         case SVt_PVFM:          return "FORMAT";
7715         case SVt_PVIO:          return "IO";
7716         case SVt_BIND:          return "BIND";
7717         default:                return "UNKNOWN";
7718         }
7719     }
7720 }
7721
7722 /*
7723 =for apidoc sv_isobject
7724
7725 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7726 object.  If the SV is not an RV, or if the object is not blessed, then this
7727 will return false.
7728
7729 =cut
7730 */
7731
7732 int
7733 Perl_sv_isobject(pTHX_ SV *sv)
7734 {
7735     if (!sv)
7736         return 0;
7737     SvGETMAGIC(sv);
7738     if (!SvROK(sv))
7739         return 0;
7740     sv = (SV*)SvRV(sv);
7741     if (!SvOBJECT(sv))
7742         return 0;
7743     return 1;
7744 }
7745
7746 /*
7747 =for apidoc sv_isa
7748
7749 Returns a boolean indicating whether the SV is blessed into the specified
7750 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7751 an inheritance relationship.
7752
7753 =cut
7754 */
7755
7756 int
7757 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7758 {
7759     const char *hvname;
7760     if (!sv)
7761         return 0;
7762     SvGETMAGIC(sv);
7763     if (!SvROK(sv))
7764         return 0;
7765     sv = (SV*)SvRV(sv);
7766     if (!SvOBJECT(sv))
7767         return 0;
7768     hvname = HvNAME_get(SvSTASH(sv));
7769     if (!hvname)
7770         return 0;
7771
7772     return strEQ(hvname, name);
7773 }
7774
7775 /*
7776 =for apidoc newSVrv
7777
7778 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7779 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7780 be blessed in the specified package.  The new SV is returned and its
7781 reference count is 1.
7782
7783 =cut
7784 */
7785
7786 SV*
7787 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7788 {
7789     dVAR;
7790     SV *sv;
7791
7792     new_SV(sv);
7793
7794     SV_CHECK_THINKFIRST_COW_DROP(rv);
7795     (void)SvAMAGIC_off(rv);
7796
7797     if (SvTYPE(rv) >= SVt_PVMG) {
7798         const U32 refcnt = SvREFCNT(rv);
7799         SvREFCNT(rv) = 0;
7800         sv_clear(rv);
7801         SvFLAGS(rv) = 0;
7802         SvREFCNT(rv) = refcnt;
7803
7804         sv_upgrade(rv, SVt_RV);
7805     } else if (SvROK(rv)) {
7806         SvREFCNT_dec(SvRV(rv));
7807     } else if (SvTYPE(rv) < SVt_RV)
7808         sv_upgrade(rv, SVt_RV);
7809     else if (SvTYPE(rv) > SVt_RV) {
7810         SvPV_free(rv);
7811         SvCUR_set(rv, 0);
7812         SvLEN_set(rv, 0);
7813     }
7814
7815     SvOK_off(rv);
7816     SvRV_set(rv, sv);
7817     SvROK_on(rv);
7818
7819     if (classname) {
7820         HV* const stash = gv_stashpv(classname, GV_ADD);
7821         (void)sv_bless(rv, stash);
7822     }
7823     return sv;
7824 }
7825
7826 /*
7827 =for apidoc sv_setref_pv
7828
7829 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7830 argument will be upgraded to an RV.  That RV will be modified to point to
7831 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7832 into the SV.  The C<classname> argument indicates the package for the
7833 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7834 will have a reference count of 1, and the RV will be returned.
7835
7836 Do not use with other Perl types such as HV, AV, SV, CV, because those
7837 objects will become corrupted by the pointer copy process.
7838
7839 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7840
7841 =cut
7842 */
7843
7844 SV*
7845 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7846 {
7847     dVAR;
7848     if (!pv) {
7849         sv_setsv(rv, &PL_sv_undef);
7850         SvSETMAGIC(rv);
7851     }
7852     else
7853         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7854     return rv;
7855 }
7856
7857 /*
7858 =for apidoc sv_setref_iv
7859
7860 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7861 argument will be upgraded to an RV.  That RV will be modified to point to
7862 the new SV.  The C<classname> argument indicates the package for the
7863 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7864 will have a reference count of 1, and the RV will be returned.
7865
7866 =cut
7867 */
7868
7869 SV*
7870 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7871 {
7872     sv_setiv(newSVrv(rv,classname), iv);
7873     return rv;
7874 }
7875
7876 /*
7877 =for apidoc sv_setref_uv
7878
7879 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7880 argument will be upgraded to an RV.  That RV will be modified to point to
7881 the new SV.  The C<classname> argument indicates the package for the
7882 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7883 will have a reference count of 1, and the RV will be returned.
7884
7885 =cut
7886 */
7887
7888 SV*
7889 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7890 {
7891     sv_setuv(newSVrv(rv,classname), uv);
7892     return rv;
7893 }
7894
7895 /*
7896 =for apidoc sv_setref_nv
7897
7898 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7899 argument will be upgraded to an RV.  That RV will be modified to point to
7900 the new SV.  The C<classname> argument indicates the package for the
7901 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7902 will have a reference count of 1, and the RV will be returned.
7903
7904 =cut
7905 */
7906
7907 SV*
7908 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7909 {
7910     sv_setnv(newSVrv(rv,classname), nv);
7911     return rv;
7912 }
7913
7914 /*
7915 =for apidoc sv_setref_pvn
7916
7917 Copies a string into a new SV, optionally blessing the SV.  The length of the
7918 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7919 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7920 argument indicates the package for the blessing.  Set C<classname> to
7921 C<NULL> to avoid the blessing.  The new SV will have a reference count
7922 of 1, and the RV will be returned.
7923
7924 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7925
7926 =cut
7927 */
7928
7929 SV*
7930 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7931 {
7932     sv_setpvn(newSVrv(rv,classname), pv, n);
7933     return rv;
7934 }
7935
7936 /*
7937 =for apidoc sv_bless
7938
7939 Blesses an SV into a specified package.  The SV must be an RV.  The package
7940 must be designated by its stash (see C<gv_stashpv()>).  The reference count
7941 of the SV is unaffected.
7942
7943 =cut
7944 */
7945
7946 SV*
7947 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
7948 {
7949     dVAR;
7950     SV *tmpRef;
7951     if (!SvROK(sv))
7952         Perl_croak(aTHX_ "Can't bless non-reference value");
7953     tmpRef = SvRV(sv);
7954     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
7955         if (SvREADONLY(tmpRef))
7956             Perl_croak(aTHX_ PL_no_modify);
7957         if (SvOBJECT(tmpRef)) {
7958             if (SvTYPE(tmpRef) != SVt_PVIO)
7959                 --PL_sv_objcount;
7960             SvREFCNT_dec(SvSTASH(tmpRef));
7961         }
7962     }
7963     SvOBJECT_on(tmpRef);
7964     if (SvTYPE(tmpRef) != SVt_PVIO)
7965         ++PL_sv_objcount;
7966     SvUPGRADE(tmpRef, SVt_PVMG);
7967     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc_simple(stash));
7968
7969     if (Gv_AMG(stash))
7970         SvAMAGIC_on(sv);
7971     else
7972         (void)SvAMAGIC_off(sv);
7973
7974     if(SvSMAGICAL(tmpRef))
7975         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
7976             mg_set(tmpRef);
7977
7978
7979
7980     return sv;
7981 }
7982
7983 /* Downgrades a PVGV to a PVMG.
7984  */
7985
7986 STATIC void
7987 S_sv_unglob(pTHX_ SV *sv)
7988 {
7989     dVAR;
7990     void *xpvmg;
7991     HV *stash;
7992     SV * const temp = sv_newmortal();
7993
7994     assert(SvTYPE(sv) == SVt_PVGV);
7995     SvFAKE_off(sv);
7996     gv_efullname3(temp, (GV *) sv, "*");
7997
7998     if (GvGP(sv)) {
7999         if(GvCVu((GV*)sv) && (stash = GvSTASH((GV*)sv)) && HvNAME_get(stash))
8000             mro_method_changed_in(stash);
8001         gp_free((GV*)sv);
8002     }
8003     if (GvSTASH(sv)) {
8004         sv_del_backref((SV*)GvSTASH(sv), sv);
8005         GvSTASH(sv) = NULL;
8006     }
8007     GvMULTI_off(sv);
8008     if (GvNAME_HEK(sv)) {
8009         unshare_hek(GvNAME_HEK(sv));
8010     }
8011     isGV_with_GP_off(sv);
8012
8013     /* need to keep SvANY(sv) in the right arena */
8014     xpvmg = new_XPVMG();
8015     StructCopy(SvANY(sv), xpvmg, XPVMG);
8016     del_XPVGV(SvANY(sv));
8017     SvANY(sv) = xpvmg;
8018
8019     SvFLAGS(sv) &= ~SVTYPEMASK;
8020     SvFLAGS(sv) |= SVt_PVMG;
8021
8022     /* Intentionally not calling any local SET magic, as this isn't so much a
8023        set operation as merely an internal storage change.  */
8024     sv_setsv_flags(sv, temp, 0);
8025 }
8026
8027 /*
8028 =for apidoc sv_unref_flags
8029
8030 Unsets the RV status of the SV, and decrements the reference count of
8031 whatever was being referenced by the RV.  This can almost be thought of
8032 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8033 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8034 (otherwise the decrementing is conditional on the reference count being
8035 different from one or the reference being a readonly SV).
8036 See C<SvROK_off>.
8037
8038 =cut
8039 */
8040
8041 void
8042 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
8043 {
8044     SV* const target = SvRV(ref);
8045
8046     if (SvWEAKREF(ref)) {
8047         sv_del_backref(target, ref);
8048         SvWEAKREF_off(ref);
8049         SvRV_set(ref, NULL);
8050         return;
8051     }
8052     SvRV_set(ref, NULL);
8053     SvROK_off(ref);
8054     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8055        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8056     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8057         SvREFCNT_dec(target);
8058     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8059         sv_2mortal(target);     /* Schedule for freeing later */
8060 }
8061
8062 /*
8063 =for apidoc sv_untaint
8064
8065 Untaint an SV. Use C<SvTAINTED_off> instead.
8066 =cut
8067 */
8068
8069 void
8070 Perl_sv_untaint(pTHX_ SV *sv)
8071 {
8072     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8073         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8074         if (mg)
8075             mg->mg_len &= ~1;
8076     }
8077 }
8078
8079 /*
8080 =for apidoc sv_tainted
8081
8082 Test an SV for taintedness. Use C<SvTAINTED> instead.
8083 =cut
8084 */
8085
8086 bool
8087 Perl_sv_tainted(pTHX_ SV *sv)
8088 {
8089     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8090         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8091         if (mg && (mg->mg_len & 1) )
8092             return TRUE;
8093     }
8094     return FALSE;
8095 }
8096
8097 /*
8098 =for apidoc sv_setpviv
8099
8100 Copies an integer into the given SV, also updating its string value.
8101 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8102
8103 =cut
8104 */
8105
8106 void
8107 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
8108 {
8109     char buf[TYPE_CHARS(UV)];
8110     char *ebuf;
8111     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8112
8113     sv_setpvn(sv, ptr, ebuf - ptr);
8114 }
8115
8116 /*
8117 =for apidoc sv_setpviv_mg
8118
8119 Like C<sv_setpviv>, but also handles 'set' magic.
8120
8121 =cut
8122 */
8123
8124 void
8125 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
8126 {
8127     sv_setpviv(sv, iv);
8128     SvSETMAGIC(sv);
8129 }
8130
8131 #if defined(PERL_IMPLICIT_CONTEXT)
8132
8133 /* pTHX_ magic can't cope with varargs, so this is a no-context
8134  * version of the main function, (which may itself be aliased to us).
8135  * Don't access this version directly.
8136  */
8137
8138 void
8139 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
8140 {
8141     dTHX;
8142     va_list args;
8143     va_start(args, pat);
8144     sv_vsetpvf(sv, pat, &args);
8145     va_end(args);
8146 }
8147
8148 /* pTHX_ magic can't cope with varargs, so this is a no-context
8149  * version of the main function, (which may itself be aliased to us).
8150  * Don't access this version directly.
8151  */
8152
8153 void
8154 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
8155 {
8156     dTHX;
8157     va_list args;
8158     va_start(args, pat);
8159     sv_vsetpvf_mg(sv, pat, &args);
8160     va_end(args);
8161 }
8162 #endif
8163
8164 /*
8165 =for apidoc sv_setpvf
8166
8167 Works like C<sv_catpvf> but copies the text into the SV instead of
8168 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8169
8170 =cut
8171 */
8172
8173 void
8174 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
8175 {
8176     va_list args;
8177     va_start(args, pat);
8178     sv_vsetpvf(sv, pat, &args);
8179     va_end(args);
8180 }
8181
8182 /*
8183 =for apidoc sv_vsetpvf
8184
8185 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8186 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8187
8188 Usually used via its frontend C<sv_setpvf>.
8189
8190 =cut
8191 */
8192
8193 void
8194 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8195 {
8196     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8197 }
8198
8199 /*
8200 =for apidoc sv_setpvf_mg
8201
8202 Like C<sv_setpvf>, but also handles 'set' magic.
8203
8204 =cut
8205 */
8206
8207 void
8208 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8209 {
8210     va_list args;
8211     va_start(args, pat);
8212     sv_vsetpvf_mg(sv, pat, &args);
8213     va_end(args);
8214 }
8215
8216 /*
8217 =for apidoc sv_vsetpvf_mg
8218
8219 Like C<sv_vsetpvf>, but also handles 'set' magic.
8220
8221 Usually used via its frontend C<sv_setpvf_mg>.
8222
8223 =cut
8224 */
8225
8226 void
8227 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8228 {
8229     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8230     SvSETMAGIC(sv);
8231 }
8232
8233 #if defined(PERL_IMPLICIT_CONTEXT)
8234
8235 /* pTHX_ magic can't cope with varargs, so this is a no-context
8236  * version of the main function, (which may itself be aliased to us).
8237  * Don't access this version directly.
8238  */
8239
8240 void
8241 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
8242 {
8243     dTHX;
8244     va_list args;
8245     va_start(args, pat);
8246     sv_vcatpvf(sv, pat, &args);
8247     va_end(args);
8248 }
8249
8250 /* pTHX_ magic can't cope with varargs, so this is a no-context
8251  * version of the main function, (which may itself be aliased to us).
8252  * Don't access this version directly.
8253  */
8254
8255 void
8256 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
8257 {
8258     dTHX;
8259     va_list args;
8260     va_start(args, pat);
8261     sv_vcatpvf_mg(sv, pat, &args);
8262     va_end(args);
8263 }
8264 #endif
8265
8266 /*
8267 =for apidoc sv_catpvf
8268
8269 Processes its arguments like C<sprintf> and appends the formatted
8270 output to an SV.  If the appended data contains "wide" characters
8271 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
8272 and characters >255 formatted with %c), the original SV might get
8273 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
8274 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
8275 valid UTF-8; if the original SV was bytes, the pattern should be too.
8276
8277 =cut */
8278
8279 void
8280 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
8281 {
8282     va_list args;
8283     va_start(args, pat);
8284     sv_vcatpvf(sv, pat, &args);
8285     va_end(args);
8286 }
8287
8288 /*
8289 =for apidoc sv_vcatpvf
8290
8291 Processes its arguments like C<vsprintf> and appends the formatted output
8292 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
8293
8294 Usually used via its frontend C<sv_catpvf>.
8295
8296 =cut
8297 */
8298
8299 void
8300 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8301 {
8302     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8303 }
8304
8305 /*
8306 =for apidoc sv_catpvf_mg
8307
8308 Like C<sv_catpvf>, but also handles 'set' magic.
8309
8310 =cut
8311 */
8312
8313 void
8314 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8315 {
8316     va_list args;
8317     va_start(args, pat);
8318     sv_vcatpvf_mg(sv, pat, &args);
8319     va_end(args);
8320 }
8321
8322 /*
8323 =for apidoc sv_vcatpvf_mg
8324
8325 Like C<sv_vcatpvf>, but also handles 'set' magic.
8326
8327 Usually used via its frontend C<sv_catpvf_mg>.
8328
8329 =cut
8330 */
8331
8332 void
8333 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8334 {
8335     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8336     SvSETMAGIC(sv);
8337 }
8338
8339 /*
8340 =for apidoc sv_vsetpvfn
8341
8342 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
8343 appending it.
8344
8345 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
8346
8347 =cut
8348 */
8349
8350 void
8351 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8352 {
8353     sv_setpvn(sv, "", 0);
8354     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
8355 }
8356
8357 STATIC I32
8358 S_expect_number(pTHX_ char** pattern)
8359 {
8360     dVAR;
8361     I32 var = 0;
8362     switch (**pattern) {
8363     case '1': case '2': case '3':
8364     case '4': case '5': case '6':
8365     case '7': case '8': case '9':
8366         var = *(*pattern)++ - '0';
8367         while (isDIGIT(**pattern)) {
8368             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
8369             if (tmp < var)
8370                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
8371             var = tmp;
8372         }
8373     }
8374     return var;
8375 }
8376
8377 STATIC char *
8378 S_F0convert(NV nv, char *endbuf, STRLEN *len)
8379 {
8380     const int neg = nv < 0;
8381     UV uv;
8382
8383     if (neg)
8384         nv = -nv;
8385     if (nv < UV_MAX) {
8386         char *p = endbuf;
8387         nv += 0.5;
8388         uv = (UV)nv;
8389         if (uv & 1 && uv == nv)
8390             uv--;                       /* Round to even */
8391         do {
8392             const unsigned dig = uv % 10;
8393             *--p = '0' + dig;
8394         } while (uv /= 10);
8395         if (neg)
8396             *--p = '-';
8397         *len = endbuf - p;
8398         return p;
8399     }
8400     return NULL;
8401 }
8402
8403
8404 /*
8405 =for apidoc sv_vcatpvfn
8406
8407 Processes its arguments like C<vsprintf> and appends the formatted output
8408 to an SV.  Uses an array of SVs if the C style variable argument list is
8409 missing (NULL).  When running with taint checks enabled, indicates via
8410 C<maybe_tainted> if results are untrustworthy (often due to the use of
8411 locales).
8412
8413 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
8414
8415 =cut
8416 */
8417
8418
8419 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
8420                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
8421                         vec_utf8 = DO_UTF8(vecsv);
8422
8423 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
8424
8425 void
8426 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8427 {
8428     dVAR;
8429     char *p;
8430     char *q;
8431     const char *patend;
8432     STRLEN origlen;
8433     I32 svix = 0;
8434     static const char nullstr[] = "(null)";
8435     SV *argsv = NULL;
8436     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
8437     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
8438     SV *nsv = NULL;
8439     /* Times 4: a decimal digit takes more than 3 binary digits.
8440      * NV_DIG: mantissa takes than many decimal digits.
8441      * Plus 32: Playing safe. */
8442     char ebuf[IV_DIG * 4 + NV_DIG + 32];
8443     /* large enough for "%#.#f" --chip */
8444     /* what about long double NVs? --jhi */
8445
8446     PERL_UNUSED_ARG(maybe_tainted);
8447
8448     /* no matter what, this is a string now */
8449     (void)SvPV_force(sv, origlen);
8450
8451     /* special-case "", "%s", and "%-p" (SVf - see below) */
8452     if (patlen == 0)
8453         return;
8454     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
8455         if (args) {
8456             const char * const s = va_arg(*args, char*);
8457             sv_catpv(sv, s ? s : nullstr);
8458         }
8459         else if (svix < svmax) {
8460             sv_catsv(sv, *svargs);
8461         }
8462         return;
8463     }
8464     if (args && patlen == 3 && pat[0] == '%' &&
8465                 pat[1] == '-' && pat[2] == 'p') {
8466         argsv = (SV*)va_arg(*args, void*);
8467         sv_catsv(sv, argsv);
8468         return;
8469     }
8470
8471 #ifndef USE_LONG_DOUBLE
8472     /* special-case "%.<number>[gf]" */
8473     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
8474          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
8475         unsigned digits = 0;
8476         const char *pp;
8477
8478         pp = pat + 2;
8479         while (*pp >= '0' && *pp <= '9')
8480             digits = 10 * digits + (*pp++ - '0');
8481         if (pp - pat == (int)patlen - 1) {
8482             NV nv;
8483
8484             if (svix < svmax)
8485                 nv = SvNV(*svargs);
8486             else
8487                 return;
8488             if (*pp == 'g') {
8489                 /* Add check for digits != 0 because it seems that some
8490                    gconverts are buggy in this case, and we don't yet have
8491                    a Configure test for this.  */
8492                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
8493                      /* 0, point, slack */
8494                     Gconvert(nv, (int)digits, 0, ebuf);
8495                     sv_catpv(sv, ebuf);
8496                     if (*ebuf)  /* May return an empty string for digits==0 */
8497                         return;
8498                 }
8499             } else if (!digits) {
8500                 STRLEN l;
8501
8502                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
8503                     sv_catpvn(sv, p, l);
8504                     return;
8505                 }
8506             }
8507         }
8508     }
8509 #endif /* !USE_LONG_DOUBLE */
8510
8511     if (!args && svix < svmax && DO_UTF8(*svargs))
8512         has_utf8 = TRUE;
8513
8514     patend = (char*)pat + patlen;
8515     for (p = (char*)pat; p < patend; p = q) {
8516         bool alt = FALSE;
8517         bool left = FALSE;
8518         bool vectorize = FALSE;
8519         bool vectorarg = FALSE;
8520         bool vec_utf8 = FALSE;
8521         char fill = ' ';
8522         char plus = 0;
8523         char intsize = 0;
8524         STRLEN width = 0;
8525         STRLEN zeros = 0;
8526         bool has_precis = FALSE;
8527         STRLEN precis = 0;
8528         const I32 osvix = svix;
8529         bool is_utf8 = FALSE;  /* is this item utf8?   */
8530 #ifdef HAS_LDBL_SPRINTF_BUG
8531         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8532            with sfio - Allen <allens@cpan.org> */
8533         bool fix_ldbl_sprintf_bug = FALSE;
8534 #endif
8535
8536         char esignbuf[4];
8537         U8 utf8buf[UTF8_MAXBYTES+1];
8538         STRLEN esignlen = 0;
8539
8540         const char *eptr = NULL;
8541         STRLEN elen = 0;
8542         SV *vecsv = NULL;
8543         const U8 *vecstr = NULL;
8544         STRLEN veclen = 0;
8545         char c = 0;
8546         int i;
8547         unsigned base = 0;
8548         IV iv = 0;
8549         UV uv = 0;
8550         /* we need a long double target in case HAS_LONG_DOUBLE but
8551            not USE_LONG_DOUBLE
8552         */
8553 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
8554         long double nv;
8555 #else
8556         NV nv;
8557 #endif
8558         STRLEN have;
8559         STRLEN need;
8560         STRLEN gap;
8561         const char *dotstr = ".";
8562         STRLEN dotstrlen = 1;
8563         I32 efix = 0; /* explicit format parameter index */
8564         I32 ewix = 0; /* explicit width index */
8565         I32 epix = 0; /* explicit precision index */
8566         I32 evix = 0; /* explicit vector index */
8567         bool asterisk = FALSE;
8568
8569         /* echo everything up to the next format specification */
8570         for (q = p; q < patend && *q != '%'; ++q) ;
8571         if (q > p) {
8572             if (has_utf8 && !pat_utf8)
8573                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
8574             else
8575                 sv_catpvn(sv, p, q - p);
8576             p = q;
8577         }
8578         if (q++ >= patend)
8579             break;
8580
8581 /*
8582     We allow format specification elements in this order:
8583         \d+\$              explicit format parameter index
8584         [-+ 0#]+           flags
8585         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8586         0                  flag (as above): repeated to allow "v02"     
8587         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8588         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8589         [hlqLV]            size
8590     [%bcdefginopsuxDFOUX] format (mandatory)
8591 */
8592
8593         if (args) {
8594 /*  
8595         As of perl5.9.3, printf format checking is on by default.
8596         Internally, perl uses %p formats to provide an escape to
8597         some extended formatting.  This block deals with those
8598         extensions: if it does not match, (char*)q is reset and
8599         the normal format processing code is used.
8600
8601         Currently defined extensions are:
8602                 %p              include pointer address (standard)      
8603                 %-p     (SVf)   include an SV (previously %_)
8604                 %-<num>p        include an SV with precision <num>      
8605                 %1p     (VDf)   include a v-string (as %vd)
8606                 %<num>p         reserved for future extensions
8607
8608         Robin Barker 2005-07-14
8609 */
8610             char* r = q; 
8611             bool sv = FALSE;    
8612             STRLEN n = 0;
8613             if (*q == '-')
8614                 sv = *q++;
8615             n = expect_number(&q);
8616             if (*q++ == 'p') {
8617                 if (sv) {                       /* SVf */
8618                     if (n) {
8619                         precis = n;
8620                         has_precis = TRUE;
8621                     }
8622                     argsv = (SV*)va_arg(*args, void*);
8623                     eptr = SvPV_const(argsv, elen);
8624                     if (DO_UTF8(argsv))
8625                         is_utf8 = TRUE;
8626                     goto string;
8627                 }
8628 #if vdNUMBER
8629                 else if (n == vdNUMBER) {       /* VDf */
8630                     vectorize = TRUE;
8631                     VECTORIZE_ARGS
8632                     goto format_vd;
8633                 }
8634 #endif
8635                 else if (n) {
8636                     if (ckWARN_d(WARN_INTERNAL))
8637                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8638                         "internal %%<num>p might conflict with future printf extensions");
8639                 }
8640             }
8641             q = r; 
8642         }
8643
8644         if ( (width = expect_number(&q)) ) {
8645             if (*q == '$') {
8646                 ++q;
8647                 efix = width;
8648             } else {
8649                 goto gotwidth;
8650             }
8651         }
8652
8653         /* FLAGS */
8654
8655         while (*q) {
8656             switch (*q) {
8657             case ' ':
8658             case '+':
8659                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
8660                     q++;
8661                 else
8662                     plus = *q++;
8663                 continue;
8664
8665             case '-':
8666                 left = TRUE;
8667                 q++;
8668                 continue;
8669
8670             case '0':
8671                 fill = *q++;
8672                 continue;
8673
8674             case '#':
8675                 alt = TRUE;
8676                 q++;
8677                 continue;
8678
8679             default:
8680                 break;
8681             }
8682             break;
8683         }
8684
8685       tryasterisk:
8686         if (*q == '*') {
8687             q++;
8688             if ( (ewix = expect_number(&q)) )
8689                 if (*q++ != '$')
8690                     goto unknown;
8691             asterisk = TRUE;
8692         }
8693         if (*q == 'v') {
8694             q++;
8695             if (vectorize)
8696                 goto unknown;
8697             if ((vectorarg = asterisk)) {
8698                 evix = ewix;
8699                 ewix = 0;
8700                 asterisk = FALSE;
8701             }
8702             vectorize = TRUE;
8703             goto tryasterisk;
8704         }
8705
8706         if (!asterisk)
8707         {
8708             if( *q == '0' )
8709                 fill = *q++;
8710             width = expect_number(&q);
8711         }
8712
8713         if (vectorize) {
8714             if (vectorarg) {
8715                 if (args)
8716                     vecsv = va_arg(*args, SV*);
8717                 else if (evix) {
8718                     vecsv = (evix > 0 && evix <= svmax)
8719                         ? svargs[evix-1] : &PL_sv_undef;
8720                 } else {
8721                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
8722                 }
8723                 dotstr = SvPV_const(vecsv, dotstrlen);
8724                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
8725                    bad with tied or overloaded values that return UTF8.  */
8726                 if (DO_UTF8(vecsv))
8727                     is_utf8 = TRUE;
8728                 else if (has_utf8) {
8729                     vecsv = sv_mortalcopy(vecsv);
8730                     sv_utf8_upgrade(vecsv);
8731                     dotstr = SvPV_const(vecsv, dotstrlen);
8732                     is_utf8 = TRUE;
8733                 }                   
8734             }
8735             if (args) {
8736                 VECTORIZE_ARGS
8737             }
8738             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
8739                 vecsv = svargs[efix ? efix-1 : svix++];
8740                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8741                 vec_utf8 = DO_UTF8(vecsv);
8742
8743                 /* if this is a version object, we need to convert
8744                  * back into v-string notation and then let the
8745                  * vectorize happen normally
8746                  */
8747                 if (sv_derived_from(vecsv, "version")) {
8748                     char *version = savesvpv(vecsv);
8749                     if ( hv_exists((HV*)SvRV(vecsv), "alpha", 5 ) ) {
8750                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8751                         "vector argument not supported with alpha versions");
8752                         goto unknown;
8753                     }
8754                     vecsv = sv_newmortal();
8755                     scan_vstring(version, version + veclen, vecsv);
8756                     vecstr = (U8*)SvPV_const(vecsv, veclen);
8757                     vec_utf8 = DO_UTF8(vecsv);
8758                     Safefree(version);
8759                 }
8760             }
8761             else {
8762                 vecstr = (U8*)"";
8763                 veclen = 0;
8764             }
8765         }
8766
8767         if (asterisk) {
8768             if (args)
8769                 i = va_arg(*args, int);
8770             else
8771                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8772                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8773             left |= (i < 0);
8774             width = (i < 0) ? -i : i;
8775         }
8776       gotwidth:
8777
8778         /* PRECISION */
8779
8780         if (*q == '.') {
8781             q++;
8782             if (*q == '*') {
8783                 q++;
8784                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
8785                     goto unknown;
8786                 /* XXX: todo, support specified precision parameter */
8787                 if (epix)
8788                     goto unknown;
8789                 if (args)
8790                     i = va_arg(*args, int);
8791                 else
8792                     i = (ewix ? ewix <= svmax : svix < svmax)
8793                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8794                 precis = i;
8795                 has_precis = !(i < 0);
8796             }
8797             else {
8798                 precis = 0;
8799                 while (isDIGIT(*q))
8800                     precis = precis * 10 + (*q++ - '0');
8801                 has_precis = TRUE;
8802             }
8803         }
8804
8805         /* SIZE */
8806
8807         switch (*q) {
8808 #ifdef WIN32
8809         case 'I':                       /* Ix, I32x, and I64x */
8810 #  ifdef WIN64
8811             if (q[1] == '6' && q[2] == '4') {
8812                 q += 3;
8813                 intsize = 'q';
8814                 break;
8815             }
8816 #  endif
8817             if (q[1] == '3' && q[2] == '2') {
8818                 q += 3;
8819                 break;
8820             }
8821 #  ifdef WIN64
8822             intsize = 'q';
8823 #  endif
8824             q++;
8825             break;
8826 #endif
8827 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8828         case 'L':                       /* Ld */
8829             /*FALLTHROUGH*/
8830 #ifdef HAS_QUAD
8831         case 'q':                       /* qd */
8832 #endif
8833             intsize = 'q';
8834             q++;
8835             break;
8836 #endif
8837         case 'l':
8838 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8839             if (*(q + 1) == 'l') {      /* lld, llf */
8840                 intsize = 'q';
8841                 q += 2;
8842                 break;
8843              }
8844 #endif
8845             /*FALLTHROUGH*/
8846         case 'h':
8847             /*FALLTHROUGH*/
8848         case 'V':
8849             intsize = *q++;
8850             break;
8851         }
8852
8853         /* CONVERSION */
8854
8855         if (*q == '%') {
8856             eptr = q++;
8857             elen = 1;
8858             if (vectorize) {
8859                 c = '%';
8860                 goto unknown;
8861             }
8862             goto string;
8863         }
8864
8865         if (!vectorize && !args) {
8866             if (efix) {
8867                 const I32 i = efix-1;
8868                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8869             } else {
8870                 argsv = (svix >= 0 && svix < svmax)
8871                     ? svargs[svix++] : &PL_sv_undef;
8872             }
8873         }
8874
8875         switch (c = *q++) {
8876
8877             /* STRINGS */
8878
8879         case 'c':
8880             if (vectorize)
8881                 goto unknown;
8882             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
8883             if ((uv > 255 ||
8884                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8885                 && !IN_BYTES) {
8886                 eptr = (char*)utf8buf;
8887                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8888                 is_utf8 = TRUE;
8889             }
8890             else {
8891                 c = (char)uv;
8892                 eptr = &c;
8893                 elen = 1;
8894             }
8895             goto string;
8896
8897         case 's':
8898             if (vectorize)
8899                 goto unknown;
8900             if (args) {
8901                 eptr = va_arg(*args, char*);
8902                 if (eptr)
8903 #ifdef MACOS_TRADITIONAL
8904                   /* On MacOS, %#s format is used for Pascal strings */
8905                   if (alt)
8906                     elen = *eptr++;
8907                   else
8908 #endif
8909                     elen = strlen(eptr);
8910                 else {
8911                     eptr = (char *)nullstr;
8912                     elen = sizeof nullstr - 1;
8913                 }
8914             }
8915             else {
8916                 eptr = SvPV_const(argsv, elen);
8917                 if (DO_UTF8(argsv)) {
8918                     I32 old_precis = precis;
8919                     if (has_precis && precis < elen) {
8920                         I32 p = precis;
8921                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8922                         precis = p;
8923                     }
8924                     if (width) { /* fudge width (can't fudge elen) */
8925                         if (has_precis && precis < elen)
8926                             width += precis - old_precis;
8927                         else
8928                             width += elen - sv_len_utf8(argsv);
8929                     }
8930                     is_utf8 = TRUE;
8931                 }
8932             }
8933
8934         string:
8935             if (has_precis && elen > precis)
8936                 elen = precis;
8937             break;
8938
8939             /* INTEGERS */
8940
8941         case 'p':
8942             if (alt || vectorize)
8943                 goto unknown;
8944             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
8945             base = 16;
8946             goto integer;
8947
8948         case 'D':
8949 #ifdef IV_IS_QUAD
8950             intsize = 'q';
8951 #else
8952             intsize = 'l';
8953 #endif
8954             /*FALLTHROUGH*/
8955         case 'd':
8956         case 'i':
8957 #if vdNUMBER
8958         format_vd:
8959 #endif
8960             if (vectorize) {
8961                 STRLEN ulen;
8962                 if (!veclen)
8963                     continue;
8964                 if (vec_utf8)
8965                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8966                                         UTF8_ALLOW_ANYUV);
8967                 else {
8968                     uv = *vecstr;
8969                     ulen = 1;
8970                 }
8971                 vecstr += ulen;
8972                 veclen -= ulen;
8973                 if (plus)
8974                      esignbuf[esignlen++] = plus;
8975             }
8976             else if (args) {
8977                 switch (intsize) {
8978                 case 'h':       iv = (short)va_arg(*args, int); break;
8979                 case 'l':       iv = va_arg(*args, long); break;
8980                 case 'V':       iv = va_arg(*args, IV); break;
8981                 default:        iv = va_arg(*args, int); break;
8982 #ifdef HAS_QUAD
8983                 case 'q':       iv = va_arg(*args, Quad_t); break;
8984 #endif
8985                 }
8986             }
8987             else {
8988                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
8989                 switch (intsize) {
8990                 case 'h':       iv = (short)tiv; break;
8991                 case 'l':       iv = (long)tiv; break;
8992                 case 'V':
8993                 default:        iv = tiv; break;
8994 #ifdef HAS_QUAD
8995                 case 'q':       iv = (Quad_t)tiv; break;
8996 #endif
8997                 }
8998             }
8999             if ( !vectorize )   /* we already set uv above */
9000             {
9001                 if (iv >= 0) {
9002                     uv = iv;
9003                     if (plus)
9004                         esignbuf[esignlen++] = plus;
9005                 }
9006                 else {
9007                     uv = -iv;
9008                     esignbuf[esignlen++] = '-';
9009                 }
9010             }
9011             base = 10;
9012             goto integer;
9013
9014         case 'U':
9015 #ifdef IV_IS_QUAD
9016             intsize = 'q';
9017 #else
9018             intsize = 'l';
9019 #endif
9020             /*FALLTHROUGH*/
9021         case 'u':
9022             base = 10;
9023             goto uns_integer;
9024
9025         case 'B':
9026         case 'b':
9027             base = 2;
9028             goto uns_integer;
9029
9030         case 'O':
9031 #ifdef IV_IS_QUAD
9032             intsize = 'q';
9033 #else
9034             intsize = 'l';
9035 #endif
9036             /*FALLTHROUGH*/
9037         case 'o':
9038             base = 8;
9039             goto uns_integer;
9040
9041         case 'X':
9042         case 'x':
9043             base = 16;
9044
9045         uns_integer:
9046             if (vectorize) {
9047                 STRLEN ulen;
9048         vector:
9049                 if (!veclen)
9050                     continue;
9051                 if (vec_utf8)
9052                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9053                                         UTF8_ALLOW_ANYUV);
9054                 else {
9055                     uv = *vecstr;
9056                     ulen = 1;
9057                 }
9058                 vecstr += ulen;
9059                 veclen -= ulen;
9060             }
9061             else if (args) {
9062                 switch (intsize) {
9063                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9064                 case 'l':  uv = va_arg(*args, unsigned long); break;
9065                 case 'V':  uv = va_arg(*args, UV); break;
9066                 default:   uv = va_arg(*args, unsigned); break;
9067 #ifdef HAS_QUAD
9068                 case 'q':  uv = va_arg(*args, Uquad_t); break;
9069 #endif
9070                 }
9071             }
9072             else {
9073                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9074                 switch (intsize) {
9075                 case 'h':       uv = (unsigned short)tuv; break;
9076                 case 'l':       uv = (unsigned long)tuv; break;
9077                 case 'V':
9078                 default:        uv = tuv; break;
9079 #ifdef HAS_QUAD
9080                 case 'q':       uv = (Uquad_t)tuv; break;
9081 #endif
9082                 }
9083             }
9084
9085         integer:
9086             {
9087                 char *ptr = ebuf + sizeof ebuf;
9088                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9089                 zeros = 0;
9090
9091                 switch (base) {
9092                     unsigned dig;
9093                 case 16:
9094                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9095                     do {
9096                         dig = uv & 15;
9097                         *--ptr = p[dig];
9098                     } while (uv >>= 4);
9099                     if (tempalt) {
9100                         esignbuf[esignlen++] = '0';
9101                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9102                     }
9103                     break;
9104                 case 8:
9105                     do {
9106                         dig = uv & 7;
9107                         *--ptr = '0' + dig;
9108                     } while (uv >>= 3);
9109                     if (alt && *ptr != '0')
9110                         *--ptr = '0';
9111                     break;
9112                 case 2:
9113                     do {
9114                         dig = uv & 1;
9115                         *--ptr = '0' + dig;
9116                     } while (uv >>= 1);
9117                     if (tempalt) {
9118                         esignbuf[esignlen++] = '0';
9119                         esignbuf[esignlen++] = c;
9120                     }
9121                     break;
9122                 default:                /* it had better be ten or less */
9123                     do {
9124                         dig = uv % base;
9125                         *--ptr = '0' + dig;
9126                     } while (uv /= base);
9127                     break;
9128                 }
9129                 elen = (ebuf + sizeof ebuf) - ptr;
9130                 eptr = ptr;
9131                 if (has_precis) {
9132                     if (precis > elen)
9133                         zeros = precis - elen;
9134                     else if (precis == 0 && elen == 1 && *eptr == '0'
9135                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9136                         elen = 0;
9137
9138                 /* a precision nullifies the 0 flag. */
9139                     if (fill == '0')
9140                         fill = ' ';
9141                 }
9142             }
9143             break;
9144
9145             /* FLOATING POINT */
9146
9147         case 'F':
9148             c = 'f';            /* maybe %F isn't supported here */
9149             /*FALLTHROUGH*/
9150         case 'e': case 'E':
9151         case 'f':
9152         case 'g': case 'G':
9153             if (vectorize)
9154                 goto unknown;
9155
9156             /* This is evil, but floating point is even more evil */
9157
9158             /* for SV-style calling, we can only get NV
9159                for C-style calling, we assume %f is double;
9160                for simplicity we allow any of %Lf, %llf, %qf for long double
9161             */
9162             switch (intsize) {
9163             case 'V':
9164 #if defined(USE_LONG_DOUBLE)
9165                 intsize = 'q';
9166 #endif
9167                 break;
9168 /* [perl #20339] - we should accept and ignore %lf rather than die */
9169             case 'l':
9170                 /*FALLTHROUGH*/
9171             default:
9172 #if defined(USE_LONG_DOUBLE)
9173                 intsize = args ? 0 : 'q';
9174 #endif
9175                 break;
9176             case 'q':
9177 #if defined(HAS_LONG_DOUBLE)
9178                 break;
9179 #else
9180                 /*FALLTHROUGH*/
9181 #endif
9182             case 'h':
9183                 goto unknown;
9184             }
9185
9186             /* now we need (long double) if intsize == 'q', else (double) */
9187             nv = (args) ?
9188 #if LONG_DOUBLESIZE > DOUBLESIZE
9189                 intsize == 'q' ?
9190                     va_arg(*args, long double) :
9191                     va_arg(*args, double)
9192 #else
9193                     va_arg(*args, double)
9194 #endif
9195                 : SvNV(argsv);
9196
9197             need = 0;
9198             if (c != 'e' && c != 'E') {
9199                 i = PERL_INT_MIN;
9200                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
9201                    will cast our (long double) to (double) */
9202                 (void)Perl_frexp(nv, &i);
9203                 if (i == PERL_INT_MIN)
9204                     Perl_die(aTHX_ "panic: frexp");
9205                 if (i > 0)
9206                     need = BIT_DIGITS(i);
9207             }
9208             need += has_precis ? precis : 6; /* known default */
9209
9210             if (need < width)
9211                 need = width;
9212
9213 #ifdef HAS_LDBL_SPRINTF_BUG
9214             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9215                with sfio - Allen <allens@cpan.org> */
9216
9217 #  ifdef DBL_MAX
9218 #    define MY_DBL_MAX DBL_MAX
9219 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
9220 #    if DOUBLESIZE >= 8
9221 #      define MY_DBL_MAX 1.7976931348623157E+308L
9222 #    else
9223 #      define MY_DBL_MAX 3.40282347E+38L
9224 #    endif
9225 #  endif
9226
9227 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
9228 #    define MY_DBL_MAX_BUG 1L
9229 #  else
9230 #    define MY_DBL_MAX_BUG MY_DBL_MAX
9231 #  endif
9232
9233 #  ifdef DBL_MIN
9234 #    define MY_DBL_MIN DBL_MIN
9235 #  else  /* XXX guessing! -Allen */
9236 #    if DOUBLESIZE >= 8
9237 #      define MY_DBL_MIN 2.2250738585072014E-308L
9238 #    else
9239 #      define MY_DBL_MIN 1.17549435E-38L
9240 #    endif
9241 #  endif
9242
9243             if ((intsize == 'q') && (c == 'f') &&
9244                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
9245                 (need < DBL_DIG)) {
9246                 /* it's going to be short enough that
9247                  * long double precision is not needed */
9248
9249                 if ((nv <= 0L) && (nv >= -0L))
9250                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
9251                 else {
9252                     /* would use Perl_fp_class as a double-check but not
9253                      * functional on IRIX - see perl.h comments */
9254
9255                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
9256                         /* It's within the range that a double can represent */
9257 #if defined(DBL_MAX) && !defined(DBL_MIN)
9258                         if ((nv >= ((long double)1/DBL_MAX)) ||
9259                             (nv <= (-(long double)1/DBL_MAX)))
9260 #endif
9261                         fix_ldbl_sprintf_bug = TRUE;
9262                     }
9263                 }
9264                 if (fix_ldbl_sprintf_bug == TRUE) {
9265                     double temp;
9266
9267                     intsize = 0;
9268                     temp = (double)nv;
9269                     nv = (NV)temp;
9270                 }
9271             }
9272
9273 #  undef MY_DBL_MAX
9274 #  undef MY_DBL_MAX_BUG
9275 #  undef MY_DBL_MIN
9276
9277 #endif /* HAS_LDBL_SPRINTF_BUG */
9278
9279             need += 20; /* fudge factor */
9280             if (PL_efloatsize < need) {
9281                 Safefree(PL_efloatbuf);
9282                 PL_efloatsize = need + 20; /* more fudge */
9283                 Newx(PL_efloatbuf, PL_efloatsize, char);
9284                 PL_efloatbuf[0] = '\0';
9285             }
9286
9287             if ( !(width || left || plus || alt) && fill != '0'
9288                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
9289                 /* See earlier comment about buggy Gconvert when digits,
9290                    aka precis is 0  */
9291                 if ( c == 'g' && precis) {
9292                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
9293                     /* May return an empty string for digits==0 */
9294                     if (*PL_efloatbuf) {
9295                         elen = strlen(PL_efloatbuf);
9296                         goto float_converted;
9297                     }
9298                 } else if ( c == 'f' && !precis) {
9299                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
9300                         break;
9301                 }
9302             }
9303             {
9304                 char *ptr = ebuf + sizeof ebuf;
9305                 *--ptr = '\0';
9306                 *--ptr = c;
9307                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
9308 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
9309                 if (intsize == 'q') {
9310                     /* Copy the one or more characters in a long double
9311                      * format before the 'base' ([efgEFG]) character to
9312                      * the format string. */
9313                     static char const prifldbl[] = PERL_PRIfldbl;
9314                     char const *p = prifldbl + sizeof(prifldbl) - 3;
9315                     while (p >= prifldbl) { *--ptr = *p--; }
9316                 }
9317 #endif
9318                 if (has_precis) {
9319                     base = precis;
9320                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9321                     *--ptr = '.';
9322                 }
9323                 if (width) {
9324                     base = width;
9325                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9326                 }
9327                 if (fill == '0')
9328                     *--ptr = fill;
9329                 if (left)
9330                     *--ptr = '-';
9331                 if (plus)
9332                     *--ptr = plus;
9333                 if (alt)
9334                     *--ptr = '#';
9335                 *--ptr = '%';
9336
9337                 /* No taint.  Otherwise we are in the strange situation
9338                  * where printf() taints but print($float) doesn't.
9339                  * --jhi */
9340 #if defined(HAS_LONG_DOUBLE)
9341                 elen = ((intsize == 'q')
9342                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
9343                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
9344 #else
9345                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
9346 #endif
9347             }
9348         float_converted:
9349             eptr = PL_efloatbuf;
9350             break;
9351
9352             /* SPECIAL */
9353
9354         case 'n':
9355             if (vectorize)
9356                 goto unknown;
9357             i = SvCUR(sv) - origlen;
9358             if (args) {
9359                 switch (intsize) {
9360                 case 'h':       *(va_arg(*args, short*)) = i; break;
9361                 default:        *(va_arg(*args, int*)) = i; break;
9362                 case 'l':       *(va_arg(*args, long*)) = i; break;
9363                 case 'V':       *(va_arg(*args, IV*)) = i; break;
9364 #ifdef HAS_QUAD
9365                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
9366 #endif
9367                 }
9368             }
9369             else
9370                 sv_setuv_mg(argsv, (UV)i);
9371             continue;   /* not "break" */
9372
9373             /* UNKNOWN */
9374
9375         default:
9376       unknown:
9377             if (!args
9378                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
9379                 && ckWARN(WARN_PRINTF))
9380             {
9381                 SV * const msg = sv_newmortal();
9382                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
9383                           (PL_op->op_type == OP_PRTF) ? "" : "s");
9384                 if (c) {
9385                     if (isPRINT(c))
9386                         Perl_sv_catpvf(aTHX_ msg,
9387                                        "\"%%%c\"", c & 0xFF);
9388                     else
9389                         Perl_sv_catpvf(aTHX_ msg,
9390                                        "\"%%\\%03"UVof"\"",
9391                                        (UV)c & 0xFF);
9392                 } else
9393                     sv_catpvs(msg, "end of string");
9394                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
9395             }
9396
9397             /* output mangled stuff ... */
9398             if (c == '\0')
9399                 --q;
9400             eptr = p;
9401             elen = q - p;
9402
9403             /* ... right here, because formatting flags should not apply */
9404             SvGROW(sv, SvCUR(sv) + elen + 1);
9405             p = SvEND(sv);
9406             Copy(eptr, p, elen, char);
9407             p += elen;
9408             *p = '\0';
9409             SvCUR_set(sv, p - SvPVX_const(sv));
9410             svix = osvix;
9411             continue;   /* not "break" */
9412         }
9413
9414         if (is_utf8 != has_utf8) {
9415             if (is_utf8) {
9416                 if (SvCUR(sv))
9417                     sv_utf8_upgrade(sv);
9418             }
9419             else {
9420                 const STRLEN old_elen = elen;
9421                 SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
9422                 sv_utf8_upgrade(nsv);
9423                 eptr = SvPVX_const(nsv);
9424                 elen = SvCUR(nsv);
9425
9426                 if (width) { /* fudge width (can't fudge elen) */
9427                     width += elen - old_elen;
9428                 }
9429                 is_utf8 = TRUE;
9430             }
9431         }
9432
9433         have = esignlen + zeros + elen;
9434         if (have < zeros)
9435             Perl_croak_nocontext(PL_memory_wrap);
9436
9437         need = (have > width ? have : width);
9438         gap = need - have;
9439
9440         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
9441             Perl_croak_nocontext(PL_memory_wrap);
9442         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
9443         p = SvEND(sv);
9444         if (esignlen && fill == '0') {
9445             int i;
9446             for (i = 0; i < (int)esignlen; i++)
9447                 *p++ = esignbuf[i];
9448         }
9449         if (gap && !left) {
9450             memset(p, fill, gap);
9451             p += gap;
9452         }
9453         if (esignlen && fill != '0') {
9454             int i;
9455             for (i = 0; i < (int)esignlen; i++)
9456                 *p++ = esignbuf[i];
9457         }
9458         if (zeros) {
9459             int i;
9460             for (i = zeros; i; i--)
9461                 *p++ = '0';
9462         }
9463         if (elen) {
9464             Copy(eptr, p, elen, char);
9465             p += elen;
9466         }
9467         if (gap && left) {
9468             memset(p, ' ', gap);
9469             p += gap;
9470         }
9471         if (vectorize) {
9472             if (veclen) {
9473                 Copy(dotstr, p, dotstrlen, char);
9474                 p += dotstrlen;
9475             }
9476             else
9477                 vectorize = FALSE;              /* done iterating over vecstr */
9478         }
9479         if (is_utf8)
9480             has_utf8 = TRUE;
9481         if (has_utf8)
9482             SvUTF8_on(sv);
9483         *p = '\0';
9484         SvCUR_set(sv, p - SvPVX_const(sv));
9485         if (vectorize) {
9486             esignlen = 0;
9487             goto vector;
9488         }
9489     }
9490 }
9491
9492 /* =========================================================================
9493
9494 =head1 Cloning an interpreter
9495
9496 All the macros and functions in this section are for the private use of
9497 the main function, perl_clone().
9498
9499 The foo_dup() functions make an exact copy of an existing foo thinngy.
9500 During the course of a cloning, a hash table is used to map old addresses
9501 to new addresses. The table is created and manipulated with the
9502 ptr_table_* functions.
9503
9504 =cut
9505
9506 ============================================================================*/
9507
9508
9509 #if defined(USE_ITHREADS)
9510
9511 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
9512 #ifndef GpREFCNT_inc
9513 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
9514 #endif
9515
9516
9517 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
9518    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
9519    If this changes, please unmerge ss_dup.  */
9520 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
9521 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
9522 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
9523 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9524 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
9525 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9526 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
9527 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9528 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
9529 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
9530 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
9531 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9532 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
9533 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
9534
9535 /* clone a parser */
9536
9537 yy_parser *
9538 Perl_parser_dup(pTHX_ const yy_parser *proto, CLONE_PARAMS* param)
9539 {
9540     yy_parser *parser;
9541
9542     if (!proto)
9543         return NULL;
9544
9545     /* look for it in the table first */
9546     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
9547     if (parser)
9548         return parser;
9549
9550     /* create anew and remember what it is */
9551     Newxz(parser, 1, yy_parser);
9552     ptr_table_store(PL_ptr_table, proto, parser);
9553
9554     parser->yyerrstatus = 0;
9555     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
9556
9557     /* XXX these not yet duped */
9558     parser->old_parser = NULL;
9559     parser->stack = NULL;
9560     parser->ps = NULL;
9561     parser->stack_size = 0;
9562     /* XXX parser->stack->state = 0; */
9563
9564     /* XXX eventually, just Copy() most of the parser struct ? */
9565
9566     parser->lex_brackets = proto->lex_brackets;
9567     parser->lex_casemods = proto->lex_casemods;
9568     parser->lex_brackstack = savepvn(proto->lex_brackstack,
9569                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
9570     parser->lex_casestack = savepvn(proto->lex_casestack,
9571                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
9572     parser->lex_defer   = proto->lex_defer;
9573     parser->lex_dojoin  = proto->lex_dojoin;
9574     parser->lex_expect  = proto->lex_expect;
9575     parser->lex_formbrack = proto->lex_formbrack;
9576     parser->lex_inpat   = proto->lex_inpat;
9577     parser->lex_inwhat  = proto->lex_inwhat;
9578     parser->lex_op      = proto->lex_op;
9579     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
9580     parser->lex_starts  = proto->lex_starts;
9581     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
9582     parser->multi_close = proto->multi_close;
9583     parser->multi_open  = proto->multi_open;
9584     parser->multi_start = proto->multi_start;
9585     parser->multi_end   = proto->multi_end;
9586     parser->pending_ident = proto->pending_ident;
9587     parser->preambled   = proto->preambled;
9588     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
9589     parser->linestr     = sv_dup_inc(proto->linestr, param);
9590     parser->expect      = proto->expect;
9591     parser->copline     = proto->copline;
9592     parser->last_lop_op = proto->last_lop_op;
9593     parser->lex_state   = proto->lex_state;
9594     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
9595     /* rsfp_filters entries have fake IoDIRP() */
9596     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
9597     parser->in_my       = proto->in_my;
9598     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
9599     parser->error_count = proto->error_count;
9600
9601
9602     parser->linestr     = sv_dup_inc(proto->linestr, param);
9603
9604     {
9605         char * const ols = SvPVX(proto->linestr);
9606         char * const ls  = SvPVX(parser->linestr);
9607
9608         parser->bufptr      = ls + (proto->bufptr >= ols ?
9609                                     proto->bufptr -  ols : 0);
9610         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
9611                                     proto->oldbufptr -  ols : 0);
9612         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
9613                                     proto->oldoldbufptr -  ols : 0);
9614         parser->linestart   = ls + (proto->linestart >= ols ?
9615                                     proto->linestart -  ols : 0);
9616         parser->last_uni    = ls + (proto->last_uni >= ols ?
9617                                     proto->last_uni -  ols : 0);
9618         parser->last_lop    = ls + (proto->last_lop >= ols ?
9619                                     proto->last_lop -  ols : 0);
9620
9621         parser->bufend      = ls + SvCUR(parser->linestr);
9622     }
9623
9624     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
9625
9626
9627 #ifdef PERL_MAD
9628     parser->endwhite    = proto->endwhite;
9629     parser->faketokens  = proto->faketokens;
9630     parser->lasttoke    = proto->lasttoke;
9631     parser->nextwhite   = proto->nextwhite;
9632     parser->realtokenstart = proto->realtokenstart;
9633     parser->skipwhite   = proto->skipwhite;
9634     parser->thisclose   = proto->thisclose;
9635     parser->thismad     = proto->thismad;
9636     parser->thisopen    = proto->thisopen;
9637     parser->thisstuff   = proto->thisstuff;
9638     parser->thistoken   = proto->thistoken;
9639     parser->thiswhite   = proto->thiswhite;
9640
9641     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
9642     parser->curforce    = proto->curforce;
9643 #else
9644     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
9645     Copy(proto->nexttype, parser->nexttype, 5,  I32);
9646     parser->nexttoke    = proto->nexttoke;
9647 #endif
9648     return parser;
9649 }
9650
9651
9652 /* duplicate a file handle */
9653
9654 PerlIO *
9655 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9656 {
9657     PerlIO *ret;
9658
9659     PERL_UNUSED_ARG(type);
9660
9661     if (!fp)
9662         return (PerlIO*)NULL;
9663
9664     /* look for it in the table first */
9665     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9666     if (ret)
9667         return ret;
9668
9669     /* create anew and remember what it is */
9670     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9671     ptr_table_store(PL_ptr_table, fp, ret);
9672     return ret;
9673 }
9674
9675 /* duplicate a directory handle */
9676
9677 DIR *
9678 Perl_dirp_dup(pTHX_ DIR *dp)
9679 {
9680     PERL_UNUSED_CONTEXT;
9681     if (!dp)
9682         return (DIR*)NULL;
9683     /* XXX TODO */
9684     return dp;
9685 }
9686
9687 /* duplicate a typeglob */
9688
9689 GP *
9690 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9691 {
9692     GP *ret;
9693
9694     if (!gp)
9695         return (GP*)NULL;
9696     /* look for it in the table first */
9697     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9698     if (ret)
9699         return ret;
9700
9701     /* create anew and remember what it is */
9702     Newxz(ret, 1, GP);
9703     ptr_table_store(PL_ptr_table, gp, ret);
9704
9705     /* clone */
9706     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9707     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9708     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9709     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9710     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9711     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9712     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9713     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9714     ret->gp_cvgen       = gp->gp_cvgen;
9715     ret->gp_line        = gp->gp_line;
9716     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
9717     return ret;
9718 }
9719
9720 /* duplicate a chain of magic */
9721
9722 MAGIC *
9723 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9724 {
9725     MAGIC *mgprev = (MAGIC*)NULL;
9726     MAGIC *mgret;
9727     if (!mg)
9728         return (MAGIC*)NULL;
9729     /* look for it in the table first */
9730     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9731     if (mgret)
9732         return mgret;
9733
9734     for (; mg; mg = mg->mg_moremagic) {
9735         MAGIC *nmg;
9736         Newxz(nmg, 1, MAGIC);
9737         if (mgprev)
9738             mgprev->mg_moremagic = nmg;
9739         else
9740             mgret = nmg;
9741         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9742         nmg->mg_private = mg->mg_private;
9743         nmg->mg_type    = mg->mg_type;
9744         nmg->mg_flags   = mg->mg_flags;
9745         if (mg->mg_type == PERL_MAGIC_qr) {
9746             nmg->mg_obj = (SV*)CALLREGDUPE((REGEXP*)mg->mg_obj, param);
9747         }
9748         else if(mg->mg_type == PERL_MAGIC_backref) {
9749             /* The backref AV has its reference count deliberately bumped by
9750                1.  */
9751             nmg->mg_obj = SvREFCNT_inc(av_dup_inc((AV*) mg->mg_obj, param));
9752         }
9753         else {
9754             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9755                               ? sv_dup_inc(mg->mg_obj, param)
9756                               : sv_dup(mg->mg_obj, param);
9757         }
9758         nmg->mg_len     = mg->mg_len;
9759         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9760         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9761             if (mg->mg_len > 0) {
9762                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9763                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9764                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9765                 {
9766                     const AMT * const amtp = (AMT*)mg->mg_ptr;
9767                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9768                     I32 i;
9769                     for (i = 1; i < NofAMmeth; i++) {
9770                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9771                     }
9772                 }
9773             }
9774             else if (mg->mg_len == HEf_SVKEY)
9775                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9776         }
9777         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9778             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9779         }
9780         mgprev = nmg;
9781     }
9782     return mgret;
9783 }
9784
9785 #endif /* USE_ITHREADS */
9786
9787 /* create a new pointer-mapping table */
9788
9789 PTR_TBL_t *
9790 Perl_ptr_table_new(pTHX)
9791 {
9792     PTR_TBL_t *tbl;
9793     PERL_UNUSED_CONTEXT;
9794
9795     Newxz(tbl, 1, PTR_TBL_t);
9796     tbl->tbl_max        = 511;
9797     tbl->tbl_items      = 0;
9798     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9799     return tbl;
9800 }
9801
9802 #define PTR_TABLE_HASH(ptr) \
9803   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
9804
9805 /* 
9806    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9807    following define) and at call to new_body_inline made below in 
9808    Perl_ptr_table_store()
9809  */
9810
9811 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9812
9813 /* map an existing pointer using a table */
9814
9815 STATIC PTR_TBL_ENT_t *
9816 S_ptr_table_find(PTR_TBL_t *tbl, const void *sv) {
9817     PTR_TBL_ENT_t *tblent;
9818     const UV hash = PTR_TABLE_HASH(sv);
9819     assert(tbl);
9820     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9821     for (; tblent; tblent = tblent->next) {
9822         if (tblent->oldval == sv)
9823             return tblent;
9824     }
9825     return NULL;
9826 }
9827
9828 void *
9829 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9830 {
9831     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
9832     PERL_UNUSED_CONTEXT;
9833     return tblent ? tblent->newval : NULL;
9834 }
9835
9836 /* add a new entry to a pointer-mapping table */
9837
9838 void
9839 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9840 {
9841     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
9842     PERL_UNUSED_CONTEXT;
9843
9844     if (tblent) {
9845         tblent->newval = newsv;
9846     } else {
9847         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
9848
9849         new_body_inline(tblent, PTE_SVSLOT);
9850
9851         tblent->oldval = oldsv;
9852         tblent->newval = newsv;
9853         tblent->next = tbl->tbl_ary[entry];
9854         tbl->tbl_ary[entry] = tblent;
9855         tbl->tbl_items++;
9856         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
9857             ptr_table_split(tbl);
9858     }
9859 }
9860
9861 /* double the hash bucket size of an existing ptr table */
9862
9863 void
9864 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9865 {
9866     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9867     const UV oldsize = tbl->tbl_max + 1;
9868     UV newsize = oldsize * 2;
9869     UV i;
9870     PERL_UNUSED_CONTEXT;
9871
9872     Renew(ary, newsize, PTR_TBL_ENT_t*);
9873     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9874     tbl->tbl_max = --newsize;
9875     tbl->tbl_ary = ary;
9876     for (i=0; i < oldsize; i++, ary++) {
9877         PTR_TBL_ENT_t **curentp, **entp, *ent;
9878         if (!*ary)
9879             continue;
9880         curentp = ary + oldsize;
9881         for (entp = ary, ent = *ary; ent; ent = *entp) {
9882             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9883                 *entp = ent->next;
9884                 ent->next = *curentp;
9885                 *curentp = ent;
9886                 continue;
9887             }
9888             else
9889                 entp = &ent->next;
9890         }
9891     }
9892 }
9893
9894 /* remove all the entries from a ptr table */
9895
9896 void
9897 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9898 {
9899     if (tbl && tbl->tbl_items) {
9900         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
9901         UV riter = tbl->tbl_max;
9902
9903         do {
9904             PTR_TBL_ENT_t *entry = array[riter];
9905
9906             while (entry) {
9907                 PTR_TBL_ENT_t * const oentry = entry;
9908                 entry = entry->next;
9909                 del_pte(oentry);
9910             }
9911         } while (riter--);
9912
9913         tbl->tbl_items = 0;
9914     }
9915 }
9916
9917 /* clear and free a ptr table */
9918
9919 void
9920 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9921 {
9922     if (!tbl) {
9923         return;
9924     }
9925     ptr_table_clear(tbl);
9926     Safefree(tbl->tbl_ary);
9927     Safefree(tbl);
9928 }
9929
9930 #if defined(USE_ITHREADS)
9931
9932 void
9933 Perl_rvpv_dup(pTHX_ SV *dstr, const SV *sstr, CLONE_PARAMS* param)
9934 {
9935     if (SvROK(sstr)) {
9936         SvRV_set(dstr, SvWEAKREF(sstr)
9937                        ? sv_dup(SvRV(sstr), param)
9938                        : sv_dup_inc(SvRV(sstr), param));
9939
9940     }
9941     else if (SvPVX_const(sstr)) {
9942         /* Has something there */
9943         if (SvLEN(sstr)) {
9944             /* Normal PV - clone whole allocated space */
9945             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
9946             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
9947                 /* Not that normal - actually sstr is copy on write.
9948                    But we are a true, independant SV, so:  */
9949                 SvREADONLY_off(dstr);
9950                 SvFAKE_off(dstr);
9951             }
9952         }
9953         else {
9954             /* Special case - not normally malloced for some reason */
9955             if (isGV_with_GP(sstr)) {
9956                 /* Don't need to do anything here.  */
9957             }
9958             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
9959                 /* A "shared" PV - clone it as "shared" PV */
9960                 SvPV_set(dstr,
9961                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
9962                                          param)));
9963             }
9964             else {
9965                 /* Some other special case - random pointer */
9966                 SvPV_set(dstr, SvPVX(sstr));            
9967             }
9968         }
9969     }
9970     else {
9971         /* Copy the NULL */
9972         if (SvTYPE(dstr) == SVt_RV)
9973             SvRV_set(dstr, NULL);
9974         else
9975             SvPV_set(dstr, NULL);
9976     }
9977 }
9978
9979 /* duplicate an SV of any type (including AV, HV etc) */
9980
9981 SV *
9982 Perl_sv_dup(pTHX_ const SV *sstr, CLONE_PARAMS* param)
9983 {
9984     dVAR;
9985     SV *dstr;
9986
9987     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
9988         return NULL;
9989     /* look for it in the table first */
9990     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
9991     if (dstr)
9992         return dstr;
9993
9994     if(param->flags & CLONEf_JOIN_IN) {
9995         /** We are joining here so we don't want do clone
9996             something that is bad **/
9997         if (SvTYPE(sstr) == SVt_PVHV) {
9998             const char * const hvname = HvNAME_get(sstr);
9999             if (hvname)
10000                 /** don't clone stashes if they already exist **/
10001                 return (SV*)gv_stashpv(hvname,0);
10002         }
10003     }
10004
10005     /* create anew and remember what it is */
10006     new_SV(dstr);
10007
10008 #ifdef DEBUG_LEAKING_SCALARS
10009     dstr->sv_debug_optype = sstr->sv_debug_optype;
10010     dstr->sv_debug_line = sstr->sv_debug_line;
10011     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10012     dstr->sv_debug_cloned = 1;
10013     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10014 #endif
10015
10016     ptr_table_store(PL_ptr_table, sstr, dstr);
10017
10018     /* clone */
10019     SvFLAGS(dstr)       = SvFLAGS(sstr);
10020     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10021     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10022
10023 #ifdef DEBUGGING
10024     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10025         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10026                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10027 #endif
10028
10029     /* don't clone objects whose class has asked us not to */
10030     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10031         SvFLAGS(dstr) &= ~SVTYPEMASK;
10032         SvOBJECT_off(dstr);
10033         return dstr;
10034     }
10035
10036     switch (SvTYPE(sstr)) {
10037     case SVt_NULL:
10038         SvANY(dstr)     = NULL;
10039         break;
10040     case SVt_IV:
10041         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10042         SvIV_set(dstr, SvIVX(sstr));
10043         break;
10044     case SVt_NV:
10045         SvANY(dstr)     = new_XNV();
10046         SvNV_set(dstr, SvNVX(sstr));
10047         break;
10048     case SVt_RV:
10049         SvANY(dstr)     = &(dstr->sv_u.svu_rv);
10050         Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10051         break;
10052         /* case SVt_BIND: */
10053     default:
10054         {
10055             /* These are all the types that need complex bodies allocating.  */
10056             void *new_body;
10057             const svtype sv_type = SvTYPE(sstr);
10058             const struct body_details *const sv_type_details
10059                 = bodies_by_type + sv_type;
10060
10061             switch (sv_type) {
10062             default:
10063                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10064                 break;
10065
10066             case SVt_PVGV:
10067                 if (GvUNIQUE((GV*)sstr)) {
10068                     NOOP;   /* Do sharing here, and fall through */
10069                 }
10070             case SVt_PVIO:
10071             case SVt_PVFM:
10072             case SVt_PVHV:
10073             case SVt_PVAV:
10074             case SVt_PVCV:
10075             case SVt_PVLV:
10076             case SVt_PVMG:
10077             case SVt_PVNV:
10078             case SVt_PVIV:
10079             case SVt_PV:
10080                 assert(sv_type_details->body_size);
10081                 if (sv_type_details->arena) {
10082                     new_body_inline(new_body, sv_type);
10083                     new_body
10084                         = (void*)((char*)new_body - sv_type_details->offset);
10085                 } else {
10086                     new_body = new_NOARENA(sv_type_details);
10087                 }
10088             }
10089             assert(new_body);
10090             SvANY(dstr) = new_body;
10091
10092 #ifndef PURIFY
10093             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10094                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10095                  sv_type_details->copy, char);
10096 #else
10097             Copy(((char*)SvANY(sstr)),
10098                  ((char*)SvANY(dstr)),
10099                  sv_type_details->body_size + sv_type_details->offset, char);
10100 #endif
10101
10102             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10103                 && !isGV_with_GP(dstr))
10104                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10105
10106             /* The Copy above means that all the source (unduplicated) pointers
10107                are now in the destination.  We can check the flags and the
10108                pointers in either, but it's possible that there's less cache
10109                missing by always going for the destination.
10110                FIXME - instrument and check that assumption  */
10111             if (sv_type >= SVt_PVMG) {
10112                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10113                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10114                 } else if (SvMAGIC(dstr))
10115                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10116                 if (SvSTASH(dstr))
10117                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10118             }
10119
10120             /* The cast silences a GCC warning about unhandled types.  */
10121             switch ((int)sv_type) {
10122             case SVt_PV:
10123                 break;
10124             case SVt_PVIV:
10125                 break;
10126             case SVt_PVNV:
10127                 break;
10128             case SVt_PVMG:
10129                 break;
10130             case SVt_PVLV:
10131                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
10132                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
10133                     LvTARG(dstr) = dstr;
10134                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
10135                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
10136                 else
10137                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
10138             case SVt_PVGV:
10139                 if(isGV_with_GP(sstr)) {
10140                     if (GvNAME_HEK(dstr))
10141                         GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
10142                     /* Don't call sv_add_backref here as it's going to be
10143                        created as part of the magic cloning of the symbol
10144                        table.  */
10145                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
10146                        at the point of this comment.  */
10147                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
10148                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
10149                     (void)GpREFCNT_inc(GvGP(dstr));
10150                 } else
10151                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10152                 break;
10153             case SVt_PVIO:
10154                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
10155                 if (IoOFP(dstr) == IoIFP(sstr))
10156                     IoOFP(dstr) = IoIFP(dstr);
10157                 else
10158                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
10159                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
10160                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
10161                     /* I have no idea why fake dirp (rsfps)
10162                        should be treated differently but otherwise
10163                        we end up with leaks -- sky*/
10164                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
10165                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
10166                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
10167                 } else {
10168                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
10169                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
10170                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
10171                     if (IoDIRP(dstr)) {
10172                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
10173                     } else {
10174                         NOOP;
10175                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
10176                     }
10177                 }
10178                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
10179                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
10180                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
10181                 break;
10182             case SVt_PVAV:
10183                 if (AvARRAY((AV*)sstr)) {
10184                     SV **dst_ary, **src_ary;
10185                     SSize_t items = AvFILLp((AV*)sstr) + 1;
10186
10187                     src_ary = AvARRAY((AV*)sstr);
10188                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
10189                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
10190                     AvARRAY((AV*)dstr) = dst_ary;
10191                     AvALLOC((AV*)dstr) = dst_ary;
10192                     if (AvREAL((AV*)sstr)) {
10193                         while (items-- > 0)
10194                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
10195                     }
10196                     else {
10197                         while (items-- > 0)
10198                             *dst_ary++ = sv_dup(*src_ary++, param);
10199                     }
10200                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
10201                     while (items-- > 0) {
10202                         *dst_ary++ = &PL_sv_undef;
10203                     }
10204                 }
10205                 else {
10206                     AvARRAY((AV*)dstr)  = NULL;
10207                     AvALLOC((AV*)dstr)  = (SV**)NULL;
10208                 }
10209                 break;
10210             case SVt_PVHV:
10211                 if (HvARRAY((HV*)sstr)) {
10212                     STRLEN i = 0;
10213                     const bool sharekeys = !!HvSHAREKEYS(sstr);
10214                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
10215                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
10216                     char *darray;
10217                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
10218                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
10219                         char);
10220                     HvARRAY(dstr) = (HE**)darray;
10221                     while (i <= sxhv->xhv_max) {
10222                         const HE * const source = HvARRAY(sstr)[i];
10223                         HvARRAY(dstr)[i] = source
10224                             ? he_dup(source, sharekeys, param) : 0;
10225                         ++i;
10226                     }
10227                     if (SvOOK(sstr)) {
10228                         HEK *hvname;
10229                         const struct xpvhv_aux * const saux = HvAUX(sstr);
10230                         struct xpvhv_aux * const daux = HvAUX(dstr);
10231                         /* This flag isn't copied.  */
10232                         /* SvOOK_on(hv) attacks the IV flags.  */
10233                         SvFLAGS(dstr) |= SVf_OOK;
10234
10235                         hvname = saux->xhv_name;
10236                         daux->xhv_name = hvname ? hek_dup(hvname, param) : hvname;
10237
10238                         daux->xhv_riter = saux->xhv_riter;
10239                         daux->xhv_eiter = saux->xhv_eiter
10240                             ? he_dup(saux->xhv_eiter,
10241                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
10242                         daux->xhv_backreferences =
10243                             saux->xhv_backreferences
10244                                 ? (AV*) SvREFCNT_inc(
10245                                         sv_dup((SV*)saux->xhv_backreferences, param))
10246                                 : 0;
10247
10248                         daux->xhv_mro_meta = saux->xhv_mro_meta
10249                             ? mro_meta_dup(saux->xhv_mro_meta, param)
10250                             : 0;
10251
10252                         /* Record stashes for possible cloning in Perl_clone(). */
10253                         if (hvname)
10254                             av_push(param->stashes, dstr);
10255                     }
10256                 }
10257                 else
10258                     HvARRAY((HV*)dstr) = NULL;
10259                 break;
10260             case SVt_PVCV:
10261                 if (!(param->flags & CLONEf_COPY_STACKS)) {
10262                     CvDEPTH(dstr) = 0;
10263                 }
10264             case SVt_PVFM:
10265                 /* NOTE: not refcounted */
10266                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
10267                 OP_REFCNT_LOCK;
10268                 if (!CvISXSUB(dstr))
10269                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
10270                 OP_REFCNT_UNLOCK;
10271                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
10272                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
10273                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
10274                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
10275                 }
10276                 /* don't dup if copying back - CvGV isn't refcounted, so the
10277                  * duped GV may never be freed. A bit of a hack! DAPM */
10278                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
10279                     NULL : gv_dup(CvGV(dstr), param) ;
10280                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
10281                 CvOUTSIDE(dstr) =
10282                     CvWEAKOUTSIDE(sstr)
10283                     ? cv_dup(    CvOUTSIDE(dstr), param)
10284                     : cv_dup_inc(CvOUTSIDE(dstr), param);
10285                 if (!CvISXSUB(dstr))
10286                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
10287                 break;
10288             }
10289         }
10290     }
10291
10292     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
10293         ++PL_sv_objcount;
10294
10295     return dstr;
10296  }
10297
10298 /* duplicate a context */
10299
10300 PERL_CONTEXT *
10301 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
10302 {
10303     PERL_CONTEXT *ncxs;
10304
10305     if (!cxs)
10306         return (PERL_CONTEXT*)NULL;
10307
10308     /* look for it in the table first */
10309     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
10310     if (ncxs)
10311         return ncxs;
10312
10313     /* create anew and remember what it is */
10314     Newxz(ncxs, max + 1, PERL_CONTEXT);
10315     ptr_table_store(PL_ptr_table, cxs, ncxs);
10316
10317     while (ix >= 0) {
10318         PERL_CONTEXT * const cx = &cxs[ix];
10319         PERL_CONTEXT * const ncx = &ncxs[ix];
10320         ncx->cx_type    = cx->cx_type;
10321         if (CxTYPE(cx) == CXt_SUBST) {
10322             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
10323         }
10324         else {
10325             ncx->blk_oldsp      = cx->blk_oldsp;
10326             ncx->blk_oldcop     = cx->blk_oldcop;
10327             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
10328             ncx->blk_oldscopesp = cx->blk_oldscopesp;
10329             ncx->blk_oldpm      = cx->blk_oldpm;
10330             ncx->blk_gimme      = cx->blk_gimme;
10331             switch (CxTYPE(cx)) {
10332             case CXt_SUB:
10333                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
10334                                            ? cv_dup_inc(cx->blk_sub.cv, param)
10335                                            : cv_dup(cx->blk_sub.cv,param));
10336                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
10337                                            ? av_dup_inc(cx->blk_sub.argarray, param)
10338                                            : NULL);
10339                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
10340                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
10341                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10342                 ncx->blk_sub.lval       = cx->blk_sub.lval;
10343                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10344                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
10345                                            cx->blk_sub.oldcomppad);
10346                 break;
10347             case CXt_EVAL:
10348                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
10349                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
10350                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
10351                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
10352                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
10353                 ncx->blk_eval.retop = cx->blk_eval.retop;
10354                 break;
10355             case CXt_LOOP:
10356                 ncx->blk_loop.label     = cx->blk_loop.label;
10357                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
10358                 ncx->blk_loop.my_op     = cx->blk_loop.my_op;
10359                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
10360                                            ? cx->blk_loop.iterdata
10361                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
10362                 ncx->blk_loop.oldcomppad
10363                     = (PAD*)ptr_table_fetch(PL_ptr_table,
10364                                             cx->blk_loop.oldcomppad);
10365                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
10366                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
10367                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
10368                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
10369                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
10370                 break;
10371             case CXt_FORMAT:
10372                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
10373                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
10374                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
10375                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10376                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10377                 break;
10378             case CXt_BLOCK:
10379             case CXt_NULL:
10380                 break;
10381             }
10382         }
10383         --ix;
10384     }
10385     return ncxs;
10386 }
10387
10388 /* duplicate a stack info structure */
10389
10390 PERL_SI *
10391 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
10392 {
10393     PERL_SI *nsi;
10394
10395     if (!si)
10396         return (PERL_SI*)NULL;
10397
10398     /* look for it in the table first */
10399     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
10400     if (nsi)
10401         return nsi;
10402
10403     /* create anew and remember what it is */
10404     Newxz(nsi, 1, PERL_SI);
10405     ptr_table_store(PL_ptr_table, si, nsi);
10406
10407     nsi->si_stack       = av_dup_inc(si->si_stack, param);
10408     nsi->si_cxix        = si->si_cxix;
10409     nsi->si_cxmax       = si->si_cxmax;
10410     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
10411     nsi->si_type        = si->si_type;
10412     nsi->si_prev        = si_dup(si->si_prev, param);
10413     nsi->si_next        = si_dup(si->si_next, param);
10414     nsi->si_markoff     = si->si_markoff;
10415
10416     return nsi;
10417 }
10418
10419 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
10420 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
10421 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
10422 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
10423 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
10424 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
10425 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
10426 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
10427 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
10428 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
10429 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
10430 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
10431 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
10432 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
10433
10434 /* XXXXX todo */
10435 #define pv_dup_inc(p)   SAVEPV(p)
10436 #define pv_dup(p)       SAVEPV(p)
10437 #define svp_dup_inc(p,pp)       any_dup(p,pp)
10438
10439 /* map any object to the new equivent - either something in the
10440  * ptr table, or something in the interpreter structure
10441  */
10442
10443 void *
10444 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
10445 {
10446     void *ret;
10447
10448     if (!v)
10449         return (void*)NULL;
10450
10451     /* look for it in the table first */
10452     ret = ptr_table_fetch(PL_ptr_table, v);
10453     if (ret)
10454         return ret;
10455
10456     /* see if it is part of the interpreter structure */
10457     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
10458         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
10459     else {
10460         ret = v;
10461     }
10462
10463     return ret;
10464 }
10465
10466 /* duplicate the save stack */
10467
10468 ANY *
10469 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
10470 {
10471     dVAR;
10472     ANY * const ss      = proto_perl->Isavestack;
10473     const I32 max       = proto_perl->Isavestack_max;
10474     I32 ix              = proto_perl->Isavestack_ix;
10475     ANY *nss;
10476     SV *sv;
10477     GV *gv;
10478     AV *av;
10479     HV *hv;
10480     void* ptr;
10481     int intval;
10482     long longval;
10483     GP *gp;
10484     IV iv;
10485     I32 i;
10486     char *c = NULL;
10487     void (*dptr) (void*);
10488     void (*dxptr) (pTHX_ void*);
10489
10490     Newxz(nss, max, ANY);
10491
10492     while (ix > 0) {
10493         const I32 type = POPINT(ss,ix);
10494         TOPINT(nss,ix) = type;
10495         switch (type) {
10496         case SAVEt_HELEM:               /* hash element */
10497             sv = (SV*)POPPTR(ss,ix);
10498             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10499             /* fall through */
10500         case SAVEt_ITEM:                        /* normal string */
10501         case SAVEt_SV:                          /* scalar reference */
10502             sv = (SV*)POPPTR(ss,ix);
10503             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10504             /* fall through */
10505         case SAVEt_FREESV:
10506         case SAVEt_MORTALIZESV:
10507             sv = (SV*)POPPTR(ss,ix);
10508             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10509             break;
10510         case SAVEt_SHARED_PVREF:                /* char* in shared space */
10511             c = (char*)POPPTR(ss,ix);
10512             TOPPTR(nss,ix) = savesharedpv(c);
10513             ptr = POPPTR(ss,ix);
10514             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10515             break;
10516         case SAVEt_GENERIC_SVREF:               /* generic sv */
10517         case SAVEt_SVREF:                       /* scalar reference */
10518             sv = (SV*)POPPTR(ss,ix);
10519             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10520             ptr = POPPTR(ss,ix);
10521             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
10522             break;
10523         case SAVEt_HV:                          /* hash reference */
10524         case SAVEt_AV:                          /* array reference */
10525             sv = (SV*) POPPTR(ss,ix);
10526             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10527             /* fall through */
10528         case SAVEt_COMPPAD:
10529         case SAVEt_NSTAB:
10530             sv = (SV*) POPPTR(ss,ix);
10531             TOPPTR(nss,ix) = sv_dup(sv, param);
10532             break;
10533         case SAVEt_INT:                         /* int reference */
10534             ptr = POPPTR(ss,ix);
10535             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10536             intval = (int)POPINT(ss,ix);
10537             TOPINT(nss,ix) = intval;
10538             break;
10539         case SAVEt_LONG:                        /* long reference */
10540             ptr = POPPTR(ss,ix);
10541             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10542             /* fall through */
10543         case SAVEt_CLEARSV:
10544             longval = (long)POPLONG(ss,ix);
10545             TOPLONG(nss,ix) = longval;
10546             break;
10547         case SAVEt_I32:                         /* I32 reference */
10548         case SAVEt_I16:                         /* I16 reference */
10549         case SAVEt_I8:                          /* I8 reference */
10550         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
10551             ptr = POPPTR(ss,ix);
10552             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10553             i = POPINT(ss,ix);
10554             TOPINT(nss,ix) = i;
10555             break;
10556         case SAVEt_IV:                          /* IV reference */
10557             ptr = POPPTR(ss,ix);
10558             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10559             iv = POPIV(ss,ix);
10560             TOPIV(nss,ix) = iv;
10561             break;
10562         case SAVEt_HPTR:                        /* HV* reference */
10563         case SAVEt_APTR:                        /* AV* reference */
10564         case SAVEt_SPTR:                        /* SV* reference */
10565             ptr = POPPTR(ss,ix);
10566             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10567             sv = (SV*)POPPTR(ss,ix);
10568             TOPPTR(nss,ix) = sv_dup(sv, param);
10569             break;
10570         case SAVEt_VPTR:                        /* random* reference */
10571             ptr = POPPTR(ss,ix);
10572             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10573             ptr = POPPTR(ss,ix);
10574             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10575             break;
10576         case SAVEt_GENERIC_PVREF:               /* generic char* */
10577         case SAVEt_PPTR:                        /* char* reference */
10578             ptr = POPPTR(ss,ix);
10579             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10580             c = (char*)POPPTR(ss,ix);
10581             TOPPTR(nss,ix) = pv_dup(c);
10582             break;
10583         case SAVEt_GP:                          /* scalar reference */
10584             gp = (GP*)POPPTR(ss,ix);
10585             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
10586             (void)GpREFCNT_inc(gp);
10587             gv = (GV*)POPPTR(ss,ix);
10588             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
10589             break;
10590         case SAVEt_FREEOP:
10591             ptr = POPPTR(ss,ix);
10592             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10593                 /* these are assumed to be refcounted properly */
10594                 OP *o;
10595                 switch (((OP*)ptr)->op_type) {
10596                 case OP_LEAVESUB:
10597                 case OP_LEAVESUBLV:
10598                 case OP_LEAVEEVAL:
10599                 case OP_LEAVE:
10600                 case OP_SCOPE:
10601                 case OP_LEAVEWRITE:
10602                     TOPPTR(nss,ix) = ptr;
10603                     o = (OP*)ptr;
10604                     OP_REFCNT_LOCK;
10605                     (void) OpREFCNT_inc(o);
10606                     OP_REFCNT_UNLOCK;
10607                     break;
10608                 default:
10609                     TOPPTR(nss,ix) = NULL;
10610                     break;
10611                 }
10612             }
10613             else
10614                 TOPPTR(nss,ix) = NULL;
10615             break;
10616         case SAVEt_FREEPV:
10617             c = (char*)POPPTR(ss,ix);
10618             TOPPTR(nss,ix) = pv_dup_inc(c);
10619             break;
10620         case SAVEt_DELETE:
10621             hv = (HV*)POPPTR(ss,ix);
10622             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10623             c = (char*)POPPTR(ss,ix);
10624             TOPPTR(nss,ix) = pv_dup_inc(c);
10625             /* fall through */
10626         case SAVEt_STACK_POS:           /* Position on Perl stack */
10627             i = POPINT(ss,ix);
10628             TOPINT(nss,ix) = i;
10629             break;
10630         case SAVEt_DESTRUCTOR:
10631             ptr = POPPTR(ss,ix);
10632             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10633             dptr = POPDPTR(ss,ix);
10634             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10635                                         any_dup(FPTR2DPTR(void *, dptr),
10636                                                 proto_perl));
10637             break;
10638         case SAVEt_DESTRUCTOR_X:
10639             ptr = POPPTR(ss,ix);
10640             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10641             dxptr = POPDXPTR(ss,ix);
10642             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10643                                          any_dup(FPTR2DPTR(void *, dxptr),
10644                                                  proto_perl));
10645             break;
10646         case SAVEt_REGCONTEXT:
10647         case SAVEt_ALLOC:
10648             i = POPINT(ss,ix);
10649             TOPINT(nss,ix) = i;
10650             ix -= i;
10651             break;
10652         case SAVEt_AELEM:               /* array element */
10653             sv = (SV*)POPPTR(ss,ix);
10654             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10655             i = POPINT(ss,ix);
10656             TOPINT(nss,ix) = i;
10657             av = (AV*)POPPTR(ss,ix);
10658             TOPPTR(nss,ix) = av_dup_inc(av, param);
10659             break;
10660         case SAVEt_OP:
10661             ptr = POPPTR(ss,ix);
10662             TOPPTR(nss,ix) = ptr;
10663             break;
10664         case SAVEt_HINTS:
10665             i = POPINT(ss,ix);
10666             TOPINT(nss,ix) = i;
10667             ptr = POPPTR(ss,ix);
10668             if (ptr) {
10669                 HINTS_REFCNT_LOCK;
10670                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
10671                 HINTS_REFCNT_UNLOCK;
10672             }
10673             TOPPTR(nss,ix) = ptr;
10674             if (i & HINT_LOCALIZE_HH) {
10675                 hv = (HV*)POPPTR(ss,ix);
10676                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10677             }
10678             break;
10679         case SAVEt_PADSV:
10680             longval = (long)POPLONG(ss,ix);
10681             TOPLONG(nss,ix) = longval;
10682             ptr = POPPTR(ss,ix);
10683             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10684             sv = (SV*)POPPTR(ss,ix);
10685             TOPPTR(nss,ix) = sv_dup(sv, param);
10686             break;
10687         case SAVEt_BOOL:
10688             ptr = POPPTR(ss,ix);
10689             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10690             longval = (long)POPBOOL(ss,ix);
10691             TOPBOOL(nss,ix) = (bool)longval;
10692             break;
10693         case SAVEt_SET_SVFLAGS:
10694             i = POPINT(ss,ix);
10695             TOPINT(nss,ix) = i;
10696             i = POPINT(ss,ix);
10697             TOPINT(nss,ix) = i;
10698             sv = (SV*)POPPTR(ss,ix);
10699             TOPPTR(nss,ix) = sv_dup(sv, param);
10700             break;
10701         case SAVEt_RE_STATE:
10702             {
10703                 const struct re_save_state *const old_state
10704                     = (struct re_save_state *)
10705                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10706                 struct re_save_state *const new_state
10707                     = (struct re_save_state *)
10708                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10709
10710                 Copy(old_state, new_state, 1, struct re_save_state);
10711                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
10712
10713                 new_state->re_state_bostr
10714                     = pv_dup(old_state->re_state_bostr);
10715                 new_state->re_state_reginput
10716                     = pv_dup(old_state->re_state_reginput);
10717                 new_state->re_state_regeol
10718                     = pv_dup(old_state->re_state_regeol);
10719                 new_state->re_state_regoffs
10720                     = (regexp_paren_pair*)
10721                         any_dup(old_state->re_state_regoffs, proto_perl);
10722                 new_state->re_state_reglastparen
10723                     = (U32*) any_dup(old_state->re_state_reglastparen, 
10724                               proto_perl);
10725                 new_state->re_state_reglastcloseparen
10726                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
10727                               proto_perl);
10728                 /* XXX This just has to be broken. The old save_re_context
10729                    code did SAVEGENERICPV(PL_reg_start_tmp);
10730                    PL_reg_start_tmp is char **.
10731                    Look above to what the dup code does for
10732                    SAVEt_GENERIC_PVREF
10733                    It can never have worked.
10734                    So this is merely a faithful copy of the exiting bug:  */
10735                 new_state->re_state_reg_start_tmp
10736                     = (char **) pv_dup((char *)
10737                                       old_state->re_state_reg_start_tmp);
10738                 /* I assume that it only ever "worked" because no-one called
10739                    (pseudo)fork while the regexp engine had re-entered itself.
10740                 */
10741 #ifdef PERL_OLD_COPY_ON_WRITE
10742                 new_state->re_state_nrs
10743                     = sv_dup(old_state->re_state_nrs, param);
10744 #endif
10745                 new_state->re_state_reg_magic
10746                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
10747                                proto_perl);
10748                 new_state->re_state_reg_oldcurpm
10749                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
10750                               proto_perl);
10751                 new_state->re_state_reg_curpm
10752                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
10753                                proto_perl);
10754                 new_state->re_state_reg_oldsaved
10755                     = pv_dup(old_state->re_state_reg_oldsaved);
10756                 new_state->re_state_reg_poscache
10757                     = pv_dup(old_state->re_state_reg_poscache);
10758                 new_state->re_state_reg_starttry
10759                     = pv_dup(old_state->re_state_reg_starttry);
10760                 break;
10761             }
10762         case SAVEt_COMPILE_WARNINGS:
10763             ptr = POPPTR(ss,ix);
10764             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
10765             break;
10766         case SAVEt_PARSER:
10767             ptr = POPPTR(ss,ix);
10768             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
10769             break;
10770         default:
10771             Perl_croak(aTHX_
10772                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
10773         }
10774     }
10775
10776     return nss;
10777 }
10778
10779
10780 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10781  * flag to the result. This is done for each stash before cloning starts,
10782  * so we know which stashes want their objects cloned */
10783
10784 static void
10785 do_mark_cloneable_stash(pTHX_ SV *sv)
10786 {
10787     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10788     if (hvname) {
10789         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10790         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10791         if (cloner && GvCV(cloner)) {
10792             dSP;
10793             UV status;
10794
10795             ENTER;
10796             SAVETMPS;
10797             PUSHMARK(SP);
10798             XPUSHs(sv_2mortal(newSVhek(hvname)));
10799             PUTBACK;
10800             call_sv((SV*)GvCV(cloner), G_SCALAR);
10801             SPAGAIN;
10802             status = POPu;
10803             PUTBACK;
10804             FREETMPS;
10805             LEAVE;
10806             if (status)
10807                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10808         }
10809     }
10810 }
10811
10812
10813
10814 /*
10815 =for apidoc perl_clone
10816
10817 Create and return a new interpreter by cloning the current one.
10818
10819 perl_clone takes these flags as parameters:
10820
10821 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10822 without it we only clone the data and zero the stacks,
10823 with it we copy the stacks and the new perl interpreter is
10824 ready to run at the exact same point as the previous one.
10825 The pseudo-fork code uses COPY_STACKS while the
10826 threads->create doesn't.
10827
10828 CLONEf_KEEP_PTR_TABLE
10829 perl_clone keeps a ptr_table with the pointer of the old
10830 variable as a key and the new variable as a value,
10831 this allows it to check if something has been cloned and not
10832 clone it again but rather just use the value and increase the
10833 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10834 the ptr_table using the function
10835 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10836 reason to keep it around is if you want to dup some of your own
10837 variable who are outside the graph perl scans, example of this
10838 code is in threads.xs create
10839
10840 CLONEf_CLONE_HOST
10841 This is a win32 thing, it is ignored on unix, it tells perls
10842 win32host code (which is c++) to clone itself, this is needed on
10843 win32 if you want to run two threads at the same time,
10844 if you just want to do some stuff in a separate perl interpreter
10845 and then throw it away and return to the original one,
10846 you don't need to do anything.
10847
10848 =cut
10849 */
10850
10851 /* XXX the above needs expanding by someone who actually understands it ! */
10852 EXTERN_C PerlInterpreter *
10853 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10854
10855 PerlInterpreter *
10856 perl_clone(PerlInterpreter *proto_perl, UV flags)
10857 {
10858    dVAR;
10859 #ifdef PERL_IMPLICIT_SYS
10860
10861    /* perlhost.h so we need to call into it
10862    to clone the host, CPerlHost should have a c interface, sky */
10863
10864    if (flags & CLONEf_CLONE_HOST) {
10865        return perl_clone_host(proto_perl,flags);
10866    }
10867    return perl_clone_using(proto_perl, flags,
10868                             proto_perl->IMem,
10869                             proto_perl->IMemShared,
10870                             proto_perl->IMemParse,
10871                             proto_perl->IEnv,
10872                             proto_perl->IStdIO,
10873                             proto_perl->ILIO,
10874                             proto_perl->IDir,
10875                             proto_perl->ISock,
10876                             proto_perl->IProc);
10877 }
10878
10879 PerlInterpreter *
10880 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10881                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10882                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10883                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10884                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10885                  struct IPerlProc* ipP)
10886 {
10887     /* XXX many of the string copies here can be optimized if they're
10888      * constants; they need to be allocated as common memory and just
10889      * their pointers copied. */
10890
10891     IV i;
10892     CLONE_PARAMS clone_params;
10893     CLONE_PARAMS* const param = &clone_params;
10894
10895     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10896     /* for each stash, determine whether its objects should be cloned */
10897     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10898     PERL_SET_THX(my_perl);
10899
10900 #  ifdef DEBUGGING
10901     PoisonNew(my_perl, 1, PerlInterpreter);
10902     PL_op = NULL;
10903     PL_curcop = NULL;
10904     PL_markstack = 0;
10905     PL_scopestack = 0;
10906     PL_savestack = 0;
10907     PL_savestack_ix = 0;
10908     PL_savestack_max = -1;
10909     PL_sig_pending = 0;
10910     PL_parser = NULL;
10911     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10912 #  else /* !DEBUGGING */
10913     Zero(my_perl, 1, PerlInterpreter);
10914 #  endif        /* DEBUGGING */
10915
10916     /* host pointers */
10917     PL_Mem              = ipM;
10918     PL_MemShared        = ipMS;
10919     PL_MemParse         = ipMP;
10920     PL_Env              = ipE;
10921     PL_StdIO            = ipStd;
10922     PL_LIO              = ipLIO;
10923     PL_Dir              = ipD;
10924     PL_Sock             = ipS;
10925     PL_Proc             = ipP;
10926 #else           /* !PERL_IMPLICIT_SYS */
10927     IV i;
10928     CLONE_PARAMS clone_params;
10929     CLONE_PARAMS* param = &clone_params;
10930     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10931     /* for each stash, determine whether its objects should be cloned */
10932     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10933     PERL_SET_THX(my_perl);
10934
10935 #    ifdef DEBUGGING
10936     PoisonNew(my_perl, 1, PerlInterpreter);
10937     PL_op = NULL;
10938     PL_curcop = NULL;
10939     PL_markstack = 0;
10940     PL_scopestack = 0;
10941     PL_savestack = 0;
10942     PL_savestack_ix = 0;
10943     PL_savestack_max = -1;
10944     PL_sig_pending = 0;
10945     PL_parser = NULL;
10946     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10947 #    else       /* !DEBUGGING */
10948     Zero(my_perl, 1, PerlInterpreter);
10949 #    endif      /* DEBUGGING */
10950 #endif          /* PERL_IMPLICIT_SYS */
10951     param->flags = flags;
10952     param->proto_perl = proto_perl;
10953
10954     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
10955
10956     PL_body_arenas = NULL;
10957     Zero(&PL_body_roots, 1, PL_body_roots);
10958     
10959     PL_nice_chunk       = NULL;
10960     PL_nice_chunk_size  = 0;
10961     PL_sv_count         = 0;
10962     PL_sv_objcount      = 0;
10963     PL_sv_root          = NULL;
10964     PL_sv_arenaroot     = NULL;
10965
10966     PL_debug            = proto_perl->Idebug;
10967
10968     PL_hash_seed        = proto_perl->Ihash_seed;
10969     PL_rehash_seed      = proto_perl->Irehash_seed;
10970
10971 #ifdef USE_REENTRANT_API
10972     /* XXX: things like -Dm will segfault here in perlio, but doing
10973      *  PERL_SET_CONTEXT(proto_perl);
10974      * breaks too many other things
10975      */
10976     Perl_reentrant_init(aTHX);
10977 #endif
10978
10979     /* create SV map for pointer relocation */
10980     PL_ptr_table = ptr_table_new();
10981
10982     /* initialize these special pointers as early as possible */
10983     SvANY(&PL_sv_undef)         = NULL;
10984     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
10985     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
10986     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
10987
10988     SvANY(&PL_sv_no)            = new_XPVNV();
10989     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
10990     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10991                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10992     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
10993     SvCUR_set(&PL_sv_no, 0);
10994     SvLEN_set(&PL_sv_no, 1);
10995     SvIV_set(&PL_sv_no, 0);
10996     SvNV_set(&PL_sv_no, 0);
10997     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
10998
10999     SvANY(&PL_sv_yes)           = new_XPVNV();
11000     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11001     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11002                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11003     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11004     SvCUR_set(&PL_sv_yes, 1);
11005     SvLEN_set(&PL_sv_yes, 2);
11006     SvIV_set(&PL_sv_yes, 1);
11007     SvNV_set(&PL_sv_yes, 1);
11008     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11009
11010     /* create (a non-shared!) shared string table */
11011     PL_strtab           = newHV();
11012     HvSHAREKEYS_off(PL_strtab);
11013     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11014     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11015
11016     PL_compiling = proto_perl->Icompiling;
11017
11018     /* These two PVs will be free'd special way so must set them same way op.c does */
11019     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11020     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11021
11022     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11023     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11024
11025     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11026     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11027     if (PL_compiling.cop_hints_hash) {
11028         HINTS_REFCNT_LOCK;
11029         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11030         HINTS_REFCNT_UNLOCK;
11031     }
11032     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11033 #ifdef PERL_DEBUG_READONLY_OPS
11034     PL_slabs = NULL;
11035     PL_slab_count = 0;
11036 #endif
11037
11038     /* pseudo environmental stuff */
11039     PL_origargc         = proto_perl->Iorigargc;
11040     PL_origargv         = proto_perl->Iorigargv;
11041
11042     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11043
11044     /* Set tainting stuff before PerlIO_debug can possibly get called */
11045     PL_tainting         = proto_perl->Itainting;
11046     PL_taint_warn       = proto_perl->Itaint_warn;
11047
11048 #ifdef PERLIO_LAYERS
11049     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11050     PerlIO_clone(aTHX_ proto_perl, param);
11051 #endif
11052
11053     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11054     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11055     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11056     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11057     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11058     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11059
11060     /* switches */
11061     PL_minus_c          = proto_perl->Iminus_c;
11062     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11063     PL_localpatches     = proto_perl->Ilocalpatches;
11064     PL_splitstr         = proto_perl->Isplitstr;
11065     PL_preprocess       = proto_perl->Ipreprocess;
11066     PL_minus_n          = proto_perl->Iminus_n;
11067     PL_minus_p          = proto_perl->Iminus_p;
11068     PL_minus_l          = proto_perl->Iminus_l;
11069     PL_minus_a          = proto_perl->Iminus_a;
11070     PL_minus_E          = proto_perl->Iminus_E;
11071     PL_minus_F          = proto_perl->Iminus_F;
11072     PL_doswitches       = proto_perl->Idoswitches;
11073     PL_dowarn           = proto_perl->Idowarn;
11074     PL_doextract        = proto_perl->Idoextract;
11075     PL_sawampersand     = proto_perl->Isawampersand;
11076     PL_unsafe           = proto_perl->Iunsafe;
11077     PL_inplace          = SAVEPV(proto_perl->Iinplace);
11078     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
11079     PL_perldb           = proto_perl->Iperldb;
11080     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
11081     PL_exit_flags       = proto_perl->Iexit_flags;
11082
11083     /* magical thingies */
11084     /* XXX time(&PL_basetime) when asked for? */
11085     PL_basetime         = proto_perl->Ibasetime;
11086     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
11087
11088     PL_maxsysfd         = proto_perl->Imaxsysfd;
11089     PL_statusvalue      = proto_perl->Istatusvalue;
11090 #ifdef VMS
11091     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
11092 #else
11093     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
11094 #endif
11095     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
11096
11097     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
11098     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
11099     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
11100
11101    
11102     /* RE engine related */
11103     Zero(&PL_reg_state, 1, struct re_save_state);
11104     PL_reginterp_cnt    = 0;
11105     PL_regmatch_slab    = NULL;
11106     
11107     /* Clone the regex array */
11108     PL_regex_padav = newAV();
11109     {
11110         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
11111         SV* const * const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
11112         IV i;
11113         av_push(PL_regex_padav, sv_dup_inc_NN(regexen[0],param));
11114         for(i = 1; i <= len; i++) {
11115             const SV * const regex = regexen[i];
11116             SV * const sv =
11117                 SvREPADTMP(regex)
11118                     ? sv_dup_inc(regex, param)
11119                     : SvREFCNT_inc(
11120                         newSViv(PTR2IV(CALLREGDUPE(
11121                                 INT2PTR(REGEXP *, SvIVX(regex)), param))))
11122                 ;
11123             if (SvFLAGS(regex) & SVf_BREAK)
11124                 SvFLAGS(sv) |= SVf_BREAK; /* unrefcnted PL_curpm */
11125             av_push(PL_regex_padav, sv);
11126         }
11127     }
11128     PL_regex_pad = AvARRAY(PL_regex_padav);
11129
11130     /* shortcuts to various I/O objects */
11131     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
11132     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
11133     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
11134     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
11135     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
11136     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
11137
11138     /* shortcuts to regexp stuff */
11139     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
11140
11141     /* shortcuts to misc objects */
11142     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
11143
11144     /* shortcuts to debugging objects */
11145     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
11146     PL_DBline           = gv_dup(proto_perl->IDBline, param);
11147     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
11148     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
11149     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
11150     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
11151     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
11152
11153     /* symbol tables */
11154     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
11155     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
11156     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
11157     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
11158     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
11159
11160     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
11161     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
11162     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
11163     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
11164     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
11165     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
11166     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
11167     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
11168
11169     PL_sub_generation   = proto_perl->Isub_generation;
11170     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
11171     PL_delayedisa       = hv_dup_inc(proto_perl->Idelayedisa, param);
11172
11173     /* funky return mechanisms */
11174     PL_forkprocess      = proto_perl->Iforkprocess;
11175
11176     /* subprocess state */
11177     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
11178
11179     /* internal state */
11180     PL_maxo             = proto_perl->Imaxo;
11181     if (proto_perl->Iop_mask)
11182         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
11183     else
11184         PL_op_mask      = NULL;
11185     /* PL_asserting        = proto_perl->Iasserting; */
11186
11187     /* current interpreter roots */
11188     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
11189     OP_REFCNT_LOCK;
11190     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
11191     OP_REFCNT_UNLOCK;
11192     PL_main_start       = proto_perl->Imain_start;
11193     PL_eval_root        = proto_perl->Ieval_root;
11194     PL_eval_start       = proto_perl->Ieval_start;
11195
11196     /* runtime control stuff */
11197     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
11198
11199     PL_filemode         = proto_perl->Ifilemode;
11200     PL_lastfd           = proto_perl->Ilastfd;
11201     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
11202     PL_Argv             = NULL;
11203     PL_Cmd              = NULL;
11204     PL_gensym           = proto_perl->Igensym;
11205     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
11206     PL_laststatval      = proto_perl->Ilaststatval;
11207     PL_laststype        = proto_perl->Ilaststype;
11208     PL_mess_sv          = NULL;
11209
11210     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
11211
11212     /* interpreter atexit processing */
11213     PL_exitlistlen      = proto_perl->Iexitlistlen;
11214     if (PL_exitlistlen) {
11215         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11216         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11217     }
11218     else
11219         PL_exitlist     = (PerlExitListEntry*)NULL;
11220
11221     PL_my_cxt_size = proto_perl->Imy_cxt_size;
11222     if (PL_my_cxt_size) {
11223         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
11224         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
11225 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11226         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
11227         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
11228 #endif
11229     }
11230     else {
11231         PL_my_cxt_list  = (void**)NULL;
11232 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11233         PL_my_cxt_keys  = (const char**)NULL;
11234 #endif
11235     }
11236     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
11237     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
11238     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
11239
11240     PL_profiledata      = NULL;
11241
11242     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
11243
11244     PAD_CLONE_VARS(proto_perl, param);
11245
11246 #ifdef HAVE_INTERP_INTERN
11247     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
11248 #endif
11249
11250     /* more statics moved here */
11251     PL_generation       = proto_perl->Igeneration;
11252     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
11253
11254     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
11255     PL_in_clean_all     = proto_perl->Iin_clean_all;
11256
11257     PL_uid              = proto_perl->Iuid;
11258     PL_euid             = proto_perl->Ieuid;
11259     PL_gid              = proto_perl->Igid;
11260     PL_egid             = proto_perl->Iegid;
11261     PL_nomemok          = proto_perl->Inomemok;
11262     PL_an               = proto_perl->Ian;
11263     PL_evalseq          = proto_perl->Ievalseq;
11264     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
11265     PL_origalen         = proto_perl->Iorigalen;
11266 #ifdef PERL_USES_PL_PIDSTATUS
11267     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
11268 #endif
11269     PL_osname           = SAVEPV(proto_perl->Iosname);
11270     PL_sighandlerp      = proto_perl->Isighandlerp;
11271
11272     PL_runops           = proto_perl->Irunops;
11273
11274 #ifdef CSH
11275     PL_cshlen           = proto_perl->Icshlen;
11276     PL_cshname          = proto_perl->Icshname; /* XXX never deallocated */
11277 #endif
11278
11279     PL_parser           = parser_dup(proto_perl->Iparser, param);
11280
11281     PL_subline          = proto_perl->Isubline;
11282     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
11283
11284 #ifdef FCRYPT
11285     PL_cryptseen        = proto_perl->Icryptseen;
11286 #endif
11287
11288     PL_hints            = proto_perl->Ihints;
11289
11290     PL_amagic_generation        = proto_perl->Iamagic_generation;
11291
11292 #ifdef USE_LOCALE_COLLATE
11293     PL_collation_ix     = proto_perl->Icollation_ix;
11294     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
11295     PL_collation_standard       = proto_perl->Icollation_standard;
11296     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
11297     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
11298 #endif /* USE_LOCALE_COLLATE */
11299
11300 #ifdef USE_LOCALE_NUMERIC
11301     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
11302     PL_numeric_standard = proto_perl->Inumeric_standard;
11303     PL_numeric_local    = proto_perl->Inumeric_local;
11304     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
11305 #endif /* !USE_LOCALE_NUMERIC */
11306
11307     /* utf8 character classes */
11308     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
11309     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
11310     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
11311     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
11312     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
11313     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
11314     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
11315     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
11316     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
11317     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
11318     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
11319     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
11320     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
11321     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
11322     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
11323     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
11324     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
11325     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
11326     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
11327     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
11328
11329     /* Did the locale setup indicate UTF-8? */
11330     PL_utf8locale       = proto_perl->Iutf8locale;
11331     /* Unicode features (see perlrun/-C) */
11332     PL_unicode          = proto_perl->Iunicode;
11333
11334     /* Pre-5.8 signals control */
11335     PL_signals          = proto_perl->Isignals;
11336
11337     /* times() ticks per second */
11338     PL_clocktick        = proto_perl->Iclocktick;
11339
11340     /* Recursion stopper for PerlIO_find_layer */
11341     PL_in_load_module   = proto_perl->Iin_load_module;
11342
11343     /* sort() routine */
11344     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
11345
11346     /* Not really needed/useful since the reenrant_retint is "volatile",
11347      * but do it for consistency's sake. */
11348     PL_reentrant_retint = proto_perl->Ireentrant_retint;
11349
11350     /* Hooks to shared SVs and locks. */
11351     PL_sharehook        = proto_perl->Isharehook;
11352     PL_lockhook         = proto_perl->Ilockhook;
11353     PL_unlockhook       = proto_perl->Iunlockhook;
11354     PL_threadhook       = proto_perl->Ithreadhook;
11355
11356 #ifdef THREADS_HAVE_PIDS
11357     PL_ppid             = proto_perl->Ippid;
11358 #endif
11359
11360     /* swatch cache */
11361     PL_last_swash_hv    = NULL; /* reinits on demand */
11362     PL_last_swash_klen  = 0;
11363     PL_last_swash_key[0]= '\0';
11364     PL_last_swash_tmps  = (U8*)NULL;
11365     PL_last_swash_slen  = 0;
11366
11367     PL_glob_index       = proto_perl->Iglob_index;
11368     PL_srand_called     = proto_perl->Isrand_called;
11369     PL_bitcount         = NULL; /* reinits on demand */
11370
11371     if (proto_perl->Ipsig_pend) {
11372         Newxz(PL_psig_pend, SIG_SIZE, int);
11373     }
11374     else {
11375         PL_psig_pend    = (int*)NULL;
11376     }
11377
11378     if (proto_perl->Ipsig_ptr) {
11379         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
11380         Newxz(PL_psig_name, SIG_SIZE, SV*);
11381         for (i = 1; i < SIG_SIZE; i++) {
11382             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
11383             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
11384         }
11385     }
11386     else {
11387         PL_psig_ptr     = (SV**)NULL;
11388         PL_psig_name    = (SV**)NULL;
11389     }
11390
11391     /* intrpvar.h stuff */
11392
11393     if (flags & CLONEf_COPY_STACKS) {
11394         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
11395         PL_tmps_ix              = proto_perl->Itmps_ix;
11396         PL_tmps_max             = proto_perl->Itmps_max;
11397         PL_tmps_floor           = proto_perl->Itmps_floor;
11398         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
11399         i = 0;
11400         while (i <= PL_tmps_ix) {
11401             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Itmps_stack[i], param);
11402             ++i;
11403         }
11404
11405         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
11406         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
11407         Newxz(PL_markstack, i, I32);
11408         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
11409                                                   - proto_perl->Imarkstack);
11410         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
11411                                                   - proto_perl->Imarkstack);
11412         Copy(proto_perl->Imarkstack, PL_markstack,
11413              PL_markstack_ptr - PL_markstack + 1, I32);
11414
11415         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
11416          * NOTE: unlike the others! */
11417         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
11418         PL_scopestack_max       = proto_perl->Iscopestack_max;
11419         Newxz(PL_scopestack, PL_scopestack_max, I32);
11420         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
11421
11422         /* NOTE: si_dup() looks at PL_markstack */
11423         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
11424
11425         /* PL_curstack          = PL_curstackinfo->si_stack; */
11426         PL_curstack             = av_dup(proto_perl->Icurstack, param);
11427         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
11428
11429         /* next PUSHs() etc. set *(PL_stack_sp+1) */
11430         PL_stack_base           = AvARRAY(PL_curstack);
11431         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
11432                                                    - proto_perl->Istack_base);
11433         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
11434
11435         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
11436          * NOTE: unlike the others! */
11437         PL_savestack_ix         = proto_perl->Isavestack_ix;
11438         PL_savestack_max        = proto_perl->Isavestack_max;
11439         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
11440         PL_savestack            = ss_dup(proto_perl, param);
11441     }
11442     else {
11443         init_stacks();
11444         ENTER;                  /* perl_destruct() wants to LEAVE; */
11445
11446         /* although we're not duplicating the tmps stack, we should still
11447          * add entries for any SVs on the tmps stack that got cloned by a
11448          * non-refcount means (eg a temp in @_); otherwise they will be
11449          * orphaned
11450          */
11451         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
11452             SV * const nsv = (SV*)ptr_table_fetch(PL_ptr_table,
11453                     proto_perl->Itmps_stack[i]);
11454             if (nsv && !SvREFCNT(nsv)) {
11455                 EXTEND_MORTAL(1);
11456                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
11457             }
11458         }
11459     }
11460
11461     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
11462     PL_top_env          = &PL_start_env;
11463
11464     PL_op               = proto_perl->Iop;
11465
11466     PL_Sv               = NULL;
11467     PL_Xpv              = (XPV*)NULL;
11468     PL_na               = proto_perl->Ina;
11469
11470     PL_statbuf          = proto_perl->Istatbuf;
11471     PL_statcache        = proto_perl->Istatcache;
11472     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
11473     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
11474 #ifdef HAS_TIMES
11475     PL_timesbuf         = proto_perl->Itimesbuf;
11476 #endif
11477
11478     PL_tainted          = proto_perl->Itainted;
11479     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
11480     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
11481     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
11482     PL_ofs_sv           = sv_dup_inc(proto_perl->Iofs_sv, param);
11483     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
11484     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
11485     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
11486     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
11487     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
11488
11489     PL_restartop        = proto_perl->Irestartop;
11490     PL_in_eval          = proto_perl->Iin_eval;
11491     PL_delaymagic       = proto_perl->Idelaymagic;
11492     PL_dirty            = proto_perl->Idirty;
11493     PL_localizing       = proto_perl->Ilocalizing;
11494
11495     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
11496     PL_hv_fetch_ent_mh  = NULL;
11497     PL_modcount         = proto_perl->Imodcount;
11498     PL_lastgotoprobe    = NULL;
11499     PL_dumpindent       = proto_perl->Idumpindent;
11500
11501     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
11502     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
11503     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
11504     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
11505     PL_efloatbuf        = NULL;         /* reinits on demand */
11506     PL_efloatsize       = 0;                    /* reinits on demand */
11507
11508     /* regex stuff */
11509
11510     PL_screamfirst      = NULL;
11511     PL_screamnext       = NULL;
11512     PL_maxscream        = -1;                   /* reinits on demand */
11513     PL_lastscream       = NULL;
11514
11515
11516     PL_regdummy         = proto_perl->Iregdummy;
11517     PL_colorset         = 0;            /* reinits PL_colors[] */
11518     /*PL_colors[6]      = {0,0,0,0,0,0};*/
11519
11520
11521
11522     /* Pluggable optimizer */
11523     PL_peepp            = proto_perl->Ipeepp;
11524
11525     PL_stashcache       = newHV();
11526
11527     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
11528                                             proto_perl->Iwatchaddr);
11529     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
11530     if (PL_debug && PL_watchaddr) {
11531         PerlIO_printf(Perl_debug_log,
11532           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
11533           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
11534           PTR2UV(PL_watchok));
11535     }
11536
11537     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
11538         ptr_table_free(PL_ptr_table);
11539         PL_ptr_table = NULL;
11540     }
11541
11542     /* Call the ->CLONE method, if it exists, for each of the stashes
11543        identified by sv_dup() above.
11544     */
11545     while(av_len(param->stashes) != -1) {
11546         HV* const stash = (HV*) av_shift(param->stashes);
11547         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
11548         if (cloner && GvCV(cloner)) {
11549             dSP;
11550             ENTER;
11551             SAVETMPS;
11552             PUSHMARK(SP);
11553             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
11554             PUTBACK;
11555             call_sv((SV*)GvCV(cloner), G_DISCARD);
11556             FREETMPS;
11557             LEAVE;
11558         }
11559     }
11560
11561     SvREFCNT_dec(param->stashes);
11562
11563     /* orphaned? eg threads->new inside BEGIN or use */
11564     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11565         SvREFCNT_inc_simple_void(PL_compcv);
11566         SAVEFREESV(PL_compcv);
11567     }
11568
11569     return my_perl;
11570 }
11571
11572 #endif /* USE_ITHREADS */
11573
11574 /*
11575 =head1 Unicode Support
11576
11577 =for apidoc sv_recode_to_utf8
11578
11579 The encoding is assumed to be an Encode object, on entry the PV
11580 of the sv is assumed to be octets in that encoding, and the sv
11581 will be converted into Unicode (and UTF-8).
11582
11583 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11584 is not a reference, nothing is done to the sv.  If the encoding is not
11585 an C<Encode::XS> Encoding object, bad things will happen.
11586 (See F<lib/encoding.pm> and L<Encode>).
11587
11588 The PV of the sv is returned.
11589
11590 =cut */
11591
11592 char *
11593 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11594 {
11595     dVAR;
11596     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11597         SV *uni;
11598         STRLEN len;
11599         const char *s;
11600         dSP;
11601         ENTER;
11602         SAVETMPS;
11603         save_re_context();
11604         PUSHMARK(sp);
11605         EXTEND(SP, 3);
11606         XPUSHs(encoding);
11607         XPUSHs(sv);
11608 /*
11609   NI-S 2002/07/09
11610   Passing sv_yes is wrong - it needs to be or'ed set of constants
11611   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11612   remove converted chars from source.
11613
11614   Both will default the value - let them.
11615
11616         XPUSHs(&PL_sv_yes);
11617 */
11618         PUTBACK;
11619         call_method("decode", G_SCALAR);
11620         SPAGAIN;
11621         uni = POPs;
11622         PUTBACK;
11623         s = SvPV_const(uni, len);
11624         if (s != SvPVX_const(sv)) {
11625             SvGROW(sv, len + 1);
11626             Move(s, SvPVX(sv), len + 1, char);
11627             SvCUR_set(sv, len);
11628         }
11629         FREETMPS;
11630         LEAVE;
11631         SvUTF8_on(sv);
11632         return SvPVX(sv);
11633     }
11634     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11635 }
11636
11637 /*
11638 =for apidoc sv_cat_decode
11639
11640 The encoding is assumed to be an Encode object, the PV of the ssv is
11641 assumed to be octets in that encoding and decoding the input starts
11642 from the position which (PV + *offset) pointed to.  The dsv will be
11643 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11644 when the string tstr appears in decoding output or the input ends on
11645 the PV of the ssv. The value which the offset points will be modified
11646 to the last input position on the ssv.
11647
11648 Returns TRUE if the terminator was found, else returns FALSE.
11649
11650 =cut */
11651
11652 bool
11653 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11654                    SV *ssv, int *offset, char *tstr, int tlen)
11655 {
11656     dVAR;
11657     bool ret = FALSE;
11658     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11659         SV *offsv;
11660         dSP;
11661         ENTER;
11662         SAVETMPS;
11663         save_re_context();
11664         PUSHMARK(sp);
11665         EXTEND(SP, 6);
11666         XPUSHs(encoding);
11667         XPUSHs(dsv);
11668         XPUSHs(ssv);
11669         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11670         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11671         PUTBACK;
11672         call_method("cat_decode", G_SCALAR);
11673         SPAGAIN;
11674         ret = SvTRUE(TOPs);
11675         *offset = SvIV(offsv);
11676         PUTBACK;
11677         FREETMPS;
11678         LEAVE;
11679     }
11680     else
11681         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11682     return ret;
11683
11684 }
11685
11686 /* ---------------------------------------------------------------------
11687  *
11688  * support functions for report_uninit()
11689  */
11690
11691 /* the maxiumum size of array or hash where we will scan looking
11692  * for the undefined element that triggered the warning */
11693
11694 #define FUV_MAX_SEARCH_SIZE 1000
11695
11696 /* Look for an entry in the hash whose value has the same SV as val;
11697  * If so, return a mortal copy of the key. */
11698
11699 STATIC SV*
11700 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11701 {
11702     dVAR;
11703     register HE **array;
11704     I32 i;
11705
11706     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11707                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11708         return NULL;
11709
11710     array = HvARRAY(hv);
11711
11712     for (i=HvMAX(hv); i>0; i--) {
11713         register HE *entry;
11714         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11715             if (HeVAL(entry) != val)
11716                 continue;
11717             if (    HeVAL(entry) == &PL_sv_undef ||
11718                     HeVAL(entry) == &PL_sv_placeholder)
11719                 continue;
11720             if (!HeKEY(entry))
11721                 return NULL;
11722             if (HeKLEN(entry) == HEf_SVKEY)
11723                 return sv_mortalcopy(HeKEY_sv(entry));
11724             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11725         }
11726     }
11727     return NULL;
11728 }
11729
11730 /* Look for an entry in the array whose value has the same SV as val;
11731  * If so, return the index, otherwise return -1. */
11732
11733 STATIC I32
11734 S_find_array_subscript(pTHX_ AV *av, SV* val)
11735 {
11736     dVAR;
11737     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11738                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11739         return -1;
11740
11741     if (val != &PL_sv_undef) {
11742         SV ** const svp = AvARRAY(av);
11743         I32 i;
11744
11745         for (i=AvFILLp(av); i>=0; i--)
11746             if (svp[i] == val)
11747                 return i;
11748     }
11749     return -1;
11750 }
11751
11752 /* S_varname(): return the name of a variable, optionally with a subscript.
11753  * If gv is non-zero, use the name of that global, along with gvtype (one
11754  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11755  * targ.  Depending on the value of the subscript_type flag, return:
11756  */
11757
11758 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11759 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11760 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11761 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11762
11763 STATIC SV*
11764 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11765         SV* keyname, I32 aindex, int subscript_type)
11766 {
11767
11768     SV * const name = sv_newmortal();
11769     if (gv) {
11770         char buffer[2];
11771         buffer[0] = gvtype;
11772         buffer[1] = 0;
11773
11774         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11775
11776         gv_fullname4(name, gv, buffer, 0);
11777
11778         if ((unsigned int)SvPVX(name)[1] <= 26) {
11779             buffer[0] = '^';
11780             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11781
11782             /* Swap the 1 unprintable control character for the 2 byte pretty
11783                version - ie substr($name, 1, 1) = $buffer; */
11784             sv_insert(name, 1, 1, buffer, 2);
11785         }
11786     }
11787     else {
11788         CV * const cv = find_runcv(NULL);
11789         SV *sv;
11790         AV *av;
11791
11792         if (!cv || !CvPADLIST(cv))
11793             return NULL;
11794         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11795         sv = *av_fetch(av, targ, FALSE);
11796         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
11797     }
11798
11799     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11800         SV * const sv = newSV(0);
11801         *SvPVX(name) = '$';
11802         Perl_sv_catpvf(aTHX_ name, "{%s}",
11803             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11804         SvREFCNT_dec(sv);
11805     }
11806     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11807         *SvPVX(name) = '$';
11808         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11809     }
11810     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11811         Perl_sv_insert(aTHX_ name, 0, 0,  STR_WITH_LEN("within "));
11812
11813     return name;
11814 }
11815
11816
11817 /*
11818 =for apidoc find_uninit_var
11819
11820 Find the name of the undefined variable (if any) that caused the operator o
11821 to issue a "Use of uninitialized value" warning.
11822 If match is true, only return a name if it's value matches uninit_sv.
11823 So roughly speaking, if a unary operator (such as OP_COS) generates a
11824 warning, then following the direct child of the op may yield an
11825 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11826 other hand, with OP_ADD there are two branches to follow, so we only print
11827 the variable name if we get an exact match.
11828
11829 The name is returned as a mortal SV.
11830
11831 Assumes that PL_op is the op that originally triggered the error, and that
11832 PL_comppad/PL_curpad points to the currently executing pad.
11833
11834 =cut
11835 */
11836
11837 STATIC SV *
11838 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11839 {
11840     dVAR;
11841     SV *sv;
11842     AV *av;
11843     GV *gv;
11844     OP *o, *o2, *kid;
11845
11846     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11847                             uninit_sv == &PL_sv_placeholder)))
11848         return NULL;
11849
11850     switch (obase->op_type) {
11851
11852     case OP_RV2AV:
11853     case OP_RV2HV:
11854     case OP_PADAV:
11855     case OP_PADHV:
11856       {
11857         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11858         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11859         I32 index = 0;
11860         SV *keysv = NULL;
11861         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11862
11863         if (pad) { /* @lex, %lex */
11864             sv = PAD_SVl(obase->op_targ);
11865             gv = NULL;
11866         }
11867         else {
11868             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11869             /* @global, %global */
11870                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11871                 if (!gv)
11872                     break;
11873                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11874             }
11875             else /* @{expr}, %{expr} */
11876                 return find_uninit_var(cUNOPx(obase)->op_first,
11877                                                     uninit_sv, match);
11878         }
11879
11880         /* attempt to find a match within the aggregate */
11881         if (hash) {
11882             keysv = find_hash_subscript((HV*)sv, uninit_sv);
11883             if (keysv)
11884                 subscript_type = FUV_SUBSCRIPT_HASH;
11885         }
11886         else {
11887             index = find_array_subscript((AV*)sv, uninit_sv);
11888             if (index >= 0)
11889                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11890         }
11891
11892         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11893             break;
11894
11895         return varname(gv, hash ? '%' : '@', obase->op_targ,
11896                                     keysv, index, subscript_type);
11897       }
11898
11899     case OP_PADSV:
11900         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11901             break;
11902         return varname(NULL, '$', obase->op_targ,
11903                                     NULL, 0, FUV_SUBSCRIPT_NONE);
11904
11905     case OP_GVSV:
11906         gv = cGVOPx_gv(obase);
11907         if (!gv || (match && GvSV(gv) != uninit_sv))
11908             break;
11909         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
11910
11911     case OP_AELEMFAST:
11912         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11913             if (match) {
11914                 SV **svp;
11915                 av = (AV*)PAD_SV(obase->op_targ);
11916                 if (!av || SvRMAGICAL(av))
11917                     break;
11918                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11919                 if (!svp || *svp != uninit_sv)
11920                     break;
11921             }
11922             return varname(NULL, '$', obase->op_targ,
11923                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11924         }
11925         else {
11926             gv = cGVOPx_gv(obase);
11927             if (!gv)
11928                 break;
11929             if (match) {
11930                 SV **svp;
11931                 av = GvAV(gv);
11932                 if (!av || SvRMAGICAL(av))
11933                     break;
11934                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11935                 if (!svp || *svp != uninit_sv)
11936                     break;
11937             }
11938             return varname(gv, '$', 0,
11939                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11940         }
11941         break;
11942
11943     case OP_EXISTS:
11944         o = cUNOPx(obase)->op_first;
11945         if (!o || o->op_type != OP_NULL ||
11946                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
11947             break;
11948         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
11949
11950     case OP_AELEM:
11951     case OP_HELEM:
11952         if (PL_op == obase)
11953             /* $a[uninit_expr] or $h{uninit_expr} */
11954             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
11955
11956         gv = NULL;
11957         o = cBINOPx(obase)->op_first;
11958         kid = cBINOPx(obase)->op_last;
11959
11960         /* get the av or hv, and optionally the gv */
11961         sv = NULL;
11962         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
11963             sv = PAD_SV(o->op_targ);
11964         }
11965         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
11966                 && cUNOPo->op_first->op_type == OP_GV)
11967         {
11968             gv = cGVOPx_gv(cUNOPo->op_first);
11969             if (!gv)
11970                 break;
11971             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
11972         }
11973         if (!sv)
11974             break;
11975
11976         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
11977             /* index is constant */
11978             if (match) {
11979                 if (SvMAGICAL(sv))
11980                     break;
11981                 if (obase->op_type == OP_HELEM) {
11982                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
11983                     if (!he || HeVAL(he) != uninit_sv)
11984                         break;
11985                 }
11986                 else {
11987                     SV * const * const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
11988                     if (!svp || *svp != uninit_sv)
11989                         break;
11990                 }
11991             }
11992             if (obase->op_type == OP_HELEM)
11993                 return varname(gv, '%', o->op_targ,
11994                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
11995             else
11996                 return varname(gv, '@', o->op_targ, NULL,
11997                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
11998         }
11999         else  {
12000             /* index is an expression;
12001              * attempt to find a match within the aggregate */
12002             if (obase->op_type == OP_HELEM) {
12003                 SV * const keysv = find_hash_subscript((HV*)sv, uninit_sv);
12004                 if (keysv)
12005                     return varname(gv, '%', o->op_targ,
12006                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12007             }
12008             else {
12009                 const I32 index = find_array_subscript((AV*)sv, uninit_sv);
12010                 if (index >= 0)
12011                     return varname(gv, '@', o->op_targ,
12012                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12013             }
12014             if (match)
12015                 break;
12016             return varname(gv,
12017                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12018                 ? '@' : '%',
12019                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12020         }
12021         break;
12022
12023     case OP_AASSIGN:
12024         /* only examine RHS */
12025         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12026
12027     case OP_OPEN:
12028         o = cUNOPx(obase)->op_first;
12029         if (o->op_type == OP_PUSHMARK)
12030             o = o->op_sibling;
12031
12032         if (!o->op_sibling) {
12033             /* one-arg version of open is highly magical */
12034
12035             if (o->op_type == OP_GV) { /* open FOO; */
12036                 gv = cGVOPx_gv(o);
12037                 if (match && GvSV(gv) != uninit_sv)
12038                     break;
12039                 return varname(gv, '$', 0,
12040                             NULL, 0, FUV_SUBSCRIPT_NONE);
12041             }
12042             /* other possibilities not handled are:
12043              * open $x; or open my $x;  should return '${*$x}'
12044              * open expr;               should return '$'.expr ideally
12045              */
12046              break;
12047         }
12048         goto do_op;
12049
12050     /* ops where $_ may be an implicit arg */
12051     case OP_TRANS:
12052     case OP_SUBST:
12053     case OP_MATCH:
12054         if ( !(obase->op_flags & OPf_STACKED)) {
12055             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12056                                  ? PAD_SVl(obase->op_targ)
12057                                  : DEFSV))
12058             {
12059                 sv = sv_newmortal();
12060                 sv_setpvn(sv, "$_", 2);
12061                 return sv;
12062             }
12063         }
12064         goto do_op;
12065
12066     case OP_PRTF:
12067     case OP_PRINT:
12068     case OP_SAY:
12069         /* skip filehandle as it can't produce 'undef' warning  */
12070         o = cUNOPx(obase)->op_first;
12071         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
12072             o = o->op_sibling->op_sibling;
12073         goto do_op2;
12074
12075
12076     case OP_RV2SV:
12077     case OP_CUSTOM:
12078     case OP_ENTERSUB:
12079         match = 1; /* XS or custom code could trigger random warnings */
12080         goto do_op;
12081
12082     case OP_SCHOMP:
12083     case OP_CHOMP:
12084         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
12085             return sv_2mortal(newSVpvs("${$/}"));
12086         /*FALLTHROUGH*/
12087
12088     default:
12089     do_op:
12090         if (!(obase->op_flags & OPf_KIDS))
12091             break;
12092         o = cUNOPx(obase)->op_first;
12093         
12094     do_op2:
12095         if (!o)
12096             break;
12097
12098         /* if all except one arg are constant, or have no side-effects,
12099          * or are optimized away, then it's unambiguous */
12100         o2 = NULL;
12101         for (kid=o; kid; kid = kid->op_sibling) {
12102             if (kid) {
12103                 const OPCODE type = kid->op_type;
12104                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
12105                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
12106                   || (type == OP_PUSHMARK)
12107                 )
12108                 continue;
12109             }
12110             if (o2) { /* more than one found */
12111                 o2 = NULL;
12112                 break;
12113             }
12114             o2 = kid;
12115         }
12116         if (o2)
12117             return find_uninit_var(o2, uninit_sv, match);
12118
12119         /* scan all args */
12120         while (o) {
12121             sv = find_uninit_var(o, uninit_sv, 1);
12122             if (sv)
12123                 return sv;
12124             o = o->op_sibling;
12125         }
12126         break;
12127     }
12128     return NULL;
12129 }
12130
12131
12132 /*
12133 =for apidoc report_uninit
12134
12135 Print appropriate "Use of uninitialized variable" warning
12136
12137 =cut
12138 */
12139
12140 void
12141 Perl_report_uninit(pTHX_ SV* uninit_sv)
12142 {
12143     dVAR;
12144     if (PL_op) {
12145         SV* varname = NULL;
12146         if (uninit_sv) {
12147             varname = find_uninit_var(PL_op, uninit_sv,0);
12148             if (varname)
12149                 sv_insert(varname, 0, 0, " ", 1);
12150         }
12151         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12152                 varname ? SvPV_nolen_const(varname) : "",
12153                 " in ", OP_DESC(PL_op));
12154     }
12155     else
12156         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12157                     "", "", "");
12158 }
12159
12160 /*
12161  * Local variables:
12162  * c-indentation-style: bsd
12163  * c-basic-offset: 4
12164  * indent-tabs-mode: t
12165  * End:
12166  *
12167  * ex: set ts=8 sts=4 sw=4 noet:
12168  */