Perl_sv_chop() can return early if it's being asked to do nothing.
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* if adding more checks watch out for the following tests:
34  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
35  *   lib/utf8.t lib/Unicode/Collate/t/index.t
36  * --jhi
37  */
38 #   define ASSERT_UTF8_CACHE(cache) \
39     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
40                               assert((cache)[2] <= (cache)[3]); \
41                               assert((cache)[3] <= (cache)[1]);} \
42                               } STMT_END
43 #else
44 #   define ASSERT_UTF8_CACHE(cache) NOOP
45 #endif
46
47 #ifdef PERL_OLD_COPY_ON_WRITE
48 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
49 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
50 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
51    on-write.  */
52 #endif
53
54 /* ============================================================================
55
56 =head1 Allocation and deallocation of SVs.
57
58 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
59 sv, av, hv...) contains type and reference count information, and for
60 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
61 contains fields specific to each type.  Some types store all they need
62 in the head, so don't have a body.
63
64 In all but the most memory-paranoid configuations (ex: PURIFY), heads
65 and bodies are allocated out of arenas, which by default are
66 approximately 4K chunks of memory parcelled up into N heads or bodies.
67 Sv-bodies are allocated by their sv-type, guaranteeing size
68 consistency needed to allocate safely from arrays.
69
70 For SV-heads, the first slot in each arena is reserved, and holds a
71 link to the next arena, some flags, and a note of the number of slots.
72 Snaked through each arena chain is a linked list of free items; when
73 this becomes empty, an extra arena is allocated and divided up into N
74 items which are threaded into the free list.
75
76 SV-bodies are similar, but they use arena-sets by default, which
77 separate the link and info from the arena itself, and reclaim the 1st
78 slot in the arena.  SV-bodies are further described later.
79
80 The following global variables are associated with arenas:
81
82     PL_sv_arenaroot     pointer to list of SV arenas
83     PL_sv_root          pointer to list of free SV structures
84
85     PL_body_arenas      head of linked-list of body arenas
86     PL_body_roots[]     array of pointers to list of free bodies of svtype
87                         arrays are indexed by the svtype needed
88
89 A few special SV heads are not allocated from an arena, but are
90 instead directly created in the interpreter structure, eg PL_sv_undef.
91 The size of arenas can be changed from the default by setting
92 PERL_ARENA_SIZE appropriately at compile time.
93
94 The SV arena serves the secondary purpose of allowing still-live SVs
95 to be located and destroyed during final cleanup.
96
97 At the lowest level, the macros new_SV() and del_SV() grab and free
98 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
99 to return the SV to the free list with error checking.) new_SV() calls
100 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
101 SVs in the free list have their SvTYPE field set to all ones.
102
103 At the time of very final cleanup, sv_free_arenas() is called from
104 perl_destruct() to physically free all the arenas allocated since the
105 start of the interpreter.
106
107 The function visit() scans the SV arenas list, and calls a specified
108 function for each SV it finds which is still live - ie which has an SvTYPE
109 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
110 following functions (specified as [function that calls visit()] / [function
111 called by visit() for each SV]):
112
113     sv_report_used() / do_report_used()
114                         dump all remaining SVs (debugging aid)
115
116     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
117                         Attempt to free all objects pointed to by RVs,
118                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
119                         try to do the same for all objects indirectly
120                         referenced by typeglobs too.  Called once from
121                         perl_destruct(), prior to calling sv_clean_all()
122                         below.
123
124     sv_clean_all() / do_clean_all()
125                         SvREFCNT_dec(sv) each remaining SV, possibly
126                         triggering an sv_free(). It also sets the
127                         SVf_BREAK flag on the SV to indicate that the
128                         refcnt has been artificially lowered, and thus
129                         stopping sv_free() from giving spurious warnings
130                         about SVs which unexpectedly have a refcnt
131                         of zero.  called repeatedly from perl_destruct()
132                         until there are no SVs left.
133
134 =head2 Arena allocator API Summary
135
136 Private API to rest of sv.c
137
138     new_SV(),  del_SV(),
139
140     new_XIV(), del_XIV(),
141     new_XNV(), del_XNV(),
142     etc
143
144 Public API:
145
146     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
147
148 =cut
149
150 ============================================================================ */
151
152 /*
153  * "A time to plant, and a time to uproot what was planted..."
154  */
155
156 void
157 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
158 {
159     dVAR;
160     void *new_chunk;
161     U32 new_chunk_size;
162     new_chunk = (void *)(chunk);
163     new_chunk_size = (chunk_size);
164     if (new_chunk_size > PL_nice_chunk_size) {
165         Safefree(PL_nice_chunk);
166         PL_nice_chunk = (char *) new_chunk;
167         PL_nice_chunk_size = new_chunk_size;
168     } else {
169         Safefree(chunk);
170     }
171 }
172
173 #ifdef DEBUG_LEAKING_SCALARS
174 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
175 #else
176 #  define FREE_SV_DEBUG_FILE(sv)
177 #endif
178
179 #ifdef PERL_POISON
180 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
181 /* Whilst I'd love to do this, it seems that things like to check on
182    unreferenced scalars
183 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
184 */
185 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
186                                 PoisonNew(&SvREFCNT(sv), 1, U32)
187 #else
188 #  define SvARENA_CHAIN(sv)     SvANY(sv)
189 #  define POSION_SV_HEAD(sv)
190 #endif
191
192 #define plant_SV(p) \
193     STMT_START {                                        \
194         FREE_SV_DEBUG_FILE(p);                          \
195         POSION_SV_HEAD(p);                              \
196         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
197         SvFLAGS(p) = SVTYPEMASK;                        \
198         PL_sv_root = (p);                               \
199         --PL_sv_count;                                  \
200     } STMT_END
201
202 #define uproot_SV(p) \
203     STMT_START {                                        \
204         (p) = PL_sv_root;                               \
205         PL_sv_root = (SV*)SvARENA_CHAIN(p);             \
206         ++PL_sv_count;                                  \
207     } STMT_END
208
209
210 /* make some more SVs by adding another arena */
211
212 STATIC SV*
213 S_more_sv(pTHX)
214 {
215     dVAR;
216     SV* sv;
217
218     if (PL_nice_chunk) {
219         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
220         PL_nice_chunk = NULL;
221         PL_nice_chunk_size = 0;
222     }
223     else {
224         char *chunk;                /* must use New here to match call to */
225         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
226         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
227     }
228     uproot_SV(sv);
229     return sv;
230 }
231
232 /* new_SV(): return a new, empty SV head */
233
234 #ifdef DEBUG_LEAKING_SCALARS
235 /* provide a real function for a debugger to play with */
236 STATIC SV*
237 S_new_SV(pTHX)
238 {
239     SV* sv;
240
241     if (PL_sv_root)
242         uproot_SV(sv);
243     else
244         sv = S_more_sv(aTHX);
245     SvANY(sv) = 0;
246     SvREFCNT(sv) = 1;
247     SvFLAGS(sv) = 0;
248     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
249     sv->sv_debug_line = (U16) (PL_parser
250             ?  PL_parser->copline == NOLINE
251                 ?  PL_curcop
252                     ? CopLINE(PL_curcop)
253                     : 0
254                 : PL_parser->copline
255             : 0);
256     sv->sv_debug_inpad = 0;
257     sv->sv_debug_cloned = 0;
258     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
259     
260     return sv;
261 }
262 #  define new_SV(p) (p)=S_new_SV(aTHX)
263
264 #else
265 #  define new_SV(p) \
266     STMT_START {                                        \
267         if (PL_sv_root)                                 \
268             uproot_SV(p);                               \
269         else                                            \
270             (p) = S_more_sv(aTHX);                      \
271         SvANY(p) = 0;                                   \
272         SvREFCNT(p) = 1;                                \
273         SvFLAGS(p) = 0;                                 \
274     } STMT_END
275 #endif
276
277
278 /* del_SV(): return an empty SV head to the free list */
279
280 #ifdef DEBUGGING
281
282 #define del_SV(p) \
283     STMT_START {                                        \
284         if (DEBUG_D_TEST)                               \
285             del_sv(p);                                  \
286         else                                            \
287             plant_SV(p);                                \
288     } STMT_END
289
290 STATIC void
291 S_del_sv(pTHX_ SV *p)
292 {
293     dVAR;
294     if (DEBUG_D_TEST) {
295         SV* sva;
296         bool ok = 0;
297         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
298             const SV * const sv = sva + 1;
299             const SV * const svend = &sva[SvREFCNT(sva)];
300             if (p >= sv && p < svend) {
301                 ok = 1;
302                 break;
303             }
304         }
305         if (!ok) {
306             if (ckWARN_d(WARN_INTERNAL))        
307                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
308                             "Attempt to free non-arena SV: 0x%"UVxf
309                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
310             return;
311         }
312     }
313     plant_SV(p);
314 }
315
316 #else /* ! DEBUGGING */
317
318 #define del_SV(p)   plant_SV(p)
319
320 #endif /* DEBUGGING */
321
322
323 /*
324 =head1 SV Manipulation Functions
325
326 =for apidoc sv_add_arena
327
328 Given a chunk of memory, link it to the head of the list of arenas,
329 and split it into a list of free SVs.
330
331 =cut
332 */
333
334 void
335 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
336 {
337     dVAR;
338     SV* const sva = (SV*)ptr;
339     register SV* sv;
340     register SV* svend;
341
342     /* The first SV in an arena isn't an SV. */
343     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
344     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
345     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
346
347     PL_sv_arenaroot = sva;
348     PL_sv_root = sva + 1;
349
350     svend = &sva[SvREFCNT(sva) - 1];
351     sv = sva + 1;
352     while (sv < svend) {
353         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
354 #ifdef DEBUGGING
355         SvREFCNT(sv) = 0;
356 #endif
357         /* Must always set typemask because it's always checked in on cleanup
358            when the arenas are walked looking for objects.  */
359         SvFLAGS(sv) = SVTYPEMASK;
360         sv++;
361     }
362     SvARENA_CHAIN(sv) = 0;
363 #ifdef DEBUGGING
364     SvREFCNT(sv) = 0;
365 #endif
366     SvFLAGS(sv) = SVTYPEMASK;
367 }
368
369 /* visit(): call the named function for each non-free SV in the arenas
370  * whose flags field matches the flags/mask args. */
371
372 STATIC I32
373 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
374 {
375     dVAR;
376     SV* sva;
377     I32 visited = 0;
378
379     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
380         register const SV * const svend = &sva[SvREFCNT(sva)];
381         register SV* sv;
382         for (sv = sva + 1; sv < svend; ++sv) {
383             if (SvTYPE(sv) != SVTYPEMASK
384                     && (sv->sv_flags & mask) == flags
385                     && SvREFCNT(sv))
386             {
387                 (FCALL)(aTHX_ sv);
388                 ++visited;
389             }
390         }
391     }
392     return visited;
393 }
394
395 #ifdef DEBUGGING
396
397 /* called by sv_report_used() for each live SV */
398
399 static void
400 do_report_used(pTHX_ SV *sv)
401 {
402     if (SvTYPE(sv) != SVTYPEMASK) {
403         PerlIO_printf(Perl_debug_log, "****\n");
404         sv_dump(sv);
405     }
406 }
407 #endif
408
409 /*
410 =for apidoc sv_report_used
411
412 Dump the contents of all SVs not yet freed. (Debugging aid).
413
414 =cut
415 */
416
417 void
418 Perl_sv_report_used(pTHX)
419 {
420 #ifdef DEBUGGING
421     visit(do_report_used, 0, 0);
422 #else
423     PERL_UNUSED_CONTEXT;
424 #endif
425 }
426
427 /* called by sv_clean_objs() for each live SV */
428
429 static void
430 do_clean_objs(pTHX_ SV *ref)
431 {
432     dVAR;
433     assert (SvROK(ref));
434     {
435         SV * const target = SvRV(ref);
436         if (SvOBJECT(target)) {
437             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
438             if (SvWEAKREF(ref)) {
439                 sv_del_backref(target, ref);
440                 SvWEAKREF_off(ref);
441                 SvRV_set(ref, NULL);
442             } else {
443                 SvROK_off(ref);
444                 SvRV_set(ref, NULL);
445                 SvREFCNT_dec(target);
446             }
447         }
448     }
449
450     /* XXX Might want to check arrays, etc. */
451 }
452
453 /* called by sv_clean_objs() for each live SV */
454
455 #ifndef DISABLE_DESTRUCTOR_KLUDGE
456 static void
457 do_clean_named_objs(pTHX_ SV *sv)
458 {
459     dVAR;
460     assert(SvTYPE(sv) == SVt_PVGV);
461     assert(isGV_with_GP(sv));
462     if (GvGP(sv)) {
463         if ((
464 #ifdef PERL_DONT_CREATE_GVSV
465              GvSV(sv) &&
466 #endif
467              SvOBJECT(GvSV(sv))) ||
468              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
469              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
470              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
471              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
472              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
473         {
474             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
475             SvFLAGS(sv) |= SVf_BREAK;
476             SvREFCNT_dec(sv);
477         }
478     }
479 }
480 #endif
481
482 /*
483 =for apidoc sv_clean_objs
484
485 Attempt to destroy all objects not yet freed
486
487 =cut
488 */
489
490 void
491 Perl_sv_clean_objs(pTHX)
492 {
493     dVAR;
494     PL_in_clean_objs = TRUE;
495     visit(do_clean_objs, SVf_ROK, SVf_ROK);
496 #ifndef DISABLE_DESTRUCTOR_KLUDGE
497     /* some barnacles may yet remain, clinging to typeglobs */
498     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
499 #endif
500     PL_in_clean_objs = FALSE;
501 }
502
503 /* called by sv_clean_all() for each live SV */
504
505 static void
506 do_clean_all(pTHX_ SV *sv)
507 {
508     dVAR;
509     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
510     SvFLAGS(sv) |= SVf_BREAK;
511     SvREFCNT_dec(sv);
512 }
513
514 /*
515 =for apidoc sv_clean_all
516
517 Decrement the refcnt of each remaining SV, possibly triggering a
518 cleanup. This function may have to be called multiple times to free
519 SVs which are in complex self-referential hierarchies.
520
521 =cut
522 */
523
524 I32
525 Perl_sv_clean_all(pTHX)
526 {
527     dVAR;
528     I32 cleaned;
529     PL_in_clean_all = TRUE;
530     cleaned = visit(do_clean_all, 0,0);
531     PL_in_clean_all = FALSE;
532     return cleaned;
533 }
534
535 /*
536   ARENASETS: a meta-arena implementation which separates arena-info
537   into struct arena_set, which contains an array of struct
538   arena_descs, each holding info for a single arena.  By separating
539   the meta-info from the arena, we recover the 1st slot, formerly
540   borrowed for list management.  The arena_set is about the size of an
541   arena, avoiding the needless malloc overhead of a naive linked-list.
542
543   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
544   memory in the last arena-set (1/2 on average).  In trade, we get
545   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
546   smaller types).  The recovery of the wasted space allows use of
547   small arenas for large, rare body types, by changing array* fields
548   in body_details_by_type[] below.
549 */
550 struct arena_desc {
551     char       *arena;          /* the raw storage, allocated aligned */
552     size_t      size;           /* its size ~4k typ */
553     U32         misc;           /* type, and in future other things. */
554 };
555
556 struct arena_set;
557
558 /* Get the maximum number of elements in set[] such that struct arena_set
559    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
560    therefore likely to be 1 aligned memory page.  */
561
562 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
563                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
564
565 struct arena_set {
566     struct arena_set* next;
567     unsigned int   set_size;    /* ie ARENAS_PER_SET */
568     unsigned int   curr;        /* index of next available arena-desc */
569     struct arena_desc set[ARENAS_PER_SET];
570 };
571
572 /*
573 =for apidoc sv_free_arenas
574
575 Deallocate the memory used by all arenas. Note that all the individual SV
576 heads and bodies within the arenas must already have been freed.
577
578 =cut
579 */
580 void
581 Perl_sv_free_arenas(pTHX)
582 {
583     dVAR;
584     SV* sva;
585     SV* svanext;
586     unsigned int i;
587
588     /* Free arenas here, but be careful about fake ones.  (We assume
589        contiguity of the fake ones with the corresponding real ones.) */
590
591     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
592         svanext = (SV*) SvANY(sva);
593         while (svanext && SvFAKE(svanext))
594             svanext = (SV*) SvANY(svanext);
595
596         if (!SvFAKE(sva))
597             Safefree(sva);
598     }
599
600     {
601         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
602
603         while (aroot) {
604             struct arena_set *current = aroot;
605             i = aroot->curr;
606             while (i--) {
607                 assert(aroot->set[i].arena);
608                 Safefree(aroot->set[i].arena);
609             }
610             aroot = aroot->next;
611             Safefree(current);
612         }
613     }
614     PL_body_arenas = 0;
615
616     i = PERL_ARENA_ROOTS_SIZE;
617     while (i--)
618         PL_body_roots[i] = 0;
619
620     Safefree(PL_nice_chunk);
621     PL_nice_chunk = NULL;
622     PL_nice_chunk_size = 0;
623     PL_sv_arenaroot = 0;
624     PL_sv_root = 0;
625 }
626
627 /*
628   Here are mid-level routines that manage the allocation of bodies out
629   of the various arenas.  There are 5 kinds of arenas:
630
631   1. SV-head arenas, which are discussed and handled above
632   2. regular body arenas
633   3. arenas for reduced-size bodies
634   4. Hash-Entry arenas
635   5. pte arenas (thread related)
636
637   Arena types 2 & 3 are chained by body-type off an array of
638   arena-root pointers, which is indexed by svtype.  Some of the
639   larger/less used body types are malloced singly, since a large
640   unused block of them is wasteful.  Also, several svtypes dont have
641   bodies; the data fits into the sv-head itself.  The arena-root
642   pointer thus has a few unused root-pointers (which may be hijacked
643   later for arena types 4,5)
644
645   3 differs from 2 as an optimization; some body types have several
646   unused fields in the front of the structure (which are kept in-place
647   for consistency).  These bodies can be allocated in smaller chunks,
648   because the leading fields arent accessed.  Pointers to such bodies
649   are decremented to point at the unused 'ghost' memory, knowing that
650   the pointers are used with offsets to the real memory.
651
652   HE, HEK arenas are managed separately, with separate code, but may
653   be merge-able later..
654
655   PTE arenas are not sv-bodies, but they share these mid-level
656   mechanics, so are considered here.  The new mid-level mechanics rely
657   on the sv_type of the body being allocated, so we just reserve one
658   of the unused body-slots for PTEs, then use it in those (2) PTE
659   contexts below (line ~10k)
660 */
661
662 /* get_arena(size): this creates custom-sized arenas
663    TBD: export properly for hv.c: S_more_he().
664 */
665 void*
666 Perl_get_arena(pTHX_ size_t arena_size, U32 misc)
667 {
668     dVAR;
669     struct arena_desc* adesc;
670     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
671     unsigned int curr;
672
673     /* shouldnt need this
674     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
675     */
676
677     /* may need new arena-set to hold new arena */
678     if (!aroot || aroot->curr >= aroot->set_size) {
679         struct arena_set *newroot;
680         Newxz(newroot, 1, struct arena_set);
681         newroot->set_size = ARENAS_PER_SET;
682         newroot->next = aroot;
683         aroot = newroot;
684         PL_body_arenas = (void *) newroot;
685         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
686     }
687
688     /* ok, now have arena-set with at least 1 empty/available arena-desc */
689     curr = aroot->curr++;
690     adesc = &(aroot->set[curr]);
691     assert(!adesc->arena);
692     
693     Newx(adesc->arena, arena_size, char);
694     adesc->size = arena_size;
695     adesc->misc = misc;
696     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
697                           curr, (void*)adesc->arena, (UV)arena_size));
698
699     return adesc->arena;
700 }
701
702
703 /* return a thing to the free list */
704
705 #define del_body(thing, root)                   \
706     STMT_START {                                \
707         void ** const thing_copy = (void **)thing;\
708         *thing_copy = *root;                    \
709         *root = (void*)thing_copy;              \
710     } STMT_END
711
712 /* 
713
714 =head1 SV-Body Allocation
715
716 Allocation of SV-bodies is similar to SV-heads, differing as follows;
717 the allocation mechanism is used for many body types, so is somewhat
718 more complicated, it uses arena-sets, and has no need for still-live
719 SV detection.
720
721 At the outermost level, (new|del)_X*V macros return bodies of the
722 appropriate type.  These macros call either (new|del)_body_type or
723 (new|del)_body_allocated macro pairs, depending on specifics of the
724 type.  Most body types use the former pair, the latter pair is used to
725 allocate body types with "ghost fields".
726
727 "ghost fields" are fields that are unused in certain types, and
728 consequently dont need to actually exist.  They are declared because
729 they're part of a "base type", which allows use of functions as
730 methods.  The simplest examples are AVs and HVs, 2 aggregate types
731 which don't use the fields which support SCALAR semantics.
732
733 For these types, the arenas are carved up into *_allocated size
734 chunks, we thus avoid wasted memory for those unaccessed members.
735 When bodies are allocated, we adjust the pointer back in memory by the
736 size of the bit not allocated, so it's as if we allocated the full
737 structure.  (But things will all go boom if you write to the part that
738 is "not there", because you'll be overwriting the last members of the
739 preceding structure in memory.)
740
741 We calculate the correction using the STRUCT_OFFSET macro. For
742 example, if xpv_allocated is the same structure as XPV then the two
743 OFFSETs sum to zero, and the pointer is unchanged. If the allocated
744 structure is smaller (no initial NV actually allocated) then the net
745 effect is to subtract the size of the NV from the pointer, to return a
746 new pointer as if an initial NV were actually allocated.
747
748 This is the same trick as was used for NV and IV bodies. Ironically it
749 doesn't need to be used for NV bodies any more, because NV is now at
750 the start of the structure. IV bodies don't need it either, because
751 they are no longer allocated.
752
753 In turn, the new_body_* allocators call S_new_body(), which invokes
754 new_body_inline macro, which takes a lock, and takes a body off the
755 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
756 necessary to refresh an empty list.  Then the lock is released, and
757 the body is returned.
758
759 S_more_bodies calls get_arena(), and carves it up into an array of N
760 bodies, which it strings into a linked list.  It looks up arena-size
761 and body-size from the body_details table described below, thus
762 supporting the multiple body-types.
763
764 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
765 the (new|del)_X*V macros are mapped directly to malloc/free.
766
767 */
768
769 /* 
770
771 For each sv-type, struct body_details bodies_by_type[] carries
772 parameters which control these aspects of SV handling:
773
774 Arena_size determines whether arenas are used for this body type, and if
775 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
776 zero, forcing individual mallocs and frees.
777
778 Body_size determines how big a body is, and therefore how many fit into
779 each arena.  Offset carries the body-pointer adjustment needed for
780 *_allocated body types, and is used in *_allocated macros.
781
782 But its main purpose is to parameterize info needed in
783 Perl_sv_upgrade().  The info here dramatically simplifies the function
784 vs the implementation in 5.8.7, making it table-driven.  All fields
785 are used for this, except for arena_size.
786
787 For the sv-types that have no bodies, arenas are not used, so those
788 PL_body_roots[sv_type] are unused, and can be overloaded.  In
789 something of a special case, SVt_NULL is borrowed for HE arenas;
790 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
791 bodies_by_type[SVt_NULL] slot is not used, as the table is not
792 available in hv.c.
793
794 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
795 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
796 just use the same allocation semantics.  At first, PTEs were also
797 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
798 bugs, so was simplified by claiming a new slot.  This choice has no
799 consequence at this time.
800
801 */
802
803 struct body_details {
804     U8 body_size;       /* Size to allocate  */
805     U8 copy;            /* Size of structure to copy (may be shorter)  */
806     U8 offset;
807     unsigned int type : 4;          /* We have space for a sanity check.  */
808     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
809     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
810     unsigned int arena : 1;         /* Allocated from an arena */
811     size_t arena_size;              /* Size of arena to allocate */
812 };
813
814 #define HADNV FALSE
815 #define NONV TRUE
816
817
818 #ifdef PURIFY
819 /* With -DPURFIY we allocate everything directly, and don't use arenas.
820    This seems a rather elegant way to simplify some of the code below.  */
821 #define HASARENA FALSE
822 #else
823 #define HASARENA TRUE
824 #endif
825 #define NOARENA FALSE
826
827 /* Size the arenas to exactly fit a given number of bodies.  A count
828    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
829    simplifying the default.  If count > 0, the arena is sized to fit
830    only that many bodies, allowing arenas to be used for large, rare
831    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
832    limited by PERL_ARENA_SIZE, so we can safely oversize the
833    declarations.
834  */
835 #define FIT_ARENA0(body_size)                           \
836     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
837 #define FIT_ARENAn(count,body_size)                     \
838     ( count * body_size <= PERL_ARENA_SIZE)             \
839     ? count * body_size                                 \
840     : FIT_ARENA0 (body_size)
841 #define FIT_ARENA(count,body_size)                      \
842     count                                               \
843     ? FIT_ARENAn (count, body_size)                     \
844     : FIT_ARENA0 (body_size)
845
846 /* A macro to work out the offset needed to subtract from a pointer to (say)
847
848 typedef struct {
849     STRLEN      xpv_cur;
850     STRLEN      xpv_len;
851 } xpv_allocated;
852
853 to make its members accessible via a pointer to (say)
854
855 struct xpv {
856     NV          xnv_nv;
857     STRLEN      xpv_cur;
858     STRLEN      xpv_len;
859 };
860
861 */
862
863 #define relative_STRUCT_OFFSET(longer, shorter, member) \
864     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
865
866 /* Calculate the length to copy. Specifically work out the length less any
867    final padding the compiler needed to add.  See the comment in sv_upgrade
868    for why copying the padding proved to be a bug.  */
869
870 #define copy_length(type, last_member) \
871         STRUCT_OFFSET(type, last_member) \
872         + sizeof (((type*)SvANY((SV*)0))->last_member)
873
874 static const struct body_details bodies_by_type[] = {
875     { sizeof(HE), 0, 0, SVt_NULL,
876       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
877
878     /* The bind placeholder pretends to be an RV for now.
879        Also it's marked as "can't upgrade" to stop anyone using it before it's
880        implemented.  */
881     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
882
883     /* IVs are in the head, so the allocation size is 0.
884        However, the slot is overloaded for PTEs.  */
885     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
886       sizeof(IV), /* This is used to copy out the IV body.  */
887       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
888       NOARENA /* IVS don't need an arena  */,
889       /* But PTEs need to know the size of their arena  */
890       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
891     },
892
893     /* 8 bytes on most ILP32 with IEEE doubles */
894     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
895       FIT_ARENA(0, sizeof(NV)) },
896
897     /* 8 bytes on most ILP32 with IEEE doubles */
898     { sizeof(xpv_allocated),
899       copy_length(XPV, xpv_len)
900       - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
901       + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
902       SVt_PV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpv_allocated)) },
903
904     /* 12 */
905     { sizeof(xpviv_allocated),
906       copy_length(XPVIV, xiv_u)
907       - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
908       + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
909       SVt_PVIV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpviv_allocated)) },
910
911     /* 20 */
912     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
913       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
914
915     /* 28 */
916     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
917       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
918
919     /* 32 */
920     { sizeof(struct xregexp), copy_length(struct xregexp, xrx_regexp), 0,
921       SVt_REGEXP, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(struct xregexp))
922     },
923
924     /* 48 */
925     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
926       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
927     
928     /* 64 */
929     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
930       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
931
932     { sizeof(xpvav_allocated),
933       copy_length(XPVAV, xmg_stash)
934       - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
935       + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
936       SVt_PVAV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvav_allocated)) },
937
938     { sizeof(xpvhv_allocated),
939       copy_length(XPVHV, xmg_stash)
940       - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
941       + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
942       SVt_PVHV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvhv_allocated)) },
943
944     /* 56 */
945     { sizeof(xpvcv_allocated), sizeof(xpvcv_allocated),
946       + relative_STRUCT_OFFSET(xpvcv_allocated, XPVCV, xpv_cur),
947       SVt_PVCV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvcv_allocated)) },
948
949     { sizeof(xpvfm_allocated), sizeof(xpvfm_allocated),
950       + relative_STRUCT_OFFSET(xpvfm_allocated, XPVFM, xpv_cur),
951       SVt_PVFM, TRUE, NONV, NOARENA, FIT_ARENA(20, sizeof(xpvfm_allocated)) },
952
953     /* XPVIO is 84 bytes, fits 48x */
954     { sizeof(XPVIO), sizeof(XPVIO), 0, SVt_PVIO, TRUE, HADNV,
955       HASARENA, FIT_ARENA(24, sizeof(XPVIO)) },
956 };
957
958 #define new_body_type(sv_type)          \
959     (void *)((char *)S_new_body(aTHX_ sv_type))
960
961 #define del_body_type(p, sv_type)       \
962     del_body(p, &PL_body_roots[sv_type])
963
964
965 #define new_body_allocated(sv_type)             \
966     (void *)((char *)S_new_body(aTHX_ sv_type)  \
967              - bodies_by_type[sv_type].offset)
968
969 #define del_body_allocated(p, sv_type)          \
970     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
971
972
973 #define my_safemalloc(s)        (void*)safemalloc(s)
974 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
975 #define my_safefree(p)  safefree((char*)p)
976
977 #ifdef PURIFY
978
979 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
980 #define del_XNV(p)      my_safefree(p)
981
982 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
983 #define del_XPVNV(p)    my_safefree(p)
984
985 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
986 #define del_XPVAV(p)    my_safefree(p)
987
988 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
989 #define del_XPVHV(p)    my_safefree(p)
990
991 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
992 #define del_XPVMG(p)    my_safefree(p)
993
994 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
995 #define del_XPVGV(p)    my_safefree(p)
996
997 #else /* !PURIFY */
998
999 #define new_XNV()       new_body_type(SVt_NV)
1000 #define del_XNV(p)      del_body_type(p, SVt_NV)
1001
1002 #define new_XPVNV()     new_body_type(SVt_PVNV)
1003 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1004
1005 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1006 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1007
1008 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1009 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1010
1011 #define new_XPVMG()     new_body_type(SVt_PVMG)
1012 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1013
1014 #define new_XPVGV()     new_body_type(SVt_PVGV)
1015 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1016
1017 #endif /* PURIFY */
1018
1019 /* no arena for you! */
1020
1021 #define new_NOARENA(details) \
1022         my_safemalloc((details)->body_size + (details)->offset)
1023 #define new_NOARENAZ(details) \
1024         my_safecalloc((details)->body_size + (details)->offset)
1025
1026 STATIC void *
1027 S_more_bodies (pTHX_ svtype sv_type)
1028 {
1029     dVAR;
1030     void ** const root = &PL_body_roots[sv_type];
1031     const struct body_details * const bdp = &bodies_by_type[sv_type];
1032     const size_t body_size = bdp->body_size;
1033     char *start;
1034     const char *end;
1035 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1036     static bool done_sanity_check;
1037
1038     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1039      * variables like done_sanity_check. */
1040     if (!done_sanity_check) {
1041         unsigned int i = SVt_LAST;
1042
1043         done_sanity_check = TRUE;
1044
1045         while (i--)
1046             assert (bodies_by_type[i].type == i);
1047     }
1048 #endif
1049
1050     assert(bdp->arena_size);
1051
1052     start = (char*) Perl_get_arena(aTHX_ bdp->arena_size, sv_type);
1053
1054     end = start + bdp->arena_size - body_size;
1055
1056     /* computed count doesnt reflect the 1st slot reservation */
1057     DEBUG_m(PerlIO_printf(Perl_debug_log,
1058                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1059                           (void*)start, (void*)end,
1060                           (int)bdp->arena_size, sv_type, (int)body_size,
1061                           (int)bdp->arena_size / (int)body_size));
1062
1063     *root = (void *)start;
1064
1065     while (start < end) {
1066         char * const next = start + body_size;
1067         *(void**) start = (void *)next;
1068         start = next;
1069     }
1070     *(void **)start = 0;
1071
1072     return *root;
1073 }
1074
1075 /* grab a new thing from the free list, allocating more if necessary.
1076    The inline version is used for speed in hot routines, and the
1077    function using it serves the rest (unless PURIFY).
1078 */
1079 #define new_body_inline(xpv, sv_type) \
1080     STMT_START { \
1081         void ** const r3wt = &PL_body_roots[sv_type]; \
1082         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1083           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1084         *(r3wt) = *(void**)(xpv); \
1085     } STMT_END
1086
1087 #ifndef PURIFY
1088
1089 STATIC void *
1090 S_new_body(pTHX_ svtype sv_type)
1091 {
1092     dVAR;
1093     void *xpv;
1094     new_body_inline(xpv, sv_type);
1095     return xpv;
1096 }
1097
1098 #endif
1099
1100 static const struct body_details fake_rv =
1101     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1102
1103 /*
1104 =for apidoc sv_upgrade
1105
1106 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1107 SV, then copies across as much information as possible from the old body.
1108 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1109
1110 =cut
1111 */
1112
1113 void
1114 Perl_sv_upgrade(pTHX_ register SV *sv, svtype new_type)
1115 {
1116     dVAR;
1117     void*       old_body;
1118     void*       new_body;
1119     const svtype old_type = SvTYPE(sv);
1120     const struct body_details *new_type_details;
1121     const struct body_details *old_type_details
1122         = bodies_by_type + old_type;
1123     SV *referant = NULL;
1124
1125     if (new_type != SVt_PV && SvIsCOW(sv)) {
1126         sv_force_normal_flags(sv, 0);
1127     }
1128
1129     if (old_type == new_type)
1130         return;
1131
1132     old_body = SvANY(sv);
1133
1134     /* Copying structures onto other structures that have been neatly zeroed
1135        has a subtle gotcha. Consider XPVMG
1136
1137        +------+------+------+------+------+-------+-------+
1138        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1139        +------+------+------+------+------+-------+-------+
1140        0      4      8     12     16     20      24      28
1141
1142        where NVs are aligned to 8 bytes, so that sizeof that structure is
1143        actually 32 bytes long, with 4 bytes of padding at the end:
1144
1145        +------+------+------+------+------+-------+-------+------+
1146        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1147        +------+------+------+------+------+-------+-------+------+
1148        0      4      8     12     16     20      24      28     32
1149
1150        so what happens if you allocate memory for this structure:
1151
1152        +------+------+------+------+------+-------+-------+------+------+...
1153        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1154        +------+------+------+------+------+-------+-------+------+------+...
1155        0      4      8     12     16     20      24      28     32     36
1156
1157        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1158        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1159        started out as zero once, but it's quite possible that it isn't. So now,
1160        rather than a nicely zeroed GP, you have it pointing somewhere random.
1161        Bugs ensue.
1162
1163        (In fact, GP ends up pointing at a previous GP structure, because the
1164        principle cause of the padding in XPVMG getting garbage is a copy of
1165        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1166        this happens to be moot because XPVGV has been re-ordered, with GP
1167        no longer after STASH)
1168
1169        So we are careful and work out the size of used parts of all the
1170        structures.  */
1171
1172     switch (old_type) {
1173     case SVt_NULL:
1174         break;
1175     case SVt_IV:
1176         if (SvROK(sv)) {
1177             referant = SvRV(sv);
1178             old_type_details = &fake_rv;
1179             if (new_type == SVt_NV)
1180                 new_type = SVt_PVNV;
1181         } else {
1182             if (new_type < SVt_PVIV) {
1183                 new_type = (new_type == SVt_NV)
1184                     ? SVt_PVNV : SVt_PVIV;
1185             }
1186         }
1187         break;
1188     case SVt_NV:
1189         if (new_type < SVt_PVNV) {
1190             new_type = SVt_PVNV;
1191         }
1192         break;
1193     case SVt_PV:
1194         assert(new_type > SVt_PV);
1195         assert(SVt_IV < SVt_PV);
1196         assert(SVt_NV < SVt_PV);
1197         break;
1198     case SVt_PVIV:
1199         break;
1200     case SVt_PVNV:
1201         break;
1202     case SVt_PVMG:
1203         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1204            there's no way that it can be safely upgraded, because perl.c
1205            expects to Safefree(SvANY(PL_mess_sv))  */
1206         assert(sv != PL_mess_sv);
1207         /* This flag bit is used to mean other things in other scalar types.
1208            Given that it only has meaning inside the pad, it shouldn't be set
1209            on anything that can get upgraded.  */
1210         assert(!SvPAD_TYPED(sv));
1211         break;
1212     default:
1213         if (old_type_details->cant_upgrade)
1214             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1215                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1216     }
1217
1218     if (old_type > new_type)
1219         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1220                 (int)old_type, (int)new_type);
1221
1222     new_type_details = bodies_by_type + new_type;
1223
1224     SvFLAGS(sv) &= ~SVTYPEMASK;
1225     SvFLAGS(sv) |= new_type;
1226
1227     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1228        the return statements above will have triggered.  */
1229     assert (new_type != SVt_NULL);
1230     switch (new_type) {
1231     case SVt_IV:
1232         assert(old_type == SVt_NULL);
1233         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1234         SvIV_set(sv, 0);
1235         return;
1236     case SVt_NV:
1237         assert(old_type == SVt_NULL);
1238         SvANY(sv) = new_XNV();
1239         SvNV_set(sv, 0);
1240         return;
1241     case SVt_PVHV:
1242     case SVt_PVAV:
1243         assert(new_type_details->body_size);
1244
1245 #ifndef PURIFY  
1246         assert(new_type_details->arena);
1247         assert(new_type_details->arena_size);
1248         /* This points to the start of the allocated area.  */
1249         new_body_inline(new_body, new_type);
1250         Zero(new_body, new_type_details->body_size, char);
1251         new_body = ((char *)new_body) - new_type_details->offset;
1252 #else
1253         /* We always allocated the full length item with PURIFY. To do this
1254            we fake things so that arena is false for all 16 types..  */
1255         new_body = new_NOARENAZ(new_type_details);
1256 #endif
1257         SvANY(sv) = new_body;
1258         if (new_type == SVt_PVAV) {
1259             AvMAX(sv)   = -1;
1260             AvFILLp(sv) = -1;
1261             AvREAL_only(sv);
1262             if (old_type_details->body_size) {
1263                 AvALLOC(sv) = 0;
1264             } else {
1265                 /* It will have been zeroed when the new body was allocated.
1266                    Lets not write to it, in case it confuses a write-back
1267                    cache.  */
1268             }
1269         } else {
1270             assert(!SvOK(sv));
1271             SvOK_off(sv);
1272 #ifndef NODEFAULT_SHAREKEYS
1273             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1274 #endif
1275             HvMAX(sv) = 7; /* (start with 8 buckets) */
1276             if (old_type_details->body_size) {
1277                 HvFILL(sv) = 0;
1278             } else {
1279                 /* It will have been zeroed when the new body was allocated.
1280                    Lets not write to it, in case it confuses a write-back
1281                    cache.  */
1282             }
1283         }
1284
1285         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1286            The target created by newSVrv also is, and it can have magic.
1287            However, it never has SvPVX set.
1288         */
1289         if (old_type == SVt_IV) {
1290             assert(!SvROK(sv));
1291         } else if (old_type >= SVt_PV) {
1292             assert(SvPVX_const(sv) == 0);
1293         }
1294
1295         if (old_type >= SVt_PVMG) {
1296             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1297             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1298         } else {
1299             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1300         }
1301         break;
1302
1303
1304     case SVt_PVIV:
1305         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1306            no route from NV to PVIV, NOK can never be true  */
1307         assert(!SvNOKp(sv));
1308         assert(!SvNOK(sv));
1309     case SVt_PVIO:
1310     case SVt_PVFM:
1311     case SVt_PVGV:
1312     case SVt_PVCV:
1313     case SVt_PVLV:
1314     case SVt_REGEXP:
1315     case SVt_PVMG:
1316     case SVt_PVNV:
1317     case SVt_PV:
1318
1319         assert(new_type_details->body_size);
1320         /* We always allocated the full length item with PURIFY. To do this
1321            we fake things so that arena is false for all 16 types..  */
1322         if(new_type_details->arena) {
1323             /* This points to the start of the allocated area.  */
1324             new_body_inline(new_body, new_type);
1325             Zero(new_body, new_type_details->body_size, char);
1326             new_body = ((char *)new_body) - new_type_details->offset;
1327         } else {
1328             new_body = new_NOARENAZ(new_type_details);
1329         }
1330         SvANY(sv) = new_body;
1331
1332         if (old_type_details->copy) {
1333             /* There is now the potential for an upgrade from something without
1334                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1335             int offset = old_type_details->offset;
1336             int length = old_type_details->copy;
1337
1338             if (new_type_details->offset > old_type_details->offset) {
1339                 const int difference
1340                     = new_type_details->offset - old_type_details->offset;
1341                 offset += difference;
1342                 length -= difference;
1343             }
1344             assert (length >= 0);
1345                 
1346             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1347                  char);
1348         }
1349
1350 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1351         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1352          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1353          * NV slot, but the new one does, then we need to initialise the
1354          * freshly created NV slot with whatever the correct bit pattern is
1355          * for 0.0  */
1356         if (old_type_details->zero_nv && !new_type_details->zero_nv
1357             && !isGV_with_GP(sv))
1358             SvNV_set(sv, 0);
1359 #endif
1360
1361         if (new_type == SVt_PVIO)
1362             IoPAGE_LEN(sv) = 60;
1363         if (old_type < SVt_PV) {
1364             /* referant will be NULL unless the old type was SVt_IV emulating
1365                SVt_RV */
1366             sv->sv_u.svu_rv = referant;
1367         }
1368         break;
1369     default:
1370         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1371                    (unsigned long)new_type);
1372     }
1373
1374     if (old_type_details->arena) {
1375         /* If there was an old body, then we need to free it.
1376            Note that there is an assumption that all bodies of types that
1377            can be upgraded came from arenas. Only the more complex non-
1378            upgradable types are allowed to be directly malloc()ed.  */
1379 #ifdef PURIFY
1380         my_safefree(old_body);
1381 #else
1382         del_body((void*)((char*)old_body + old_type_details->offset),
1383                  &PL_body_roots[old_type]);
1384 #endif
1385     }
1386 }
1387
1388 /*
1389 =for apidoc sv_backoff
1390
1391 Remove any string offset. You should normally use the C<SvOOK_off> macro
1392 wrapper instead.
1393
1394 =cut
1395 */
1396
1397 int
1398 Perl_sv_backoff(pTHX_ register SV *sv)
1399 {
1400     PERL_UNUSED_CONTEXT;
1401     assert(SvOOK(sv));
1402     assert(SvTYPE(sv) != SVt_PVHV);
1403     assert(SvTYPE(sv) != SVt_PVAV);
1404     if (SvIVX(sv)) {
1405         const char * const s = SvPVX_const(sv);
1406         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1407         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1408         SvIV_set(sv, 0);
1409         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1410     }
1411     SvFLAGS(sv) &= ~SVf_OOK;
1412     return 0;
1413 }
1414
1415 /*
1416 =for apidoc sv_grow
1417
1418 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1419 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1420 Use the C<SvGROW> wrapper instead.
1421
1422 =cut
1423 */
1424
1425 char *
1426 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1427 {
1428     register char *s;
1429
1430     if (PL_madskills && newlen >= 0x100000) {
1431         PerlIO_printf(Perl_debug_log,
1432                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1433     }
1434 #ifdef HAS_64K_LIMIT
1435     if (newlen >= 0x10000) {
1436         PerlIO_printf(Perl_debug_log,
1437                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1438         my_exit(1);
1439     }
1440 #endif /* HAS_64K_LIMIT */
1441     if (SvROK(sv))
1442         sv_unref(sv);
1443     if (SvTYPE(sv) < SVt_PV) {
1444         sv_upgrade(sv, SVt_PV);
1445         s = SvPVX_mutable(sv);
1446     }
1447     else if (SvOOK(sv)) {       /* pv is offset? */
1448         sv_backoff(sv);
1449         s = SvPVX_mutable(sv);
1450         if (newlen > SvLEN(sv))
1451             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1452 #ifdef HAS_64K_LIMIT
1453         if (newlen >= 0x10000)
1454             newlen = 0xFFFF;
1455 #endif
1456     }
1457     else
1458         s = SvPVX_mutable(sv);
1459
1460     if (newlen > SvLEN(sv)) {           /* need more room? */
1461         newlen = PERL_STRLEN_ROUNDUP(newlen);
1462         if (SvLEN(sv) && s) {
1463 #ifdef MYMALLOC
1464             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1465             if (newlen <= l) {
1466                 SvLEN_set(sv, l);
1467                 return s;
1468             } else
1469 #endif
1470             s = (char*)saferealloc(s, newlen);
1471         }
1472         else {
1473             s = (char*)safemalloc(newlen);
1474             if (SvPVX_const(sv) && SvCUR(sv)) {
1475                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1476             }
1477         }
1478         SvPV_set(sv, s);
1479         SvLEN_set(sv, newlen);
1480     }
1481     return s;
1482 }
1483
1484 /*
1485 =for apidoc sv_setiv
1486
1487 Copies an integer into the given SV, upgrading first if necessary.
1488 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1489
1490 =cut
1491 */
1492
1493 void
1494 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1495 {
1496     dVAR;
1497     SV_CHECK_THINKFIRST_COW_DROP(sv);
1498     switch (SvTYPE(sv)) {
1499     case SVt_NULL:
1500     case SVt_NV:
1501         sv_upgrade(sv, SVt_IV);
1502         break;
1503     case SVt_PV:
1504         sv_upgrade(sv, SVt_PVIV);
1505         break;
1506
1507     case SVt_PVGV:
1508     case SVt_PVAV:
1509     case SVt_PVHV:
1510     case SVt_PVCV:
1511     case SVt_PVFM:
1512     case SVt_PVIO:
1513         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1514                    OP_DESC(PL_op));
1515     default: NOOP;
1516     }
1517     (void)SvIOK_only(sv);                       /* validate number */
1518     SvIV_set(sv, i);
1519     SvTAINT(sv);
1520 }
1521
1522 /*
1523 =for apidoc sv_setiv_mg
1524
1525 Like C<sv_setiv>, but also handles 'set' magic.
1526
1527 =cut
1528 */
1529
1530 void
1531 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1532 {
1533     sv_setiv(sv,i);
1534     SvSETMAGIC(sv);
1535 }
1536
1537 /*
1538 =for apidoc sv_setuv
1539
1540 Copies an unsigned integer into the given SV, upgrading first if necessary.
1541 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1542
1543 =cut
1544 */
1545
1546 void
1547 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1548 {
1549     /* With these two if statements:
1550        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1551
1552        without
1553        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1554
1555        If you wish to remove them, please benchmark to see what the effect is
1556     */
1557     if (u <= (UV)IV_MAX) {
1558        sv_setiv(sv, (IV)u);
1559        return;
1560     }
1561     sv_setiv(sv, 0);
1562     SvIsUV_on(sv);
1563     SvUV_set(sv, u);
1564 }
1565
1566 /*
1567 =for apidoc sv_setuv_mg
1568
1569 Like C<sv_setuv>, but also handles 'set' magic.
1570
1571 =cut
1572 */
1573
1574 void
1575 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1576 {
1577     sv_setuv(sv,u);
1578     SvSETMAGIC(sv);
1579 }
1580
1581 /*
1582 =for apidoc sv_setnv
1583
1584 Copies a double into the given SV, upgrading first if necessary.
1585 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1586
1587 =cut
1588 */
1589
1590 void
1591 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1592 {
1593     dVAR;
1594     SV_CHECK_THINKFIRST_COW_DROP(sv);
1595     switch (SvTYPE(sv)) {
1596     case SVt_NULL:
1597     case SVt_IV:
1598         sv_upgrade(sv, SVt_NV);
1599         break;
1600     case SVt_PV:
1601     case SVt_PVIV:
1602         sv_upgrade(sv, SVt_PVNV);
1603         break;
1604
1605     case SVt_PVGV:
1606     case SVt_PVAV:
1607     case SVt_PVHV:
1608     case SVt_PVCV:
1609     case SVt_PVFM:
1610     case SVt_PVIO:
1611         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1612                    OP_NAME(PL_op));
1613     default: NOOP;
1614     }
1615     SvNV_set(sv, num);
1616     (void)SvNOK_only(sv);                       /* validate number */
1617     SvTAINT(sv);
1618 }
1619
1620 /*
1621 =for apidoc sv_setnv_mg
1622
1623 Like C<sv_setnv>, but also handles 'set' magic.
1624
1625 =cut
1626 */
1627
1628 void
1629 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1630 {
1631     sv_setnv(sv,num);
1632     SvSETMAGIC(sv);
1633 }
1634
1635 /* Print an "isn't numeric" warning, using a cleaned-up,
1636  * printable version of the offending string
1637  */
1638
1639 STATIC void
1640 S_not_a_number(pTHX_ SV *sv)
1641 {
1642      dVAR;
1643      SV *dsv;
1644      char tmpbuf[64];
1645      const char *pv;
1646
1647      if (DO_UTF8(sv)) {
1648           dsv = sv_2mortal(newSVpvs(""));
1649           pv = sv_uni_display(dsv, sv, 10, 0);
1650      } else {
1651           char *d = tmpbuf;
1652           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1653           /* each *s can expand to 4 chars + "...\0",
1654              i.e. need room for 8 chars */
1655         
1656           const char *s = SvPVX_const(sv);
1657           const char * const end = s + SvCUR(sv);
1658           for ( ; s < end && d < limit; s++ ) {
1659                int ch = *s & 0xFF;
1660                if (ch & 128 && !isPRINT_LC(ch)) {
1661                     *d++ = 'M';
1662                     *d++ = '-';
1663                     ch &= 127;
1664                }
1665                if (ch == '\n') {
1666                     *d++ = '\\';
1667                     *d++ = 'n';
1668                }
1669                else if (ch == '\r') {
1670                     *d++ = '\\';
1671                     *d++ = 'r';
1672                }
1673                else if (ch == '\f') {
1674                     *d++ = '\\';
1675                     *d++ = 'f';
1676                }
1677                else if (ch == '\\') {
1678                     *d++ = '\\';
1679                     *d++ = '\\';
1680                }
1681                else if (ch == '\0') {
1682                     *d++ = '\\';
1683                     *d++ = '0';
1684                }
1685                else if (isPRINT_LC(ch))
1686                     *d++ = ch;
1687                else {
1688                     *d++ = '^';
1689                     *d++ = toCTRL(ch);
1690                }
1691           }
1692           if (s < end) {
1693                *d++ = '.';
1694                *d++ = '.';
1695                *d++ = '.';
1696           }
1697           *d = '\0';
1698           pv = tmpbuf;
1699     }
1700
1701     if (PL_op)
1702         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1703                     "Argument \"%s\" isn't numeric in %s", pv,
1704                     OP_DESC(PL_op));
1705     else
1706         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1707                     "Argument \"%s\" isn't numeric", pv);
1708 }
1709
1710 /*
1711 =for apidoc looks_like_number
1712
1713 Test if the content of an SV looks like a number (or is a number).
1714 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1715 non-numeric warning), even if your atof() doesn't grok them.
1716
1717 =cut
1718 */
1719
1720 I32
1721 Perl_looks_like_number(pTHX_ SV *sv)
1722 {
1723     register const char *sbegin;
1724     STRLEN len;
1725
1726     if (SvPOK(sv)) {
1727         sbegin = SvPVX_const(sv);
1728         len = SvCUR(sv);
1729     }
1730     else if (SvPOKp(sv))
1731         sbegin = SvPV_const(sv, len);
1732     else
1733         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1734     return grok_number(sbegin, len, NULL);
1735 }
1736
1737 STATIC bool
1738 S_glob_2number(pTHX_ GV * const gv)
1739 {
1740     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1741     SV *const buffer = sv_newmortal();
1742
1743     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1744        is on.  */
1745     SvFAKE_off(gv);
1746     gv_efullname3(buffer, gv, "*");
1747     SvFLAGS(gv) |= wasfake;
1748
1749     /* We know that all GVs stringify to something that is not-a-number,
1750         so no need to test that.  */
1751     if (ckWARN(WARN_NUMERIC))
1752         not_a_number(buffer);
1753     /* We just want something true to return, so that S_sv_2iuv_common
1754         can tail call us and return true.  */
1755     return TRUE;
1756 }
1757
1758 STATIC char *
1759 S_glob_2pv(pTHX_ GV * const gv, STRLEN * const len)
1760 {
1761     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1762     SV *const buffer = sv_newmortal();
1763
1764     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1765        is on.  */
1766     SvFAKE_off(gv);
1767     gv_efullname3(buffer, gv, "*");
1768     SvFLAGS(gv) |= wasfake;
1769
1770     assert(SvPOK(buffer));
1771     if (len) {
1772         *len = SvCUR(buffer);
1773     }
1774     return SvPVX(buffer);
1775 }
1776
1777 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1778    until proven guilty, assume that things are not that bad... */
1779
1780 /*
1781    NV_PRESERVES_UV:
1782
1783    As 64 bit platforms often have an NV that doesn't preserve all bits of
1784    an IV (an assumption perl has been based on to date) it becomes necessary
1785    to remove the assumption that the NV always carries enough precision to
1786    recreate the IV whenever needed, and that the NV is the canonical form.
1787    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1788    precision as a side effect of conversion (which would lead to insanity
1789    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1790    1) to distinguish between IV/UV/NV slots that have cached a valid
1791       conversion where precision was lost and IV/UV/NV slots that have a
1792       valid conversion which has lost no precision
1793    2) to ensure that if a numeric conversion to one form is requested that
1794       would lose precision, the precise conversion (or differently
1795       imprecise conversion) is also performed and cached, to prevent
1796       requests for different numeric formats on the same SV causing
1797       lossy conversion chains. (lossless conversion chains are perfectly
1798       acceptable (still))
1799
1800
1801    flags are used:
1802    SvIOKp is true if the IV slot contains a valid value
1803    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1804    SvNOKp is true if the NV slot contains a valid value
1805    SvNOK  is true only if the NV value is accurate
1806
1807    so
1808    while converting from PV to NV, check to see if converting that NV to an
1809    IV(or UV) would lose accuracy over a direct conversion from PV to
1810    IV(or UV). If it would, cache both conversions, return NV, but mark
1811    SV as IOK NOKp (ie not NOK).
1812
1813    While converting from PV to IV, check to see if converting that IV to an
1814    NV would lose accuracy over a direct conversion from PV to NV. If it
1815    would, cache both conversions, flag similarly.
1816
1817    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1818    correctly because if IV & NV were set NV *always* overruled.
1819    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1820    changes - now IV and NV together means that the two are interchangeable:
1821    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1822
1823    The benefit of this is that operations such as pp_add know that if
1824    SvIOK is true for both left and right operands, then integer addition
1825    can be used instead of floating point (for cases where the result won't
1826    overflow). Before, floating point was always used, which could lead to
1827    loss of precision compared with integer addition.
1828
1829    * making IV and NV equal status should make maths accurate on 64 bit
1830      platforms
1831    * may speed up maths somewhat if pp_add and friends start to use
1832      integers when possible instead of fp. (Hopefully the overhead in
1833      looking for SvIOK and checking for overflow will not outweigh the
1834      fp to integer speedup)
1835    * will slow down integer operations (callers of SvIV) on "inaccurate"
1836      values, as the change from SvIOK to SvIOKp will cause a call into
1837      sv_2iv each time rather than a macro access direct to the IV slot
1838    * should speed up number->string conversion on integers as IV is
1839      favoured when IV and NV are equally accurate
1840
1841    ####################################################################
1842    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1843    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1844    On the other hand, SvUOK is true iff UV.
1845    ####################################################################
1846
1847    Your mileage will vary depending your CPU's relative fp to integer
1848    performance ratio.
1849 */
1850
1851 #ifndef NV_PRESERVES_UV
1852 #  define IS_NUMBER_UNDERFLOW_IV 1
1853 #  define IS_NUMBER_UNDERFLOW_UV 2
1854 #  define IS_NUMBER_IV_AND_UV    2
1855 #  define IS_NUMBER_OVERFLOW_IV  4
1856 #  define IS_NUMBER_OVERFLOW_UV  5
1857
1858 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1859
1860 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1861 STATIC int
1862 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1863 {
1864     dVAR;
1865     PERL_UNUSED_ARG(numtype); /* Used only under DEBUGGING? */
1866     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1867     if (SvNVX(sv) < (NV)IV_MIN) {
1868         (void)SvIOKp_on(sv);
1869         (void)SvNOK_on(sv);
1870         SvIV_set(sv, IV_MIN);
1871         return IS_NUMBER_UNDERFLOW_IV;
1872     }
1873     if (SvNVX(sv) > (NV)UV_MAX) {
1874         (void)SvIOKp_on(sv);
1875         (void)SvNOK_on(sv);
1876         SvIsUV_on(sv);
1877         SvUV_set(sv, UV_MAX);
1878         return IS_NUMBER_OVERFLOW_UV;
1879     }
1880     (void)SvIOKp_on(sv);
1881     (void)SvNOK_on(sv);
1882     /* Can't use strtol etc to convert this string.  (See truth table in
1883        sv_2iv  */
1884     if (SvNVX(sv) <= (UV)IV_MAX) {
1885         SvIV_set(sv, I_V(SvNVX(sv)));
1886         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1887             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1888         } else {
1889             /* Integer is imprecise. NOK, IOKp */
1890         }
1891         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1892     }
1893     SvIsUV_on(sv);
1894     SvUV_set(sv, U_V(SvNVX(sv)));
1895     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1896         if (SvUVX(sv) == UV_MAX) {
1897             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1898                possibly be preserved by NV. Hence, it must be overflow.
1899                NOK, IOKp */
1900             return IS_NUMBER_OVERFLOW_UV;
1901         }
1902         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1903     } else {
1904         /* Integer is imprecise. NOK, IOKp */
1905     }
1906     return IS_NUMBER_OVERFLOW_IV;
1907 }
1908 #endif /* !NV_PRESERVES_UV*/
1909
1910 STATIC bool
1911 S_sv_2iuv_common(pTHX_ SV *sv) {
1912     dVAR;
1913     if (SvNOKp(sv)) {
1914         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1915          * without also getting a cached IV/UV from it at the same time
1916          * (ie PV->NV conversion should detect loss of accuracy and cache
1917          * IV or UV at same time to avoid this. */
1918         /* IV-over-UV optimisation - choose to cache IV if possible */
1919
1920         if (SvTYPE(sv) == SVt_NV)
1921             sv_upgrade(sv, SVt_PVNV);
1922
1923         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1924         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1925            certainly cast into the IV range at IV_MAX, whereas the correct
1926            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1927            cases go to UV */
1928 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
1929         if (Perl_isnan(SvNVX(sv))) {
1930             SvUV_set(sv, 0);
1931             SvIsUV_on(sv);
1932             return FALSE;
1933         }
1934 #endif
1935         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1936             SvIV_set(sv, I_V(SvNVX(sv)));
1937             if (SvNVX(sv) == (NV) SvIVX(sv)
1938 #ifndef NV_PRESERVES_UV
1939                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1940                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1941                 /* Don't flag it as "accurately an integer" if the number
1942                    came from a (by definition imprecise) NV operation, and
1943                    we're outside the range of NV integer precision */
1944 #endif
1945                 ) {
1946                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1947                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1948                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1949                                       PTR2UV(sv),
1950                                       SvNVX(sv),
1951                                       SvIVX(sv)));
1952
1953             } else {
1954                 /* IV not precise.  No need to convert from PV, as NV
1955                    conversion would already have cached IV if it detected
1956                    that PV->IV would be better than PV->NV->IV
1957                    flags already correct - don't set public IOK.  */
1958                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1959                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1960                                       PTR2UV(sv),
1961                                       SvNVX(sv),
1962                                       SvIVX(sv)));
1963             }
1964             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1965                but the cast (NV)IV_MIN rounds to a the value less (more
1966                negative) than IV_MIN which happens to be equal to SvNVX ??
1967                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1968                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1969                (NV)UVX == NVX are both true, but the values differ. :-(
1970                Hopefully for 2s complement IV_MIN is something like
1971                0x8000000000000000 which will be exact. NWC */
1972         }
1973         else {
1974             SvUV_set(sv, U_V(SvNVX(sv)));
1975             if (
1976                 (SvNVX(sv) == (NV) SvUVX(sv))
1977 #ifndef  NV_PRESERVES_UV
1978                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1979                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1980                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1981                 /* Don't flag it as "accurately an integer" if the number
1982                    came from a (by definition imprecise) NV operation, and
1983                    we're outside the range of NV integer precision */
1984 #endif
1985                 )
1986                 SvIOK_on(sv);
1987             SvIsUV_on(sv);
1988             DEBUG_c(PerlIO_printf(Perl_debug_log,
1989                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1990                                   PTR2UV(sv),
1991                                   SvUVX(sv),
1992                                   SvUVX(sv)));
1993         }
1994     }
1995     else if (SvPOKp(sv) && SvLEN(sv)) {
1996         UV value;
1997         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1998         /* We want to avoid a possible problem when we cache an IV/ a UV which
1999            may be later translated to an NV, and the resulting NV is not
2000            the same as the direct translation of the initial string
2001            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2002            be careful to ensure that the value with the .456 is around if the
2003            NV value is requested in the future).
2004         
2005            This means that if we cache such an IV/a UV, we need to cache the
2006            NV as well.  Moreover, we trade speed for space, and do not
2007            cache the NV if we are sure it's not needed.
2008          */
2009
2010         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2011         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2012              == IS_NUMBER_IN_UV) {
2013             /* It's definitely an integer, only upgrade to PVIV */
2014             if (SvTYPE(sv) < SVt_PVIV)
2015                 sv_upgrade(sv, SVt_PVIV);
2016             (void)SvIOK_on(sv);
2017         } else if (SvTYPE(sv) < SVt_PVNV)
2018             sv_upgrade(sv, SVt_PVNV);
2019
2020         /* If NVs preserve UVs then we only use the UV value if we know that
2021            we aren't going to call atof() below. If NVs don't preserve UVs
2022            then the value returned may have more precision than atof() will
2023            return, even though value isn't perfectly accurate.  */
2024         if ((numtype & (IS_NUMBER_IN_UV
2025 #ifdef NV_PRESERVES_UV
2026                         | IS_NUMBER_NOT_INT
2027 #endif
2028             )) == IS_NUMBER_IN_UV) {
2029             /* This won't turn off the public IOK flag if it was set above  */
2030             (void)SvIOKp_on(sv);
2031
2032             if (!(numtype & IS_NUMBER_NEG)) {
2033                 /* positive */;
2034                 if (value <= (UV)IV_MAX) {
2035                     SvIV_set(sv, (IV)value);
2036                 } else {
2037                     /* it didn't overflow, and it was positive. */
2038                     SvUV_set(sv, value);
2039                     SvIsUV_on(sv);
2040                 }
2041             } else {
2042                 /* 2s complement assumption  */
2043                 if (value <= (UV)IV_MIN) {
2044                     SvIV_set(sv, -(IV)value);
2045                 } else {
2046                     /* Too negative for an IV.  This is a double upgrade, but
2047                        I'm assuming it will be rare.  */
2048                     if (SvTYPE(sv) < SVt_PVNV)
2049                         sv_upgrade(sv, SVt_PVNV);
2050                     SvNOK_on(sv);
2051                     SvIOK_off(sv);
2052                     SvIOKp_on(sv);
2053                     SvNV_set(sv, -(NV)value);
2054                     SvIV_set(sv, IV_MIN);
2055                 }
2056             }
2057         }
2058         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2059            will be in the previous block to set the IV slot, and the next
2060            block to set the NV slot.  So no else here.  */
2061         
2062         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2063             != IS_NUMBER_IN_UV) {
2064             /* It wasn't an (integer that doesn't overflow the UV). */
2065             SvNV_set(sv, Atof(SvPVX_const(sv)));
2066
2067             if (! numtype && ckWARN(WARN_NUMERIC))
2068                 not_a_number(sv);
2069
2070 #if defined(USE_LONG_DOUBLE)
2071             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2072                                   PTR2UV(sv), SvNVX(sv)));
2073 #else
2074             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2075                                   PTR2UV(sv), SvNVX(sv)));
2076 #endif
2077
2078 #ifdef NV_PRESERVES_UV
2079             (void)SvIOKp_on(sv);
2080             (void)SvNOK_on(sv);
2081             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2082                 SvIV_set(sv, I_V(SvNVX(sv)));
2083                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2084                     SvIOK_on(sv);
2085                 } else {
2086                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2087                 }
2088                 /* UV will not work better than IV */
2089             } else {
2090                 if (SvNVX(sv) > (NV)UV_MAX) {
2091                     SvIsUV_on(sv);
2092                     /* Integer is inaccurate. NOK, IOKp, is UV */
2093                     SvUV_set(sv, UV_MAX);
2094                 } else {
2095                     SvUV_set(sv, U_V(SvNVX(sv)));
2096                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2097                        NV preservse UV so can do correct comparison.  */
2098                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2099                         SvIOK_on(sv);
2100                     } else {
2101                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2102                     }
2103                 }
2104                 SvIsUV_on(sv);
2105             }
2106 #else /* NV_PRESERVES_UV */
2107             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2108                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2109                 /* The IV/UV slot will have been set from value returned by
2110                    grok_number above.  The NV slot has just been set using
2111                    Atof.  */
2112                 SvNOK_on(sv);
2113                 assert (SvIOKp(sv));
2114             } else {
2115                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2116                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2117                     /* Small enough to preserve all bits. */
2118                     (void)SvIOKp_on(sv);
2119                     SvNOK_on(sv);
2120                     SvIV_set(sv, I_V(SvNVX(sv)));
2121                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2122                         SvIOK_on(sv);
2123                     /* Assumption: first non-preserved integer is < IV_MAX,
2124                        this NV is in the preserved range, therefore: */
2125                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2126                           < (UV)IV_MAX)) {
2127                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2128                     }
2129                 } else {
2130                     /* IN_UV NOT_INT
2131                          0      0       already failed to read UV.
2132                          0      1       already failed to read UV.
2133                          1      0       you won't get here in this case. IV/UV
2134                                         slot set, public IOK, Atof() unneeded.
2135                          1      1       already read UV.
2136                        so there's no point in sv_2iuv_non_preserve() attempting
2137                        to use atol, strtol, strtoul etc.  */
2138                     sv_2iuv_non_preserve (sv, numtype);
2139                 }
2140             }
2141 #endif /* NV_PRESERVES_UV */
2142         }
2143     }
2144     else  {
2145         if (isGV_with_GP(sv))
2146             return glob_2number((GV *)sv);
2147
2148         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2149             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2150                 report_uninit(sv);
2151         }
2152         if (SvTYPE(sv) < SVt_IV)
2153             /* Typically the caller expects that sv_any is not NULL now.  */
2154             sv_upgrade(sv, SVt_IV);
2155         /* Return 0 from the caller.  */
2156         return TRUE;
2157     }
2158     return FALSE;
2159 }
2160
2161 /*
2162 =for apidoc sv_2iv_flags
2163
2164 Return the integer value of an SV, doing any necessary string
2165 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2166 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2167
2168 =cut
2169 */
2170
2171 IV
2172 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
2173 {
2174     dVAR;
2175     if (!sv)
2176         return 0;
2177     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2178         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2179            cache IVs just in case. In practice it seems that they never
2180            actually anywhere accessible by user Perl code, let alone get used
2181            in anything other than a string context.  */
2182         if (flags & SV_GMAGIC)
2183             mg_get(sv);
2184         if (SvIOKp(sv))
2185             return SvIVX(sv);
2186         if (SvNOKp(sv)) {
2187             return I_V(SvNVX(sv));
2188         }
2189         if (SvPOKp(sv) && SvLEN(sv)) {
2190             UV value;
2191             const int numtype
2192                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2193
2194             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2195                 == IS_NUMBER_IN_UV) {
2196                 /* It's definitely an integer */
2197                 if (numtype & IS_NUMBER_NEG) {
2198                     if (value < (UV)IV_MIN)
2199                         return -(IV)value;
2200                 } else {
2201                     if (value < (UV)IV_MAX)
2202                         return (IV)value;
2203                 }
2204             }
2205             if (!numtype) {
2206                 if (ckWARN(WARN_NUMERIC))
2207                     not_a_number(sv);
2208             }
2209             return I_V(Atof(SvPVX_const(sv)));
2210         }
2211         if (SvROK(sv)) {
2212             goto return_rok;
2213         }
2214         assert(SvTYPE(sv) >= SVt_PVMG);
2215         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2216     } else if (SvTHINKFIRST(sv)) {
2217         if (SvROK(sv)) {
2218         return_rok:
2219             if (SvAMAGIC(sv)) {
2220                 SV * const tmpstr=AMG_CALLun(sv,numer);
2221                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2222                     return SvIV(tmpstr);
2223                 }
2224             }
2225             return PTR2IV(SvRV(sv));
2226         }
2227         if (SvIsCOW(sv)) {
2228             sv_force_normal_flags(sv, 0);
2229         }
2230         if (SvREADONLY(sv) && !SvOK(sv)) {
2231             if (ckWARN(WARN_UNINITIALIZED))
2232                 report_uninit(sv);
2233             return 0;
2234         }
2235     }
2236     if (!SvIOKp(sv)) {
2237         if (S_sv_2iuv_common(aTHX_ sv))
2238             return 0;
2239     }
2240     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2241         PTR2UV(sv),SvIVX(sv)));
2242     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2243 }
2244
2245 /*
2246 =for apidoc sv_2uv_flags
2247
2248 Return the unsigned integer value of an SV, doing any necessary string
2249 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2250 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2251
2252 =cut
2253 */
2254
2255 UV
2256 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
2257 {
2258     dVAR;
2259     if (!sv)
2260         return 0;
2261     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2262         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2263            cache IVs just in case.  */
2264         if (flags & SV_GMAGIC)
2265             mg_get(sv);
2266         if (SvIOKp(sv))
2267             return SvUVX(sv);
2268         if (SvNOKp(sv))
2269             return U_V(SvNVX(sv));
2270         if (SvPOKp(sv) && SvLEN(sv)) {
2271             UV value;
2272             const int numtype
2273                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2274
2275             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2276                 == IS_NUMBER_IN_UV) {
2277                 /* It's definitely an integer */
2278                 if (!(numtype & IS_NUMBER_NEG))
2279                     return value;
2280             }
2281             if (!numtype) {
2282                 if (ckWARN(WARN_NUMERIC))
2283                     not_a_number(sv);
2284             }
2285             return U_V(Atof(SvPVX_const(sv)));
2286         }
2287         if (SvROK(sv)) {
2288             goto return_rok;
2289         }
2290         assert(SvTYPE(sv) >= SVt_PVMG);
2291         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2292     } else if (SvTHINKFIRST(sv)) {
2293         if (SvROK(sv)) {
2294         return_rok:
2295             if (SvAMAGIC(sv)) {
2296                 SV *const tmpstr = AMG_CALLun(sv,numer);
2297                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2298                     return SvUV(tmpstr);
2299                 }
2300             }
2301             return PTR2UV(SvRV(sv));
2302         }
2303         if (SvIsCOW(sv)) {
2304             sv_force_normal_flags(sv, 0);
2305         }
2306         if (SvREADONLY(sv) && !SvOK(sv)) {
2307             if (ckWARN(WARN_UNINITIALIZED))
2308                 report_uninit(sv);
2309             return 0;
2310         }
2311     }
2312     if (!SvIOKp(sv)) {
2313         if (S_sv_2iuv_common(aTHX_ sv))
2314             return 0;
2315     }
2316
2317     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2318                           PTR2UV(sv),SvUVX(sv)));
2319     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2320 }
2321
2322 /*
2323 =for apidoc sv_2nv
2324
2325 Return the num value of an SV, doing any necessary string or integer
2326 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2327 macros.
2328
2329 =cut
2330 */
2331
2332 NV
2333 Perl_sv_2nv(pTHX_ register SV *sv)
2334 {
2335     dVAR;
2336     if (!sv)
2337         return 0.0;
2338     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2339         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2340            cache IVs just in case.  */
2341         mg_get(sv);
2342         if (SvNOKp(sv))
2343             return SvNVX(sv);
2344         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2345             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2346                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2347                 not_a_number(sv);
2348             return Atof(SvPVX_const(sv));
2349         }
2350         if (SvIOKp(sv)) {
2351             if (SvIsUV(sv))
2352                 return (NV)SvUVX(sv);
2353             else
2354                 return (NV)SvIVX(sv);
2355         }
2356         if (SvROK(sv)) {
2357             goto return_rok;
2358         }
2359         assert(SvTYPE(sv) >= SVt_PVMG);
2360         /* This falls through to the report_uninit near the end of the
2361            function. */
2362     } else if (SvTHINKFIRST(sv)) {
2363         if (SvROK(sv)) {
2364         return_rok:
2365             if (SvAMAGIC(sv)) {
2366                 SV *const tmpstr = AMG_CALLun(sv,numer);
2367                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2368                     return SvNV(tmpstr);
2369                 }
2370             }
2371             return PTR2NV(SvRV(sv));
2372         }
2373         if (SvIsCOW(sv)) {
2374             sv_force_normal_flags(sv, 0);
2375         }
2376         if (SvREADONLY(sv) && !SvOK(sv)) {
2377             if (ckWARN(WARN_UNINITIALIZED))
2378                 report_uninit(sv);
2379             return 0.0;
2380         }
2381     }
2382     if (SvTYPE(sv) < SVt_NV) {
2383         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2384         sv_upgrade(sv, SVt_NV);
2385 #ifdef USE_LONG_DOUBLE
2386         DEBUG_c({
2387             STORE_NUMERIC_LOCAL_SET_STANDARD();
2388             PerlIO_printf(Perl_debug_log,
2389                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2390                           PTR2UV(sv), SvNVX(sv));
2391             RESTORE_NUMERIC_LOCAL();
2392         });
2393 #else
2394         DEBUG_c({
2395             STORE_NUMERIC_LOCAL_SET_STANDARD();
2396             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2397                           PTR2UV(sv), SvNVX(sv));
2398             RESTORE_NUMERIC_LOCAL();
2399         });
2400 #endif
2401     }
2402     else if (SvTYPE(sv) < SVt_PVNV)
2403         sv_upgrade(sv, SVt_PVNV);
2404     if (SvNOKp(sv)) {
2405         return SvNVX(sv);
2406     }
2407     if (SvIOKp(sv)) {
2408         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2409 #ifdef NV_PRESERVES_UV
2410         SvNOK_on(sv);
2411 #else
2412         /* Only set the public NV OK flag if this NV preserves the IV  */
2413         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2414         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2415                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2416             SvNOK_on(sv);
2417         else
2418             SvNOKp_on(sv);
2419 #endif
2420     }
2421     else if (SvPOKp(sv) && SvLEN(sv)) {
2422         UV value;
2423         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2424         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2425             not_a_number(sv);
2426 #ifdef NV_PRESERVES_UV
2427         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2428             == IS_NUMBER_IN_UV) {
2429             /* It's definitely an integer */
2430             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2431         } else
2432             SvNV_set(sv, Atof(SvPVX_const(sv)));
2433         SvNOK_on(sv);
2434 #else
2435         SvNV_set(sv, Atof(SvPVX_const(sv)));
2436         /* Only set the public NV OK flag if this NV preserves the value in
2437            the PV at least as well as an IV/UV would.
2438            Not sure how to do this 100% reliably. */
2439         /* if that shift count is out of range then Configure's test is
2440            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2441            UV_BITS */
2442         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2443             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2444             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2445         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2446             /* Can't use strtol etc to convert this string, so don't try.
2447                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2448             SvNOK_on(sv);
2449         } else {
2450             /* value has been set.  It may not be precise.  */
2451             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2452                 /* 2s complement assumption for (UV)IV_MIN  */
2453                 SvNOK_on(sv); /* Integer is too negative.  */
2454             } else {
2455                 SvNOKp_on(sv);
2456                 SvIOKp_on(sv);
2457
2458                 if (numtype & IS_NUMBER_NEG) {
2459                     SvIV_set(sv, -(IV)value);
2460                 } else if (value <= (UV)IV_MAX) {
2461                     SvIV_set(sv, (IV)value);
2462                 } else {
2463                     SvUV_set(sv, value);
2464                     SvIsUV_on(sv);
2465                 }
2466
2467                 if (numtype & IS_NUMBER_NOT_INT) {
2468                     /* I believe that even if the original PV had decimals,
2469                        they are lost beyond the limit of the FP precision.
2470                        However, neither is canonical, so both only get p
2471                        flags.  NWC, 2000/11/25 */
2472                     /* Both already have p flags, so do nothing */
2473                 } else {
2474                     const NV nv = SvNVX(sv);
2475                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2476                         if (SvIVX(sv) == I_V(nv)) {
2477                             SvNOK_on(sv);
2478                         } else {
2479                             /* It had no "." so it must be integer.  */
2480                         }
2481                         SvIOK_on(sv);
2482                     } else {
2483                         /* between IV_MAX and NV(UV_MAX).
2484                            Could be slightly > UV_MAX */
2485
2486                         if (numtype & IS_NUMBER_NOT_INT) {
2487                             /* UV and NV both imprecise.  */
2488                         } else {
2489                             const UV nv_as_uv = U_V(nv);
2490
2491                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2492                                 SvNOK_on(sv);
2493                             }
2494                             SvIOK_on(sv);
2495                         }
2496                     }
2497                 }
2498             }
2499         }
2500 #endif /* NV_PRESERVES_UV */
2501     }
2502     else  {
2503         if (isGV_with_GP(sv)) {
2504             glob_2number((GV *)sv);
2505             return 0.0;
2506         }
2507
2508         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2509             report_uninit(sv);
2510         assert (SvTYPE(sv) >= SVt_NV);
2511         /* Typically the caller expects that sv_any is not NULL now.  */
2512         /* XXX Ilya implies that this is a bug in callers that assume this
2513            and ideally should be fixed.  */
2514         return 0.0;
2515     }
2516 #if defined(USE_LONG_DOUBLE)
2517     DEBUG_c({
2518         STORE_NUMERIC_LOCAL_SET_STANDARD();
2519         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2520                       PTR2UV(sv), SvNVX(sv));
2521         RESTORE_NUMERIC_LOCAL();
2522     });
2523 #else
2524     DEBUG_c({
2525         STORE_NUMERIC_LOCAL_SET_STANDARD();
2526         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2527                       PTR2UV(sv), SvNVX(sv));
2528         RESTORE_NUMERIC_LOCAL();
2529     });
2530 #endif
2531     return SvNVX(sv);
2532 }
2533
2534 /*
2535 =for apidoc sv_2num
2536
2537 Return an SV with the numeric value of the source SV, doing any necessary
2538 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2539 access this function.
2540
2541 =cut
2542 */
2543
2544 SV *
2545 Perl_sv_2num(pTHX_ register SV *sv)
2546 {
2547     if (!SvROK(sv))
2548         return sv;
2549     if (SvAMAGIC(sv)) {
2550         SV * const tmpsv = AMG_CALLun(sv,numer);
2551         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2552             return sv_2num(tmpsv);
2553     }
2554     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2555 }
2556
2557 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2558  * UV as a string towards the end of buf, and return pointers to start and
2559  * end of it.
2560  *
2561  * We assume that buf is at least TYPE_CHARS(UV) long.
2562  */
2563
2564 static char *
2565 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2566 {
2567     char *ptr = buf + TYPE_CHARS(UV);
2568     char * const ebuf = ptr;
2569     int sign;
2570
2571     if (is_uv)
2572         sign = 0;
2573     else if (iv >= 0) {
2574         uv = iv;
2575         sign = 0;
2576     } else {
2577         uv = -iv;
2578         sign = 1;
2579     }
2580     do {
2581         *--ptr = '0' + (char)(uv % 10);
2582     } while (uv /= 10);
2583     if (sign)
2584         *--ptr = '-';
2585     *peob = ebuf;
2586     return ptr;
2587 }
2588
2589 /*
2590 =for apidoc sv_2pv_flags
2591
2592 Returns a pointer to the string value of an SV, and sets *lp to its length.
2593 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2594 if necessary.
2595 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2596 usually end up here too.
2597
2598 =cut
2599 */
2600
2601 char *
2602 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2603 {
2604     dVAR;
2605     register char *s;
2606
2607     if (!sv) {
2608         if (lp)
2609             *lp = 0;
2610         return (char *)"";
2611     }
2612     if (SvGMAGICAL(sv)) {
2613         if (flags & SV_GMAGIC)
2614             mg_get(sv);
2615         if (SvPOKp(sv)) {
2616             if (lp)
2617                 *lp = SvCUR(sv);
2618             if (flags & SV_MUTABLE_RETURN)
2619                 return SvPVX_mutable(sv);
2620             if (flags & SV_CONST_RETURN)
2621                 return (char *)SvPVX_const(sv);
2622             return SvPVX(sv);
2623         }
2624         if (SvIOKp(sv) || SvNOKp(sv)) {
2625             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2626             STRLEN len;
2627
2628             if (SvIOKp(sv)) {
2629                 len = SvIsUV(sv)
2630                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2631                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2632             } else {
2633                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2634                 len = strlen(tbuf);
2635             }
2636             assert(!SvROK(sv));
2637             {
2638                 dVAR;
2639
2640 #ifdef FIXNEGATIVEZERO
2641                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2642                     tbuf[0] = '0';
2643                     tbuf[1] = 0;
2644                     len = 1;
2645                 }
2646 #endif
2647                 SvUPGRADE(sv, SVt_PV);
2648                 if (lp)
2649                     *lp = len;
2650                 s = SvGROW_mutable(sv, len + 1);
2651                 SvCUR_set(sv, len);
2652                 SvPOKp_on(sv);
2653                 return (char*)memcpy(s, tbuf, len + 1);
2654             }
2655         }
2656         if (SvROK(sv)) {
2657             goto return_rok;
2658         }
2659         assert(SvTYPE(sv) >= SVt_PVMG);
2660         /* This falls through to the report_uninit near the end of the
2661            function. */
2662     } else if (SvTHINKFIRST(sv)) {
2663         if (SvROK(sv)) {
2664         return_rok:
2665             if (SvAMAGIC(sv)) {
2666                 SV *const tmpstr = AMG_CALLun(sv,string);
2667                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2668                     /* Unwrap this:  */
2669                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2670                      */
2671
2672                     char *pv;
2673                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2674                         if (flags & SV_CONST_RETURN) {
2675                             pv = (char *) SvPVX_const(tmpstr);
2676                         } else {
2677                             pv = (flags & SV_MUTABLE_RETURN)
2678                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2679                         }
2680                         if (lp)
2681                             *lp = SvCUR(tmpstr);
2682                     } else {
2683                         pv = sv_2pv_flags(tmpstr, lp, flags);
2684                     }
2685                     if (SvUTF8(tmpstr))
2686                         SvUTF8_on(sv);
2687                     else
2688                         SvUTF8_off(sv);
2689                     return pv;
2690                 }
2691             }
2692             {
2693                 STRLEN len;
2694                 char *retval;
2695                 char *buffer;
2696                 const SV *const referent = (SV*)SvRV(sv);
2697
2698                 if (!referent) {
2699                     len = 7;
2700                     retval = buffer = savepvn("NULLREF", len);
2701                 } else if (SvTYPE(referent) == SVt_REGEXP) {
2702                     char *str = NULL;
2703                     I32 haseval = 0;
2704                     U32 flags = 0;
2705                     struct magic temp;
2706                     temp.mg_obj
2707                         = (SV*)((struct xregexp *)SvANY(referent))->xrx_regexp;
2708                     assert(temp.mg_obj);
2709                     (str) = CALLREG_AS_STR(&temp,lp,&flags,&haseval);
2710                     if (flags & 1)
2711                         SvUTF8_on(sv);
2712                     else
2713                         SvUTF8_off(sv);
2714                     PL_reginterp_cnt += haseval;
2715                     return str;
2716                 } else {
2717                     const char *const typestr = sv_reftype(referent, 0);
2718                     const STRLEN typelen = strlen(typestr);
2719                     UV addr = PTR2UV(referent);
2720                     const char *stashname = NULL;
2721                     STRLEN stashnamelen = 0; /* hush, gcc */
2722                     const char *buffer_end;
2723
2724                     if (SvOBJECT(referent)) {
2725                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2726
2727                         if (name) {
2728                             stashname = HEK_KEY(name);
2729                             stashnamelen = HEK_LEN(name);
2730
2731                             if (HEK_UTF8(name)) {
2732                                 SvUTF8_on(sv);
2733                             } else {
2734                                 SvUTF8_off(sv);
2735                             }
2736                         } else {
2737                             stashname = "__ANON__";
2738                             stashnamelen = 8;
2739                         }
2740                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2741                             + 2 * sizeof(UV) + 2 /* )\0 */;
2742                     } else {
2743                         len = typelen + 3 /* (0x */
2744                             + 2 * sizeof(UV) + 2 /* )\0 */;
2745                     }
2746
2747                     Newx(buffer, len, char);
2748                     buffer_end = retval = buffer + len;
2749
2750                     /* Working backwards  */
2751                     *--retval = '\0';
2752                     *--retval = ')';
2753                     do {
2754                         *--retval = PL_hexdigit[addr & 15];
2755                     } while (addr >>= 4);
2756                     *--retval = 'x';
2757                     *--retval = '0';
2758                     *--retval = '(';
2759
2760                     retval -= typelen;
2761                     memcpy(retval, typestr, typelen);
2762
2763                     if (stashname) {
2764                         *--retval = '=';
2765                         retval -= stashnamelen;
2766                         memcpy(retval, stashname, stashnamelen);
2767                     }
2768                     /* retval may not neccesarily have reached the start of the
2769                        buffer here.  */
2770                     assert (retval >= buffer);
2771
2772                     len = buffer_end - retval - 1; /* -1 for that \0  */
2773                 }
2774                 if (lp)
2775                     *lp = len;
2776                 SAVEFREEPV(buffer);
2777                 return retval;
2778             }
2779         }
2780         if (SvREADONLY(sv) && !SvOK(sv)) {
2781             if (ckWARN(WARN_UNINITIALIZED))
2782                 report_uninit(sv);
2783             if (lp)
2784                 *lp = 0;
2785             return (char *)"";
2786         }
2787     }
2788     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2789         /* I'm assuming that if both IV and NV are equally valid then
2790            converting the IV is going to be more efficient */
2791         const U32 isUIOK = SvIsUV(sv);
2792         char buf[TYPE_CHARS(UV)];
2793         char *ebuf, *ptr;
2794         STRLEN len;
2795
2796         if (SvTYPE(sv) < SVt_PVIV)
2797             sv_upgrade(sv, SVt_PVIV);
2798         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2799         len = ebuf - ptr;
2800         /* inlined from sv_setpvn */
2801         s = SvGROW_mutable(sv, len + 1);
2802         Move(ptr, s, len, char);
2803         s += len;
2804         *s = '\0';
2805     }
2806     else if (SvNOKp(sv)) {
2807         const int olderrno = errno;
2808         if (SvTYPE(sv) < SVt_PVNV)
2809             sv_upgrade(sv, SVt_PVNV);
2810         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2811         s = SvGROW_mutable(sv, NV_DIG + 20);
2812         /* some Xenix systems wipe out errno here */
2813 #ifdef apollo
2814         if (SvNVX(sv) == 0.0)
2815             my_strlcpy(s, "0", SvLEN(sv));
2816         else
2817 #endif /*apollo*/
2818         {
2819             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2820         }
2821         errno = olderrno;
2822 #ifdef FIXNEGATIVEZERO
2823         if (*s == '-' && s[1] == '0' && !s[2]) {
2824             s[0] = '0';
2825             s[1] = 0;
2826         }
2827 #endif
2828         while (*s) s++;
2829 #ifdef hcx
2830         if (s[-1] == '.')
2831             *--s = '\0';
2832 #endif
2833     }
2834     else {
2835         if (isGV_with_GP(sv))
2836             return glob_2pv((GV *)sv, lp);
2837
2838         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2839             report_uninit(sv);
2840         if (lp)
2841             *lp = 0;
2842         if (SvTYPE(sv) < SVt_PV)
2843             /* Typically the caller expects that sv_any is not NULL now.  */
2844             sv_upgrade(sv, SVt_PV);
2845         return (char *)"";
2846     }
2847     {
2848         const STRLEN len = s - SvPVX_const(sv);
2849         if (lp) 
2850             *lp = len;
2851         SvCUR_set(sv, len);
2852     }
2853     SvPOK_on(sv);
2854     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2855                           PTR2UV(sv),SvPVX_const(sv)));
2856     if (flags & SV_CONST_RETURN)
2857         return (char *)SvPVX_const(sv);
2858     if (flags & SV_MUTABLE_RETURN)
2859         return SvPVX_mutable(sv);
2860     return SvPVX(sv);
2861 }
2862
2863 /*
2864 =for apidoc sv_copypv
2865
2866 Copies a stringified representation of the source SV into the
2867 destination SV.  Automatically performs any necessary mg_get and
2868 coercion of numeric values into strings.  Guaranteed to preserve
2869 UTF8 flag even from overloaded objects.  Similar in nature to
2870 sv_2pv[_flags] but operates directly on an SV instead of just the
2871 string.  Mostly uses sv_2pv_flags to do its work, except when that
2872 would lose the UTF-8'ness of the PV.
2873
2874 =cut
2875 */
2876
2877 void
2878 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2879 {
2880     STRLEN len;
2881     const char * const s = SvPV_const(ssv,len);
2882     sv_setpvn(dsv,s,len);
2883     if (SvUTF8(ssv))
2884         SvUTF8_on(dsv);
2885     else
2886         SvUTF8_off(dsv);
2887 }
2888
2889 /*
2890 =for apidoc sv_2pvbyte
2891
2892 Return a pointer to the byte-encoded representation of the SV, and set *lp
2893 to its length.  May cause the SV to be downgraded from UTF-8 as a
2894 side-effect.
2895
2896 Usually accessed via the C<SvPVbyte> macro.
2897
2898 =cut
2899 */
2900
2901 char *
2902 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2903 {
2904     sv_utf8_downgrade(sv,0);
2905     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2906 }
2907
2908 /*
2909 =for apidoc sv_2pvutf8
2910
2911 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2912 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2913
2914 Usually accessed via the C<SvPVutf8> macro.
2915
2916 =cut
2917 */
2918
2919 char *
2920 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2921 {
2922     sv_utf8_upgrade(sv);
2923     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2924 }
2925
2926
2927 /*
2928 =for apidoc sv_2bool
2929
2930 This function is only called on magical items, and is only used by
2931 sv_true() or its macro equivalent.
2932
2933 =cut
2934 */
2935
2936 bool
2937 Perl_sv_2bool(pTHX_ register SV *sv)
2938 {
2939     dVAR;
2940     SvGETMAGIC(sv);
2941
2942     if (!SvOK(sv))
2943         return 0;
2944     if (SvROK(sv)) {
2945         if (SvAMAGIC(sv)) {
2946             SV * const tmpsv = AMG_CALLun(sv,bool_);
2947             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2948                 return (bool)SvTRUE(tmpsv);
2949         }
2950         return SvRV(sv) != 0;
2951     }
2952     if (SvPOKp(sv)) {
2953         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2954         if (Xpvtmp &&
2955                 (*sv->sv_u.svu_pv > '0' ||
2956                 Xpvtmp->xpv_cur > 1 ||
2957                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2958             return 1;
2959         else
2960             return 0;
2961     }
2962     else {
2963         if (SvIOKp(sv))
2964             return SvIVX(sv) != 0;
2965         else {
2966             if (SvNOKp(sv))
2967                 return SvNVX(sv) != 0.0;
2968             else {
2969                 if (isGV_with_GP(sv))
2970                     return TRUE;
2971                 else
2972                     return FALSE;
2973             }
2974         }
2975     }
2976 }
2977
2978 /*
2979 =for apidoc sv_utf8_upgrade
2980
2981 Converts the PV of an SV to its UTF-8-encoded form.
2982 Forces the SV to string form if it is not already.
2983 Always sets the SvUTF8 flag to avoid future validity checks even
2984 if all the bytes have hibit clear.
2985
2986 This is not as a general purpose byte encoding to Unicode interface:
2987 use the Encode extension for that.
2988
2989 =for apidoc sv_utf8_upgrade_flags
2990
2991 Converts the PV of an SV to its UTF-8-encoded form.
2992 Forces the SV to string form if it is not already.
2993 Always sets the SvUTF8 flag to avoid future validity checks even
2994 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2995 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2996 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2997
2998 This is not as a general purpose byte encoding to Unicode interface:
2999 use the Encode extension for that.
3000
3001 =cut
3002 */
3003
3004 STRLEN
3005 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
3006 {
3007     dVAR;
3008     if (sv == &PL_sv_undef)
3009         return 0;
3010     if (!SvPOK(sv)) {
3011         STRLEN len = 0;
3012         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3013             (void) sv_2pv_flags(sv,&len, flags);
3014             if (SvUTF8(sv))
3015                 return len;
3016         } else {
3017             (void) SvPV_force(sv,len);
3018         }
3019     }
3020
3021     if (SvUTF8(sv)) {
3022         return SvCUR(sv);
3023     }
3024
3025     if (SvIsCOW(sv)) {
3026         sv_force_normal_flags(sv, 0);
3027     }
3028
3029     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
3030         sv_recode_to_utf8(sv, PL_encoding);
3031     else { /* Assume Latin-1/EBCDIC */
3032         /* This function could be much more efficient if we
3033          * had a FLAG in SVs to signal if there are any hibit
3034          * chars in the PV.  Given that there isn't such a flag
3035          * make the loop as fast as possible. */
3036         const U8 * const s = (U8 *) SvPVX_const(sv);
3037         const U8 * const e = (U8 *) SvEND(sv);
3038         const U8 *t = s;
3039         
3040         while (t < e) {
3041             const U8 ch = *t++;
3042             /* Check for hi bit */
3043             if (!NATIVE_IS_INVARIANT(ch)) {
3044                 STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
3045                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
3046
3047                 SvPV_free(sv); /* No longer using what was there before. */
3048                 SvPV_set(sv, (char*)recoded);
3049                 SvCUR_set(sv, len - 1);
3050                 SvLEN_set(sv, len); /* No longer know the real size. */
3051                 break;
3052             }
3053         }
3054         /* Mark as UTF-8 even if no hibit - saves scanning loop */
3055         SvUTF8_on(sv);
3056     }
3057     return SvCUR(sv);
3058 }
3059
3060 /*
3061 =for apidoc sv_utf8_downgrade
3062
3063 Attempts to convert the PV of an SV from characters to bytes.
3064 If the PV contains a character beyond byte, this conversion will fail;
3065 in this case, either returns false or, if C<fail_ok> is not
3066 true, croaks.
3067
3068 This is not as a general purpose Unicode to byte encoding interface:
3069 use the Encode extension for that.
3070
3071 =cut
3072 */
3073
3074 bool
3075 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
3076 {
3077     dVAR;
3078     if (SvPOKp(sv) && SvUTF8(sv)) {
3079         if (SvCUR(sv)) {
3080             U8 *s;
3081             STRLEN len;
3082
3083             if (SvIsCOW(sv)) {
3084                 sv_force_normal_flags(sv, 0);
3085             }
3086             s = (U8 *) SvPV(sv, len);
3087             if (!utf8_to_bytes(s, &len)) {
3088                 if (fail_ok)
3089                     return FALSE;
3090                 else {
3091                     if (PL_op)
3092                         Perl_croak(aTHX_ "Wide character in %s",
3093                                    OP_DESC(PL_op));
3094                     else
3095                         Perl_croak(aTHX_ "Wide character");
3096                 }
3097             }
3098             SvCUR_set(sv, len);
3099         }
3100     }
3101     SvUTF8_off(sv);
3102     return TRUE;
3103 }
3104
3105 /*
3106 =for apidoc sv_utf8_encode
3107
3108 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3109 flag off so that it looks like octets again.
3110
3111 =cut
3112 */
3113
3114 void
3115 Perl_sv_utf8_encode(pTHX_ register SV *sv)
3116 {
3117     if (SvIsCOW(sv)) {
3118         sv_force_normal_flags(sv, 0);
3119     }
3120     if (SvREADONLY(sv)) {
3121         Perl_croak(aTHX_ PL_no_modify);
3122     }
3123     (void) sv_utf8_upgrade(sv);
3124     SvUTF8_off(sv);
3125 }
3126
3127 /*
3128 =for apidoc sv_utf8_decode
3129
3130 If the PV of the SV is an octet sequence in UTF-8
3131 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3132 so that it looks like a character. If the PV contains only single-byte
3133 characters, the C<SvUTF8> flag stays being off.
3134 Scans PV for validity and returns false if the PV is invalid UTF-8.
3135
3136 =cut
3137 */
3138
3139 bool
3140 Perl_sv_utf8_decode(pTHX_ register SV *sv)
3141 {
3142     if (SvPOKp(sv)) {
3143         const U8 *c;
3144         const U8 *e;
3145
3146         /* The octets may have got themselves encoded - get them back as
3147          * bytes
3148          */
3149         if (!sv_utf8_downgrade(sv, TRUE))
3150             return FALSE;
3151
3152         /* it is actually just a matter of turning the utf8 flag on, but
3153          * we want to make sure everything inside is valid utf8 first.
3154          */
3155         c = (const U8 *) SvPVX_const(sv);
3156         if (!is_utf8_string(c, SvCUR(sv)+1))
3157             return FALSE;
3158         e = (const U8 *) SvEND(sv);
3159         while (c < e) {
3160             const U8 ch = *c++;
3161             if (!UTF8_IS_INVARIANT(ch)) {
3162                 SvUTF8_on(sv);
3163                 break;
3164             }
3165         }
3166     }
3167     return TRUE;
3168 }
3169
3170 /*
3171 =for apidoc sv_setsv
3172
3173 Copies the contents of the source SV C<ssv> into the destination SV
3174 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3175 function if the source SV needs to be reused. Does not handle 'set' magic.
3176 Loosely speaking, it performs a copy-by-value, obliterating any previous
3177 content of the destination.
3178
3179 You probably want to use one of the assortment of wrappers, such as
3180 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3181 C<SvSetMagicSV_nosteal>.
3182
3183 =for apidoc sv_setsv_flags
3184
3185 Copies the contents of the source SV C<ssv> into the destination SV
3186 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3187 function if the source SV needs to be reused. Does not handle 'set' magic.
3188 Loosely speaking, it performs a copy-by-value, obliterating any previous
3189 content of the destination.
3190 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3191 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3192 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3193 and C<sv_setsv_nomg> are implemented in terms of this function.
3194
3195 You probably want to use one of the assortment of wrappers, such as
3196 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3197 C<SvSetMagicSV_nosteal>.
3198
3199 This is the primary function for copying scalars, and most other
3200 copy-ish functions and macros use this underneath.
3201
3202 =cut
3203 */
3204
3205 static void
3206 S_glob_assign_glob(pTHX_ SV *dstr, SV *sstr, const int dtype)
3207 {
3208     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3209
3210     if (dtype != SVt_PVGV) {
3211         const char * const name = GvNAME(sstr);
3212         const STRLEN len = GvNAMELEN(sstr);
3213         {
3214             if (dtype >= SVt_PV) {
3215                 SvPV_free(dstr);
3216                 SvPV_set(dstr, 0);
3217                 SvLEN_set(dstr, 0);
3218                 SvCUR_set(dstr, 0);
3219             }
3220             SvUPGRADE(dstr, SVt_PVGV);
3221             (void)SvOK_off(dstr);
3222             /* FIXME - why are we doing this, then turning it off and on again
3223                below?  */
3224             isGV_with_GP_on(dstr);
3225         }
3226         GvSTASH(dstr) = GvSTASH(sstr);
3227         if (GvSTASH(dstr))
3228             Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
3229         gv_name_set((GV *)dstr, name, len, GV_ADD);
3230         SvFAKE_on(dstr);        /* can coerce to non-glob */
3231     }
3232
3233 #ifdef GV_UNIQUE_CHECK
3234     if (GvUNIQUE((GV*)dstr)) {
3235         Perl_croak(aTHX_ PL_no_modify);
3236     }
3237 #endif
3238
3239     if(GvGP((GV*)sstr)) {
3240         /* If source has method cache entry, clear it */
3241         if(GvCVGEN(sstr)) {
3242             SvREFCNT_dec(GvCV(sstr));
3243             GvCV(sstr) = NULL;
3244             GvCVGEN(sstr) = 0;
3245         }
3246         /* If source has a real method, then a method is
3247            going to change */
3248         else if(GvCV((GV*)sstr)) {
3249             mro_changes = 1;
3250         }
3251     }
3252
3253     /* If dest already had a real method, that's a change as well */
3254     if(!mro_changes && GvGP((GV*)dstr) && GvCVu((GV*)dstr)) {
3255         mro_changes = 1;
3256     }
3257
3258     if(strEQ(GvNAME((GV*)dstr),"ISA"))
3259         mro_changes = 2;
3260
3261     gp_free((GV*)dstr);
3262     isGV_with_GP_off(dstr);
3263     (void)SvOK_off(dstr);
3264     isGV_with_GP_on(dstr);
3265     GvINTRO_off(dstr);          /* one-shot flag */
3266     GvGP(dstr) = gp_ref(GvGP(sstr));
3267     if (SvTAINTED(sstr))
3268         SvTAINT(dstr);
3269     if (GvIMPORTED(dstr) != GVf_IMPORTED
3270         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3271         {
3272             GvIMPORTED_on(dstr);
3273         }
3274     GvMULTI_on(dstr);
3275     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3276     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3277     return;
3278 }
3279
3280 static void
3281 S_glob_assign_ref(pTHX_ SV *dstr, SV *sstr) {
3282     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3283     SV *dref = NULL;
3284     const int intro = GvINTRO(dstr);
3285     SV **location;
3286     U8 import_flag = 0;
3287     const U32 stype = SvTYPE(sref);
3288
3289
3290 #ifdef GV_UNIQUE_CHECK
3291     if (GvUNIQUE((GV*)dstr)) {
3292         Perl_croak(aTHX_ PL_no_modify);
3293     }
3294 #endif
3295
3296     if (intro) {
3297         GvINTRO_off(dstr);      /* one-shot flag */
3298         GvLINE(dstr) = CopLINE(PL_curcop);
3299         GvEGV(dstr) = (GV*)dstr;
3300     }
3301     GvMULTI_on(dstr);
3302     switch (stype) {
3303     case SVt_PVCV:
3304         location = (SV **) &GvCV(dstr);
3305         import_flag = GVf_IMPORTED_CV;
3306         goto common;
3307     case SVt_PVHV:
3308         location = (SV **) &GvHV(dstr);
3309         import_flag = GVf_IMPORTED_HV;
3310         goto common;
3311     case SVt_PVAV:
3312         location = (SV **) &GvAV(dstr);
3313         import_flag = GVf_IMPORTED_AV;
3314         goto common;
3315     case SVt_PVIO:
3316         location = (SV **) &GvIOp(dstr);
3317         goto common;
3318     case SVt_PVFM:
3319         location = (SV **) &GvFORM(dstr);
3320     default:
3321         location = &GvSV(dstr);
3322         import_flag = GVf_IMPORTED_SV;
3323     common:
3324         if (intro) {
3325             if (stype == SVt_PVCV) {
3326                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (CV*)sref || GvCVGEN(dstr))) {*/
3327                 if (GvCVGEN(dstr)) {
3328                     SvREFCNT_dec(GvCV(dstr));
3329                     GvCV(dstr) = NULL;
3330                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3331                 }
3332             }
3333             SAVEGENERICSV(*location);
3334         }
3335         else
3336             dref = *location;
3337         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3338             CV* const cv = (CV*)*location;
3339             if (cv) {
3340                 if (!GvCVGEN((GV*)dstr) &&
3341                     (CvROOT(cv) || CvXSUB(cv)))
3342                     {
3343                         /* Redefining a sub - warning is mandatory if
3344                            it was a const and its value changed. */
3345                         if (CvCONST(cv) && CvCONST((CV*)sref)
3346                             && cv_const_sv(cv) == cv_const_sv((CV*)sref)) {
3347                             NOOP;
3348                             /* They are 2 constant subroutines generated from
3349                                the same constant. This probably means that
3350                                they are really the "same" proxy subroutine
3351                                instantiated in 2 places. Most likely this is
3352                                when a constant is exported twice.  Don't warn.
3353                             */
3354                         }
3355                         else if (ckWARN(WARN_REDEFINE)
3356                                  || (CvCONST(cv)
3357                                      && (!CvCONST((CV*)sref)
3358                                          || sv_cmp(cv_const_sv(cv),
3359                                                    cv_const_sv((CV*)sref))))) {
3360                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3361                                         (const char *)
3362                                         (CvCONST(cv)
3363                                          ? "Constant subroutine %s::%s redefined"
3364                                          : "Subroutine %s::%s redefined"),
3365                                         HvNAME_get(GvSTASH((GV*)dstr)),
3366                                         GvENAME((GV*)dstr));
3367                         }
3368                     }
3369                 if (!intro)
3370                     cv_ckproto_len(cv, (GV*)dstr,
3371                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3372                                    SvPOK(sref) ? SvCUR(sref) : 0);
3373             }
3374             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3375             GvASSUMECV_on(dstr);
3376             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3377         }
3378         *location = sref;
3379         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3380             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3381             GvFLAGS(dstr) |= import_flag;
3382         }
3383         break;
3384     }
3385     SvREFCNT_dec(dref);
3386     if (SvTAINTED(sstr))
3387         SvTAINT(dstr);
3388     return;
3389 }
3390
3391 void
3392 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
3393 {
3394     dVAR;
3395     register U32 sflags;
3396     register int dtype;
3397     register svtype stype;
3398
3399     if (sstr == dstr)
3400         return;
3401
3402     if (SvIS_FREED(dstr)) {
3403         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3404                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3405     }
3406     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3407     if (!sstr)
3408         sstr = &PL_sv_undef;
3409     if (SvIS_FREED(sstr)) {
3410         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3411                    (void*)sstr, (void*)dstr);
3412     }
3413     stype = SvTYPE(sstr);
3414     dtype = SvTYPE(dstr);
3415
3416     (void)SvAMAGIC_off(dstr);
3417     if ( SvVOK(dstr) )
3418     {
3419         /* need to nuke the magic */
3420         mg_free(dstr);
3421         SvRMAGICAL_off(dstr);
3422     }
3423
3424     /* There's a lot of redundancy below but we're going for speed here */
3425
3426     switch (stype) {
3427     case SVt_NULL:
3428       undef_sstr:
3429         if (dtype != SVt_PVGV) {
3430             (void)SvOK_off(dstr);
3431             return;
3432         }
3433         break;
3434     case SVt_IV:
3435         if (SvIOK(sstr)) {
3436             switch (dtype) {
3437             case SVt_NULL:
3438                 sv_upgrade(dstr, SVt_IV);
3439                 break;
3440             case SVt_NV:
3441             case SVt_PV:
3442                 sv_upgrade(dstr, SVt_PVIV);
3443                 break;
3444             case SVt_PVGV:
3445                 goto end_of_first_switch;
3446             }
3447             (void)SvIOK_only(dstr);
3448             SvIV_set(dstr,  SvIVX(sstr));
3449             if (SvIsUV(sstr))
3450                 SvIsUV_on(dstr);
3451             /* SvTAINTED can only be true if the SV has taint magic, which in
3452                turn means that the SV type is PVMG (or greater). This is the
3453                case statement for SVt_IV, so this cannot be true (whatever gcov
3454                may say).  */
3455             assert(!SvTAINTED(sstr));
3456             return;
3457         }
3458         if (!SvROK(sstr))
3459             goto undef_sstr;
3460         if (dtype < SVt_PV && dtype != SVt_IV)
3461             sv_upgrade(dstr, SVt_IV);
3462         break;
3463
3464     case SVt_NV:
3465         if (SvNOK(sstr)) {
3466             switch (dtype) {
3467             case SVt_NULL:
3468             case SVt_IV:
3469                 sv_upgrade(dstr, SVt_NV);
3470                 break;
3471             case SVt_PV:
3472             case SVt_PVIV:
3473                 sv_upgrade(dstr, SVt_PVNV);
3474                 break;
3475             case SVt_PVGV:
3476                 goto end_of_first_switch;
3477             }
3478             SvNV_set(dstr, SvNVX(sstr));
3479             (void)SvNOK_only(dstr);
3480             /* SvTAINTED can only be true if the SV has taint magic, which in
3481                turn means that the SV type is PVMG (or greater). This is the
3482                case statement for SVt_NV, so this cannot be true (whatever gcov
3483                may say).  */
3484             assert(!SvTAINTED(sstr));
3485             return;
3486         }
3487         goto undef_sstr;
3488
3489     case SVt_PVFM:
3490 #ifdef PERL_OLD_COPY_ON_WRITE
3491         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3492             if (dtype < SVt_PVIV)
3493                 sv_upgrade(dstr, SVt_PVIV);
3494             break;
3495         }
3496         /* Fall through */
3497 #endif
3498     case SVt_PV:
3499         if (dtype < SVt_PV)
3500             sv_upgrade(dstr, SVt_PV);
3501         break;
3502     case SVt_PVIV:
3503         if (dtype < SVt_PVIV)
3504             sv_upgrade(dstr, SVt_PVIV);
3505         break;
3506     case SVt_PVNV:
3507         if (dtype < SVt_PVNV)
3508             sv_upgrade(dstr, SVt_PVNV);
3509         break;
3510     default:
3511         {
3512         const char * const type = sv_reftype(sstr,0);
3513         if (PL_op)
3514             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3515         else
3516             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3517         }
3518         break;
3519
3520         /* case SVt_BIND: */
3521     case SVt_PVLV:
3522     case SVt_PVGV:
3523         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3524             glob_assign_glob(dstr, sstr, dtype);
3525             return;
3526         }
3527         /* SvVALID means that this PVGV is playing at being an FBM.  */
3528         /*FALLTHROUGH*/
3529
3530     case SVt_PVMG:
3531         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3532             mg_get(sstr);
3533             if (SvTYPE(sstr) != stype) {
3534                 stype = SvTYPE(sstr);
3535                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3536                     glob_assign_glob(dstr, sstr, dtype);
3537                     return;
3538                 }
3539             }
3540         }
3541         if (stype == SVt_PVLV)
3542             SvUPGRADE(dstr, SVt_PVNV);
3543         else
3544             SvUPGRADE(dstr, (svtype)stype);
3545     }
3546  end_of_first_switch:
3547
3548     /* dstr may have been upgraded.  */
3549     dtype = SvTYPE(dstr);
3550     sflags = SvFLAGS(sstr);
3551
3552     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3553         /* Assigning to a subroutine sets the prototype.  */
3554         if (SvOK(sstr)) {
3555             STRLEN len;
3556             const char *const ptr = SvPV_const(sstr, len);
3557
3558             SvGROW(dstr, len + 1);
3559             Copy(ptr, SvPVX(dstr), len + 1, char);
3560             SvCUR_set(dstr, len);
3561             SvPOK_only(dstr);
3562             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3563         } else {
3564             SvOK_off(dstr);
3565         }
3566     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3567         const char * const type = sv_reftype(dstr,0);
3568         if (PL_op)
3569             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3570         else
3571             Perl_croak(aTHX_ "Cannot copy to %s", type);
3572     } else if (sflags & SVf_ROK) {
3573         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3574             && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3575             sstr = SvRV(sstr);
3576             if (sstr == dstr) {
3577                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3578                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3579                 {
3580                     GvIMPORTED_on(dstr);
3581                 }
3582                 GvMULTI_on(dstr);
3583                 return;
3584             }
3585             glob_assign_glob(dstr, sstr, dtype);
3586             return;
3587         }
3588
3589         if (dtype >= SVt_PV) {
3590             if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3591                 glob_assign_ref(dstr, sstr);
3592                 return;
3593             }
3594             if (SvPVX_const(dstr)) {
3595                 SvPV_free(dstr);
3596                 SvLEN_set(dstr, 0);
3597                 SvCUR_set(dstr, 0);
3598             }
3599         }
3600         (void)SvOK_off(dstr);
3601         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3602         SvFLAGS(dstr) |= sflags & SVf_ROK;
3603         assert(!(sflags & SVp_NOK));
3604         assert(!(sflags & SVp_IOK));
3605         assert(!(sflags & SVf_NOK));
3606         assert(!(sflags & SVf_IOK));
3607     }
3608     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3609         if (!(sflags & SVf_OK)) {
3610             if (ckWARN(WARN_MISC))
3611                 Perl_warner(aTHX_ packWARN(WARN_MISC),
3612                             "Undefined value assigned to typeglob");
3613         }
3614         else {
3615             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
3616             if (dstr != (SV*)gv) {
3617                 if (GvGP(dstr))
3618                     gp_free((GV*)dstr);
3619                 GvGP(dstr) = gp_ref(GvGP(gv));
3620             }
3621         }
3622     }
3623     else if (sflags & SVp_POK) {
3624         bool isSwipe = 0;
3625
3626         /*
3627          * Check to see if we can just swipe the string.  If so, it's a
3628          * possible small lose on short strings, but a big win on long ones.
3629          * It might even be a win on short strings if SvPVX_const(dstr)
3630          * has to be allocated and SvPVX_const(sstr) has to be freed.
3631          * Likewise if we can set up COW rather than doing an actual copy, we
3632          * drop to the else clause, as the swipe code and the COW setup code
3633          * have much in common.
3634          */
3635
3636         /* Whichever path we take through the next code, we want this true,
3637            and doing it now facilitates the COW check.  */
3638         (void)SvPOK_only(dstr);
3639
3640         if (
3641             /* If we're already COW then this clause is not true, and if COW
3642                is allowed then we drop down to the else and make dest COW 
3643                with us.  If caller hasn't said that we're allowed to COW
3644                shared hash keys then we don't do the COW setup, even if the
3645                source scalar is a shared hash key scalar.  */
3646             (((flags & SV_COW_SHARED_HASH_KEYS)
3647                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
3648                : 1 /* If making a COW copy is forbidden then the behaviour we
3649                        desire is as if the source SV isn't actually already
3650                        COW, even if it is.  So we act as if the source flags
3651                        are not COW, rather than actually testing them.  */
3652               )
3653 #ifndef PERL_OLD_COPY_ON_WRITE
3654              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
3655                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
3656                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
3657                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
3658                 but in turn, it's somewhat dead code, never expected to go
3659                 live, but more kept as a placeholder on how to do it better
3660                 in a newer implementation.  */
3661              /* If we are COW and dstr is a suitable target then we drop down
3662                 into the else and make dest a COW of us.  */
3663              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3664 #endif
3665              )
3666             &&
3667             !(isSwipe =
3668                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3669                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3670                  (!(flags & SV_NOSTEAL)) &&
3671                                         /* and we're allowed to steal temps */
3672                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3673                  SvLEN(sstr)    &&        /* and really is a string */
3674                                 /* and won't be needed again, potentially */
3675               !(PL_op && PL_op->op_type == OP_AASSIGN))
3676 #ifdef PERL_OLD_COPY_ON_WRITE
3677             && ((flags & SV_COW_SHARED_HASH_KEYS)
3678                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3679                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3680                      && SvTYPE(sstr) >= SVt_PVIV))
3681                 : 1)
3682 #endif
3683             ) {
3684             /* Failed the swipe test, and it's not a shared hash key either.
3685                Have to copy the string.  */
3686             STRLEN len = SvCUR(sstr);
3687             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3688             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3689             SvCUR_set(dstr, len);
3690             *SvEND(dstr) = '\0';
3691         } else {
3692             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3693                be true in here.  */
3694             /* Either it's a shared hash key, or it's suitable for
3695                copy-on-write or we can swipe the string.  */
3696             if (DEBUG_C_TEST) {
3697                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3698                 sv_dump(sstr);
3699                 sv_dump(dstr);
3700             }
3701 #ifdef PERL_OLD_COPY_ON_WRITE
3702             if (!isSwipe) {
3703                 /* I believe I should acquire a global SV mutex if
3704                    it's a COW sv (not a shared hash key) to stop
3705                    it going un copy-on-write.
3706                    If the source SV has gone un copy on write between up there
3707                    and down here, then (assert() that) it is of the correct
3708                    form to make it copy on write again */
3709                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3710                     != (SVf_FAKE | SVf_READONLY)) {
3711                     SvREADONLY_on(sstr);
3712                     SvFAKE_on(sstr);
3713                     /* Make the source SV into a loop of 1.
3714                        (about to become 2) */
3715                     SV_COW_NEXT_SV_SET(sstr, sstr);
3716                 }
3717             }
3718 #endif
3719             /* Initial code is common.  */
3720             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3721                 SvPV_free(dstr);
3722             }
3723
3724             if (!isSwipe) {
3725                 /* making another shared SV.  */
3726                 STRLEN cur = SvCUR(sstr);
3727                 STRLEN len = SvLEN(sstr);
3728 #ifdef PERL_OLD_COPY_ON_WRITE
3729                 if (len) {
3730                     assert (SvTYPE(dstr) >= SVt_PVIV);
3731                     /* SvIsCOW_normal */
3732                     /* splice us in between source and next-after-source.  */
3733                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3734                     SV_COW_NEXT_SV_SET(sstr, dstr);
3735                     SvPV_set(dstr, SvPVX_mutable(sstr));
3736                 } else
3737 #endif
3738                 {
3739                     /* SvIsCOW_shared_hash */
3740                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3741                                           "Copy on write: Sharing hash\n"));
3742
3743                     assert (SvTYPE(dstr) >= SVt_PV);
3744                     SvPV_set(dstr,
3745                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3746                 }
3747                 SvLEN_set(dstr, len);
3748                 SvCUR_set(dstr, cur);
3749                 SvREADONLY_on(dstr);
3750                 SvFAKE_on(dstr);
3751                 /* Relesase a global SV mutex.  */
3752             }
3753             else
3754                 {       /* Passes the swipe test.  */
3755                 SvPV_set(dstr, SvPVX_mutable(sstr));
3756                 SvLEN_set(dstr, SvLEN(sstr));
3757                 SvCUR_set(dstr, SvCUR(sstr));
3758
3759                 SvTEMP_off(dstr);
3760                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3761                 SvPV_set(sstr, NULL);
3762                 SvLEN_set(sstr, 0);
3763                 SvCUR_set(sstr, 0);
3764                 SvTEMP_off(sstr);
3765             }
3766         }
3767         if (sflags & SVp_NOK) {
3768             SvNV_set(dstr, SvNVX(sstr));
3769         }
3770         if (sflags & SVp_IOK) {
3771             SvOOK_off(dstr);
3772             SvIV_set(dstr, SvIVX(sstr));
3773             /* Must do this otherwise some other overloaded use of 0x80000000
3774                gets confused. I guess SVpbm_VALID */
3775             if (sflags & SVf_IVisUV)
3776                 SvIsUV_on(dstr);
3777         }
3778         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
3779         {
3780             const MAGIC * const smg = SvVSTRING_mg(sstr);
3781             if (smg) {
3782                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3783                          smg->mg_ptr, smg->mg_len);
3784                 SvRMAGICAL_on(dstr);
3785             }
3786         }
3787     }
3788     else if (sflags & (SVp_IOK|SVp_NOK)) {
3789         (void)SvOK_off(dstr);
3790         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
3791         if (sflags & SVp_IOK) {
3792             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3793             SvIV_set(dstr, SvIVX(sstr));
3794         }
3795         if (sflags & SVp_NOK) {
3796             SvNV_set(dstr, SvNVX(sstr));
3797         }
3798     }
3799     else {
3800         if (isGV_with_GP(sstr)) {
3801             /* This stringification rule for globs is spread in 3 places.
3802                This feels bad. FIXME.  */
3803             const U32 wasfake = sflags & SVf_FAKE;
3804
3805             /* FAKE globs can get coerced, so need to turn this off
3806                temporarily if it is on.  */
3807             SvFAKE_off(sstr);
3808             gv_efullname3(dstr, (GV *)sstr, "*");
3809             SvFLAGS(sstr) |= wasfake;
3810         }
3811         else
3812             (void)SvOK_off(dstr);
3813     }
3814     if (SvTAINTED(sstr))
3815         SvTAINT(dstr);
3816 }
3817
3818 /*
3819 =for apidoc sv_setsv_mg
3820
3821 Like C<sv_setsv>, but also handles 'set' magic.
3822
3823 =cut
3824 */
3825
3826 void
3827 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3828 {
3829     sv_setsv(dstr,sstr);
3830     SvSETMAGIC(dstr);
3831 }
3832
3833 #ifdef PERL_OLD_COPY_ON_WRITE
3834 SV *
3835 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3836 {
3837     STRLEN cur = SvCUR(sstr);
3838     STRLEN len = SvLEN(sstr);
3839     register char *new_pv;
3840
3841     if (DEBUG_C_TEST) {
3842         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3843                       (void*)sstr, (void*)dstr);
3844         sv_dump(sstr);
3845         if (dstr)
3846                     sv_dump(dstr);
3847     }
3848
3849     if (dstr) {
3850         if (SvTHINKFIRST(dstr))
3851             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3852         else if (SvPVX_const(dstr))
3853             Safefree(SvPVX_const(dstr));
3854     }
3855     else
3856         new_SV(dstr);
3857     SvUPGRADE(dstr, SVt_PVIV);
3858
3859     assert (SvPOK(sstr));
3860     assert (SvPOKp(sstr));
3861     assert (!SvIOK(sstr));
3862     assert (!SvIOKp(sstr));
3863     assert (!SvNOK(sstr));
3864     assert (!SvNOKp(sstr));
3865
3866     if (SvIsCOW(sstr)) {
3867
3868         if (SvLEN(sstr) == 0) {
3869             /* source is a COW shared hash key.  */
3870             DEBUG_C(PerlIO_printf(Perl_debug_log,
3871                                   "Fast copy on write: Sharing hash\n"));
3872             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3873             goto common_exit;
3874         }
3875         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3876     } else {
3877         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3878         SvUPGRADE(sstr, SVt_PVIV);
3879         SvREADONLY_on(sstr);
3880         SvFAKE_on(sstr);
3881         DEBUG_C(PerlIO_printf(Perl_debug_log,
3882                               "Fast copy on write: Converting sstr to COW\n"));
3883         SV_COW_NEXT_SV_SET(dstr, sstr);
3884     }
3885     SV_COW_NEXT_SV_SET(sstr, dstr);
3886     new_pv = SvPVX_mutable(sstr);
3887
3888   common_exit:
3889     SvPV_set(dstr, new_pv);
3890     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3891     if (SvUTF8(sstr))
3892         SvUTF8_on(dstr);
3893     SvLEN_set(dstr, len);
3894     SvCUR_set(dstr, cur);
3895     if (DEBUG_C_TEST) {
3896         sv_dump(dstr);
3897     }
3898     return dstr;
3899 }
3900 #endif
3901
3902 /*
3903 =for apidoc sv_setpvn
3904
3905 Copies a string into an SV.  The C<len> parameter indicates the number of
3906 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3907 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3908
3909 =cut
3910 */
3911
3912 void
3913 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3914 {
3915     dVAR;
3916     register char *dptr;
3917
3918     SV_CHECK_THINKFIRST_COW_DROP(sv);
3919     if (!ptr) {
3920         (void)SvOK_off(sv);
3921         return;
3922     }
3923     else {
3924         /* len is STRLEN which is unsigned, need to copy to signed */
3925         const IV iv = len;
3926         if (iv < 0)
3927             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3928     }
3929     SvUPGRADE(sv, SVt_PV);
3930
3931     dptr = SvGROW(sv, len + 1);
3932     Move(ptr,dptr,len,char);
3933     dptr[len] = '\0';
3934     SvCUR_set(sv, len);
3935     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3936     SvTAINT(sv);
3937 }
3938
3939 /*
3940 =for apidoc sv_setpvn_mg
3941
3942 Like C<sv_setpvn>, but also handles 'set' magic.
3943
3944 =cut
3945 */
3946
3947 void
3948 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3949 {
3950     sv_setpvn(sv,ptr,len);
3951     SvSETMAGIC(sv);
3952 }
3953
3954 /*
3955 =for apidoc sv_setpv
3956
3957 Copies a string into an SV.  The string must be null-terminated.  Does not
3958 handle 'set' magic.  See C<sv_setpv_mg>.
3959
3960 =cut
3961 */
3962
3963 void
3964 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3965 {
3966     dVAR;
3967     register STRLEN len;
3968
3969     SV_CHECK_THINKFIRST_COW_DROP(sv);
3970     if (!ptr) {
3971         (void)SvOK_off(sv);
3972         return;
3973     }
3974     len = strlen(ptr);
3975     SvUPGRADE(sv, SVt_PV);
3976
3977     SvGROW(sv, len + 1);
3978     Move(ptr,SvPVX(sv),len+1,char);
3979     SvCUR_set(sv, len);
3980     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3981     SvTAINT(sv);
3982 }
3983
3984 /*
3985 =for apidoc sv_setpv_mg
3986
3987 Like C<sv_setpv>, but also handles 'set' magic.
3988
3989 =cut
3990 */
3991
3992 void
3993 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3994 {
3995     sv_setpv(sv,ptr);
3996     SvSETMAGIC(sv);
3997 }
3998
3999 /*
4000 =for apidoc sv_usepvn_flags
4001
4002 Tells an SV to use C<ptr> to find its string value.  Normally the
4003 string is stored inside the SV but sv_usepvn allows the SV to use an
4004 outside string.  The C<ptr> should point to memory that was allocated
4005 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4006 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4007 so that pointer should not be freed or used by the programmer after
4008 giving it to sv_usepvn, and neither should any pointers from "behind"
4009 that pointer (e.g. ptr + 1) be used.
4010
4011 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4012 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4013 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4014 C<len>, and already meets the requirements for storing in C<SvPVX>)
4015
4016 =cut
4017 */
4018
4019 void
4020 Perl_sv_usepvn_flags(pTHX_ SV *sv, char *ptr, STRLEN len, U32 flags)
4021 {
4022     dVAR;
4023     STRLEN allocate;
4024     SV_CHECK_THINKFIRST_COW_DROP(sv);
4025     SvUPGRADE(sv, SVt_PV);
4026     if (!ptr) {
4027         (void)SvOK_off(sv);
4028         if (flags & SV_SMAGIC)
4029             SvSETMAGIC(sv);
4030         return;
4031     }
4032     if (SvPVX_const(sv))
4033         SvPV_free(sv);
4034
4035 #ifdef DEBUGGING
4036     if (flags & SV_HAS_TRAILING_NUL)
4037         assert(ptr[len] == '\0');
4038 #endif
4039
4040     allocate = (flags & SV_HAS_TRAILING_NUL)
4041         ? len + 1: PERL_STRLEN_ROUNDUP(len + 1);
4042     if (flags & SV_HAS_TRAILING_NUL) {
4043         /* It's long enough - do nothing.
4044            Specfically Perl_newCONSTSUB is relying on this.  */
4045     } else {
4046 #ifdef DEBUGGING
4047         /* Force a move to shake out bugs in callers.  */
4048         char *new_ptr = (char*)safemalloc(allocate);
4049         Copy(ptr, new_ptr, len, char);
4050         PoisonFree(ptr,len,char);
4051         Safefree(ptr);
4052         ptr = new_ptr;
4053 #else
4054         ptr = (char*) saferealloc (ptr, allocate);
4055 #endif
4056     }
4057     SvPV_set(sv, ptr);
4058     SvCUR_set(sv, len);
4059     SvLEN_set(sv, allocate);
4060     if (!(flags & SV_HAS_TRAILING_NUL)) {
4061         ptr[len] = '\0';
4062     }
4063     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4064     SvTAINT(sv);
4065     if (flags & SV_SMAGIC)
4066         SvSETMAGIC(sv);
4067 }
4068
4069 #ifdef PERL_OLD_COPY_ON_WRITE
4070 /* Need to do this *after* making the SV normal, as we need the buffer
4071    pointer to remain valid until after we've copied it.  If we let go too early,
4072    another thread could invalidate it by unsharing last of the same hash key
4073    (which it can do by means other than releasing copy-on-write Svs)
4074    or by changing the other copy-on-write SVs in the loop.  */
4075 STATIC void
4076 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4077 {
4078     { /* this SV was SvIsCOW_normal(sv) */
4079          /* we need to find the SV pointing to us.  */
4080         SV *current = SV_COW_NEXT_SV(after);
4081
4082         if (current == sv) {
4083             /* The SV we point to points back to us (there were only two of us
4084                in the loop.)
4085                Hence other SV is no longer copy on write either.  */
4086             SvFAKE_off(after);
4087             SvREADONLY_off(after);
4088         } else {
4089             /* We need to follow the pointers around the loop.  */
4090             SV *next;
4091             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4092                 assert (next);
4093                 current = next;
4094                  /* don't loop forever if the structure is bust, and we have
4095                     a pointer into a closed loop.  */
4096                 assert (current != after);
4097                 assert (SvPVX_const(current) == pvx);
4098             }
4099             /* Make the SV before us point to the SV after us.  */
4100             SV_COW_NEXT_SV_SET(current, after);
4101         }
4102     }
4103 }
4104 #endif
4105 /*
4106 =for apidoc sv_force_normal_flags
4107
4108 Undo various types of fakery on an SV: if the PV is a shared string, make
4109 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4110 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4111 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4112 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4113 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4114 set to some other value.) In addition, the C<flags> parameter gets passed to
4115 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4116 with flags set to 0.
4117
4118 =cut
4119 */
4120
4121 void
4122 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
4123 {
4124     dVAR;
4125 #ifdef PERL_OLD_COPY_ON_WRITE
4126     if (SvREADONLY(sv)) {
4127         /* At this point I believe I should acquire a global SV mutex.  */
4128         if (SvFAKE(sv)) {
4129             const char * const pvx = SvPVX_const(sv);
4130             const STRLEN len = SvLEN(sv);
4131             const STRLEN cur = SvCUR(sv);
4132             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4133                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4134                we'll fail an assertion.  */
4135             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4136
4137             if (DEBUG_C_TEST) {
4138                 PerlIO_printf(Perl_debug_log,
4139                               "Copy on write: Force normal %ld\n",
4140                               (long) flags);
4141                 sv_dump(sv);
4142             }
4143             SvFAKE_off(sv);
4144             SvREADONLY_off(sv);
4145             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4146             SvPV_set(sv, NULL);
4147             SvLEN_set(sv, 0);
4148             if (flags & SV_COW_DROP_PV) {
4149                 /* OK, so we don't need to copy our buffer.  */
4150                 SvPOK_off(sv);
4151             } else {
4152                 SvGROW(sv, cur + 1);
4153                 Move(pvx,SvPVX(sv),cur,char);
4154                 SvCUR_set(sv, cur);
4155                 *SvEND(sv) = '\0';
4156             }
4157             if (len) {
4158                 sv_release_COW(sv, pvx, next);
4159             } else {
4160                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4161             }
4162             if (DEBUG_C_TEST) {
4163                 sv_dump(sv);
4164             }
4165         }
4166         else if (IN_PERL_RUNTIME)
4167             Perl_croak(aTHX_ PL_no_modify);
4168         /* At this point I believe that I can drop the global SV mutex.  */
4169     }
4170 #else
4171     if (SvREADONLY(sv)) {
4172         if (SvFAKE(sv)) {
4173             const char * const pvx = SvPVX_const(sv);
4174             const STRLEN len = SvCUR(sv);
4175             SvFAKE_off(sv);
4176             SvREADONLY_off(sv);
4177             SvPV_set(sv, NULL);
4178             SvLEN_set(sv, 0);
4179             SvGROW(sv, len + 1);
4180             Move(pvx,SvPVX(sv),len,char);
4181             *SvEND(sv) = '\0';
4182             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4183         }
4184         else if (IN_PERL_RUNTIME)
4185             Perl_croak(aTHX_ PL_no_modify);
4186     }
4187 #endif
4188     if (SvROK(sv))
4189         sv_unref_flags(sv, flags);
4190     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4191         sv_unglob(sv);
4192 }
4193
4194 /*
4195 =for apidoc sv_chop
4196
4197 Efficient removal of characters from the beginning of the string buffer.
4198 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4199 the string buffer.  The C<ptr> becomes the first character of the adjusted
4200 string. Uses the "OOK hack".
4201 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4202 refer to the same chunk of data.
4203
4204 =cut
4205 */
4206
4207 void
4208 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
4209 {
4210     register STRLEN delta;
4211     if (!ptr || !SvPOKp(sv))
4212         return;
4213     delta = ptr - SvPVX_const(sv);
4214     if (!delta) {
4215         /* Nothing to do.  */
4216         return;
4217     }
4218     SV_CHECK_THINKFIRST(sv);
4219     if (SvTYPE(sv) < SVt_PVIV)
4220         sv_upgrade(sv,SVt_PVIV);
4221
4222     if (!SvOOK(sv)) {
4223         if (!SvLEN(sv)) { /* make copy of shared string */
4224             const char *pvx = SvPVX_const(sv);
4225             const STRLEN len = SvCUR(sv);
4226             SvGROW(sv, len + 1);
4227             Move(pvx,SvPVX(sv),len,char);
4228             *SvEND(sv) = '\0';
4229         }
4230         SvIV_set(sv, 0);
4231         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
4232            and we do that anyway inside the SvNIOK_off
4233         */
4234         SvFLAGS(sv) |= SVf_OOK;
4235     }
4236     SvNIOK_off(sv);
4237     SvLEN_set(sv, SvLEN(sv) - delta);
4238     SvCUR_set(sv, SvCUR(sv) - delta);
4239     SvPV_set(sv, SvPVX(sv) + delta);
4240     SvIV_set(sv, SvIVX(sv) + delta);
4241 }
4242
4243 /*
4244 =for apidoc sv_catpvn
4245
4246 Concatenates the string onto the end of the string which is in the SV.  The
4247 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4248 status set, then the bytes appended should be valid UTF-8.
4249 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4250
4251 =for apidoc sv_catpvn_flags
4252
4253 Concatenates the string onto the end of the string which is in the SV.  The
4254 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4255 status set, then the bytes appended should be valid UTF-8.
4256 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4257 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4258 in terms of this function.
4259
4260 =cut
4261 */
4262
4263 void
4264 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
4265 {
4266     dVAR;
4267     STRLEN dlen;
4268     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4269
4270     SvGROW(dsv, dlen + slen + 1);
4271     if (sstr == dstr)
4272         sstr = SvPVX_const(dsv);
4273     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4274     SvCUR_set(dsv, SvCUR(dsv) + slen);
4275     *SvEND(dsv) = '\0';
4276     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4277     SvTAINT(dsv);
4278     if (flags & SV_SMAGIC)
4279         SvSETMAGIC(dsv);
4280 }
4281
4282 /*
4283 =for apidoc sv_catsv
4284
4285 Concatenates the string from SV C<ssv> onto the end of the string in
4286 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4287 not 'set' magic.  See C<sv_catsv_mg>.
4288
4289 =for apidoc sv_catsv_flags
4290
4291 Concatenates the string from SV C<ssv> onto the end of the string in
4292 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4293 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4294 and C<sv_catsv_nomg> are implemented in terms of this function.
4295
4296 =cut */
4297
4298 void
4299 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
4300 {
4301     dVAR;
4302     if (ssv) {
4303         STRLEN slen;
4304         const char *spv = SvPV_const(ssv, slen);
4305         if (spv) {
4306             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4307                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4308                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4309                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4310                 dsv->sv_flags doesn't have that bit set.
4311                 Andy Dougherty  12 Oct 2001
4312             */
4313             const I32 sutf8 = DO_UTF8(ssv);
4314             I32 dutf8;
4315
4316             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4317                 mg_get(dsv);
4318             dutf8 = DO_UTF8(dsv);
4319
4320             if (dutf8 != sutf8) {
4321                 if (dutf8) {
4322                     /* Not modifying source SV, so taking a temporary copy. */
4323                     SV* const csv = sv_2mortal(newSVpvn(spv, slen));
4324
4325                     sv_utf8_upgrade(csv);
4326                     spv = SvPV_const(csv, slen);
4327                 }
4328                 else
4329                     sv_utf8_upgrade_nomg(dsv);
4330             }
4331             sv_catpvn_nomg(dsv, spv, slen);
4332         }
4333     }
4334     if (flags & SV_SMAGIC)
4335         SvSETMAGIC(dsv);
4336 }
4337
4338 /*
4339 =for apidoc sv_catpv
4340
4341 Concatenates the string onto the end of the string which is in the SV.
4342 If the SV has the UTF-8 status set, then the bytes appended should be
4343 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4344
4345 =cut */
4346
4347 void
4348 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
4349 {
4350     dVAR;
4351     register STRLEN len;
4352     STRLEN tlen;
4353     char *junk;
4354
4355     if (!ptr)
4356         return;
4357     junk = SvPV_force(sv, tlen);
4358     len = strlen(ptr);
4359     SvGROW(sv, tlen + len + 1);
4360     if (ptr == junk)
4361         ptr = SvPVX_const(sv);
4362     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4363     SvCUR_set(sv, SvCUR(sv) + len);
4364     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4365     SvTAINT(sv);
4366 }
4367
4368 /*
4369 =for apidoc sv_catpv_mg
4370
4371 Like C<sv_catpv>, but also handles 'set' magic.
4372
4373 =cut
4374 */
4375
4376 void
4377 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
4378 {
4379     sv_catpv(sv,ptr);
4380     SvSETMAGIC(sv);
4381 }
4382
4383 /*
4384 =for apidoc newSV
4385
4386 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4387 bytes of preallocated string space the SV should have.  An extra byte for a
4388 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4389 space is allocated.)  The reference count for the new SV is set to 1.
4390
4391 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4392 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4393 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4394 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4395 modules supporting older perls.
4396
4397 =cut
4398 */
4399
4400 SV *
4401 Perl_newSV(pTHX_ STRLEN len)
4402 {
4403     dVAR;
4404     register SV *sv;
4405
4406     new_SV(sv);
4407     if (len) {
4408         sv_upgrade(sv, SVt_PV);
4409         SvGROW(sv, len + 1);
4410     }
4411     return sv;
4412 }
4413 /*
4414 =for apidoc sv_magicext
4415
4416 Adds magic to an SV, upgrading it if necessary. Applies the
4417 supplied vtable and returns a pointer to the magic added.
4418
4419 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4420 In particular, you can add magic to SvREADONLY SVs, and add more than
4421 one instance of the same 'how'.
4422
4423 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4424 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4425 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4426 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4427
4428 (This is now used as a subroutine by C<sv_magic>.)
4429
4430 =cut
4431 */
4432 MAGIC * 
4433 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, const MGVTBL *vtable,
4434                  const char* name, I32 namlen)
4435 {
4436     dVAR;
4437     MAGIC* mg;
4438
4439     SvUPGRADE(sv, SVt_PVMG);
4440     Newxz(mg, 1, MAGIC);
4441     mg->mg_moremagic = SvMAGIC(sv);
4442     SvMAGIC_set(sv, mg);
4443
4444     /* Sometimes a magic contains a reference loop, where the sv and
4445        object refer to each other.  To prevent a reference loop that
4446        would prevent such objects being freed, we look for such loops
4447        and if we find one we avoid incrementing the object refcount.
4448
4449        Note we cannot do this to avoid self-tie loops as intervening RV must
4450        have its REFCNT incremented to keep it in existence.
4451
4452     */
4453     if (!obj || obj == sv ||
4454         how == PERL_MAGIC_arylen ||
4455         how == PERL_MAGIC_qr ||
4456         how == PERL_MAGIC_symtab ||
4457         (SvTYPE(obj) == SVt_PVGV &&
4458             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4459             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4460             GvFORM(obj) == (CV*)sv)))
4461     {
4462         mg->mg_obj = obj;
4463     }
4464     else {
4465         mg->mg_obj = SvREFCNT_inc_simple(obj);
4466         mg->mg_flags |= MGf_REFCOUNTED;
4467     }
4468
4469     /* Normal self-ties simply pass a null object, and instead of
4470        using mg_obj directly, use the SvTIED_obj macro to produce a
4471        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4472        with an RV obj pointing to the glob containing the PVIO.  In
4473        this case, to avoid a reference loop, we need to weaken the
4474        reference.
4475     */
4476
4477     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4478         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4479     {
4480       sv_rvweaken(obj);
4481     }
4482
4483     mg->mg_type = how;
4484     mg->mg_len = namlen;
4485     if (name) {
4486         if (namlen > 0)
4487             mg->mg_ptr = savepvn(name, namlen);
4488         else if (namlen == HEf_SVKEY)
4489             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV*)name);
4490         else
4491             mg->mg_ptr = (char *) name;
4492     }
4493     mg->mg_virtual = (MGVTBL *) vtable;
4494
4495     mg_magical(sv);
4496     if (SvGMAGICAL(sv))
4497         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4498     return mg;
4499 }
4500
4501 /*
4502 =for apidoc sv_magic
4503
4504 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4505 then adds a new magic item of type C<how> to the head of the magic list.
4506
4507 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4508 handling of the C<name> and C<namlen> arguments.
4509
4510 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4511 to add more than one instance of the same 'how'.
4512
4513 =cut
4514 */
4515
4516 void
4517 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4518 {
4519     dVAR;
4520     const MGVTBL *vtable;
4521     MAGIC* mg;
4522
4523 #ifdef PERL_OLD_COPY_ON_WRITE
4524     if (SvIsCOW(sv))
4525         sv_force_normal_flags(sv, 0);
4526 #endif
4527     if (SvREADONLY(sv)) {
4528         if (
4529             /* its okay to attach magic to shared strings; the subsequent
4530              * upgrade to PVMG will unshare the string */
4531             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4532
4533             && IN_PERL_RUNTIME
4534             && how != PERL_MAGIC_regex_global
4535             && how != PERL_MAGIC_bm
4536             && how != PERL_MAGIC_fm
4537             && how != PERL_MAGIC_sv
4538             && how != PERL_MAGIC_backref
4539            )
4540         {
4541             Perl_croak(aTHX_ PL_no_modify);
4542         }
4543     }
4544     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4545         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4546             /* sv_magic() refuses to add a magic of the same 'how' as an
4547                existing one
4548              */
4549             if (how == PERL_MAGIC_taint) {
4550                 mg->mg_len |= 1;
4551                 /* Any scalar which already had taint magic on which someone
4552                    (erroneously?) did SvIOK_on() or similar will now be
4553                    incorrectly sporting public "OK" flags.  */
4554                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4555             }
4556             return;
4557         }
4558     }
4559
4560     switch (how) {
4561     case PERL_MAGIC_sv:
4562         vtable = &PL_vtbl_sv;
4563         break;
4564     case PERL_MAGIC_overload:
4565         vtable = &PL_vtbl_amagic;
4566         break;
4567     case PERL_MAGIC_overload_elem:
4568         vtable = &PL_vtbl_amagicelem;
4569         break;
4570     case PERL_MAGIC_overload_table:
4571         vtable = &PL_vtbl_ovrld;
4572         break;
4573     case PERL_MAGIC_bm:
4574         vtable = &PL_vtbl_bm;
4575         break;
4576     case PERL_MAGIC_regdata:
4577         vtable = &PL_vtbl_regdata;
4578         break;
4579     case PERL_MAGIC_regdatum:
4580         vtable = &PL_vtbl_regdatum;
4581         break;
4582     case PERL_MAGIC_env:
4583         vtable = &PL_vtbl_env;
4584         break;
4585     case PERL_MAGIC_fm:
4586         vtable = &PL_vtbl_fm;
4587         break;
4588     case PERL_MAGIC_envelem:
4589         vtable = &PL_vtbl_envelem;
4590         break;
4591     case PERL_MAGIC_regex_global:
4592         vtable = &PL_vtbl_mglob;
4593         break;
4594     case PERL_MAGIC_isa:
4595         vtable = &PL_vtbl_isa;
4596         break;
4597     case PERL_MAGIC_isaelem:
4598         vtable = &PL_vtbl_isaelem;
4599         break;
4600     case PERL_MAGIC_nkeys:
4601         vtable = &PL_vtbl_nkeys;
4602         break;
4603     case PERL_MAGIC_dbfile:
4604         vtable = NULL;
4605         break;
4606     case PERL_MAGIC_dbline:
4607         vtable = &PL_vtbl_dbline;
4608         break;
4609 #ifdef USE_LOCALE_COLLATE
4610     case PERL_MAGIC_collxfrm:
4611         vtable = &PL_vtbl_collxfrm;
4612         break;
4613 #endif /* USE_LOCALE_COLLATE */
4614     case PERL_MAGIC_tied:
4615         vtable = &PL_vtbl_pack;
4616         break;
4617     case PERL_MAGIC_tiedelem:
4618     case PERL_MAGIC_tiedscalar:
4619         vtable = &PL_vtbl_packelem;
4620         break;
4621     case PERL_MAGIC_qr:
4622         vtable = &PL_vtbl_regexp;
4623         break;
4624     case PERL_MAGIC_hints:
4625         /* As this vtable is all NULL, we can reuse it.  */
4626     case PERL_MAGIC_sig:
4627         vtable = &PL_vtbl_sig;
4628         break;
4629     case PERL_MAGIC_sigelem:
4630         vtable = &PL_vtbl_sigelem;
4631         break;
4632     case PERL_MAGIC_taint:
4633         vtable = &PL_vtbl_taint;
4634         break;
4635     case PERL_MAGIC_uvar:
4636         vtable = &PL_vtbl_uvar;
4637         break;
4638     case PERL_MAGIC_vec:
4639         vtable = &PL_vtbl_vec;
4640         break;
4641     case PERL_MAGIC_arylen_p:
4642     case PERL_MAGIC_rhash:
4643     case PERL_MAGIC_symtab:
4644     case PERL_MAGIC_vstring:
4645         vtable = NULL;
4646         break;
4647     case PERL_MAGIC_utf8:
4648         vtable = &PL_vtbl_utf8;
4649         break;
4650     case PERL_MAGIC_substr:
4651         vtable = &PL_vtbl_substr;
4652         break;
4653     case PERL_MAGIC_defelem:
4654         vtable = &PL_vtbl_defelem;
4655         break;
4656     case PERL_MAGIC_arylen:
4657         vtable = &PL_vtbl_arylen;
4658         break;
4659     case PERL_MAGIC_pos:
4660         vtable = &PL_vtbl_pos;
4661         break;
4662     case PERL_MAGIC_backref:
4663         vtable = &PL_vtbl_backref;
4664         break;
4665     case PERL_MAGIC_hintselem:
4666         vtable = &PL_vtbl_hintselem;
4667         break;
4668     case PERL_MAGIC_ext:
4669         /* Reserved for use by extensions not perl internals.           */
4670         /* Useful for attaching extension internal data to perl vars.   */
4671         /* Note that multiple extensions may clash if magical scalars   */
4672         /* etc holding private data from one are passed to another.     */
4673         vtable = NULL;
4674         break;
4675     default:
4676         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4677     }
4678
4679     /* Rest of work is done else where */
4680     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4681
4682     switch (how) {
4683     case PERL_MAGIC_taint:
4684         mg->mg_len = 1;
4685         break;
4686     case PERL_MAGIC_ext:
4687     case PERL_MAGIC_dbfile:
4688         SvRMAGICAL_on(sv);
4689         break;
4690     }
4691 }
4692
4693 /*
4694 =for apidoc sv_unmagic
4695
4696 Removes all magic of type C<type> from an SV.
4697
4698 =cut
4699 */
4700
4701 int
4702 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4703 {
4704     MAGIC* mg;
4705     MAGIC** mgp;
4706     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4707         return 0;
4708     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
4709     for (mg = *mgp; mg; mg = *mgp) {
4710         if (mg->mg_type == type) {
4711             const MGVTBL* const vtbl = mg->mg_virtual;
4712             *mgp = mg->mg_moremagic;
4713             if (vtbl && vtbl->svt_free)
4714                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4715             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4716                 if (mg->mg_len > 0)
4717                     Safefree(mg->mg_ptr);
4718                 else if (mg->mg_len == HEf_SVKEY)
4719                     SvREFCNT_dec((SV*)mg->mg_ptr);
4720                 else if (mg->mg_type == PERL_MAGIC_utf8)
4721                     Safefree(mg->mg_ptr);
4722             }
4723             if (mg->mg_flags & MGf_REFCOUNTED)
4724                 SvREFCNT_dec(mg->mg_obj);
4725             Safefree(mg);
4726         }
4727         else
4728             mgp = &mg->mg_moremagic;
4729     }
4730     if (!SvMAGIC(sv)) {
4731         SvMAGICAL_off(sv);
4732         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4733         SvMAGIC_set(sv, NULL);
4734     }
4735
4736     return 0;
4737 }
4738
4739 /*
4740 =for apidoc sv_rvweaken
4741
4742 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4743 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4744 push a back-reference to this RV onto the array of backreferences
4745 associated with that magic. If the RV is magical, set magic will be
4746 called after the RV is cleared.
4747
4748 =cut
4749 */
4750
4751 SV *
4752 Perl_sv_rvweaken(pTHX_ SV *sv)
4753 {
4754     SV *tsv;
4755     if (!SvOK(sv))  /* let undefs pass */
4756         return sv;
4757     if (!SvROK(sv))
4758         Perl_croak(aTHX_ "Can't weaken a nonreference");
4759     else if (SvWEAKREF(sv)) {
4760         if (ckWARN(WARN_MISC))
4761             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4762         return sv;
4763     }
4764     tsv = SvRV(sv);
4765     Perl_sv_add_backref(aTHX_ tsv, sv);
4766     SvWEAKREF_on(sv);
4767     SvREFCNT_dec(tsv);
4768     return sv;
4769 }
4770
4771 /* Give tsv backref magic if it hasn't already got it, then push a
4772  * back-reference to sv onto the array associated with the backref magic.
4773  */
4774
4775 void
4776 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4777 {
4778     dVAR;
4779     AV *av;
4780
4781     if (SvTYPE(tsv) == SVt_PVHV) {
4782         AV **const avp = Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4783
4784         av = *avp;
4785         if (!av) {
4786             /* There is no AV in the offical place - try a fixup.  */
4787             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
4788
4789             if (mg) {
4790                 /* Aha. They've got it stowed in magic.  Bring it back.  */
4791                 av = (AV*)mg->mg_obj;
4792                 /* Stop mg_free decreasing the refernce count.  */
4793                 mg->mg_obj = NULL;
4794                 /* Stop mg_free even calling the destructor, given that
4795                    there's no AV to free up.  */
4796                 mg->mg_virtual = 0;
4797                 sv_unmagic(tsv, PERL_MAGIC_backref);
4798             } else {
4799                 av = newAV();
4800                 AvREAL_off(av);
4801                 SvREFCNT_inc_simple_void(av);
4802             }
4803             *avp = av;
4804         }
4805     } else {
4806         const MAGIC *const mg
4807             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4808         if (mg)
4809             av = (AV*)mg->mg_obj;
4810         else {
4811             av = newAV();
4812             AvREAL_off(av);
4813             sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4814             /* av now has a refcnt of 2, which avoids it getting freed
4815              * before us during global cleanup. The extra ref is removed
4816              * by magic_killbackrefs() when tsv is being freed */
4817         }
4818     }
4819     if (AvFILLp(av) >= AvMAX(av)) {
4820         av_extend(av, AvFILLp(av)+1);
4821     }
4822     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4823 }
4824
4825 /* delete a back-reference to ourselves from the backref magic associated
4826  * with the SV we point to.
4827  */
4828
4829 STATIC void
4830 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4831 {
4832     dVAR;
4833     AV *av = NULL;
4834     SV **svp;
4835     I32 i;
4836
4837     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
4838         av = *Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4839         /* We mustn't attempt to "fix up" the hash here by moving the
4840            backreference array back to the hv_aux structure, as that is stored
4841            in the main HvARRAY(), and hfreentries assumes that no-one
4842            reallocates HvARRAY() while it is running.  */
4843     }
4844     if (!av) {
4845         const MAGIC *const mg
4846             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4847         if (mg)
4848             av = (AV *)mg->mg_obj;
4849     }
4850     if (!av) {
4851         if (PL_in_clean_all)
4852             return;
4853         Perl_croak(aTHX_ "panic: del_backref");
4854     }
4855
4856     if (SvIS_FREED(av))
4857         return;
4858
4859     svp = AvARRAY(av);
4860     /* We shouldn't be in here more than once, but for paranoia reasons lets
4861        not assume this.  */
4862     for (i = AvFILLp(av); i >= 0; i--) {
4863         if (svp[i] == sv) {
4864             const SSize_t fill = AvFILLp(av);
4865             if (i != fill) {
4866                 /* We weren't the last entry.
4867                    An unordered list has this property that you can take the
4868                    last element off the end to fill the hole, and it's still
4869                    an unordered list :-)
4870                 */
4871                 svp[i] = svp[fill];
4872             }
4873             svp[fill] = NULL;
4874             AvFILLp(av) = fill - 1;
4875         }
4876     }
4877 }
4878
4879 int
4880 Perl_sv_kill_backrefs(pTHX_ SV *sv, AV *av)
4881 {
4882     SV **svp = AvARRAY(av);
4883
4884     PERL_UNUSED_ARG(sv);
4885
4886     /* Not sure why the av can get freed ahead of its sv, but somehow it does
4887        in ext/B/t/bytecode.t test 15 (involving print <DATA>)  */
4888     if (svp && !SvIS_FREED(av)) {
4889         SV *const *const last = svp + AvFILLp(av);
4890
4891         while (svp <= last) {
4892             if (*svp) {
4893                 SV *const referrer = *svp;
4894                 if (SvWEAKREF(referrer)) {
4895                     /* XXX Should we check that it hasn't changed? */
4896                     SvRV_set(referrer, 0);
4897                     SvOK_off(referrer);
4898                     SvWEAKREF_off(referrer);
4899                     SvSETMAGIC(referrer);
4900                 } else if (SvTYPE(referrer) == SVt_PVGV ||
4901                            SvTYPE(referrer) == SVt_PVLV) {
4902                     /* You lookin' at me?  */
4903                     assert(GvSTASH(referrer));
4904                     assert(GvSTASH(referrer) == (HV*)sv);
4905                     GvSTASH(referrer) = 0;
4906                 } else {
4907                     Perl_croak(aTHX_
4908                                "panic: magic_killbackrefs (flags=%"UVxf")",
4909                                (UV)SvFLAGS(referrer));
4910                 }
4911
4912                 *svp = NULL;
4913             }
4914             svp++;
4915         }
4916     }
4917     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
4918     return 0;
4919 }
4920
4921 /*
4922 =for apidoc sv_insert
4923
4924 Inserts a string at the specified offset/length within the SV. Similar to
4925 the Perl substr() function.
4926
4927 =cut
4928 */
4929
4930 void
4931 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4932 {
4933     dVAR;
4934     register char *big;
4935     register char *mid;
4936     register char *midend;
4937     register char *bigend;
4938     register I32 i;
4939     STRLEN curlen;
4940
4941
4942     if (!bigstr)
4943         Perl_croak(aTHX_ "Can't modify non-existent substring");
4944     SvPV_force(bigstr, curlen);
4945     (void)SvPOK_only_UTF8(bigstr);
4946     if (offset + len > curlen) {
4947         SvGROW(bigstr, offset+len+1);
4948         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4949         SvCUR_set(bigstr, offset+len);
4950     }
4951
4952     SvTAINT(bigstr);
4953     i = littlelen - len;
4954     if (i > 0) {                        /* string might grow */
4955         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4956         mid = big + offset + len;
4957         midend = bigend = big + SvCUR(bigstr);
4958         bigend += i;
4959         *bigend = '\0';
4960         while (midend > mid)            /* shove everything down */
4961             *--bigend = *--midend;
4962         Move(little,big+offset,littlelen,char);
4963         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4964         SvSETMAGIC(bigstr);
4965         return;
4966     }
4967     else if (i == 0) {
4968         Move(little,SvPVX(bigstr)+offset,len,char);
4969         SvSETMAGIC(bigstr);
4970         return;
4971     }
4972
4973     big = SvPVX(bigstr);
4974     mid = big + offset;
4975     midend = mid + len;
4976     bigend = big + SvCUR(bigstr);
4977
4978     if (midend > bigend)
4979         Perl_croak(aTHX_ "panic: sv_insert");
4980
4981     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4982         if (littlelen) {
4983             Move(little, mid, littlelen,char);
4984             mid += littlelen;
4985         }
4986         i = bigend - midend;
4987         if (i > 0) {
4988             Move(midend, mid, i,char);
4989             mid += i;
4990         }
4991         *mid = '\0';
4992         SvCUR_set(bigstr, mid - big);
4993     }
4994     else if ((i = mid - big)) { /* faster from front */
4995         midend -= littlelen;
4996         mid = midend;
4997         sv_chop(bigstr,midend-i);
4998         big += i;
4999         while (i--)
5000             *--midend = *--big;
5001         if (littlelen)
5002             Move(little, mid, littlelen,char);
5003     }
5004     else if (littlelen) {
5005         midend -= littlelen;
5006         sv_chop(bigstr,midend);
5007         Move(little,midend,littlelen,char);
5008     }
5009     else {
5010         sv_chop(bigstr,midend);
5011     }
5012     SvSETMAGIC(bigstr);
5013 }
5014
5015 /*
5016 =for apidoc sv_replace
5017
5018 Make the first argument a copy of the second, then delete the original.
5019 The target SV physically takes over ownership of the body of the source SV
5020 and inherits its flags; however, the target keeps any magic it owns,
5021 and any magic in the source is discarded.
5022 Note that this is a rather specialist SV copying operation; most of the
5023 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5024
5025 =cut
5026 */
5027
5028 void
5029 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
5030 {
5031     dVAR;
5032     const U32 refcnt = SvREFCNT(sv);
5033     SV_CHECK_THINKFIRST_COW_DROP(sv);
5034     if (SvREFCNT(nsv) != 1) {
5035         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
5036                    UVuf " != 1)", (UV) SvREFCNT(nsv));
5037     }
5038     if (SvMAGICAL(sv)) {
5039         if (SvMAGICAL(nsv))
5040             mg_free(nsv);
5041         else
5042             sv_upgrade(nsv, SVt_PVMG);
5043         SvMAGIC_set(nsv, SvMAGIC(sv));
5044         SvFLAGS(nsv) |= SvMAGICAL(sv);
5045         SvMAGICAL_off(sv);
5046         SvMAGIC_set(sv, NULL);
5047     }
5048     SvREFCNT(sv) = 0;
5049     sv_clear(sv);
5050     assert(!SvREFCNT(sv));
5051 #ifdef DEBUG_LEAKING_SCALARS
5052     sv->sv_flags  = nsv->sv_flags;
5053     sv->sv_any    = nsv->sv_any;
5054     sv->sv_refcnt = nsv->sv_refcnt;
5055     sv->sv_u      = nsv->sv_u;
5056 #else
5057     StructCopy(nsv,sv,SV);
5058 #endif
5059     if(SvTYPE(sv) == SVt_IV) {
5060         SvANY(sv)
5061             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5062     }
5063         
5064
5065 #ifdef PERL_OLD_COPY_ON_WRITE
5066     if (SvIsCOW_normal(nsv)) {
5067         /* We need to follow the pointers around the loop to make the
5068            previous SV point to sv, rather than nsv.  */
5069         SV *next;
5070         SV *current = nsv;
5071         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5072             assert(next);
5073             current = next;
5074             assert(SvPVX_const(current) == SvPVX_const(nsv));
5075         }
5076         /* Make the SV before us point to the SV after us.  */
5077         if (DEBUG_C_TEST) {
5078             PerlIO_printf(Perl_debug_log, "previous is\n");
5079             sv_dump(current);
5080             PerlIO_printf(Perl_debug_log,
5081                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5082                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5083         }
5084         SV_COW_NEXT_SV_SET(current, sv);
5085     }
5086 #endif
5087     SvREFCNT(sv) = refcnt;
5088     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5089     SvREFCNT(nsv) = 0;
5090     del_SV(nsv);
5091 }
5092
5093 /*
5094 =for apidoc sv_clear
5095
5096 Clear an SV: call any destructors, free up any memory used by the body,
5097 and free the body itself. The SV's head is I<not> freed, although
5098 its type is set to all 1's so that it won't inadvertently be assumed
5099 to be live during global destruction etc.
5100 This function should only be called when REFCNT is zero. Most of the time
5101 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5102 instead.
5103
5104 =cut
5105 */
5106
5107 void
5108 Perl_sv_clear(pTHX_ register SV *sv)
5109 {
5110     dVAR;
5111     const U32 type = SvTYPE(sv);
5112     const struct body_details *const sv_type_details
5113         = bodies_by_type + type;
5114     HV *stash;
5115
5116     assert(sv);
5117     assert(SvREFCNT(sv) == 0);
5118
5119     if (type <= SVt_IV) {
5120         /* See the comment in sv.h about the collusion between this early
5121            return and the overloading of the NULL and IV slots in the size
5122            table.  */
5123         if (SvROK(sv)) {
5124             SV * const target = SvRV(sv);
5125             if (SvWEAKREF(sv))
5126                 sv_del_backref(target, sv);
5127             else
5128                 SvREFCNT_dec(target);
5129         }
5130         SvFLAGS(sv) &= SVf_BREAK;
5131         SvFLAGS(sv) |= SVTYPEMASK;
5132         return;
5133     }
5134
5135     if (SvOBJECT(sv)) {
5136         if (PL_defstash &&      /* Still have a symbol table? */
5137             SvDESTROYABLE(sv))
5138         {
5139             dSP;
5140             HV* stash;
5141             do {        
5142                 CV* destructor;
5143                 stash = SvSTASH(sv);
5144                 destructor = StashHANDLER(stash,DESTROY);
5145                 if (destructor) {
5146                     SV* const tmpref = newRV(sv);
5147                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5148                     ENTER;
5149                     PUSHSTACKi(PERLSI_DESTROY);
5150                     EXTEND(SP, 2);
5151                     PUSHMARK(SP);
5152                     PUSHs(tmpref);
5153                     PUTBACK;
5154                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5155                 
5156                 
5157                     POPSTACK;
5158                     SPAGAIN;
5159                     LEAVE;
5160                     if(SvREFCNT(tmpref) < 2) {
5161                         /* tmpref is not kept alive! */
5162                         SvREFCNT(sv)--;
5163                         SvRV_set(tmpref, NULL);
5164                         SvROK_off(tmpref);
5165                     }
5166                     SvREFCNT_dec(tmpref);
5167                 }
5168             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5169
5170
5171             if (SvREFCNT(sv)) {
5172                 if (PL_in_clean_objs)
5173                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5174                           HvNAME_get(stash));
5175                 /* DESTROY gave object new lease on life */
5176                 return;
5177             }
5178         }
5179
5180         if (SvOBJECT(sv)) {
5181             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5182             SvOBJECT_off(sv);   /* Curse the object. */
5183             if (type != SVt_PVIO)
5184                 --PL_sv_objcount;       /* XXX Might want something more general */
5185         }
5186     }
5187     if (type >= SVt_PVMG) {
5188         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5189             SvREFCNT_dec(SvOURSTASH(sv));
5190         } else if (SvMAGIC(sv))
5191             mg_free(sv);
5192         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5193             SvREFCNT_dec(SvSTASH(sv));
5194     }
5195     switch (type) {
5196         /* case SVt_BIND: */
5197     case SVt_PVIO:
5198         if (IoIFP(sv) &&
5199             IoIFP(sv) != PerlIO_stdin() &&
5200             IoIFP(sv) != PerlIO_stdout() &&
5201             IoIFP(sv) != PerlIO_stderr())
5202         {
5203             io_close((IO*)sv, FALSE);
5204         }
5205         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5206             PerlDir_close(IoDIRP(sv));
5207         IoDIRP(sv) = (DIR*)NULL;
5208         Safefree(IoTOP_NAME(sv));
5209         Safefree(IoFMT_NAME(sv));
5210         Safefree(IoBOTTOM_NAME(sv));
5211         goto freescalar;
5212     case SVt_REGEXP:
5213         ReREFCNT_dec(((struct xregexp *)SvANY(sv))->xrx_regexp);
5214         goto freescalar;
5215     case SVt_PVCV:
5216     case SVt_PVFM:
5217         cv_undef((CV*)sv);
5218         goto freescalar;
5219     case SVt_PVHV:
5220         Perl_hv_kill_backrefs(aTHX_ (HV*)sv);
5221         hv_undef((HV*)sv);
5222         break;
5223     case SVt_PVAV:
5224         if (PL_comppad == (AV*)sv) {
5225             PL_comppad = NULL;
5226             PL_curpad = NULL;
5227         }
5228         av_undef((AV*)sv);
5229         break;
5230     case SVt_PVLV:
5231         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5232             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5233             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5234             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5235         }
5236         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5237             SvREFCNT_dec(LvTARG(sv));
5238     case SVt_PVGV:
5239         if (isGV_with_GP(sv)) {
5240             if(GvCVu((GV*)sv) && (stash = GvSTASH((GV*)sv)) && HvNAME_get(stash))
5241                 mro_method_changed_in(stash);
5242             gp_free((GV*)sv);
5243             if (GvNAME_HEK(sv))
5244                 unshare_hek(GvNAME_HEK(sv));
5245             /* If we're in a stash, we don't own a reference to it. However it does
5246                have a back reference to us, which needs to be cleared.  */
5247             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5248                     sv_del_backref((SV*)stash, sv);
5249         }
5250         /* FIXME. There are probably more unreferenced pointers to SVs in the
5251            interpreter struct that we should check and tidy in a similar
5252            fashion to this:  */
5253         if ((GV*)sv == PL_last_in_gv)
5254             PL_last_in_gv = NULL;
5255     case SVt_PVMG:
5256     case SVt_PVNV:
5257     case SVt_PVIV:
5258       freescalar:
5259         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5260         if (SvOOK(sv)) {
5261             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
5262             /* Don't even bother with turning off the OOK flag.  */
5263         }
5264     case SVt_PV:
5265         if (SvROK(sv)) {
5266             SV * const target = SvRV(sv);
5267             if (SvWEAKREF(sv))
5268                 sv_del_backref(target, sv);
5269             else
5270                 SvREFCNT_dec(target);
5271         }
5272 #ifdef PERL_OLD_COPY_ON_WRITE
5273         else if (SvPVX_const(sv)) {
5274             if (SvIsCOW(sv)) {
5275                 /* I believe I need to grab the global SV mutex here and
5276                    then recheck the COW status.  */
5277                 if (DEBUG_C_TEST) {
5278                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5279                     sv_dump(sv);
5280                 }
5281                 if (SvLEN(sv)) {
5282                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5283                 } else {
5284                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5285                 }
5286
5287                 /* And drop it here.  */
5288                 SvFAKE_off(sv);
5289             } else if (SvLEN(sv)) {
5290                 Safefree(SvPVX_const(sv));
5291             }
5292         }
5293 #else
5294         else if (SvPVX_const(sv) && SvLEN(sv))
5295             Safefree(SvPVX_mutable(sv));
5296         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5297             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5298             SvFAKE_off(sv);
5299         }
5300 #endif
5301         break;
5302     case SVt_NV:
5303         break;
5304     }
5305
5306     SvFLAGS(sv) &= SVf_BREAK;
5307     SvFLAGS(sv) |= SVTYPEMASK;
5308
5309     if (sv_type_details->arena) {
5310         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5311                  &PL_body_roots[type]);
5312     }
5313     else if (sv_type_details->body_size) {
5314         my_safefree(SvANY(sv));
5315     }
5316 }
5317
5318 /*
5319 =for apidoc sv_newref
5320
5321 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5322 instead.
5323
5324 =cut
5325 */
5326
5327 SV *
5328 Perl_sv_newref(pTHX_ SV *sv)
5329 {
5330     PERL_UNUSED_CONTEXT;
5331     if (sv)
5332         (SvREFCNT(sv))++;
5333     return sv;
5334 }
5335
5336 /*
5337 =for apidoc sv_free
5338
5339 Decrement an SV's reference count, and if it drops to zero, call
5340 C<sv_clear> to invoke destructors and free up any memory used by
5341 the body; finally, deallocate the SV's head itself.
5342 Normally called via a wrapper macro C<SvREFCNT_dec>.
5343
5344 =cut
5345 */
5346
5347 void
5348 Perl_sv_free(pTHX_ SV *sv)
5349 {
5350     dVAR;
5351     if (!sv)
5352         return;
5353     if (SvREFCNT(sv) == 0) {
5354         if (SvFLAGS(sv) & SVf_BREAK)
5355             /* this SV's refcnt has been artificially decremented to
5356              * trigger cleanup */
5357             return;
5358         if (PL_in_clean_all) /* All is fair */
5359             return;
5360         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5361             /* make sure SvREFCNT(sv)==0 happens very seldom */
5362             SvREFCNT(sv) = (~(U32)0)/2;
5363             return;
5364         }
5365         if (ckWARN_d(WARN_INTERNAL)) {
5366             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5367                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5368                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5369 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5370             Perl_dump_sv_child(aTHX_ sv);
5371 #else
5372   #ifdef DEBUG_LEAKING_SCALARS
5373         sv_dump(sv);
5374   #endif
5375 #endif
5376         }
5377         return;
5378     }
5379     if (--(SvREFCNT(sv)) > 0)
5380         return;
5381     Perl_sv_free2(aTHX_ sv);
5382 }
5383
5384 void
5385 Perl_sv_free2(pTHX_ SV *sv)
5386 {
5387     dVAR;
5388 #ifdef DEBUGGING
5389     if (SvTEMP(sv)) {
5390         if (ckWARN_d(WARN_DEBUGGING))
5391             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5392                         "Attempt to free temp prematurely: SV 0x%"UVxf
5393                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5394         return;
5395     }
5396 #endif
5397     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5398         /* make sure SvREFCNT(sv)==0 happens very seldom */
5399         SvREFCNT(sv) = (~(U32)0)/2;
5400         return;
5401     }
5402     sv_clear(sv);
5403     if (! SvREFCNT(sv))
5404         del_SV(sv);
5405 }
5406
5407 /*
5408 =for apidoc sv_len
5409
5410 Returns the length of the string in the SV. Handles magic and type
5411 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5412
5413 =cut
5414 */
5415
5416 STRLEN
5417 Perl_sv_len(pTHX_ register SV *sv)
5418 {
5419     STRLEN len;
5420
5421     if (!sv)
5422         return 0;
5423
5424     if (SvGMAGICAL(sv))
5425         len = mg_length(sv);
5426     else
5427         (void)SvPV_const(sv, len);
5428     return len;
5429 }
5430
5431 /*
5432 =for apidoc sv_len_utf8
5433
5434 Returns the number of characters in the string in an SV, counting wide
5435 UTF-8 bytes as a single character. Handles magic and type coercion.
5436
5437 =cut
5438 */
5439
5440 /*
5441  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5442  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5443  * (Note that the mg_len is not the length of the mg_ptr field.
5444  * This allows the cache to store the character length of the string without
5445  * needing to malloc() extra storage to attach to the mg_ptr.)
5446  *
5447  */
5448
5449 STRLEN
5450 Perl_sv_len_utf8(pTHX_ register SV *sv)
5451 {
5452     if (!sv)
5453         return 0;
5454
5455     if (SvGMAGICAL(sv))
5456         return mg_length(sv);
5457     else
5458     {
5459         STRLEN len;
5460         const U8 *s = (U8*)SvPV_const(sv, len);
5461
5462         if (PL_utf8cache) {
5463             STRLEN ulen;
5464             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
5465
5466             if (mg && mg->mg_len != -1) {
5467                 ulen = mg->mg_len;
5468                 if (PL_utf8cache < 0) {
5469                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
5470                     if (real != ulen) {
5471                         /* Need to turn the assertions off otherwise we may
5472                            recurse infinitely while printing error messages.
5473                         */
5474                         SAVEI8(PL_utf8cache);
5475                         PL_utf8cache = 0;
5476                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
5477                                    " real %"UVuf" for %"SVf,
5478                                    (UV) ulen, (UV) real, SVfARG(sv));
5479                     }
5480                 }
5481             }
5482             else {
5483                 ulen = Perl_utf8_length(aTHX_ s, s + len);
5484                 if (!SvREADONLY(sv)) {
5485                     if (!mg) {
5486                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
5487                                          &PL_vtbl_utf8, 0, 0);
5488                     }
5489                     assert(mg);
5490                     mg->mg_len = ulen;
5491                 }
5492             }
5493             return ulen;
5494         }
5495         return Perl_utf8_length(aTHX_ s, s + len);
5496     }
5497 }
5498
5499 /* Walk forwards to find the byte corresponding to the passed in UTF-8
5500    offset.  */
5501 static STRLEN
5502 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
5503                       STRLEN uoffset)
5504 {
5505     const U8 *s = start;
5506
5507     while (s < send && uoffset--)
5508         s += UTF8SKIP(s);
5509     if (s > send) {
5510         /* This is the existing behaviour. Possibly it should be a croak, as
5511            it's actually a bounds error  */
5512         s = send;
5513     }
5514     return s - start;
5515 }
5516
5517 /* Given the length of the string in both bytes and UTF-8 characters, decide
5518    whether to walk forwards or backwards to find the byte corresponding to
5519    the passed in UTF-8 offset.  */
5520 static STRLEN
5521 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
5522                       STRLEN uoffset, STRLEN uend)
5523 {
5524     STRLEN backw = uend - uoffset;
5525     if (uoffset < 2 * backw) {
5526         /* The assumption is that going forwards is twice the speed of going
5527            forward (that's where the 2 * backw comes from).
5528            (The real figure of course depends on the UTF-8 data.)  */
5529         return sv_pos_u2b_forwards(start, send, uoffset);
5530     }
5531
5532     while (backw--) {
5533         send--;
5534         while (UTF8_IS_CONTINUATION(*send))
5535             send--;
5536     }
5537     return send - start;
5538 }
5539
5540 /* For the string representation of the given scalar, find the byte
5541    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
5542    give another position in the string, *before* the sought offset, which
5543    (which is always true, as 0, 0 is a valid pair of positions), which should
5544    help reduce the amount of linear searching.
5545    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
5546    will be used to reduce the amount of linear searching. The cache will be
5547    created if necessary, and the found value offered to it for update.  */
5548 static STRLEN
5549 S_sv_pos_u2b_cached(pTHX_ SV *sv, MAGIC **mgp, const U8 *const start,
5550                     const U8 *const send, STRLEN uoffset,
5551                     STRLEN uoffset0, STRLEN boffset0) {
5552     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
5553     bool found = FALSE;
5554
5555     assert (uoffset >= uoffset0);
5556
5557     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5558         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
5559         if ((*mgp)->mg_ptr) {
5560             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
5561             if (cache[0] == uoffset) {
5562                 /* An exact match. */
5563                 return cache[1];
5564             }
5565             if (cache[2] == uoffset) {
5566                 /* An exact match. */
5567                 return cache[3];
5568             }
5569
5570             if (cache[0] < uoffset) {
5571                 /* The cache already knows part of the way.   */
5572                 if (cache[0] > uoffset0) {
5573                     /* The cache knows more than the passed in pair  */
5574                     uoffset0 = cache[0];
5575                     boffset0 = cache[1];
5576                 }
5577                 if ((*mgp)->mg_len != -1) {
5578                     /* And we know the end too.  */
5579                     boffset = boffset0
5580                         + sv_pos_u2b_midway(start + boffset0, send,
5581                                               uoffset - uoffset0,
5582                                               (*mgp)->mg_len - uoffset0);
5583                 } else {
5584                     boffset = boffset0
5585                         + sv_pos_u2b_forwards(start + boffset0,
5586                                                 send, uoffset - uoffset0);
5587                 }
5588             }
5589             else if (cache[2] < uoffset) {
5590                 /* We're between the two cache entries.  */
5591                 if (cache[2] > uoffset0) {
5592                     /* and the cache knows more than the passed in pair  */
5593                     uoffset0 = cache[2];
5594                     boffset0 = cache[3];
5595                 }
5596
5597                 boffset = boffset0
5598                     + sv_pos_u2b_midway(start + boffset0,
5599                                           start + cache[1],
5600                                           uoffset - uoffset0,
5601                                           cache[0] - uoffset0);
5602             } else {
5603                 boffset = boffset0
5604                     + sv_pos_u2b_midway(start + boffset0,
5605                                           start + cache[3],
5606                                           uoffset - uoffset0,
5607                                           cache[2] - uoffset0);
5608             }
5609             found = TRUE;
5610         }
5611         else if ((*mgp)->mg_len != -1) {
5612             /* If we can take advantage of a passed in offset, do so.  */
5613             /* In fact, offset0 is either 0, or less than offset, so don't
5614                need to worry about the other possibility.  */
5615             boffset = boffset0
5616                 + sv_pos_u2b_midway(start + boffset0, send,
5617                                       uoffset - uoffset0,
5618                                       (*mgp)->mg_len - uoffset0);
5619             found = TRUE;
5620         }
5621     }
5622
5623     if (!found || PL_utf8cache < 0) {
5624         const STRLEN real_boffset
5625             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
5626                                                send, uoffset - uoffset0);
5627
5628         if (found && PL_utf8cache < 0) {
5629             if (real_boffset != boffset) {
5630                 /* Need to turn the assertions off otherwise we may recurse
5631                    infinitely while printing error messages.  */
5632                 SAVEI8(PL_utf8cache);
5633                 PL_utf8cache = 0;
5634                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
5635                            " real %"UVuf" for %"SVf,
5636                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
5637             }
5638         }
5639         boffset = real_boffset;
5640     }
5641
5642     S_utf8_mg_pos_cache_update(aTHX_ sv, mgp, boffset, uoffset, send - start);
5643     return boffset;
5644 }
5645
5646
5647 /*
5648 =for apidoc sv_pos_u2b
5649
5650 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5651 the start of the string, to a count of the equivalent number of bytes; if
5652 lenp is non-zero, it does the same to lenp, but this time starting from
5653 the offset, rather than from the start of the string. Handles magic and
5654 type coercion.
5655
5656 =cut
5657 */
5658
5659 /*
5660  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5661  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5662  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
5663  *
5664  */
5665
5666 void
5667 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5668 {
5669     const U8 *start;
5670     STRLEN len;
5671
5672     if (!sv)
5673         return;
5674
5675     start = (U8*)SvPV_const(sv, len);
5676     if (len) {
5677         STRLEN uoffset = (STRLEN) *offsetp;
5678         const U8 * const send = start + len;
5679         MAGIC *mg = NULL;
5680         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
5681                                              uoffset, 0, 0);
5682
5683         *offsetp = (I32) boffset;
5684
5685         if (lenp) {
5686             /* Convert the relative offset to absolute.  */
5687             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
5688             const STRLEN boffset2
5689                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
5690                                       uoffset, boffset) - boffset;
5691
5692             *lenp = boffset2;
5693         }
5694     }
5695     else {
5696          *offsetp = 0;
5697          if (lenp)
5698               *lenp = 0;
5699     }
5700
5701     return;
5702 }
5703
5704 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
5705    byte length pairing. The (byte) length of the total SV is passed in too,
5706    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
5707    may not have updated SvCUR, so we can't rely on reading it directly.
5708
5709    The proffered utf8/byte length pairing isn't used if the cache already has
5710    two pairs, and swapping either for the proffered pair would increase the
5711    RMS of the intervals between known byte offsets.
5712
5713    The cache itself consists of 4 STRLEN values
5714    0: larger UTF-8 offset
5715    1: corresponding byte offset
5716    2: smaller UTF-8 offset
5717    3: corresponding byte offset
5718
5719    Unused cache pairs have the value 0, 0.
5720    Keeping the cache "backwards" means that the invariant of
5721    cache[0] >= cache[2] is maintained even with empty slots, which means that
5722    the code that uses it doesn't need to worry if only 1 entry has actually
5723    been set to non-zero.  It also makes the "position beyond the end of the
5724    cache" logic much simpler, as the first slot is always the one to start
5725    from.   
5726 */
5727 static void
5728 S_utf8_mg_pos_cache_update(pTHX_ SV *sv, MAGIC **mgp, STRLEN byte, STRLEN utf8,
5729                            STRLEN blen)
5730 {
5731     STRLEN *cache;
5732     if (SvREADONLY(sv))
5733         return;
5734
5735     if (!*mgp) {
5736         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
5737                            0);
5738         (*mgp)->mg_len = -1;
5739     }
5740     assert(*mgp);
5741
5742     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
5743         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5744         (*mgp)->mg_ptr = (char *) cache;
5745     }
5746     assert(cache);
5747
5748     if (PL_utf8cache < 0) {
5749         const U8 *start = (const U8 *) SvPVX_const(sv);
5750         const STRLEN realutf8 = utf8_length(start, start + byte);
5751
5752         if (realutf8 != utf8) {
5753             /* Need to turn the assertions off otherwise we may recurse
5754                infinitely while printing error messages.  */
5755             SAVEI8(PL_utf8cache);
5756             PL_utf8cache = 0;
5757             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
5758                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
5759         }
5760     }
5761
5762     /* Cache is held with the later position first, to simplify the code
5763        that deals with unbounded ends.  */
5764        
5765     ASSERT_UTF8_CACHE(cache);
5766     if (cache[1] == 0) {
5767         /* Cache is totally empty  */
5768         cache[0] = utf8;
5769         cache[1] = byte;
5770     } else if (cache[3] == 0) {
5771         if (byte > cache[1]) {
5772             /* New one is larger, so goes first.  */
5773             cache[2] = cache[0];
5774             cache[3] = cache[1];
5775             cache[0] = utf8;
5776             cache[1] = byte;
5777         } else {
5778             cache[2] = utf8;
5779             cache[3] = byte;
5780         }
5781     } else {
5782 #define THREEWAY_SQUARE(a,b,c,d) \
5783             ((float)((d) - (c))) * ((float)((d) - (c))) \
5784             + ((float)((c) - (b))) * ((float)((c) - (b))) \
5785                + ((float)((b) - (a))) * ((float)((b) - (a)))
5786
5787         /* Cache has 2 slots in use, and we know three potential pairs.
5788            Keep the two that give the lowest RMS distance. Do the
5789            calcualation in bytes simply because we always know the byte
5790            length.  squareroot has the same ordering as the positive value,
5791            so don't bother with the actual square root.  */
5792         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
5793         if (byte > cache[1]) {
5794             /* New position is after the existing pair of pairs.  */
5795             const float keep_earlier
5796                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5797             const float keep_later
5798                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
5799
5800             if (keep_later < keep_earlier) {
5801                 if (keep_later < existing) {
5802                     cache[2] = cache[0];
5803                     cache[3] = cache[1];
5804                     cache[0] = utf8;
5805                     cache[1] = byte;
5806                 }
5807             }
5808             else {
5809                 if (keep_earlier < existing) {
5810                     cache[0] = utf8;
5811                     cache[1] = byte;
5812                 }
5813             }
5814         }
5815         else if (byte > cache[3]) {
5816             /* New position is between the existing pair of pairs.  */
5817             const float keep_earlier
5818                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5819             const float keep_later
5820                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5821
5822             if (keep_later < keep_earlier) {
5823                 if (keep_later < existing) {
5824                     cache[2] = utf8;
5825                     cache[3] = byte;
5826                 }
5827             }
5828             else {
5829                 if (keep_earlier < existing) {
5830                     cache[0] = utf8;
5831                     cache[1] = byte;
5832                 }
5833             }
5834         }
5835         else {
5836             /* New position is before the existing pair of pairs.  */
5837             const float keep_earlier
5838                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
5839             const float keep_later
5840                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5841
5842             if (keep_later < keep_earlier) {
5843                 if (keep_later < existing) {
5844                     cache[2] = utf8;
5845                     cache[3] = byte;
5846                 }
5847             }
5848             else {
5849                 if (keep_earlier < existing) {
5850                     cache[0] = cache[2];
5851                     cache[1] = cache[3];
5852                     cache[2] = utf8;
5853                     cache[3] = byte;
5854                 }
5855             }
5856         }
5857     }
5858     ASSERT_UTF8_CACHE(cache);
5859 }
5860
5861 /* We already know all of the way, now we may be able to walk back.  The same
5862    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
5863    backward is half the speed of walking forward. */
5864 static STRLEN
5865 S_sv_pos_b2u_midway(pTHX_ const U8 *s, const U8 *const target, const U8 *end,
5866                     STRLEN endu)
5867 {
5868     const STRLEN forw = target - s;
5869     STRLEN backw = end - target;
5870
5871     if (forw < 2 * backw) {
5872         return utf8_length(s, target);
5873     }
5874
5875     while (end > target) {
5876         end--;
5877         while (UTF8_IS_CONTINUATION(*end)) {
5878             end--;
5879         }
5880         endu--;
5881     }
5882     return endu;
5883 }
5884
5885 /*
5886 =for apidoc sv_pos_b2u
5887
5888 Converts the value pointed to by offsetp from a count of bytes from the
5889 start of the string, to a count of the equivalent number of UTF-8 chars.
5890 Handles magic and type coercion.
5891
5892 =cut
5893 */
5894
5895 /*
5896  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5897  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5898  * byte offsets.
5899  *
5900  */
5901 void
5902 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5903 {
5904     const U8* s;
5905     const STRLEN byte = *offsetp;
5906     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
5907     STRLEN blen;
5908     MAGIC* mg = NULL;
5909     const U8* send;
5910     bool found = FALSE;
5911
5912     if (!sv)
5913         return;
5914
5915     s = (const U8*)SvPV_const(sv, blen);
5916
5917     if (blen < byte)
5918         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5919
5920     send = s + byte;
5921
5922     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5923         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
5924         if (mg->mg_ptr) {
5925             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
5926             if (cache[1] == byte) {
5927                 /* An exact match. */
5928                 *offsetp = cache[0];
5929                 return;
5930             }
5931             if (cache[3] == byte) {
5932                 /* An exact match. */
5933                 *offsetp = cache[2];
5934                 return;
5935             }
5936
5937             if (cache[1] < byte) {
5938                 /* We already know part of the way. */
5939                 if (mg->mg_len != -1) {
5940                     /* Actually, we know the end too.  */
5941                     len = cache[0]
5942                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
5943                                               s + blen, mg->mg_len - cache[0]);
5944                 } else {
5945                     len = cache[0] + utf8_length(s + cache[1], send);
5946                 }
5947             }
5948             else if (cache[3] < byte) {
5949                 /* We're between the two cached pairs, so we do the calculation
5950                    offset by the byte/utf-8 positions for the earlier pair,
5951                    then add the utf-8 characters from the string start to
5952                    there.  */
5953                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
5954                                           s + cache[1], cache[0] - cache[2])
5955                     + cache[2];
5956
5957             }
5958             else { /* cache[3] > byte */
5959                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
5960                                           cache[2]);
5961
5962             }
5963             ASSERT_UTF8_CACHE(cache);
5964             found = TRUE;
5965         } else if (mg->mg_len != -1) {
5966             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
5967             found = TRUE;
5968         }
5969     }
5970     if (!found || PL_utf8cache < 0) {
5971         const STRLEN real_len = utf8_length(s, send);
5972
5973         if (found && PL_utf8cache < 0) {
5974             if (len != real_len) {
5975                 /* Need to turn the assertions off otherwise we may recurse
5976                    infinitely while printing error messages.  */
5977                 SAVEI8(PL_utf8cache);
5978                 PL_utf8cache = 0;
5979                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
5980                            " real %"UVuf" for %"SVf,
5981                            (UV) len, (UV) real_len, SVfARG(sv));
5982             }
5983         }
5984         len = real_len;
5985     }
5986     *offsetp = len;
5987
5988     S_utf8_mg_pos_cache_update(aTHX_ sv, &mg, byte, len, blen);
5989 }
5990
5991 /*
5992 =for apidoc sv_eq
5993
5994 Returns a boolean indicating whether the strings in the two SVs are
5995 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5996 coerce its args to strings if necessary.
5997
5998 =cut
5999 */
6000
6001 I32
6002 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
6003 {
6004     dVAR;
6005     const char *pv1;
6006     STRLEN cur1;
6007     const char *pv2;
6008     STRLEN cur2;
6009     I32  eq     = 0;
6010     char *tpv   = NULL;
6011     SV* svrecode = NULL;
6012
6013     if (!sv1) {
6014         pv1 = "";
6015         cur1 = 0;
6016     }
6017     else {
6018         /* if pv1 and pv2 are the same, second SvPV_const call may
6019          * invalidate pv1, so we may need to make a copy */
6020         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
6021             pv1 = SvPV_const(sv1, cur1);
6022             sv1 = sv_2mortal(newSVpvn(pv1, cur1));
6023             if (SvUTF8(sv2)) SvUTF8_on(sv1);
6024         }
6025         pv1 = SvPV_const(sv1, cur1);
6026     }
6027
6028     if (!sv2){
6029         pv2 = "";
6030         cur2 = 0;
6031     }
6032     else
6033         pv2 = SvPV_const(sv2, cur2);
6034
6035     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6036         /* Differing utf8ness.
6037          * Do not UTF8size the comparands as a side-effect. */
6038          if (PL_encoding) {
6039               if (SvUTF8(sv1)) {
6040                    svrecode = newSVpvn(pv2, cur2);
6041                    sv_recode_to_utf8(svrecode, PL_encoding);
6042                    pv2 = SvPV_const(svrecode, cur2);
6043               }
6044               else {
6045                    svrecode = newSVpvn(pv1, cur1);
6046                    sv_recode_to_utf8(svrecode, PL_encoding);
6047                    pv1 = SvPV_const(svrecode, cur1);
6048               }
6049               /* Now both are in UTF-8. */
6050               if (cur1 != cur2) {
6051                    SvREFCNT_dec(svrecode);
6052                    return FALSE;
6053               }
6054          }
6055          else {
6056               bool is_utf8 = TRUE;
6057
6058               if (SvUTF8(sv1)) {
6059                    /* sv1 is the UTF-8 one,
6060                     * if is equal it must be downgrade-able */
6061                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
6062                                                      &cur1, &is_utf8);
6063                    if (pv != pv1)
6064                         pv1 = tpv = pv;
6065               }
6066               else {
6067                    /* sv2 is the UTF-8 one,
6068                     * if is equal it must be downgrade-able */
6069                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6070                                                       &cur2, &is_utf8);
6071                    if (pv != pv2)
6072                         pv2 = tpv = pv;
6073               }
6074               if (is_utf8) {
6075                    /* Downgrade not possible - cannot be eq */
6076                    assert (tpv == 0);
6077                    return FALSE;
6078               }
6079          }
6080     }
6081
6082     if (cur1 == cur2)
6083         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6084         
6085     SvREFCNT_dec(svrecode);
6086     if (tpv)
6087         Safefree(tpv);
6088
6089     return eq;
6090 }
6091
6092 /*
6093 =for apidoc sv_cmp
6094
6095 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6096 string in C<sv1> is less than, equal to, or greater than the string in
6097 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6098 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6099
6100 =cut
6101 */
6102
6103 I32
6104 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
6105 {
6106     dVAR;
6107     STRLEN cur1, cur2;
6108     const char *pv1, *pv2;
6109     char *tpv = NULL;
6110     I32  cmp;
6111     SV *svrecode = NULL;
6112
6113     if (!sv1) {
6114         pv1 = "";
6115         cur1 = 0;
6116     }
6117     else
6118         pv1 = SvPV_const(sv1, cur1);
6119
6120     if (!sv2) {
6121         pv2 = "";
6122         cur2 = 0;
6123     }
6124     else
6125         pv2 = SvPV_const(sv2, cur2);
6126
6127     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6128         /* Differing utf8ness.
6129          * Do not UTF8size the comparands as a side-effect. */
6130         if (SvUTF8(sv1)) {
6131             if (PL_encoding) {
6132                  svrecode = newSVpvn(pv2, cur2);
6133                  sv_recode_to_utf8(svrecode, PL_encoding);
6134                  pv2 = SvPV_const(svrecode, cur2);
6135             }
6136             else {
6137                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6138             }
6139         }
6140         else {
6141             if (PL_encoding) {
6142                  svrecode = newSVpvn(pv1, cur1);
6143                  sv_recode_to_utf8(svrecode, PL_encoding);
6144                  pv1 = SvPV_const(svrecode, cur1);
6145             }
6146             else {
6147                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6148             }
6149         }
6150     }
6151
6152     if (!cur1) {
6153         cmp = cur2 ? -1 : 0;
6154     } else if (!cur2) {
6155         cmp = 1;
6156     } else {
6157         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6158
6159         if (retval) {
6160             cmp = retval < 0 ? -1 : 1;
6161         } else if (cur1 == cur2) {
6162             cmp = 0;
6163         } else {
6164             cmp = cur1 < cur2 ? -1 : 1;
6165         }
6166     }
6167
6168     SvREFCNT_dec(svrecode);
6169     if (tpv)
6170         Safefree(tpv);
6171
6172     return cmp;
6173 }
6174
6175 /*
6176 =for apidoc sv_cmp_locale
6177
6178 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6179 'use bytes' aware, handles get magic, and will coerce its args to strings
6180 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
6181
6182 =cut
6183 */
6184
6185 I32
6186 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
6187 {
6188     dVAR;
6189 #ifdef USE_LOCALE_COLLATE
6190
6191     char *pv1, *pv2;
6192     STRLEN len1, len2;
6193     I32 retval;
6194
6195     if (PL_collation_standard)
6196         goto raw_compare;
6197
6198     len1 = 0;
6199     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6200     len2 = 0;
6201     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6202
6203     if (!pv1 || !len1) {
6204         if (pv2 && len2)
6205             return -1;
6206         else
6207             goto raw_compare;
6208     }
6209     else {
6210         if (!pv2 || !len2)
6211             return 1;
6212     }
6213
6214     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6215
6216     if (retval)
6217         return retval < 0 ? -1 : 1;
6218
6219     /*
6220      * When the result of collation is equality, that doesn't mean
6221      * that there are no differences -- some locales exclude some
6222      * characters from consideration.  So to avoid false equalities,
6223      * we use the raw string as a tiebreaker.
6224      */
6225
6226   raw_compare:
6227     /*FALLTHROUGH*/
6228
6229 #endif /* USE_LOCALE_COLLATE */
6230
6231     return sv_cmp(sv1, sv2);
6232 }
6233
6234
6235 #ifdef USE_LOCALE_COLLATE
6236
6237 /*
6238 =for apidoc sv_collxfrm
6239
6240 Add Collate Transform magic to an SV if it doesn't already have it.
6241
6242 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6243 scalar data of the variable, but transformed to such a format that a normal
6244 memory comparison can be used to compare the data according to the locale
6245 settings.
6246
6247 =cut
6248 */
6249
6250 char *
6251 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
6252 {
6253     dVAR;
6254     MAGIC *mg;
6255
6256     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6257     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6258         const char *s;
6259         char *xf;
6260         STRLEN len, xlen;
6261
6262         if (mg)
6263             Safefree(mg->mg_ptr);
6264         s = SvPV_const(sv, len);
6265         if ((xf = mem_collxfrm(s, len, &xlen))) {
6266             if (SvREADONLY(sv)) {
6267                 SAVEFREEPV(xf);
6268                 *nxp = xlen;
6269                 return xf + sizeof(PL_collation_ix);
6270             }
6271             if (! mg) {
6272 #ifdef PERL_OLD_COPY_ON_WRITE
6273                 if (SvIsCOW(sv))
6274                     sv_force_normal_flags(sv, 0);
6275 #endif
6276                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6277                                  0, 0);
6278                 assert(mg);
6279             }
6280             mg->mg_ptr = xf;
6281             mg->mg_len = xlen;
6282         }
6283         else {
6284             if (mg) {
6285                 mg->mg_ptr = NULL;
6286                 mg->mg_len = -1;
6287             }
6288         }
6289     }
6290     if (mg && mg->mg_ptr) {
6291         *nxp = mg->mg_len;
6292         return mg->mg_ptr + sizeof(PL_collation_ix);
6293     }
6294     else {
6295         *nxp = 0;
6296         return NULL;
6297     }
6298 }
6299
6300 #endif /* USE_LOCALE_COLLATE */
6301
6302 /*
6303 =for apidoc sv_gets
6304
6305 Get a line from the filehandle and store it into the SV, optionally
6306 appending to the currently-stored string.
6307
6308 =cut
6309 */
6310
6311 char *
6312 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
6313 {
6314     dVAR;
6315     const char *rsptr;
6316     STRLEN rslen;
6317     register STDCHAR rslast;
6318     register STDCHAR *bp;
6319     register I32 cnt;
6320     I32 i = 0;
6321     I32 rspara = 0;
6322
6323     if (SvTHINKFIRST(sv))
6324         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6325     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6326        from <>.
6327        However, perlbench says it's slower, because the existing swipe code
6328        is faster than copy on write.
6329        Swings and roundabouts.  */
6330     SvUPGRADE(sv, SVt_PV);
6331
6332     SvSCREAM_off(sv);
6333
6334     if (append) {
6335         if (PerlIO_isutf8(fp)) {
6336             if (!SvUTF8(sv)) {
6337                 sv_utf8_upgrade_nomg(sv);
6338                 sv_pos_u2b(sv,&append,0);
6339             }
6340         } else if (SvUTF8(sv)) {
6341             SV * const tsv = newSV(0);
6342             sv_gets(tsv, fp, 0);
6343             sv_utf8_upgrade_nomg(tsv);
6344             SvCUR_set(sv,append);
6345             sv_catsv(sv,tsv);
6346             sv_free(tsv);
6347             goto return_string_or_null;
6348         }
6349     }
6350
6351     SvPOK_only(sv);
6352     if (PerlIO_isutf8(fp))
6353         SvUTF8_on(sv);
6354
6355     if (IN_PERL_COMPILETIME) {
6356         /* we always read code in line mode */
6357         rsptr = "\n";
6358         rslen = 1;
6359     }
6360     else if (RsSNARF(PL_rs)) {
6361         /* If it is a regular disk file use size from stat() as estimate
6362            of amount we are going to read -- may result in mallocing
6363            more memory than we really need if the layers below reduce
6364            the size we read (e.g. CRLF or a gzip layer).
6365          */
6366         Stat_t st;
6367         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6368             const Off_t offset = PerlIO_tell(fp);
6369             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6370                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6371             }
6372         }
6373         rsptr = NULL;
6374         rslen = 0;
6375     }
6376     else if (RsRECORD(PL_rs)) {
6377       I32 bytesread;
6378       char *buffer;
6379       U32 recsize;
6380
6381       /* Grab the size of the record we're getting */
6382       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6383       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6384       /* Go yank in */
6385 #ifdef VMS
6386       /* VMS wants read instead of fread, because fread doesn't respect */
6387       /* RMS record boundaries. This is not necessarily a good thing to be */
6388       /* doing, but we've got no other real choice - except avoid stdio
6389          as implementation - perhaps write a :vms layer ?
6390        */
6391       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
6392 #else
6393       bytesread = PerlIO_read(fp, buffer, recsize);
6394 #endif
6395       if (bytesread < 0)
6396           bytesread = 0;
6397       SvCUR_set(sv, bytesread += append);
6398       buffer[bytesread] = '\0';
6399       goto return_string_or_null;
6400     }
6401     else if (RsPARA(PL_rs)) {
6402         rsptr = "\n\n";
6403         rslen = 2;
6404         rspara = 1;
6405     }
6406     else {
6407         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6408         if (PerlIO_isutf8(fp)) {
6409             rsptr = SvPVutf8(PL_rs, rslen);
6410         }
6411         else {
6412             if (SvUTF8(PL_rs)) {
6413                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6414                     Perl_croak(aTHX_ "Wide character in $/");
6415                 }
6416             }
6417             rsptr = SvPV_const(PL_rs, rslen);
6418         }
6419     }
6420
6421     rslast = rslen ? rsptr[rslen - 1] : '\0';
6422
6423     if (rspara) {               /* have to do this both before and after */
6424         do {                    /* to make sure file boundaries work right */
6425             if (PerlIO_eof(fp))
6426                 return 0;
6427             i = PerlIO_getc(fp);
6428             if (i != '\n') {
6429                 if (i == -1)
6430                     return 0;
6431                 PerlIO_ungetc(fp,i);
6432                 break;
6433             }
6434         } while (i != EOF);
6435     }
6436
6437     /* See if we know enough about I/O mechanism to cheat it ! */
6438
6439     /* This used to be #ifdef test - it is made run-time test for ease
6440        of abstracting out stdio interface. One call should be cheap
6441        enough here - and may even be a macro allowing compile
6442        time optimization.
6443      */
6444
6445     if (PerlIO_fast_gets(fp)) {
6446
6447     /*
6448      * We're going to steal some values from the stdio struct
6449      * and put EVERYTHING in the innermost loop into registers.
6450      */
6451     register STDCHAR *ptr;
6452     STRLEN bpx;
6453     I32 shortbuffered;
6454
6455 #if defined(VMS) && defined(PERLIO_IS_STDIO)
6456     /* An ungetc()d char is handled separately from the regular
6457      * buffer, so we getc() it back out and stuff it in the buffer.
6458      */
6459     i = PerlIO_getc(fp);
6460     if (i == EOF) return 0;
6461     *(--((*fp)->_ptr)) = (unsigned char) i;
6462     (*fp)->_cnt++;
6463 #endif
6464
6465     /* Here is some breathtakingly efficient cheating */
6466
6467     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
6468     /* make sure we have the room */
6469     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
6470         /* Not room for all of it
6471            if we are looking for a separator and room for some
6472          */
6473         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
6474             /* just process what we have room for */
6475             shortbuffered = cnt - SvLEN(sv) + append + 1;
6476             cnt -= shortbuffered;
6477         }
6478         else {
6479             shortbuffered = 0;
6480             /* remember that cnt can be negative */
6481             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
6482         }
6483     }
6484     else
6485         shortbuffered = 0;
6486     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
6487     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
6488     DEBUG_P(PerlIO_printf(Perl_debug_log,
6489         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6490     DEBUG_P(PerlIO_printf(Perl_debug_log,
6491         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6492                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6493                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
6494     for (;;) {
6495       screamer:
6496         if (cnt > 0) {
6497             if (rslen) {
6498                 while (cnt > 0) {                    /* this     |  eat */
6499                     cnt--;
6500                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
6501                         goto thats_all_folks;        /* screams  |  sed :-) */
6502                 }
6503             }
6504             else {
6505                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
6506                 bp += cnt;                           /* screams  |  dust */
6507                 ptr += cnt;                          /* louder   |  sed :-) */
6508                 cnt = 0;
6509             }
6510         }
6511         
6512         if (shortbuffered) {            /* oh well, must extend */
6513             cnt = shortbuffered;
6514             shortbuffered = 0;
6515             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
6516             SvCUR_set(sv, bpx);
6517             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
6518             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
6519             continue;
6520         }
6521
6522         DEBUG_P(PerlIO_printf(Perl_debug_log,
6523                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
6524                               PTR2UV(ptr),(long)cnt));
6525         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
6526 #if 0
6527         DEBUG_P(PerlIO_printf(Perl_debug_log,
6528             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6529             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6530             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6531 #endif
6532         /* This used to call 'filbuf' in stdio form, but as that behaves like
6533            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
6534            another abstraction.  */
6535         i   = PerlIO_getc(fp);          /* get more characters */
6536 #if 0
6537         DEBUG_P(PerlIO_printf(Perl_debug_log,
6538             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6539             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6540             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6541 #endif
6542         cnt = PerlIO_get_cnt(fp);
6543         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
6544         DEBUG_P(PerlIO_printf(Perl_debug_log,
6545             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6546
6547         if (i == EOF)                   /* all done for ever? */
6548             goto thats_really_all_folks;
6549
6550         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
6551         SvCUR_set(sv, bpx);
6552         SvGROW(sv, bpx + cnt + 2);
6553         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
6554
6555         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
6556
6557         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
6558             goto thats_all_folks;
6559     }
6560
6561 thats_all_folks:
6562     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
6563           memNE((char*)bp - rslen, rsptr, rslen))
6564         goto screamer;                          /* go back to the fray */
6565 thats_really_all_folks:
6566     if (shortbuffered)
6567         cnt += shortbuffered;
6568         DEBUG_P(PerlIO_printf(Perl_debug_log,
6569             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6570     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6571     DEBUG_P(PerlIO_printf(Perl_debug_log,
6572         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6573         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6574         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6575     *bp = '\0';
6576     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6577     DEBUG_P(PerlIO_printf(Perl_debug_log,
6578         "Screamer: done, len=%ld, string=|%.*s|\n",
6579         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6580     }
6581    else
6582     {
6583        /*The big, slow, and stupid way. */
6584 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6585         STDCHAR *buf = NULL;
6586         Newx(buf, 8192, STDCHAR);
6587         assert(buf);
6588 #else
6589         STDCHAR buf[8192];
6590 #endif
6591
6592 screamer2:
6593         if (rslen) {
6594             register const STDCHAR * const bpe = buf + sizeof(buf);
6595             bp = buf;
6596             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6597                 ; /* keep reading */
6598             cnt = bp - buf;
6599         }
6600         else {
6601             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6602             /* Accomodate broken VAXC compiler, which applies U8 cast to
6603              * both args of ?: operator, causing EOF to change into 255
6604              */
6605             if (cnt > 0)
6606                  i = (U8)buf[cnt - 1];
6607             else
6608                  i = EOF;
6609         }
6610
6611         if (cnt < 0)
6612             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6613         if (append)
6614              sv_catpvn(sv, (char *) buf, cnt);
6615         else
6616              sv_setpvn(sv, (char *) buf, cnt);
6617
6618         if (i != EOF &&                 /* joy */
6619             (!rslen ||
6620              SvCUR(sv) < rslen ||
6621              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6622         {
6623             append = -1;
6624             /*
6625              * If we're reading from a TTY and we get a short read,
6626              * indicating that the user hit his EOF character, we need
6627              * to notice it now, because if we try to read from the TTY
6628              * again, the EOF condition will disappear.
6629              *
6630              * The comparison of cnt to sizeof(buf) is an optimization
6631              * that prevents unnecessary calls to feof().
6632              *
6633              * - jik 9/25/96
6634              */
6635             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
6636                 goto screamer2;
6637         }
6638
6639 #ifdef USE_HEAP_INSTEAD_OF_STACK
6640         Safefree(buf);
6641 #endif
6642     }
6643
6644     if (rspara) {               /* have to do this both before and after */
6645         while (i != EOF) {      /* to make sure file boundaries work right */
6646             i = PerlIO_getc(fp);
6647             if (i != '\n') {
6648                 PerlIO_ungetc(fp,i);
6649                 break;
6650             }
6651         }
6652     }
6653
6654 return_string_or_null:
6655     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
6656 }
6657
6658 /*
6659 =for apidoc sv_inc
6660
6661 Auto-increment of the value in the SV, doing string to numeric conversion
6662 if necessary. Handles 'get' magic.
6663
6664 =cut
6665 */
6666
6667 void
6668 Perl_sv_inc(pTHX_ register SV *sv)
6669 {
6670     dVAR;
6671     register char *d;
6672     int flags;
6673
6674     if (!sv)
6675         return;
6676     SvGETMAGIC(sv);
6677     if (SvTHINKFIRST(sv)) {
6678         if (SvIsCOW(sv))
6679             sv_force_normal_flags(sv, 0);
6680         if (SvREADONLY(sv)) {
6681             if (IN_PERL_RUNTIME)
6682                 Perl_croak(aTHX_ PL_no_modify);
6683         }
6684         if (SvROK(sv)) {
6685             IV i;
6686             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6687                 return;
6688             i = PTR2IV(SvRV(sv));
6689             sv_unref(sv);
6690             sv_setiv(sv, i);
6691         }
6692     }
6693     flags = SvFLAGS(sv);
6694     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6695         /* It's (privately or publicly) a float, but not tested as an
6696            integer, so test it to see. */
6697         (void) SvIV(sv);
6698         flags = SvFLAGS(sv);
6699     }
6700     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6701         /* It's publicly an integer, or privately an integer-not-float */
6702 #ifdef PERL_PRESERVE_IVUV
6703       oops_its_int:
6704 #endif
6705         if (SvIsUV(sv)) {
6706             if (SvUVX(sv) == UV_MAX)
6707                 sv_setnv(sv, UV_MAX_P1);
6708             else
6709                 (void)SvIOK_only_UV(sv);
6710                 SvUV_set(sv, SvUVX(sv) + 1);
6711         } else {
6712             if (SvIVX(sv) == IV_MAX)
6713                 sv_setuv(sv, (UV)IV_MAX + 1);
6714             else {
6715                 (void)SvIOK_only(sv);
6716                 SvIV_set(sv, SvIVX(sv) + 1);
6717             }   
6718         }
6719         return;
6720     }
6721     if (flags & SVp_NOK) {
6722         (void)SvNOK_only(sv);
6723         SvNV_set(sv, SvNVX(sv) + 1.0);
6724         return;
6725     }
6726
6727     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6728         if ((flags & SVTYPEMASK) < SVt_PVIV)
6729             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6730         (void)SvIOK_only(sv);
6731         SvIV_set(sv, 1);
6732         return;
6733     }
6734     d = SvPVX(sv);
6735     while (isALPHA(*d)) d++;
6736     while (isDIGIT(*d)) d++;
6737     if (*d) {
6738 #ifdef PERL_PRESERVE_IVUV
6739         /* Got to punt this as an integer if needs be, but we don't issue
6740            warnings. Probably ought to make the sv_iv_please() that does
6741            the conversion if possible, and silently.  */
6742         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6743         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6744             /* Need to try really hard to see if it's an integer.
6745                9.22337203685478e+18 is an integer.
6746                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6747                so $a="9.22337203685478e+18"; $a+0; $a++
6748                needs to be the same as $a="9.22337203685478e+18"; $a++
6749                or we go insane. */
6750         
6751             (void) sv_2iv(sv);
6752             if (SvIOK(sv))
6753                 goto oops_its_int;
6754
6755             /* sv_2iv *should* have made this an NV */
6756             if (flags & SVp_NOK) {
6757                 (void)SvNOK_only(sv);
6758                 SvNV_set(sv, SvNVX(sv) + 1.0);
6759                 return;
6760             }
6761             /* I don't think we can get here. Maybe I should assert this
6762                And if we do get here I suspect that sv_setnv will croak. NWC
6763                Fall through. */
6764 #if defined(USE_LONG_DOUBLE)
6765             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6766                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6767 #else
6768             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6769                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6770 #endif
6771         }
6772 #endif /* PERL_PRESERVE_IVUV */
6773         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6774         return;
6775     }
6776     d--;
6777     while (d >= SvPVX_const(sv)) {
6778         if (isDIGIT(*d)) {
6779             if (++*d <= '9')
6780                 return;
6781             *(d--) = '0';
6782         }
6783         else {
6784 #ifdef EBCDIC
6785             /* MKS: The original code here died if letters weren't consecutive.
6786              * at least it didn't have to worry about non-C locales.  The
6787              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6788              * arranged in order (although not consecutively) and that only
6789              * [A-Za-z] are accepted by isALPHA in the C locale.
6790              */
6791             if (*d != 'z' && *d != 'Z') {
6792                 do { ++*d; } while (!isALPHA(*d));
6793                 return;
6794             }
6795             *(d--) -= 'z' - 'a';
6796 #else
6797             ++*d;
6798             if (isALPHA(*d))
6799                 return;
6800             *(d--) -= 'z' - 'a' + 1;
6801 #endif
6802         }
6803     }
6804     /* oh,oh, the number grew */
6805     SvGROW(sv, SvCUR(sv) + 2);
6806     SvCUR_set(sv, SvCUR(sv) + 1);
6807     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6808         *d = d[-1];
6809     if (isDIGIT(d[1]))
6810         *d = '1';
6811     else
6812         *d = d[1];
6813 }
6814
6815 /*
6816 =for apidoc sv_dec
6817
6818 Auto-decrement of the value in the SV, doing string to numeric conversion
6819 if necessary. Handles 'get' magic.
6820
6821 =cut
6822 */
6823
6824 void
6825 Perl_sv_dec(pTHX_ register SV *sv)
6826 {
6827     dVAR;
6828     int flags;
6829
6830     if (!sv)
6831         return;
6832     SvGETMAGIC(sv);
6833     if (SvTHINKFIRST(sv)) {
6834         if (SvIsCOW(sv))
6835             sv_force_normal_flags(sv, 0);
6836         if (SvREADONLY(sv)) {
6837             if (IN_PERL_RUNTIME)
6838                 Perl_croak(aTHX_ PL_no_modify);
6839         }
6840         if (SvROK(sv)) {
6841             IV i;
6842             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6843                 return;
6844             i = PTR2IV(SvRV(sv));
6845             sv_unref(sv);
6846             sv_setiv(sv, i);
6847         }
6848     }
6849     /* Unlike sv_inc we don't have to worry about string-never-numbers
6850        and keeping them magic. But we mustn't warn on punting */
6851     flags = SvFLAGS(sv);
6852     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6853         /* It's publicly an integer, or privately an integer-not-float */
6854 #ifdef PERL_PRESERVE_IVUV
6855       oops_its_int:
6856 #endif
6857         if (SvIsUV(sv)) {
6858             if (SvUVX(sv) == 0) {
6859                 (void)SvIOK_only(sv);
6860                 SvIV_set(sv, -1);
6861             }
6862             else {
6863                 (void)SvIOK_only_UV(sv);
6864                 SvUV_set(sv, SvUVX(sv) - 1);
6865             }   
6866         } else {
6867             if (SvIVX(sv) == IV_MIN)
6868                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6869             else {
6870                 (void)SvIOK_only(sv);
6871                 SvIV_set(sv, SvIVX(sv) - 1);
6872             }   
6873         }
6874         return;
6875     }
6876     if (flags & SVp_NOK) {
6877         SvNV_set(sv, SvNVX(sv) - 1.0);
6878         (void)SvNOK_only(sv);
6879         return;
6880     }
6881     if (!(flags & SVp_POK)) {
6882         if ((flags & SVTYPEMASK) < SVt_PVIV)
6883             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6884         SvIV_set(sv, -1);
6885         (void)SvIOK_only(sv);
6886         return;
6887     }
6888 #ifdef PERL_PRESERVE_IVUV
6889     {
6890         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6891         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6892             /* Need to try really hard to see if it's an integer.
6893                9.22337203685478e+18 is an integer.
6894                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6895                so $a="9.22337203685478e+18"; $a+0; $a--
6896                needs to be the same as $a="9.22337203685478e+18"; $a--
6897                or we go insane. */
6898         
6899             (void) sv_2iv(sv);
6900             if (SvIOK(sv))
6901                 goto oops_its_int;
6902
6903             /* sv_2iv *should* have made this an NV */
6904             if (flags & SVp_NOK) {
6905                 (void)SvNOK_only(sv);
6906                 SvNV_set(sv, SvNVX(sv) - 1.0);
6907                 return;
6908             }
6909             /* I don't think we can get here. Maybe I should assert this
6910                And if we do get here I suspect that sv_setnv will croak. NWC
6911                Fall through. */
6912 #if defined(USE_LONG_DOUBLE)
6913             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6914                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6915 #else
6916             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6917                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6918 #endif
6919         }
6920     }
6921 #endif /* PERL_PRESERVE_IVUV */
6922     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6923 }
6924
6925 /*
6926 =for apidoc sv_mortalcopy
6927
6928 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6929 The new SV is marked as mortal. It will be destroyed "soon", either by an
6930 explicit call to FREETMPS, or by an implicit call at places such as
6931 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6932
6933 =cut
6934 */
6935
6936 /* Make a string that will exist for the duration of the expression
6937  * evaluation.  Actually, it may have to last longer than that, but
6938  * hopefully we won't free it until it has been assigned to a
6939  * permanent location. */
6940
6941 SV *
6942 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6943 {
6944     dVAR;
6945     register SV *sv;
6946
6947     new_SV(sv);
6948     sv_setsv(sv,oldstr);
6949     EXTEND_MORTAL(1);
6950     PL_tmps_stack[++PL_tmps_ix] = sv;
6951     SvTEMP_on(sv);
6952     return sv;
6953 }
6954
6955 /*
6956 =for apidoc sv_newmortal
6957
6958 Creates a new null SV which is mortal.  The reference count of the SV is
6959 set to 1. It will be destroyed "soon", either by an explicit call to
6960 FREETMPS, or by an implicit call at places such as statement boundaries.
6961 See also C<sv_mortalcopy> and C<sv_2mortal>.
6962
6963 =cut
6964 */
6965
6966 SV *
6967 Perl_sv_newmortal(pTHX)
6968 {
6969     dVAR;
6970     register SV *sv;
6971
6972     new_SV(sv);
6973     SvFLAGS(sv) = SVs_TEMP;
6974     EXTEND_MORTAL(1);
6975     PL_tmps_stack[++PL_tmps_ix] = sv;
6976     return sv;
6977 }
6978
6979 /*
6980 =for apidoc sv_2mortal
6981
6982 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6983 by an explicit call to FREETMPS, or by an implicit call at places such as
6984 statement boundaries.  SvTEMP() is turned on which means that the SV's
6985 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6986 and C<sv_mortalcopy>.
6987
6988 =cut
6989 */
6990
6991 SV *
6992 Perl_sv_2mortal(pTHX_ register SV *sv)
6993 {
6994     dVAR;
6995     if (!sv)
6996         return NULL;
6997     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6998         return sv;
6999     EXTEND_MORTAL(1);
7000     PL_tmps_stack[++PL_tmps_ix] = sv;
7001     SvTEMP_on(sv);
7002     return sv;
7003 }
7004
7005 /*
7006 =for apidoc newSVpv
7007
7008 Creates a new SV and copies a string into it.  The reference count for the
7009 SV is set to 1.  If C<len> is zero, Perl will compute the length using
7010 strlen().  For efficiency, consider using C<newSVpvn> instead.
7011
7012 =cut
7013 */
7014
7015 SV *
7016 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
7017 {
7018     dVAR;
7019     register SV *sv;
7020
7021     new_SV(sv);
7022     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
7023     return sv;
7024 }
7025
7026 /*
7027 =for apidoc newSVpvn
7028
7029 Creates a new SV and copies a string into it.  The reference count for the
7030 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7031 string.  You are responsible for ensuring that the source string is at least
7032 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7033
7034 =cut
7035 */
7036
7037 SV *
7038 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
7039 {
7040     dVAR;
7041     register SV *sv;
7042
7043     new_SV(sv);
7044     sv_setpvn(sv,s,len);
7045     return sv;
7046 }
7047
7048
7049 /*
7050 =for apidoc newSVhek
7051
7052 Creates a new SV from the hash key structure.  It will generate scalars that
7053 point to the shared string table where possible. Returns a new (undefined)
7054 SV if the hek is NULL.
7055
7056 =cut
7057 */
7058
7059 SV *
7060 Perl_newSVhek(pTHX_ const HEK *hek)
7061 {
7062     dVAR;
7063     if (!hek) {
7064         SV *sv;
7065
7066         new_SV(sv);
7067         return sv;
7068     }
7069
7070     if (HEK_LEN(hek) == HEf_SVKEY) {
7071         return newSVsv(*(SV**)HEK_KEY(hek));
7072     } else {
7073         const int flags = HEK_FLAGS(hek);
7074         if (flags & HVhek_WASUTF8) {
7075             /* Trouble :-)
7076                Andreas would like keys he put in as utf8 to come back as utf8
7077             */
7078             STRLEN utf8_len = HEK_LEN(hek);
7079             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7080             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7081
7082             SvUTF8_on (sv);
7083             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7084             return sv;
7085         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7086             /* We don't have a pointer to the hv, so we have to replicate the
7087                flag into every HEK. This hv is using custom a hasing
7088                algorithm. Hence we can't return a shared string scalar, as
7089                that would contain the (wrong) hash value, and might get passed
7090                into an hv routine with a regular hash.
7091                Similarly, a hash that isn't using shared hash keys has to have
7092                the flag in every key so that we know not to try to call
7093                share_hek_kek on it.  */
7094
7095             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7096             if (HEK_UTF8(hek))
7097                 SvUTF8_on (sv);
7098             return sv;
7099         }
7100         /* This will be overwhelminly the most common case.  */
7101         {
7102             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7103                more efficient than sharepvn().  */
7104             SV *sv;
7105
7106             new_SV(sv);
7107             sv_upgrade(sv, SVt_PV);
7108             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7109             SvCUR_set(sv, HEK_LEN(hek));
7110             SvLEN_set(sv, 0);
7111             SvREADONLY_on(sv);
7112             SvFAKE_on(sv);
7113             SvPOK_on(sv);
7114             if (HEK_UTF8(hek))
7115                 SvUTF8_on(sv);
7116             return sv;
7117         }
7118     }
7119 }
7120
7121 /*
7122 =for apidoc newSVpvn_share
7123
7124 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7125 table. If the string does not already exist in the table, it is created
7126 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
7127 value is used; otherwise the hash is computed. The string's hash can be later
7128 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
7129 that as the string table is used for shared hash keys these strings will have
7130 SvPVX_const == HeKEY and hash lookup will avoid string compare.
7131
7132 =cut
7133 */
7134
7135 SV *
7136 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7137 {
7138     dVAR;
7139     register SV *sv;
7140     bool is_utf8 = FALSE;
7141     const char *const orig_src = src;
7142
7143     if (len < 0) {
7144         STRLEN tmplen = -len;
7145         is_utf8 = TRUE;
7146         /* See the note in hv.c:hv_fetch() --jhi */
7147         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7148         len = tmplen;
7149     }
7150     if (!hash)
7151         PERL_HASH(hash, src, len);
7152     new_SV(sv);
7153     sv_upgrade(sv, SVt_PV);
7154     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7155     SvCUR_set(sv, len);
7156     SvLEN_set(sv, 0);
7157     SvREADONLY_on(sv);
7158     SvFAKE_on(sv);
7159     SvPOK_on(sv);
7160     if (is_utf8)
7161         SvUTF8_on(sv);
7162     if (src != orig_src)
7163         Safefree(src);
7164     return sv;
7165 }
7166
7167
7168 #if defined(PERL_IMPLICIT_CONTEXT)
7169
7170 /* pTHX_ magic can't cope with varargs, so this is a no-context
7171  * version of the main function, (which may itself be aliased to us).
7172  * Don't access this version directly.
7173  */
7174
7175 SV *
7176 Perl_newSVpvf_nocontext(const char* pat, ...)
7177 {
7178     dTHX;
7179     register SV *sv;
7180     va_list args;
7181     va_start(args, pat);
7182     sv = vnewSVpvf(pat, &args);
7183     va_end(args);
7184     return sv;
7185 }
7186 #endif
7187
7188 /*
7189 =for apidoc newSVpvf
7190
7191 Creates a new SV and initializes it with the string formatted like
7192 C<sprintf>.
7193
7194 =cut
7195 */
7196
7197 SV *
7198 Perl_newSVpvf(pTHX_ const char* pat, ...)
7199 {
7200     register SV *sv;
7201     va_list args;
7202     va_start(args, pat);
7203     sv = vnewSVpvf(pat, &args);
7204     va_end(args);
7205     return sv;
7206 }
7207
7208 /* backend for newSVpvf() and newSVpvf_nocontext() */
7209
7210 SV *
7211 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
7212 {
7213     dVAR;
7214     register SV *sv;
7215     new_SV(sv);
7216     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7217     return sv;
7218 }
7219
7220 /*
7221 =for apidoc newSVnv
7222
7223 Creates a new SV and copies a floating point value into it.
7224 The reference count for the SV is set to 1.
7225
7226 =cut
7227 */
7228
7229 SV *
7230 Perl_newSVnv(pTHX_ NV n)
7231 {
7232     dVAR;
7233     register SV *sv;
7234
7235     new_SV(sv);
7236     sv_setnv(sv,n);
7237     return sv;
7238 }
7239
7240 /*
7241 =for apidoc newSViv
7242
7243 Creates a new SV and copies an integer into it.  The reference count for the
7244 SV is set to 1.
7245
7246 =cut
7247 */
7248
7249 SV *
7250 Perl_newSViv(pTHX_ IV i)
7251 {
7252     dVAR;
7253     register SV *sv;
7254
7255     new_SV(sv);
7256     sv_setiv(sv,i);
7257     return sv;
7258 }
7259
7260 /*
7261 =for apidoc newSVuv
7262
7263 Creates a new SV and copies an unsigned integer into it.
7264 The reference count for the SV is set to 1.
7265
7266 =cut
7267 */
7268
7269 SV *
7270 Perl_newSVuv(pTHX_ UV u)
7271 {
7272     dVAR;
7273     register SV *sv;
7274
7275     new_SV(sv);
7276     sv_setuv(sv,u);
7277     return sv;
7278 }
7279
7280 /*
7281 =for apidoc newSV_type
7282
7283 Creates a new SV, of the type specified.  The reference count for the new SV
7284 is set to 1.
7285
7286 =cut
7287 */
7288
7289 SV *
7290 Perl_newSV_type(pTHX_ svtype type)
7291 {
7292     register SV *sv;
7293
7294     new_SV(sv);
7295     sv_upgrade(sv, type);
7296     return sv;
7297 }
7298
7299 /*
7300 =for apidoc newRV_noinc
7301
7302 Creates an RV wrapper for an SV.  The reference count for the original
7303 SV is B<not> incremented.
7304
7305 =cut
7306 */
7307
7308 SV *
7309 Perl_newRV_noinc(pTHX_ SV *tmpRef)
7310 {
7311     dVAR;
7312     register SV *sv = newSV_type(SVt_IV);
7313     SvTEMP_off(tmpRef);
7314     SvRV_set(sv, tmpRef);
7315     SvROK_on(sv);
7316     return sv;
7317 }
7318
7319 /* newRV_inc is the official function name to use now.
7320  * newRV_inc is in fact #defined to newRV in sv.h
7321  */
7322
7323 SV *
7324 Perl_newRV(pTHX_ SV *sv)
7325 {
7326     dVAR;
7327     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7328 }
7329
7330 /*
7331 =for apidoc newSVsv
7332
7333 Creates a new SV which is an exact duplicate of the original SV.
7334 (Uses C<sv_setsv>).
7335
7336 =cut
7337 */
7338
7339 SV *
7340 Perl_newSVsv(pTHX_ register SV *old)
7341 {
7342     dVAR;
7343     register SV *sv;
7344
7345     if (!old)
7346         return NULL;
7347     if (SvTYPE(old) == SVTYPEMASK) {
7348         if (ckWARN_d(WARN_INTERNAL))
7349             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7350         return NULL;
7351     }
7352     new_SV(sv);
7353     /* SV_GMAGIC is the default for sv_setv()
7354        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7355        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
7356     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
7357     return sv;
7358 }
7359
7360 /*
7361 =for apidoc sv_reset
7362
7363 Underlying implementation for the C<reset> Perl function.
7364 Note that the perl-level function is vaguely deprecated.
7365
7366 =cut
7367 */
7368
7369 void
7370 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
7371 {
7372     dVAR;
7373     char todo[PERL_UCHAR_MAX+1];
7374
7375     if (!stash)
7376         return;
7377
7378     if (!*s) {          /* reset ?? searches */
7379         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
7380         if (mg) {
7381             const U32 count = mg->mg_len / sizeof(PMOP**);
7382             PMOP **pmp = (PMOP**) mg->mg_ptr;
7383             PMOP *const *const end = pmp + count;
7384
7385             while (pmp < end) {
7386 #ifdef USE_ITHREADS
7387                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
7388 #else
7389                 (*pmp)->op_pmflags &= ~PMf_USED;
7390 #endif
7391                 ++pmp;
7392             }
7393         }
7394         return;
7395     }
7396
7397     /* reset variables */
7398
7399     if (!HvARRAY(stash))
7400         return;
7401
7402     Zero(todo, 256, char);
7403     while (*s) {
7404         I32 max;
7405         I32 i = (unsigned char)*s;
7406         if (s[1] == '-') {
7407             s += 2;
7408         }
7409         max = (unsigned char)*s++;
7410         for ( ; i <= max; i++) {
7411             todo[i] = 1;
7412         }
7413         for (i = 0; i <= (I32) HvMAX(stash); i++) {
7414             HE *entry;
7415             for (entry = HvARRAY(stash)[i];
7416                  entry;
7417                  entry = HeNEXT(entry))
7418             {
7419                 register GV *gv;
7420                 register SV *sv;
7421
7422                 if (!todo[(U8)*HeKEY(entry)])
7423                     continue;
7424                 gv = (GV*)HeVAL(entry);
7425                 sv = GvSV(gv);
7426                 if (sv) {
7427                     if (SvTHINKFIRST(sv)) {
7428                         if (!SvREADONLY(sv) && SvROK(sv))
7429                             sv_unref(sv);
7430                         /* XXX Is this continue a bug? Why should THINKFIRST
7431                            exempt us from resetting arrays and hashes?  */
7432                         continue;
7433                     }
7434                     SvOK_off(sv);
7435                     if (SvTYPE(sv) >= SVt_PV) {
7436                         SvCUR_set(sv, 0);
7437                         if (SvPVX_const(sv) != NULL)
7438                             *SvPVX(sv) = '\0';
7439                         SvTAINT(sv);
7440                     }
7441                 }
7442                 if (GvAV(gv)) {
7443                     av_clear(GvAV(gv));
7444                 }
7445                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
7446 #if defined(VMS)
7447                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
7448 #else /* ! VMS */
7449                     hv_clear(GvHV(gv));
7450 #  if defined(USE_ENVIRON_ARRAY)
7451                     if (gv == PL_envgv)
7452                         my_clearenv();
7453 #  endif /* USE_ENVIRON_ARRAY */
7454 #endif /* VMS */
7455                 }
7456             }
7457         }
7458     }
7459 }
7460
7461 /*
7462 =for apidoc sv_2io
7463
7464 Using various gambits, try to get an IO from an SV: the IO slot if its a
7465 GV; or the recursive result if we're an RV; or the IO slot of the symbol
7466 named after the PV if we're a string.
7467
7468 =cut
7469 */
7470
7471 IO*
7472 Perl_sv_2io(pTHX_ SV *sv)
7473 {
7474     IO* io;
7475     GV* gv;
7476
7477     switch (SvTYPE(sv)) {
7478     case SVt_PVIO:
7479         io = (IO*)sv;
7480         break;
7481     case SVt_PVGV:
7482         gv = (GV*)sv;
7483         io = GvIO(gv);
7484         if (!io)
7485             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
7486         break;
7487     default:
7488         if (!SvOK(sv))
7489             Perl_croak(aTHX_ PL_no_usym, "filehandle");
7490         if (SvROK(sv))
7491             return sv_2io(SvRV(sv));
7492         gv = gv_fetchsv(sv, 0, SVt_PVIO);
7493         if (gv)
7494             io = GvIO(gv);
7495         else
7496             io = 0;
7497         if (!io)
7498             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
7499         break;
7500     }
7501     return io;
7502 }
7503
7504 /*
7505 =for apidoc sv_2cv
7506
7507 Using various gambits, try to get a CV from an SV; in addition, try if
7508 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
7509 The flags in C<lref> are passed to sv_fetchsv.
7510
7511 =cut
7512 */
7513
7514 CV *
7515 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
7516 {
7517     dVAR;
7518     GV *gv = NULL;
7519     CV *cv = NULL;
7520
7521     if (!sv) {
7522         *st = NULL;
7523         *gvp = NULL;
7524         return NULL;
7525     }
7526     switch (SvTYPE(sv)) {
7527     case SVt_PVCV:
7528         *st = CvSTASH(sv);
7529         *gvp = NULL;
7530         return (CV*)sv;
7531     case SVt_PVHV:
7532     case SVt_PVAV:
7533         *st = NULL;
7534         *gvp = NULL;
7535         return NULL;
7536     case SVt_PVGV:
7537         gv = (GV*)sv;
7538         *gvp = gv;
7539         *st = GvESTASH(gv);
7540         goto fix_gv;
7541
7542     default:
7543         SvGETMAGIC(sv);
7544         if (SvROK(sv)) {
7545             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
7546             tryAMAGICunDEREF(to_cv);
7547
7548             sv = SvRV(sv);
7549             if (SvTYPE(sv) == SVt_PVCV) {
7550                 cv = (CV*)sv;
7551                 *gvp = NULL;
7552                 *st = CvSTASH(cv);
7553                 return cv;
7554             }
7555             else if(isGV(sv))
7556                 gv = (GV*)sv;
7557             else
7558                 Perl_croak(aTHX_ "Not a subroutine reference");
7559         }
7560         else if (isGV(sv))
7561             gv = (GV*)sv;
7562         else
7563             gv = gv_fetchsv(sv, lref, SVt_PVCV);
7564         *gvp = gv;
7565         if (!gv) {
7566             *st = NULL;
7567             return NULL;
7568         }
7569         /* Some flags to gv_fetchsv mean don't really create the GV  */
7570         if (SvTYPE(gv) != SVt_PVGV) {
7571             *st = NULL;
7572             return NULL;
7573         }
7574         *st = GvESTASH(gv);
7575     fix_gv:
7576         if (lref && !GvCVu(gv)) {
7577             SV *tmpsv;
7578             ENTER;
7579             tmpsv = newSV(0);
7580             gv_efullname3(tmpsv, gv, NULL);
7581             /* XXX this is probably not what they think they're getting.
7582              * It has the same effect as "sub name;", i.e. just a forward
7583              * declaration! */
7584             newSUB(start_subparse(FALSE, 0),
7585                    newSVOP(OP_CONST, 0, tmpsv),
7586                    NULL, NULL);
7587             LEAVE;
7588             if (!GvCVu(gv))
7589                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
7590                            SVfARG(sv));
7591         }
7592         return GvCVu(gv);
7593     }
7594 }
7595
7596 /*
7597 =for apidoc sv_true
7598
7599 Returns true if the SV has a true value by Perl's rules.
7600 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
7601 instead use an in-line version.
7602
7603 =cut
7604 */
7605
7606 I32
7607 Perl_sv_true(pTHX_ register SV *sv)
7608 {
7609     if (!sv)
7610         return 0;
7611     if (SvPOK(sv)) {
7612         register const XPV* const tXpv = (XPV*)SvANY(sv);
7613         if (tXpv &&
7614                 (tXpv->xpv_cur > 1 ||
7615                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
7616             return 1;
7617         else
7618             return 0;
7619     }
7620     else {
7621         if (SvIOK(sv))
7622             return SvIVX(sv) != 0;
7623         else {
7624             if (SvNOK(sv))
7625                 return SvNVX(sv) != 0.0;
7626             else
7627                 return sv_2bool(sv);
7628         }
7629     }
7630 }
7631
7632 /*
7633 =for apidoc sv_pvn_force
7634
7635 Get a sensible string out of the SV somehow.
7636 A private implementation of the C<SvPV_force> macro for compilers which
7637 can't cope with complex macro expressions. Always use the macro instead.
7638
7639 =for apidoc sv_pvn_force_flags
7640
7641 Get a sensible string out of the SV somehow.
7642 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7643 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7644 implemented in terms of this function.
7645 You normally want to use the various wrapper macros instead: see
7646 C<SvPV_force> and C<SvPV_force_nomg>
7647
7648 =cut
7649 */
7650
7651 char *
7652 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7653 {
7654     dVAR;
7655     if (SvTHINKFIRST(sv) && !SvROK(sv))
7656         sv_force_normal_flags(sv, 0);
7657
7658     if (SvPOK(sv)) {
7659         if (lp)
7660             *lp = SvCUR(sv);
7661     }
7662     else {
7663         char *s;
7664         STRLEN len;
7665  
7666         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7667             const char * const ref = sv_reftype(sv,0);
7668             if (PL_op)
7669                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7670                            ref, OP_NAME(PL_op));
7671             else
7672                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7673         }
7674         if ((SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7675             || isGV_with_GP(sv))
7676             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7677                 OP_NAME(PL_op));
7678         s = sv_2pv_flags(sv, &len, flags);
7679         if (lp)
7680             *lp = len;
7681
7682         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7683             if (SvROK(sv))
7684                 sv_unref(sv);
7685             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7686             SvGROW(sv, len + 1);
7687             Move(s,SvPVX(sv),len,char);
7688             SvCUR_set(sv, len);
7689             SvPVX(sv)[len] = '\0';
7690         }
7691         if (!SvPOK(sv)) {
7692             SvPOK_on(sv);               /* validate pointer */
7693             SvTAINT(sv);
7694             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7695                                   PTR2UV(sv),SvPVX_const(sv)));
7696         }
7697     }
7698     return SvPVX_mutable(sv);
7699 }
7700
7701 /*
7702 =for apidoc sv_pvbyten_force
7703
7704 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7705
7706 =cut
7707 */
7708
7709 char *
7710 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7711 {
7712     sv_pvn_force(sv,lp);
7713     sv_utf8_downgrade(sv,0);
7714     *lp = SvCUR(sv);
7715     return SvPVX(sv);
7716 }
7717
7718 /*
7719 =for apidoc sv_pvutf8n_force
7720
7721 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7722
7723 =cut
7724 */
7725
7726 char *
7727 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7728 {
7729     sv_pvn_force(sv,lp);
7730     sv_utf8_upgrade(sv);
7731     *lp = SvCUR(sv);
7732     return SvPVX(sv);
7733 }
7734
7735 /*
7736 =for apidoc sv_reftype
7737
7738 Returns a string describing what the SV is a reference to.
7739
7740 =cut
7741 */
7742
7743 const char *
7744 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7745 {
7746     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7747        inside return suggests a const propagation bug in g++.  */
7748     if (ob && SvOBJECT(sv)) {
7749         char * const name = HvNAME_get(SvSTASH(sv));
7750         return name ? name : (char *) "__ANON__";
7751     }
7752     else {
7753         switch (SvTYPE(sv)) {
7754         case SVt_NULL:
7755         case SVt_IV:
7756         case SVt_NV:
7757         case SVt_PV:
7758         case SVt_PVIV:
7759         case SVt_PVNV:
7760         case SVt_PVMG:
7761                                 if (SvVOK(sv))
7762                                     return "VSTRING";
7763                                 if (SvROK(sv))
7764                                     return "REF";
7765                                 else
7766                                     return "SCALAR";
7767
7768         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7769                                 /* tied lvalues should appear to be
7770                                  * scalars for backwards compatitbility */
7771                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7772                                     ? "SCALAR" : "LVALUE");
7773         case SVt_PVAV:          return "ARRAY";
7774         case SVt_PVHV:          return "HASH";
7775         case SVt_PVCV:          return "CODE";
7776         case SVt_PVGV:          return "GLOB";
7777         case SVt_PVFM:          return "FORMAT";
7778         case SVt_PVIO:          return "IO";
7779         case SVt_BIND:          return "BIND";
7780         case SVt_REGEXP:        return "Regexp"; /* FIXME? to "REGEXP"  */
7781         default:                return "UNKNOWN";
7782         }
7783     }
7784 }
7785
7786 /*
7787 =for apidoc sv_isobject
7788
7789 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7790 object.  If the SV is not an RV, or if the object is not blessed, then this
7791 will return false.
7792
7793 =cut
7794 */
7795
7796 int
7797 Perl_sv_isobject(pTHX_ SV *sv)
7798 {
7799     if (!sv)
7800         return 0;
7801     SvGETMAGIC(sv);
7802     if (!SvROK(sv))
7803         return 0;
7804     sv = (SV*)SvRV(sv);
7805     if (!SvOBJECT(sv))
7806         return 0;
7807     return 1;
7808 }
7809
7810 /*
7811 =for apidoc sv_isa
7812
7813 Returns a boolean indicating whether the SV is blessed into the specified
7814 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7815 an inheritance relationship.
7816
7817 =cut
7818 */
7819
7820 int
7821 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7822 {
7823     const char *hvname;
7824     if (!sv)
7825         return 0;
7826     SvGETMAGIC(sv);
7827     if (!SvROK(sv))
7828         return 0;
7829     sv = (SV*)SvRV(sv);
7830     if (!SvOBJECT(sv))
7831         return 0;
7832     hvname = HvNAME_get(SvSTASH(sv));
7833     if (!hvname)
7834         return 0;
7835
7836     return strEQ(hvname, name);
7837 }
7838
7839 /*
7840 =for apidoc newSVrv
7841
7842 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7843 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7844 be blessed in the specified package.  The new SV is returned and its
7845 reference count is 1.
7846
7847 =cut
7848 */
7849
7850 SV*
7851 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7852 {
7853     dVAR;
7854     SV *sv;
7855
7856     new_SV(sv);
7857
7858     SV_CHECK_THINKFIRST_COW_DROP(rv);
7859     (void)SvAMAGIC_off(rv);
7860
7861     if (SvTYPE(rv) >= SVt_PVMG) {
7862         const U32 refcnt = SvREFCNT(rv);
7863         SvREFCNT(rv) = 0;
7864         sv_clear(rv);
7865         SvFLAGS(rv) = 0;
7866         SvREFCNT(rv) = refcnt;
7867
7868         sv_upgrade(rv, SVt_IV);
7869     } else if (SvROK(rv)) {
7870         SvREFCNT_dec(SvRV(rv));
7871     } else {
7872         prepare_SV_for_RV(rv);
7873     }
7874
7875     SvOK_off(rv);
7876     SvRV_set(rv, sv);
7877     SvROK_on(rv);
7878
7879     if (classname) {
7880         HV* const stash = gv_stashpv(classname, GV_ADD);
7881         (void)sv_bless(rv, stash);
7882     }
7883     return sv;
7884 }
7885
7886 /*
7887 =for apidoc sv_setref_pv
7888
7889 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7890 argument will be upgraded to an RV.  That RV will be modified to point to
7891 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7892 into the SV.  The C<classname> argument indicates the package for the
7893 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7894 will have a reference count of 1, and the RV will be returned.
7895
7896 Do not use with other Perl types such as HV, AV, SV, CV, because those
7897 objects will become corrupted by the pointer copy process.
7898
7899 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7900
7901 =cut
7902 */
7903
7904 SV*
7905 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7906 {
7907     dVAR;
7908     if (!pv) {
7909         sv_setsv(rv, &PL_sv_undef);
7910         SvSETMAGIC(rv);
7911     }
7912     else
7913         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7914     return rv;
7915 }
7916
7917 /*
7918 =for apidoc sv_setref_iv
7919
7920 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7921 argument will be upgraded to an RV.  That RV will be modified to point to
7922 the new SV.  The C<classname> argument indicates the package for the
7923 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7924 will have a reference count of 1, and the RV will be returned.
7925
7926 =cut
7927 */
7928
7929 SV*
7930 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7931 {
7932     sv_setiv(newSVrv(rv,classname), iv);
7933     return rv;
7934 }
7935
7936 /*
7937 =for apidoc sv_setref_uv
7938
7939 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7940 argument will be upgraded to an RV.  That RV will be modified to point to
7941 the new SV.  The C<classname> argument indicates the package for the
7942 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7943 will have a reference count of 1, and the RV will be returned.
7944
7945 =cut
7946 */
7947
7948 SV*
7949 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7950 {
7951     sv_setuv(newSVrv(rv,classname), uv);
7952     return rv;
7953 }
7954
7955 /*
7956 =for apidoc sv_setref_nv
7957
7958 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7959 argument will be upgraded to an RV.  That RV will be modified to point to
7960 the new SV.  The C<classname> argument indicates the package for the
7961 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7962 will have a reference count of 1, and the RV will be returned.
7963
7964 =cut
7965 */
7966
7967 SV*
7968 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7969 {
7970     sv_setnv(newSVrv(rv,classname), nv);
7971     return rv;
7972 }
7973
7974 /*
7975 =for apidoc sv_setref_pvn
7976
7977 Copies a string into a new SV, optionally blessing the SV.  The length of the
7978 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7979 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7980 argument indicates the package for the blessing.  Set C<classname> to
7981 C<NULL> to avoid the blessing.  The new SV will have a reference count
7982 of 1, and the RV will be returned.
7983
7984 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7985
7986 =cut
7987 */
7988
7989 SV*
7990 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7991 {
7992     sv_setpvn(newSVrv(rv,classname), pv, n);
7993     return rv;
7994 }
7995
7996 /*
7997 =for apidoc sv_bless
7998
7999 Blesses an SV into a specified package.  The SV must be an RV.  The package
8000 must be designated by its stash (see C<gv_stashpv()>).  The reference count
8001 of the SV is unaffected.
8002
8003 =cut
8004 */
8005
8006 SV*
8007 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
8008 {
8009     dVAR;
8010     SV *tmpRef;
8011     if (!SvROK(sv))
8012         Perl_croak(aTHX_ "Can't bless non-reference value");
8013     tmpRef = SvRV(sv);
8014     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
8015         if (SvIsCOW(tmpRef))
8016             sv_force_normal_flags(tmpRef, 0);
8017         if (SvREADONLY(tmpRef))
8018             Perl_croak(aTHX_ PL_no_modify);
8019         if (SvOBJECT(tmpRef)) {
8020             if (SvTYPE(tmpRef) != SVt_PVIO)
8021                 --PL_sv_objcount;
8022             SvREFCNT_dec(SvSTASH(tmpRef));
8023         }
8024     }
8025     SvOBJECT_on(tmpRef);
8026     if (SvTYPE(tmpRef) != SVt_PVIO)
8027         ++PL_sv_objcount;
8028     SvUPGRADE(tmpRef, SVt_PVMG);
8029     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc_simple(stash));
8030
8031     if (Gv_AMG(stash))
8032         SvAMAGIC_on(sv);
8033     else
8034         (void)SvAMAGIC_off(sv);
8035
8036     if(SvSMAGICAL(tmpRef))
8037         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
8038             mg_set(tmpRef);
8039
8040
8041
8042     return sv;
8043 }
8044
8045 /* Downgrades a PVGV to a PVMG.
8046  */
8047
8048 STATIC void
8049 S_sv_unglob(pTHX_ SV *sv)
8050 {
8051     dVAR;
8052     void *xpvmg;
8053     HV *stash;
8054     SV * const temp = sv_newmortal();
8055
8056     assert(SvTYPE(sv) == SVt_PVGV);
8057     SvFAKE_off(sv);
8058     gv_efullname3(temp, (GV *) sv, "*");
8059
8060     if (GvGP(sv)) {
8061         if(GvCVu((GV*)sv) && (stash = GvSTASH((GV*)sv)) && HvNAME_get(stash))
8062             mro_method_changed_in(stash);
8063         gp_free((GV*)sv);
8064     }
8065     if (GvSTASH(sv)) {
8066         sv_del_backref((SV*)GvSTASH(sv), sv);
8067         GvSTASH(sv) = NULL;
8068     }
8069     GvMULTI_off(sv);
8070     if (GvNAME_HEK(sv)) {
8071         unshare_hek(GvNAME_HEK(sv));
8072     }
8073     isGV_with_GP_off(sv);
8074
8075     /* need to keep SvANY(sv) in the right arena */
8076     xpvmg = new_XPVMG();
8077     StructCopy(SvANY(sv), xpvmg, XPVMG);
8078     del_XPVGV(SvANY(sv));
8079     SvANY(sv) = xpvmg;
8080
8081     SvFLAGS(sv) &= ~SVTYPEMASK;
8082     SvFLAGS(sv) |= SVt_PVMG;
8083
8084     /* Intentionally not calling any local SET magic, as this isn't so much a
8085        set operation as merely an internal storage change.  */
8086     sv_setsv_flags(sv, temp, 0);
8087 }
8088
8089 /*
8090 =for apidoc sv_unref_flags
8091
8092 Unsets the RV status of the SV, and decrements the reference count of
8093 whatever was being referenced by the RV.  This can almost be thought of
8094 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8095 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8096 (otherwise the decrementing is conditional on the reference count being
8097 different from one or the reference being a readonly SV).
8098 See C<SvROK_off>.
8099
8100 =cut
8101 */
8102
8103 void
8104 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
8105 {
8106     SV* const target = SvRV(ref);
8107
8108     if (SvWEAKREF(ref)) {
8109         sv_del_backref(target, ref);
8110         SvWEAKREF_off(ref);
8111         SvRV_set(ref, NULL);
8112         return;
8113     }
8114     SvRV_set(ref, NULL);
8115     SvROK_off(ref);
8116     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8117        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8118     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8119         SvREFCNT_dec(target);
8120     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8121         sv_2mortal(target);     /* Schedule for freeing later */
8122 }
8123
8124 /*
8125 =for apidoc sv_untaint
8126
8127 Untaint an SV. Use C<SvTAINTED_off> instead.
8128 =cut
8129 */
8130
8131 void
8132 Perl_sv_untaint(pTHX_ SV *sv)
8133 {
8134     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8135         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8136         if (mg)
8137             mg->mg_len &= ~1;
8138     }
8139 }
8140
8141 /*
8142 =for apidoc sv_tainted
8143
8144 Test an SV for taintedness. Use C<SvTAINTED> instead.
8145 =cut
8146 */
8147
8148 bool
8149 Perl_sv_tainted(pTHX_ SV *sv)
8150 {
8151     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8152         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8153         if (mg && (mg->mg_len & 1) )
8154             return TRUE;
8155     }
8156     return FALSE;
8157 }
8158
8159 /*
8160 =for apidoc sv_setpviv
8161
8162 Copies an integer into the given SV, also updating its string value.
8163 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8164
8165 =cut
8166 */
8167
8168 void
8169 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
8170 {
8171     char buf[TYPE_CHARS(UV)];
8172     char *ebuf;
8173     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8174
8175     sv_setpvn(sv, ptr, ebuf - ptr);
8176 }
8177
8178 /*
8179 =for apidoc sv_setpviv_mg
8180
8181 Like C<sv_setpviv>, but also handles 'set' magic.
8182
8183 =cut
8184 */
8185
8186 void
8187 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
8188 {
8189     sv_setpviv(sv, iv);
8190     SvSETMAGIC(sv);
8191 }
8192
8193 #if defined(PERL_IMPLICIT_CONTEXT)
8194
8195 /* pTHX_ magic can't cope with varargs, so this is a no-context
8196  * version of the main function, (which may itself be aliased to us).
8197  * Don't access this version directly.
8198  */
8199
8200 void
8201 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
8202 {
8203     dTHX;
8204     va_list args;
8205     va_start(args, pat);
8206     sv_vsetpvf(sv, pat, &args);
8207     va_end(args);
8208 }
8209
8210 /* pTHX_ magic can't cope with varargs, so this is a no-context
8211  * version of the main function, (which may itself be aliased to us).
8212  * Don't access this version directly.
8213  */
8214
8215 void
8216 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
8217 {
8218     dTHX;
8219     va_list args;
8220     va_start(args, pat);
8221     sv_vsetpvf_mg(sv, pat, &args);
8222     va_end(args);
8223 }
8224 #endif
8225
8226 /*
8227 =for apidoc sv_setpvf
8228
8229 Works like C<sv_catpvf> but copies the text into the SV instead of
8230 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8231
8232 =cut
8233 */
8234
8235 void
8236 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
8237 {
8238     va_list args;
8239     va_start(args, pat);
8240     sv_vsetpvf(sv, pat, &args);
8241     va_end(args);
8242 }
8243
8244 /*
8245 =for apidoc sv_vsetpvf
8246
8247 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8248 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8249
8250 Usually used via its frontend C<sv_setpvf>.
8251
8252 =cut
8253 */
8254
8255 void
8256 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8257 {
8258     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8259 }
8260
8261 /*
8262 =for apidoc sv_setpvf_mg
8263
8264 Like C<sv_setpvf>, but also handles 'set' magic.
8265
8266 =cut
8267 */
8268
8269 void
8270 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8271 {
8272     va_list args;
8273     va_start(args, pat);
8274     sv_vsetpvf_mg(sv, pat, &args);
8275     va_end(args);
8276 }
8277
8278 /*
8279 =for apidoc sv_vsetpvf_mg
8280
8281 Like C<sv_vsetpvf>, but also handles 'set' magic.
8282
8283 Usually used via its frontend C<sv_setpvf_mg>.
8284
8285 =cut
8286 */
8287
8288 void
8289 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8290 {
8291     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8292     SvSETMAGIC(sv);
8293 }
8294
8295 #if defined(PERL_IMPLICIT_CONTEXT)
8296
8297 /* pTHX_ magic can't cope with varargs, so this is a no-context
8298  * version of the main function, (which may itself be aliased to us).
8299  * Don't access this version directly.
8300  */
8301
8302 void
8303 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
8304 {
8305     dTHX;
8306     va_list args;
8307     va_start(args, pat);
8308     sv_vcatpvf(sv, pat, &args);
8309     va_end(args);
8310 }
8311
8312 /* pTHX_ magic can't cope with varargs, so this is a no-context
8313  * version of the main function, (which may itself be aliased to us).
8314  * Don't access this version directly.
8315  */
8316
8317 void
8318 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
8319 {
8320     dTHX;
8321     va_list args;
8322     va_start(args, pat);
8323     sv_vcatpvf_mg(sv, pat, &args);
8324     va_end(args);
8325 }
8326 #endif
8327
8328 /*
8329 =for apidoc sv_catpvf
8330
8331 Processes its arguments like C<sprintf> and appends the formatted
8332 output to an SV.  If the appended data contains "wide" characters
8333 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
8334 and characters >255 formatted with %c), the original SV might get
8335 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
8336 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
8337 valid UTF-8; if the original SV was bytes, the pattern should be too.
8338
8339 =cut */
8340
8341 void
8342 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
8343 {
8344     va_list args;
8345     va_start(args, pat);
8346     sv_vcatpvf(sv, pat, &args);
8347     va_end(args);
8348 }
8349
8350 /*
8351 =for apidoc sv_vcatpvf
8352
8353 Processes its arguments like C<vsprintf> and appends the formatted output
8354 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
8355
8356 Usually used via its frontend C<sv_catpvf>.
8357
8358 =cut
8359 */
8360
8361 void
8362 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8363 {
8364     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8365 }
8366
8367 /*
8368 =for apidoc sv_catpvf_mg
8369
8370 Like C<sv_catpvf>, but also handles 'set' magic.
8371
8372 =cut
8373 */
8374
8375 void
8376 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8377 {
8378     va_list args;
8379     va_start(args, pat);
8380     sv_vcatpvf_mg(sv, pat, &args);
8381     va_end(args);
8382 }
8383
8384 /*
8385 =for apidoc sv_vcatpvf_mg
8386
8387 Like C<sv_vcatpvf>, but also handles 'set' magic.
8388
8389 Usually used via its frontend C<sv_catpvf_mg>.
8390
8391 =cut
8392 */
8393
8394 void
8395 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8396 {
8397     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8398     SvSETMAGIC(sv);
8399 }
8400
8401 /*
8402 =for apidoc sv_vsetpvfn
8403
8404 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
8405 appending it.
8406
8407 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
8408
8409 =cut
8410 */
8411
8412 void
8413 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8414 {
8415     sv_setpvn(sv, "", 0);
8416     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
8417 }
8418
8419 STATIC I32
8420 S_expect_number(pTHX_ char** pattern)
8421 {
8422     dVAR;
8423     I32 var = 0;
8424     switch (**pattern) {
8425     case '1': case '2': case '3':
8426     case '4': case '5': case '6':
8427     case '7': case '8': case '9':
8428         var = *(*pattern)++ - '0';
8429         while (isDIGIT(**pattern)) {
8430             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
8431             if (tmp < var)
8432                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
8433             var = tmp;
8434         }
8435     }
8436     return var;
8437 }
8438
8439 STATIC char *
8440 S_F0convert(NV nv, char *endbuf, STRLEN *len)
8441 {
8442     const int neg = nv < 0;
8443     UV uv;
8444
8445     if (neg)
8446         nv = -nv;
8447     if (nv < UV_MAX) {
8448         char *p = endbuf;
8449         nv += 0.5;
8450         uv = (UV)nv;
8451         if (uv & 1 && uv == nv)
8452             uv--;                       /* Round to even */
8453         do {
8454             const unsigned dig = uv % 10;
8455             *--p = '0' + dig;
8456         } while (uv /= 10);
8457         if (neg)
8458             *--p = '-';
8459         *len = endbuf - p;
8460         return p;
8461     }
8462     return NULL;
8463 }
8464
8465
8466 /*
8467 =for apidoc sv_vcatpvfn
8468
8469 Processes its arguments like C<vsprintf> and appends the formatted output
8470 to an SV.  Uses an array of SVs if the C style variable argument list is
8471 missing (NULL).  When running with taint checks enabled, indicates via
8472 C<maybe_tainted> if results are untrustworthy (often due to the use of
8473 locales).
8474
8475 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
8476
8477 =cut
8478 */
8479
8480
8481 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
8482                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
8483                         vec_utf8 = DO_UTF8(vecsv);
8484
8485 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
8486
8487 void
8488 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8489 {
8490     dVAR;
8491     char *p;
8492     char *q;
8493     const char *patend;
8494     STRLEN origlen;
8495     I32 svix = 0;
8496     static const char nullstr[] = "(null)";
8497     SV *argsv = NULL;
8498     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
8499     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
8500     SV *nsv = NULL;
8501     /* Times 4: a decimal digit takes more than 3 binary digits.
8502      * NV_DIG: mantissa takes than many decimal digits.
8503      * Plus 32: Playing safe. */
8504     char ebuf[IV_DIG * 4 + NV_DIG + 32];
8505     /* large enough for "%#.#f" --chip */
8506     /* what about long double NVs? --jhi */
8507
8508     PERL_UNUSED_ARG(maybe_tainted);
8509
8510     /* no matter what, this is a string now */
8511     (void)SvPV_force(sv, origlen);
8512
8513     /* special-case "", "%s", and "%-p" (SVf - see below) */
8514     if (patlen == 0)
8515         return;
8516     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
8517         if (args) {
8518             const char * const s = va_arg(*args, char*);
8519             sv_catpv(sv, s ? s : nullstr);
8520         }
8521         else if (svix < svmax) {
8522             sv_catsv(sv, *svargs);
8523         }
8524         return;
8525     }
8526     if (args && patlen == 3 && pat[0] == '%' &&
8527                 pat[1] == '-' && pat[2] == 'p') {
8528         argsv = (SV*)va_arg(*args, void*);
8529         sv_catsv(sv, argsv);
8530         return;
8531     }
8532
8533 #ifndef USE_LONG_DOUBLE
8534     /* special-case "%.<number>[gf]" */
8535     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
8536          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
8537         unsigned digits = 0;
8538         const char *pp;
8539
8540         pp = pat + 2;
8541         while (*pp >= '0' && *pp <= '9')
8542             digits = 10 * digits + (*pp++ - '0');
8543         if (pp - pat == (int)patlen - 1) {
8544             NV nv;
8545
8546             if (svix < svmax)
8547                 nv = SvNV(*svargs);
8548             else
8549                 return;
8550             if (*pp == 'g') {
8551                 /* Add check for digits != 0 because it seems that some
8552                    gconverts are buggy in this case, and we don't yet have
8553                    a Configure test for this.  */
8554                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
8555                      /* 0, point, slack */
8556                     Gconvert(nv, (int)digits, 0, ebuf);
8557                     sv_catpv(sv, ebuf);
8558                     if (*ebuf)  /* May return an empty string for digits==0 */
8559                         return;
8560                 }
8561             } else if (!digits) {
8562                 STRLEN l;
8563
8564                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
8565                     sv_catpvn(sv, p, l);
8566                     return;
8567                 }
8568             }
8569         }
8570     }
8571 #endif /* !USE_LONG_DOUBLE */
8572
8573     if (!args && svix < svmax && DO_UTF8(*svargs))
8574         has_utf8 = TRUE;
8575
8576     patend = (char*)pat + patlen;
8577     for (p = (char*)pat; p < patend; p = q) {
8578         bool alt = FALSE;
8579         bool left = FALSE;
8580         bool vectorize = FALSE;
8581         bool vectorarg = FALSE;
8582         bool vec_utf8 = FALSE;
8583         char fill = ' ';
8584         char plus = 0;
8585         char intsize = 0;
8586         STRLEN width = 0;
8587         STRLEN zeros = 0;
8588         bool has_precis = FALSE;
8589         STRLEN precis = 0;
8590         const I32 osvix = svix;
8591         bool is_utf8 = FALSE;  /* is this item utf8?   */
8592 #ifdef HAS_LDBL_SPRINTF_BUG
8593         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8594            with sfio - Allen <allens@cpan.org> */
8595         bool fix_ldbl_sprintf_bug = FALSE;
8596 #endif
8597
8598         char esignbuf[4];
8599         U8 utf8buf[UTF8_MAXBYTES+1];
8600         STRLEN esignlen = 0;
8601
8602         const char *eptr = NULL;
8603         STRLEN elen = 0;
8604         SV *vecsv = NULL;
8605         const U8 *vecstr = NULL;
8606         STRLEN veclen = 0;
8607         char c = 0;
8608         int i;
8609         unsigned base = 0;
8610         IV iv = 0;
8611         UV uv = 0;
8612         /* we need a long double target in case HAS_LONG_DOUBLE but
8613            not USE_LONG_DOUBLE
8614         */
8615 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
8616         long double nv;
8617 #else
8618         NV nv;
8619 #endif
8620         STRLEN have;
8621         STRLEN need;
8622         STRLEN gap;
8623         const char *dotstr = ".";
8624         STRLEN dotstrlen = 1;
8625         I32 efix = 0; /* explicit format parameter index */
8626         I32 ewix = 0; /* explicit width index */
8627         I32 epix = 0; /* explicit precision index */
8628         I32 evix = 0; /* explicit vector index */
8629         bool asterisk = FALSE;
8630
8631         /* echo everything up to the next format specification */
8632         for (q = p; q < patend && *q != '%'; ++q) ;
8633         if (q > p) {
8634             if (has_utf8 && !pat_utf8)
8635                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
8636             else
8637                 sv_catpvn(sv, p, q - p);
8638             p = q;
8639         }
8640         if (q++ >= patend)
8641             break;
8642
8643 /*
8644     We allow format specification elements in this order:
8645         \d+\$              explicit format parameter index
8646         [-+ 0#]+           flags
8647         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8648         0                  flag (as above): repeated to allow "v02"     
8649         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8650         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8651         [hlqLV]            size
8652     [%bcdefginopsuxDFOUX] format (mandatory)
8653 */
8654
8655         if (args) {
8656 /*  
8657         As of perl5.9.3, printf format checking is on by default.
8658         Internally, perl uses %p formats to provide an escape to
8659         some extended formatting.  This block deals with those
8660         extensions: if it does not match, (char*)q is reset and
8661         the normal format processing code is used.
8662
8663         Currently defined extensions are:
8664                 %p              include pointer address (standard)      
8665                 %-p     (SVf)   include an SV (previously %_)
8666                 %-<num>p        include an SV with precision <num>      
8667                 %<num>p         reserved for future extensions
8668
8669         Robin Barker 2005-07-14
8670
8671                 %1p     (VDf)   removed.  RMB 2007-10-19
8672 */
8673             char* r = q; 
8674             bool sv = FALSE;    
8675             STRLEN n = 0;
8676             if (*q == '-')
8677                 sv = *q++;
8678             n = expect_number(&q);
8679             if (*q++ == 'p') {
8680                 if (sv) {                       /* SVf */
8681                     if (n) {
8682                         precis = n;
8683                         has_precis = TRUE;
8684                     }
8685                     argsv = (SV*)va_arg(*args, void*);
8686                     eptr = SvPV_const(argsv, elen);
8687                     if (DO_UTF8(argsv))
8688                         is_utf8 = TRUE;
8689                     goto string;
8690                 }
8691                 else if (n) {
8692                     if (ckWARN_d(WARN_INTERNAL))
8693                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8694                         "internal %%<num>p might conflict with future printf extensions");
8695                 }
8696             }
8697             q = r; 
8698         }
8699
8700         if ( (width = expect_number(&q)) ) {
8701             if (*q == '$') {
8702                 ++q;
8703                 efix = width;
8704             } else {
8705                 goto gotwidth;
8706             }
8707         }
8708
8709         /* FLAGS */
8710
8711         while (*q) {
8712             switch (*q) {
8713             case ' ':
8714             case '+':
8715                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
8716                     q++;
8717                 else
8718                     plus = *q++;
8719                 continue;
8720
8721             case '-':
8722                 left = TRUE;
8723                 q++;
8724                 continue;
8725
8726             case '0':
8727                 fill = *q++;
8728                 continue;
8729
8730             case '#':
8731                 alt = TRUE;
8732                 q++;
8733                 continue;
8734
8735             default:
8736                 break;
8737             }
8738             break;
8739         }
8740
8741       tryasterisk:
8742         if (*q == '*') {
8743             q++;
8744             if ( (ewix = expect_number(&q)) )
8745                 if (*q++ != '$')
8746                     goto unknown;
8747             asterisk = TRUE;
8748         }
8749         if (*q == 'v') {
8750             q++;
8751             if (vectorize)
8752                 goto unknown;
8753             if ((vectorarg = asterisk)) {
8754                 evix = ewix;
8755                 ewix = 0;
8756                 asterisk = FALSE;
8757             }
8758             vectorize = TRUE;
8759             goto tryasterisk;
8760         }
8761
8762         if (!asterisk)
8763         {
8764             if( *q == '0' )
8765                 fill = *q++;
8766             width = expect_number(&q);
8767         }
8768
8769         if (vectorize) {
8770             if (vectorarg) {
8771                 if (args)
8772                     vecsv = va_arg(*args, SV*);
8773                 else if (evix) {
8774                     vecsv = (evix > 0 && evix <= svmax)
8775                         ? svargs[evix-1] : &PL_sv_undef;
8776                 } else {
8777                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
8778                 }
8779                 dotstr = SvPV_const(vecsv, dotstrlen);
8780                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
8781                    bad with tied or overloaded values that return UTF8.  */
8782                 if (DO_UTF8(vecsv))
8783                     is_utf8 = TRUE;
8784                 else if (has_utf8) {
8785                     vecsv = sv_mortalcopy(vecsv);
8786                     sv_utf8_upgrade(vecsv);
8787                     dotstr = SvPV_const(vecsv, dotstrlen);
8788                     is_utf8 = TRUE;
8789                 }                   
8790             }
8791             if (args) {
8792                 VECTORIZE_ARGS
8793             }
8794             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
8795                 vecsv = svargs[efix ? efix-1 : svix++];
8796                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8797                 vec_utf8 = DO_UTF8(vecsv);
8798
8799                 /* if this is a version object, we need to convert
8800                  * back into v-string notation and then let the
8801                  * vectorize happen normally
8802                  */
8803                 if (sv_derived_from(vecsv, "version")) {
8804                     char *version = savesvpv(vecsv);
8805                     if ( hv_exists((HV*)SvRV(vecsv), "alpha", 5 ) ) {
8806                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8807                         "vector argument not supported with alpha versions");
8808                         goto unknown;
8809                     }
8810                     vecsv = sv_newmortal();
8811                     scan_vstring(version, version + veclen, vecsv);
8812                     vecstr = (U8*)SvPV_const(vecsv, veclen);
8813                     vec_utf8 = DO_UTF8(vecsv);
8814                     Safefree(version);
8815                 }
8816             }
8817             else {
8818                 vecstr = (U8*)"";
8819                 veclen = 0;
8820             }
8821         }
8822
8823         if (asterisk) {
8824             if (args)
8825                 i = va_arg(*args, int);
8826             else
8827                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8828                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8829             left |= (i < 0);
8830             width = (i < 0) ? -i : i;
8831         }
8832       gotwidth:
8833
8834         /* PRECISION */
8835
8836         if (*q == '.') {
8837             q++;
8838             if (*q == '*') {
8839                 q++;
8840                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
8841                     goto unknown;
8842                 /* XXX: todo, support specified precision parameter */
8843                 if (epix)
8844                     goto unknown;
8845                 if (args)
8846                     i = va_arg(*args, int);
8847                 else
8848                     i = (ewix ? ewix <= svmax : svix < svmax)
8849                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8850                 precis = i;
8851                 has_precis = !(i < 0);
8852             }
8853             else {
8854                 precis = 0;
8855                 while (isDIGIT(*q))
8856                     precis = precis * 10 + (*q++ - '0');
8857                 has_precis = TRUE;
8858             }
8859         }
8860
8861         /* SIZE */
8862
8863         switch (*q) {
8864 #ifdef WIN32
8865         case 'I':                       /* Ix, I32x, and I64x */
8866 #  ifdef WIN64
8867             if (q[1] == '6' && q[2] == '4') {
8868                 q += 3;
8869                 intsize = 'q';
8870                 break;
8871             }
8872 #  endif
8873             if (q[1] == '3' && q[2] == '2') {
8874                 q += 3;
8875                 break;
8876             }
8877 #  ifdef WIN64
8878             intsize = 'q';
8879 #  endif
8880             q++;
8881             break;
8882 #endif
8883 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8884         case 'L':                       /* Ld */
8885             /*FALLTHROUGH*/
8886 #ifdef HAS_QUAD
8887         case 'q':                       /* qd */
8888 #endif
8889             intsize = 'q';
8890             q++;
8891             break;
8892 #endif
8893         case 'l':
8894 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8895             if (*(q + 1) == 'l') {      /* lld, llf */
8896                 intsize = 'q';
8897                 q += 2;
8898                 break;
8899              }
8900 #endif
8901             /*FALLTHROUGH*/
8902         case 'h':
8903             /*FALLTHROUGH*/
8904         case 'V':
8905             intsize = *q++;
8906             break;
8907         }
8908
8909         /* CONVERSION */
8910
8911         if (*q == '%') {
8912             eptr = q++;
8913             elen = 1;
8914             if (vectorize) {
8915                 c = '%';
8916                 goto unknown;
8917             }
8918             goto string;
8919         }
8920
8921         if (!vectorize && !args) {
8922             if (efix) {
8923                 const I32 i = efix-1;
8924                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8925             } else {
8926                 argsv = (svix >= 0 && svix < svmax)
8927                     ? svargs[svix++] : &PL_sv_undef;
8928             }
8929         }
8930
8931         switch (c = *q++) {
8932
8933             /* STRINGS */
8934
8935         case 'c':
8936             if (vectorize)
8937                 goto unknown;
8938             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
8939             if ((uv > 255 ||
8940                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8941                 && !IN_BYTES) {
8942                 eptr = (char*)utf8buf;
8943                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8944                 is_utf8 = TRUE;
8945             }
8946             else {
8947                 c = (char)uv;
8948                 eptr = &c;
8949                 elen = 1;
8950             }
8951             goto string;
8952
8953         case 's':
8954             if (vectorize)
8955                 goto unknown;
8956             if (args) {
8957                 eptr = va_arg(*args, char*);
8958                 if (eptr)
8959 #ifdef MACOS_TRADITIONAL
8960                   /* On MacOS, %#s format is used for Pascal strings */
8961                   if (alt)
8962                     elen = *eptr++;
8963                   else
8964 #endif
8965                     elen = strlen(eptr);
8966                 else {
8967                     eptr = (char *)nullstr;
8968                     elen = sizeof nullstr - 1;
8969                 }
8970             }
8971             else {
8972                 eptr = SvPV_const(argsv, elen);
8973                 if (DO_UTF8(argsv)) {
8974                     I32 old_precis = precis;
8975                     if (has_precis && precis < elen) {
8976                         I32 p = precis;
8977                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8978                         precis = p;
8979                     }
8980                     if (width) { /* fudge width (can't fudge elen) */
8981                         if (has_precis && precis < elen)
8982                             width += precis - old_precis;
8983                         else
8984                             width += elen - sv_len_utf8(argsv);
8985                     }
8986                     is_utf8 = TRUE;
8987                 }
8988             }
8989
8990         string:
8991             if (has_precis && elen > precis)
8992                 elen = precis;
8993             break;
8994
8995             /* INTEGERS */
8996
8997         case 'p':
8998             if (alt || vectorize)
8999                 goto unknown;
9000             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
9001             base = 16;
9002             goto integer;
9003
9004         case 'D':
9005 #ifdef IV_IS_QUAD
9006             intsize = 'q';
9007 #else
9008             intsize = 'l';
9009 #endif
9010             /*FALLTHROUGH*/
9011         case 'd':
9012         case 'i':
9013 #if vdNUMBER
9014         format_vd:
9015 #endif
9016             if (vectorize) {
9017                 STRLEN ulen;
9018                 if (!veclen)
9019                     continue;
9020                 if (vec_utf8)
9021                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9022                                         UTF8_ALLOW_ANYUV);
9023                 else {
9024                     uv = *vecstr;
9025                     ulen = 1;
9026                 }
9027                 vecstr += ulen;
9028                 veclen -= ulen;
9029                 if (plus)
9030                      esignbuf[esignlen++] = plus;
9031             }
9032             else if (args) {
9033                 switch (intsize) {
9034                 case 'h':       iv = (short)va_arg(*args, int); break;
9035                 case 'l':       iv = va_arg(*args, long); break;
9036                 case 'V':       iv = va_arg(*args, IV); break;
9037                 default:        iv = va_arg(*args, int); break;
9038 #ifdef HAS_QUAD
9039                 case 'q':       iv = va_arg(*args, Quad_t); break;
9040 #endif
9041                 }
9042             }
9043             else {
9044                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
9045                 switch (intsize) {
9046                 case 'h':       iv = (short)tiv; break;
9047                 case 'l':       iv = (long)tiv; break;
9048                 case 'V':
9049                 default:        iv = tiv; break;
9050 #ifdef HAS_QUAD
9051                 case 'q':       iv = (Quad_t)tiv; break;
9052 #endif
9053                 }
9054             }
9055             if ( !vectorize )   /* we already set uv above */
9056             {
9057                 if (iv >= 0) {
9058                     uv = iv;
9059                     if (plus)
9060                         esignbuf[esignlen++] = plus;
9061                 }
9062                 else {
9063                     uv = -iv;
9064                     esignbuf[esignlen++] = '-';
9065                 }
9066             }
9067             base = 10;
9068             goto integer;
9069
9070         case 'U':
9071 #ifdef IV_IS_QUAD
9072             intsize = 'q';
9073 #else
9074             intsize = 'l';
9075 #endif
9076             /*FALLTHROUGH*/
9077         case 'u':
9078             base = 10;
9079             goto uns_integer;
9080
9081         case 'B':
9082         case 'b':
9083             base = 2;
9084             goto uns_integer;
9085
9086         case 'O':
9087 #ifdef IV_IS_QUAD
9088             intsize = 'q';
9089 #else
9090             intsize = 'l';
9091 #endif
9092             /*FALLTHROUGH*/
9093         case 'o':
9094             base = 8;
9095             goto uns_integer;
9096
9097         case 'X':
9098         case 'x':
9099             base = 16;
9100
9101         uns_integer:
9102             if (vectorize) {
9103                 STRLEN ulen;
9104         vector:
9105                 if (!veclen)
9106                     continue;
9107                 if (vec_utf8)
9108                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9109                                         UTF8_ALLOW_ANYUV);
9110                 else {
9111                     uv = *vecstr;
9112                     ulen = 1;
9113                 }
9114                 vecstr += ulen;
9115                 veclen -= ulen;
9116             }
9117             else if (args) {
9118                 switch (intsize) {
9119                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9120                 case 'l':  uv = va_arg(*args, unsigned long); break;
9121                 case 'V':  uv = va_arg(*args, UV); break;
9122                 default:   uv = va_arg(*args, unsigned); break;
9123 #ifdef HAS_QUAD
9124                 case 'q':  uv = va_arg(*args, Uquad_t); break;
9125 #endif
9126                 }
9127             }
9128             else {
9129                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9130                 switch (intsize) {
9131                 case 'h':       uv = (unsigned short)tuv; break;
9132                 case 'l':       uv = (unsigned long)tuv; break;
9133                 case 'V':
9134                 default:        uv = tuv; break;
9135 #ifdef HAS_QUAD
9136                 case 'q':       uv = (Uquad_t)tuv; break;
9137 #endif
9138                 }
9139             }
9140
9141         integer:
9142             {
9143                 char *ptr = ebuf + sizeof ebuf;
9144                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9145                 zeros = 0;
9146
9147                 switch (base) {
9148                     unsigned dig;
9149                 case 16:
9150                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9151                     do {
9152                         dig = uv & 15;
9153                         *--ptr = p[dig];
9154                     } while (uv >>= 4);
9155                     if (tempalt) {
9156                         esignbuf[esignlen++] = '0';
9157                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9158                     }
9159                     break;
9160                 case 8:
9161                     do {
9162                         dig = uv & 7;
9163                         *--ptr = '0' + dig;
9164                     } while (uv >>= 3);
9165                     if (alt && *ptr != '0')
9166                         *--ptr = '0';
9167                     break;
9168                 case 2:
9169                     do {
9170                         dig = uv & 1;
9171                         *--ptr = '0' + dig;
9172                     } while (uv >>= 1);
9173                     if (tempalt) {
9174                         esignbuf[esignlen++] = '0';
9175                         esignbuf[esignlen++] = c;
9176                     }
9177                     break;
9178                 default:                /* it had better be ten or less */
9179                     do {
9180                         dig = uv % base;
9181                         *--ptr = '0' + dig;
9182                     } while (uv /= base);
9183                     break;
9184                 }
9185                 elen = (ebuf + sizeof ebuf) - ptr;
9186                 eptr = ptr;
9187                 if (has_precis) {
9188                     if (precis > elen)
9189                         zeros = precis - elen;
9190                     else if (precis == 0 && elen == 1 && *eptr == '0'
9191                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9192                         elen = 0;
9193
9194                 /* a precision nullifies the 0 flag. */
9195                     if (fill == '0')
9196                         fill = ' ';
9197                 }
9198             }
9199             break;
9200
9201             /* FLOATING POINT */
9202
9203         case 'F':
9204             c = 'f';            /* maybe %F isn't supported here */
9205             /*FALLTHROUGH*/
9206         case 'e': case 'E':
9207         case 'f':
9208         case 'g': case 'G':
9209             if (vectorize)
9210                 goto unknown;
9211
9212             /* This is evil, but floating point is even more evil */
9213
9214             /* for SV-style calling, we can only get NV
9215                for C-style calling, we assume %f is double;
9216                for simplicity we allow any of %Lf, %llf, %qf for long double
9217             */
9218             switch (intsize) {
9219             case 'V':
9220 #if defined(USE_LONG_DOUBLE)
9221                 intsize = 'q';
9222 #endif
9223                 break;
9224 /* [perl #20339] - we should accept and ignore %lf rather than die */
9225             case 'l':
9226                 /*FALLTHROUGH*/
9227             default:
9228 #if defined(USE_LONG_DOUBLE)
9229                 intsize = args ? 0 : 'q';
9230 #endif
9231                 break;
9232             case 'q':
9233 #if defined(HAS_LONG_DOUBLE)
9234                 break;
9235 #else
9236                 /*FALLTHROUGH*/
9237 #endif
9238             case 'h':
9239                 goto unknown;
9240             }
9241
9242             /* now we need (long double) if intsize == 'q', else (double) */
9243             nv = (args) ?
9244 #if LONG_DOUBLESIZE > DOUBLESIZE
9245                 intsize == 'q' ?
9246                     va_arg(*args, long double) :
9247                     va_arg(*args, double)
9248 #else
9249                     va_arg(*args, double)
9250 #endif
9251                 : SvNV(argsv);
9252
9253             need = 0;
9254             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
9255                else. frexp() has some unspecified behaviour for those three */
9256             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
9257                 i = PERL_INT_MIN;
9258                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
9259                    will cast our (long double) to (double) */
9260                 (void)Perl_frexp(nv, &i);
9261                 if (i == PERL_INT_MIN)
9262                     Perl_die(aTHX_ "panic: frexp");
9263                 if (i > 0)
9264                     need = BIT_DIGITS(i);
9265             }
9266             need += has_precis ? precis : 6; /* known default */
9267
9268             if (need < width)
9269                 need = width;
9270
9271 #ifdef HAS_LDBL_SPRINTF_BUG
9272             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9273                with sfio - Allen <allens@cpan.org> */
9274
9275 #  ifdef DBL_MAX
9276 #    define MY_DBL_MAX DBL_MAX
9277 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
9278 #    if DOUBLESIZE >= 8
9279 #      define MY_DBL_MAX 1.7976931348623157E+308L
9280 #    else
9281 #      define MY_DBL_MAX 3.40282347E+38L
9282 #    endif
9283 #  endif
9284
9285 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
9286 #    define MY_DBL_MAX_BUG 1L
9287 #  else
9288 #    define MY_DBL_MAX_BUG MY_DBL_MAX
9289 #  endif
9290
9291 #  ifdef DBL_MIN
9292 #    define MY_DBL_MIN DBL_MIN
9293 #  else  /* XXX guessing! -Allen */
9294 #    if DOUBLESIZE >= 8
9295 #      define MY_DBL_MIN 2.2250738585072014E-308L
9296 #    else
9297 #      define MY_DBL_MIN 1.17549435E-38L
9298 #    endif
9299 #  endif
9300
9301             if ((intsize == 'q') && (c == 'f') &&
9302                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
9303                 (need < DBL_DIG)) {
9304                 /* it's going to be short enough that
9305                  * long double precision is not needed */
9306
9307                 if ((nv <= 0L) && (nv >= -0L))
9308                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
9309                 else {
9310                     /* would use Perl_fp_class as a double-check but not
9311                      * functional on IRIX - see perl.h comments */
9312
9313                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
9314                         /* It's within the range that a double can represent */
9315 #if defined(DBL_MAX) && !defined(DBL_MIN)
9316                         if ((nv >= ((long double)1/DBL_MAX)) ||
9317                             (nv <= (-(long double)1/DBL_MAX)))
9318 #endif
9319                         fix_ldbl_sprintf_bug = TRUE;
9320                     }
9321                 }
9322                 if (fix_ldbl_sprintf_bug == TRUE) {
9323                     double temp;
9324
9325                     intsize = 0;
9326                     temp = (double)nv;
9327                     nv = (NV)temp;
9328                 }
9329             }
9330
9331 #  undef MY_DBL_MAX
9332 #  undef MY_DBL_MAX_BUG
9333 #  undef MY_DBL_MIN
9334
9335 #endif /* HAS_LDBL_SPRINTF_BUG */
9336
9337             need += 20; /* fudge factor */
9338             if (PL_efloatsize < need) {
9339                 Safefree(PL_efloatbuf);
9340                 PL_efloatsize = need + 20; /* more fudge */
9341                 Newx(PL_efloatbuf, PL_efloatsize, char);
9342                 PL_efloatbuf[0] = '\0';
9343             }
9344
9345             if ( !(width || left || plus || alt) && fill != '0'
9346                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
9347                 /* See earlier comment about buggy Gconvert when digits,
9348                    aka precis is 0  */
9349                 if ( c == 'g' && precis) {
9350                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
9351                     /* May return an empty string for digits==0 */
9352                     if (*PL_efloatbuf) {
9353                         elen = strlen(PL_efloatbuf);
9354                         goto float_converted;
9355                     }
9356                 } else if ( c == 'f' && !precis) {
9357                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
9358                         break;
9359                 }
9360             }
9361             {
9362                 char *ptr = ebuf + sizeof ebuf;
9363                 *--ptr = '\0';
9364                 *--ptr = c;
9365                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
9366 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
9367                 if (intsize == 'q') {
9368                     /* Copy the one or more characters in a long double
9369                      * format before the 'base' ([efgEFG]) character to
9370                      * the format string. */
9371                     static char const prifldbl[] = PERL_PRIfldbl;
9372                     char const *p = prifldbl + sizeof(prifldbl) - 3;
9373                     while (p >= prifldbl) { *--ptr = *p--; }
9374                 }
9375 #endif
9376                 if (has_precis) {
9377                     base = precis;
9378                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9379                     *--ptr = '.';
9380                 }
9381                 if (width) {
9382                     base = width;
9383                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9384                 }
9385                 if (fill == '0')
9386                     *--ptr = fill;
9387                 if (left)
9388                     *--ptr = '-';
9389                 if (plus)
9390                     *--ptr = plus;
9391                 if (alt)
9392                     *--ptr = '#';
9393                 *--ptr = '%';
9394
9395                 /* No taint.  Otherwise we are in the strange situation
9396                  * where printf() taints but print($float) doesn't.
9397                  * --jhi */
9398 #if defined(HAS_LONG_DOUBLE)
9399                 elen = ((intsize == 'q')
9400                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
9401                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
9402 #else
9403                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
9404 #endif
9405             }
9406         float_converted:
9407             eptr = PL_efloatbuf;
9408             break;
9409
9410             /* SPECIAL */
9411
9412         case 'n':
9413             if (vectorize)
9414                 goto unknown;
9415             i = SvCUR(sv) - origlen;
9416             if (args) {
9417                 switch (intsize) {
9418                 case 'h':       *(va_arg(*args, short*)) = i; break;
9419                 default:        *(va_arg(*args, int*)) = i; break;
9420                 case 'l':       *(va_arg(*args, long*)) = i; break;
9421                 case 'V':       *(va_arg(*args, IV*)) = i; break;
9422 #ifdef HAS_QUAD
9423                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
9424 #endif
9425                 }
9426             }
9427             else
9428                 sv_setuv_mg(argsv, (UV)i);
9429             continue;   /* not "break" */
9430
9431             /* UNKNOWN */
9432
9433         default:
9434       unknown:
9435             if (!args
9436                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
9437                 && ckWARN(WARN_PRINTF))
9438             {
9439                 SV * const msg = sv_newmortal();
9440                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
9441                           (PL_op->op_type == OP_PRTF) ? "" : "s");
9442                 if (c) {
9443                     if (isPRINT(c))
9444                         Perl_sv_catpvf(aTHX_ msg,
9445                                        "\"%%%c\"", c & 0xFF);
9446                     else
9447                         Perl_sv_catpvf(aTHX_ msg,
9448                                        "\"%%\\%03"UVof"\"",
9449                                        (UV)c & 0xFF);
9450                 } else
9451                     sv_catpvs(msg, "end of string");
9452                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
9453             }
9454
9455             /* output mangled stuff ... */
9456             if (c == '\0')
9457                 --q;
9458             eptr = p;
9459             elen = q - p;
9460
9461             /* ... right here, because formatting flags should not apply */
9462             SvGROW(sv, SvCUR(sv) + elen + 1);
9463             p = SvEND(sv);
9464             Copy(eptr, p, elen, char);
9465             p += elen;
9466             *p = '\0';
9467             SvCUR_set(sv, p - SvPVX_const(sv));
9468             svix = osvix;
9469             continue;   /* not "break" */
9470         }
9471
9472         if (is_utf8 != has_utf8) {
9473             if (is_utf8) {
9474                 if (SvCUR(sv))
9475                     sv_utf8_upgrade(sv);
9476             }
9477             else {
9478                 const STRLEN old_elen = elen;
9479                 SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
9480                 sv_utf8_upgrade(nsv);
9481                 eptr = SvPVX_const(nsv);
9482                 elen = SvCUR(nsv);
9483
9484                 if (width) { /* fudge width (can't fudge elen) */
9485                     width += elen - old_elen;
9486                 }
9487                 is_utf8 = TRUE;
9488             }
9489         }
9490
9491         have = esignlen + zeros + elen;
9492         if (have < zeros)
9493             Perl_croak_nocontext(PL_memory_wrap);
9494
9495         need = (have > width ? have : width);
9496         gap = need - have;
9497
9498         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
9499             Perl_croak_nocontext(PL_memory_wrap);
9500         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
9501         p = SvEND(sv);
9502         if (esignlen && fill == '0') {
9503             int i;
9504             for (i = 0; i < (int)esignlen; i++)
9505                 *p++ = esignbuf[i];
9506         }
9507         if (gap && !left) {
9508             memset(p, fill, gap);
9509             p += gap;
9510         }
9511         if (esignlen && fill != '0') {
9512             int i;
9513             for (i = 0; i < (int)esignlen; i++)
9514                 *p++ = esignbuf[i];
9515         }
9516         if (zeros) {
9517             int i;
9518             for (i = zeros; i; i--)
9519                 *p++ = '0';
9520         }
9521         if (elen) {
9522             Copy(eptr, p, elen, char);
9523             p += elen;
9524         }
9525         if (gap && left) {
9526             memset(p, ' ', gap);
9527             p += gap;
9528         }
9529         if (vectorize) {
9530             if (veclen) {
9531                 Copy(dotstr, p, dotstrlen, char);
9532                 p += dotstrlen;
9533             }
9534             else
9535                 vectorize = FALSE;              /* done iterating over vecstr */
9536         }
9537         if (is_utf8)
9538             has_utf8 = TRUE;
9539         if (has_utf8)
9540             SvUTF8_on(sv);
9541         *p = '\0';
9542         SvCUR_set(sv, p - SvPVX_const(sv));
9543         if (vectorize) {
9544             esignlen = 0;
9545             goto vector;
9546         }
9547     }
9548 }
9549
9550 /* =========================================================================
9551
9552 =head1 Cloning an interpreter
9553
9554 All the macros and functions in this section are for the private use of
9555 the main function, perl_clone().
9556
9557 The foo_dup() functions make an exact copy of an existing foo thingy.
9558 During the course of a cloning, a hash table is used to map old addresses
9559 to new addresses. The table is created and manipulated with the
9560 ptr_table_* functions.
9561
9562 =cut
9563
9564 ============================================================================*/
9565
9566
9567 #if defined(USE_ITHREADS)
9568
9569 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
9570 #ifndef GpREFCNT_inc
9571 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
9572 #endif
9573
9574
9575 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
9576    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
9577    If this changes, please unmerge ss_dup.  */
9578 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
9579 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
9580 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
9581 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9582 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
9583 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9584 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
9585 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9586 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
9587 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
9588 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
9589 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9590 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
9591 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
9592
9593 /* clone a parser */
9594
9595 yy_parser *
9596 Perl_parser_dup(pTHX_ const yy_parser *proto, CLONE_PARAMS* param)
9597 {
9598     yy_parser *parser;
9599
9600     if (!proto)
9601         return NULL;
9602
9603     /* look for it in the table first */
9604     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
9605     if (parser)
9606         return parser;
9607
9608     /* create anew and remember what it is */
9609     Newxz(parser, 1, yy_parser);
9610     ptr_table_store(PL_ptr_table, proto, parser);
9611
9612     parser->yyerrstatus = 0;
9613     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
9614
9615     /* XXX these not yet duped */
9616     parser->old_parser = NULL;
9617     parser->stack = NULL;
9618     parser->ps = NULL;
9619     parser->stack_size = 0;
9620     /* XXX parser->stack->state = 0; */
9621
9622     /* XXX eventually, just Copy() most of the parser struct ? */
9623
9624     parser->lex_brackets = proto->lex_brackets;
9625     parser->lex_casemods = proto->lex_casemods;
9626     parser->lex_brackstack = savepvn(proto->lex_brackstack,
9627                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
9628     parser->lex_casestack = savepvn(proto->lex_casestack,
9629                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
9630     parser->lex_defer   = proto->lex_defer;
9631     parser->lex_dojoin  = proto->lex_dojoin;
9632     parser->lex_expect  = proto->lex_expect;
9633     parser->lex_formbrack = proto->lex_formbrack;
9634     parser->lex_inpat   = proto->lex_inpat;
9635     parser->lex_inwhat  = proto->lex_inwhat;
9636     parser->lex_op      = proto->lex_op;
9637     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
9638     parser->lex_starts  = proto->lex_starts;
9639     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
9640     parser->multi_close = proto->multi_close;
9641     parser->multi_open  = proto->multi_open;
9642     parser->multi_start = proto->multi_start;
9643     parser->multi_end   = proto->multi_end;
9644     parser->pending_ident = proto->pending_ident;
9645     parser->preambled   = proto->preambled;
9646     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
9647     parser->linestr     = sv_dup_inc(proto->linestr, param);
9648     parser->expect      = proto->expect;
9649     parser->copline     = proto->copline;
9650     parser->last_lop_op = proto->last_lop_op;
9651     parser->lex_state   = proto->lex_state;
9652     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
9653     /* rsfp_filters entries have fake IoDIRP() */
9654     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
9655     parser->in_my       = proto->in_my;
9656     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
9657     parser->error_count = proto->error_count;
9658
9659
9660     parser->linestr     = sv_dup_inc(proto->linestr, param);
9661
9662     {
9663         char * const ols = SvPVX(proto->linestr);
9664         char * const ls  = SvPVX(parser->linestr);
9665
9666         parser->bufptr      = ls + (proto->bufptr >= ols ?
9667                                     proto->bufptr -  ols : 0);
9668         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
9669                                     proto->oldbufptr -  ols : 0);
9670         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
9671                                     proto->oldoldbufptr -  ols : 0);
9672         parser->linestart   = ls + (proto->linestart >= ols ?
9673                                     proto->linestart -  ols : 0);
9674         parser->last_uni    = ls + (proto->last_uni >= ols ?
9675                                     proto->last_uni -  ols : 0);
9676         parser->last_lop    = ls + (proto->last_lop >= ols ?
9677                                     proto->last_lop -  ols : 0);
9678
9679         parser->bufend      = ls + SvCUR(parser->linestr);
9680     }
9681
9682     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
9683
9684
9685 #ifdef PERL_MAD
9686     parser->endwhite    = proto->endwhite;
9687     parser->faketokens  = proto->faketokens;
9688     parser->lasttoke    = proto->lasttoke;
9689     parser->nextwhite   = proto->nextwhite;
9690     parser->realtokenstart = proto->realtokenstart;
9691     parser->skipwhite   = proto->skipwhite;
9692     parser->thisclose   = proto->thisclose;
9693     parser->thismad     = proto->thismad;
9694     parser->thisopen    = proto->thisopen;
9695     parser->thisstuff   = proto->thisstuff;
9696     parser->thistoken   = proto->thistoken;
9697     parser->thiswhite   = proto->thiswhite;
9698
9699     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
9700     parser->curforce    = proto->curforce;
9701 #else
9702     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
9703     Copy(proto->nexttype, parser->nexttype, 5,  I32);
9704     parser->nexttoke    = proto->nexttoke;
9705 #endif
9706     return parser;
9707 }
9708
9709
9710 /* duplicate a file handle */
9711
9712 PerlIO *
9713 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9714 {
9715     PerlIO *ret;
9716
9717     PERL_UNUSED_ARG(type);
9718
9719     if (!fp)
9720         return (PerlIO*)NULL;
9721
9722     /* look for it in the table first */
9723     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9724     if (ret)
9725         return ret;
9726
9727     /* create anew and remember what it is */
9728     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9729     ptr_table_store(PL_ptr_table, fp, ret);
9730     return ret;
9731 }
9732
9733 /* duplicate a directory handle */
9734
9735 DIR *
9736 Perl_dirp_dup(pTHX_ DIR *dp)
9737 {
9738     PERL_UNUSED_CONTEXT;
9739     if (!dp)
9740         return (DIR*)NULL;
9741     /* XXX TODO */
9742     return dp;
9743 }
9744
9745 /* duplicate a typeglob */
9746
9747 GP *
9748 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9749 {
9750     GP *ret;
9751
9752     if (!gp)
9753         return (GP*)NULL;
9754     /* look for it in the table first */
9755     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9756     if (ret)
9757         return ret;
9758
9759     /* create anew and remember what it is */
9760     Newxz(ret, 1, GP);
9761     ptr_table_store(PL_ptr_table, gp, ret);
9762
9763     /* clone */
9764     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9765     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9766     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9767     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9768     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9769     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9770     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9771     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9772     ret->gp_cvgen       = gp->gp_cvgen;
9773     ret->gp_line        = gp->gp_line;
9774     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
9775     return ret;
9776 }
9777
9778 /* duplicate a chain of magic */
9779
9780 MAGIC *
9781 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9782 {
9783     MAGIC *mgprev = (MAGIC*)NULL;
9784     MAGIC *mgret;
9785     if (!mg)
9786         return (MAGIC*)NULL;
9787     /* look for it in the table first */
9788     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9789     if (mgret)
9790         return mgret;
9791
9792     for (; mg; mg = mg->mg_moremagic) {
9793         MAGIC *nmg;
9794         Newxz(nmg, 1, MAGIC);
9795         if (mgprev)
9796             mgprev->mg_moremagic = nmg;
9797         else
9798             mgret = nmg;
9799         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9800         nmg->mg_private = mg->mg_private;
9801         nmg->mg_type    = mg->mg_type;
9802         nmg->mg_flags   = mg->mg_flags;
9803         if (mg->mg_type == PERL_MAGIC_qr) {
9804             nmg->mg_obj = (SV*)CALLREGDUPE((REGEXP*)mg->mg_obj, param);
9805         }
9806         else if(mg->mg_type == PERL_MAGIC_backref) {
9807             /* The backref AV has its reference count deliberately bumped by
9808                1.  */
9809             nmg->mg_obj = SvREFCNT_inc(av_dup_inc((AV*) mg->mg_obj, param));
9810         }
9811         else {
9812             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9813                               ? sv_dup_inc(mg->mg_obj, param)
9814                               : sv_dup(mg->mg_obj, param);
9815         }
9816         nmg->mg_len     = mg->mg_len;
9817         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9818         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9819             if (mg->mg_len > 0) {
9820                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9821                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9822                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9823                 {
9824                     const AMT * const amtp = (AMT*)mg->mg_ptr;
9825                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9826                     I32 i;
9827                     for (i = 1; i < NofAMmeth; i++) {
9828                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9829                     }
9830                 }
9831             }
9832             else if (mg->mg_len == HEf_SVKEY)
9833                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9834         }
9835         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9836             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9837         }
9838         mgprev = nmg;
9839     }
9840     return mgret;
9841 }
9842
9843 #endif /* USE_ITHREADS */
9844
9845 /* create a new pointer-mapping table */
9846
9847 PTR_TBL_t *
9848 Perl_ptr_table_new(pTHX)
9849 {
9850     PTR_TBL_t *tbl;
9851     PERL_UNUSED_CONTEXT;
9852
9853     Newxz(tbl, 1, PTR_TBL_t);
9854     tbl->tbl_max        = 511;
9855     tbl->tbl_items      = 0;
9856     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9857     return tbl;
9858 }
9859
9860 #define PTR_TABLE_HASH(ptr) \
9861   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
9862
9863 /* 
9864    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9865    following define) and at call to new_body_inline made below in 
9866    Perl_ptr_table_store()
9867  */
9868
9869 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9870
9871 /* map an existing pointer using a table */
9872
9873 STATIC PTR_TBL_ENT_t *
9874 S_ptr_table_find(PTR_TBL_t *tbl, const void *sv) {
9875     PTR_TBL_ENT_t *tblent;
9876     const UV hash = PTR_TABLE_HASH(sv);
9877     assert(tbl);
9878     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9879     for (; tblent; tblent = tblent->next) {
9880         if (tblent->oldval == sv)
9881             return tblent;
9882     }
9883     return NULL;
9884 }
9885
9886 void *
9887 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9888 {
9889     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
9890     PERL_UNUSED_CONTEXT;
9891     return tblent ? tblent->newval : NULL;
9892 }
9893
9894 /* add a new entry to a pointer-mapping table */
9895
9896 void
9897 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9898 {
9899     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
9900     PERL_UNUSED_CONTEXT;
9901
9902     if (tblent) {
9903         tblent->newval = newsv;
9904     } else {
9905         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
9906
9907         new_body_inline(tblent, PTE_SVSLOT);
9908
9909         tblent->oldval = oldsv;
9910         tblent->newval = newsv;
9911         tblent->next = tbl->tbl_ary[entry];
9912         tbl->tbl_ary[entry] = tblent;
9913         tbl->tbl_items++;
9914         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
9915             ptr_table_split(tbl);
9916     }
9917 }
9918
9919 /* double the hash bucket size of an existing ptr table */
9920
9921 void
9922 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9923 {
9924     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9925     const UV oldsize = tbl->tbl_max + 1;
9926     UV newsize = oldsize * 2;
9927     UV i;
9928     PERL_UNUSED_CONTEXT;
9929
9930     Renew(ary, newsize, PTR_TBL_ENT_t*);
9931     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9932     tbl->tbl_max = --newsize;
9933     tbl->tbl_ary = ary;
9934     for (i=0; i < oldsize; i++, ary++) {
9935         PTR_TBL_ENT_t **curentp, **entp, *ent;
9936         if (!*ary)
9937             continue;
9938         curentp = ary + oldsize;
9939         for (entp = ary, ent = *ary; ent; ent = *entp) {
9940             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9941                 *entp = ent->next;
9942                 ent->next = *curentp;
9943                 *curentp = ent;
9944                 continue;
9945             }
9946             else
9947                 entp = &ent->next;
9948         }
9949     }
9950 }
9951
9952 /* remove all the entries from a ptr table */
9953
9954 void
9955 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9956 {
9957     if (tbl && tbl->tbl_items) {
9958         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
9959         UV riter = tbl->tbl_max;
9960
9961         do {
9962             PTR_TBL_ENT_t *entry = array[riter];
9963
9964             while (entry) {
9965                 PTR_TBL_ENT_t * const oentry = entry;
9966                 entry = entry->next;
9967                 del_pte(oentry);
9968             }
9969         } while (riter--);
9970
9971         tbl->tbl_items = 0;
9972     }
9973 }
9974
9975 /* clear and free a ptr table */
9976
9977 void
9978 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9979 {
9980     if (!tbl) {
9981         return;
9982     }
9983     ptr_table_clear(tbl);
9984     Safefree(tbl->tbl_ary);
9985     Safefree(tbl);
9986 }
9987
9988 #if defined(USE_ITHREADS)
9989
9990 void
9991 Perl_rvpv_dup(pTHX_ SV *dstr, const SV *sstr, CLONE_PARAMS* param)
9992 {
9993     if (SvROK(sstr)) {
9994         SvRV_set(dstr, SvWEAKREF(sstr)
9995                        ? sv_dup(SvRV(sstr), param)
9996                        : sv_dup_inc(SvRV(sstr), param));
9997
9998     }
9999     else if (SvPVX_const(sstr)) {
10000         /* Has something there */
10001         if (SvLEN(sstr)) {
10002             /* Normal PV - clone whole allocated space */
10003             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
10004             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
10005                 /* Not that normal - actually sstr is copy on write.
10006                    But we are a true, independant SV, so:  */
10007                 SvREADONLY_off(dstr);
10008                 SvFAKE_off(dstr);
10009             }
10010         }
10011         else {
10012             /* Special case - not normally malloced for some reason */
10013             if (isGV_with_GP(sstr)) {
10014                 /* Don't need to do anything here.  */
10015             }
10016             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
10017                 /* A "shared" PV - clone it as "shared" PV */
10018                 SvPV_set(dstr,
10019                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
10020                                          param)));
10021             }
10022             else {
10023                 /* Some other special case - random pointer */
10024                 SvPV_set(dstr, SvPVX(sstr));            
10025             }
10026         }
10027     }
10028     else {
10029         /* Copy the NULL */
10030         SvPV_set(dstr, NULL);
10031     }
10032 }
10033
10034 /* duplicate an SV of any type (including AV, HV etc) */
10035
10036 SV *
10037 Perl_sv_dup(pTHX_ const SV *sstr, CLONE_PARAMS* param)
10038 {
10039     dVAR;
10040     SV *dstr;
10041
10042     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
10043         return NULL;
10044     /* look for it in the table first */
10045     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
10046     if (dstr)
10047         return dstr;
10048
10049     if(param->flags & CLONEf_JOIN_IN) {
10050         /** We are joining here so we don't want do clone
10051             something that is bad **/
10052         if (SvTYPE(sstr) == SVt_PVHV) {
10053             const HEK * const hvname = HvNAME_HEK(sstr);
10054             if (hvname)
10055                 /** don't clone stashes if they already exist **/
10056                 return (SV*)gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0);
10057         }
10058     }
10059
10060     /* create anew and remember what it is */
10061     new_SV(dstr);
10062
10063 #ifdef DEBUG_LEAKING_SCALARS
10064     dstr->sv_debug_optype = sstr->sv_debug_optype;
10065     dstr->sv_debug_line = sstr->sv_debug_line;
10066     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10067     dstr->sv_debug_cloned = 1;
10068     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10069 #endif
10070
10071     ptr_table_store(PL_ptr_table, sstr, dstr);
10072
10073     /* clone */
10074     SvFLAGS(dstr)       = SvFLAGS(sstr);
10075     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10076     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10077
10078 #ifdef DEBUGGING
10079     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10080         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10081                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10082 #endif
10083
10084     /* don't clone objects whose class has asked us not to */
10085     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10086         SvFLAGS(dstr) = 0;
10087         return dstr;
10088     }
10089
10090     switch (SvTYPE(sstr)) {
10091     case SVt_NULL:
10092         SvANY(dstr)     = NULL;
10093         break;
10094     case SVt_IV:
10095         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10096         if(SvROK(sstr)) {
10097             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10098         } else {
10099             SvIV_set(dstr, SvIVX(sstr));
10100         }
10101         break;
10102     case SVt_NV:
10103         SvANY(dstr)     = new_XNV();
10104         SvNV_set(dstr, SvNVX(sstr));
10105         break;
10106         /* case SVt_BIND: */
10107     default:
10108         {
10109             /* These are all the types that need complex bodies allocating.  */
10110             void *new_body;
10111             const svtype sv_type = SvTYPE(sstr);
10112             const struct body_details *const sv_type_details
10113                 = bodies_by_type + sv_type;
10114
10115             switch (sv_type) {
10116             default:
10117                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10118                 break;
10119
10120             case SVt_PVGV:
10121                 if (GvUNIQUE((GV*)sstr)) {
10122                     NOOP;   /* Do sharing here, and fall through */
10123                 }
10124             case SVt_PVIO:
10125             case SVt_PVFM:
10126             case SVt_PVHV:
10127             case SVt_PVAV:
10128             case SVt_PVCV:
10129             case SVt_PVLV:
10130             case SVt_REGEXP:
10131             case SVt_PVMG:
10132             case SVt_PVNV:
10133             case SVt_PVIV:
10134             case SVt_PV:
10135                 assert(sv_type_details->body_size);
10136                 if (sv_type_details->arena) {
10137                     new_body_inline(new_body, sv_type);
10138                     new_body
10139                         = (void*)((char*)new_body - sv_type_details->offset);
10140                 } else {
10141                     new_body = new_NOARENA(sv_type_details);
10142                 }
10143             }
10144             assert(new_body);
10145             SvANY(dstr) = new_body;
10146
10147 #ifndef PURIFY
10148             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10149                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10150                  sv_type_details->copy, char);
10151 #else
10152             Copy(((char*)SvANY(sstr)),
10153                  ((char*)SvANY(dstr)),
10154                  sv_type_details->body_size + sv_type_details->offset, char);
10155 #endif
10156
10157             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10158                 && !isGV_with_GP(dstr))
10159                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10160
10161             /* The Copy above means that all the source (unduplicated) pointers
10162                are now in the destination.  We can check the flags and the
10163                pointers in either, but it's possible that there's less cache
10164                missing by always going for the destination.
10165                FIXME - instrument and check that assumption  */
10166             if (sv_type >= SVt_PVMG) {
10167                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10168                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10169                 } else if (SvMAGIC(dstr))
10170                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10171                 if (SvSTASH(dstr))
10172                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10173             }
10174
10175             /* The cast silences a GCC warning about unhandled types.  */
10176             switch ((int)sv_type) {
10177             case SVt_PV:
10178                 break;
10179             case SVt_PVIV:
10180                 break;
10181             case SVt_PVNV:
10182                 break;
10183             case SVt_PVMG:
10184                 break;
10185             case SVt_REGEXP:
10186                 ((struct xregexp *)SvANY(dstr))->xrx_regexp
10187                     = CALLREGDUPE(((struct xregexp *)SvANY(dstr))->xrx_regexp,
10188                                   param);
10189                 break;
10190             case SVt_PVLV:
10191                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
10192                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
10193                     LvTARG(dstr) = dstr;
10194                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
10195                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
10196                 else
10197                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
10198             case SVt_PVGV:
10199                 if(isGV_with_GP(sstr)) {
10200                     if (GvNAME_HEK(dstr))
10201                         GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
10202                     /* Don't call sv_add_backref here as it's going to be
10203                        created as part of the magic cloning of the symbol
10204                        table.  */
10205                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
10206                        at the point of this comment.  */
10207                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
10208                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
10209                     (void)GpREFCNT_inc(GvGP(dstr));
10210                 } else
10211                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10212                 break;
10213             case SVt_PVIO:
10214                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
10215                 if (IoOFP(dstr) == IoIFP(sstr))
10216                     IoOFP(dstr) = IoIFP(dstr);
10217                 else
10218                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
10219                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
10220                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
10221                     /* I have no idea why fake dirp (rsfps)
10222                        should be treated differently but otherwise
10223                        we end up with leaks -- sky*/
10224                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
10225                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
10226                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
10227                 } else {
10228                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
10229                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
10230                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
10231                     if (IoDIRP(dstr)) {
10232                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
10233                     } else {
10234                         NOOP;
10235                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
10236                     }
10237                 }
10238                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
10239                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
10240                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
10241                 break;
10242             case SVt_PVAV:
10243                 if (AvARRAY((AV*)sstr)) {
10244                     SV **dst_ary, **src_ary;
10245                     SSize_t items = AvFILLp((AV*)sstr) + 1;
10246
10247                     src_ary = AvARRAY((AV*)sstr);
10248                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
10249                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
10250                     AvARRAY((AV*)dstr) = dst_ary;
10251                     AvALLOC((AV*)dstr) = dst_ary;
10252                     if (AvREAL((AV*)sstr)) {
10253                         while (items-- > 0)
10254                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
10255                     }
10256                     else {
10257                         while (items-- > 0)
10258                             *dst_ary++ = sv_dup(*src_ary++, param);
10259                     }
10260                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
10261                     while (items-- > 0) {
10262                         *dst_ary++ = &PL_sv_undef;
10263                     }
10264                 }
10265                 else {
10266                     AvARRAY((AV*)dstr)  = NULL;
10267                     AvALLOC((AV*)dstr)  = (SV**)NULL;
10268                 }
10269                 break;
10270             case SVt_PVHV:
10271                 if (HvARRAY((HV*)sstr)) {
10272                     STRLEN i = 0;
10273                     const bool sharekeys = !!HvSHAREKEYS(sstr);
10274                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
10275                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
10276                     char *darray;
10277                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
10278                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
10279                         char);
10280                     HvARRAY(dstr) = (HE**)darray;
10281                     while (i <= sxhv->xhv_max) {
10282                         const HE * const source = HvARRAY(sstr)[i];
10283                         HvARRAY(dstr)[i] = source
10284                             ? he_dup(source, sharekeys, param) : 0;
10285                         ++i;
10286                     }
10287                     if (SvOOK(sstr)) {
10288                         HEK *hvname;
10289                         const struct xpvhv_aux * const saux = HvAUX(sstr);
10290                         struct xpvhv_aux * const daux = HvAUX(dstr);
10291                         /* This flag isn't copied.  */
10292                         /* SvOOK_on(hv) attacks the IV flags.  */
10293                         SvFLAGS(dstr) |= SVf_OOK;
10294
10295                         hvname = saux->xhv_name;
10296                         daux->xhv_name = hvname ? hek_dup(hvname, param) : hvname;
10297
10298                         daux->xhv_riter = saux->xhv_riter;
10299                         daux->xhv_eiter = saux->xhv_eiter
10300                             ? he_dup(saux->xhv_eiter,
10301                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
10302                         daux->xhv_backreferences =
10303                             saux->xhv_backreferences
10304                                 ? (AV*) SvREFCNT_inc(
10305                                         sv_dup((SV*)saux->xhv_backreferences, param))
10306                                 : 0;
10307
10308                         daux->xhv_mro_meta = saux->xhv_mro_meta
10309                             ? mro_meta_dup(saux->xhv_mro_meta, param)
10310                             : 0;
10311
10312                         /* Record stashes for possible cloning in Perl_clone(). */
10313                         if (hvname)
10314                             av_push(param->stashes, dstr);
10315                     }
10316                 }
10317                 else
10318                     HvARRAY((HV*)dstr) = NULL;
10319                 break;
10320             case SVt_PVCV:
10321                 if (!(param->flags & CLONEf_COPY_STACKS)) {
10322                     CvDEPTH(dstr) = 0;
10323                 }
10324             case SVt_PVFM:
10325                 /* NOTE: not refcounted */
10326                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
10327                 OP_REFCNT_LOCK;
10328                 if (!CvISXSUB(dstr))
10329                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
10330                 OP_REFCNT_UNLOCK;
10331                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
10332                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
10333                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
10334                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
10335                 }
10336                 /* don't dup if copying back - CvGV isn't refcounted, so the
10337                  * duped GV may never be freed. A bit of a hack! DAPM */
10338                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
10339                     NULL : gv_dup(CvGV(dstr), param) ;
10340                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
10341                 CvOUTSIDE(dstr) =
10342                     CvWEAKOUTSIDE(sstr)
10343                     ? cv_dup(    CvOUTSIDE(dstr), param)
10344                     : cv_dup_inc(CvOUTSIDE(dstr), param);
10345                 if (!CvISXSUB(dstr))
10346                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
10347                 break;
10348             }
10349         }
10350     }
10351
10352     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
10353         ++PL_sv_objcount;
10354
10355     return dstr;
10356  }
10357
10358 /* duplicate a context */
10359
10360 PERL_CONTEXT *
10361 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
10362 {
10363     PERL_CONTEXT *ncxs;
10364
10365     if (!cxs)
10366         return (PERL_CONTEXT*)NULL;
10367
10368     /* look for it in the table first */
10369     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
10370     if (ncxs)
10371         return ncxs;
10372
10373     /* create anew and remember what it is */
10374     Newxz(ncxs, max + 1, PERL_CONTEXT);
10375     ptr_table_store(PL_ptr_table, cxs, ncxs);
10376
10377     while (ix >= 0) {
10378         PERL_CONTEXT * const cx = &cxs[ix];
10379         PERL_CONTEXT * const ncx = &ncxs[ix];
10380         ncx->cx_type    = cx->cx_type;
10381         if (CxTYPE(cx) == CXt_SUBST) {
10382             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
10383         }
10384         else {
10385             ncx->blk_oldsp      = cx->blk_oldsp;
10386             ncx->blk_oldcop     = cx->blk_oldcop;
10387             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
10388             ncx->blk_oldscopesp = cx->blk_oldscopesp;
10389             ncx->blk_oldpm      = cx->blk_oldpm;
10390             ncx->blk_gimme      = cx->blk_gimme;
10391             switch (CxTYPE(cx)) {
10392             case CXt_SUB:
10393                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
10394                                            ? cv_dup_inc(cx->blk_sub.cv, param)
10395                                            : cv_dup(cx->blk_sub.cv,param));
10396                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
10397                                            ? av_dup_inc(cx->blk_sub.argarray, param)
10398                                            : NULL);
10399                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
10400                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
10401                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10402                 ncx->blk_sub.lval       = cx->blk_sub.lval;
10403                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10404                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
10405                                            cx->blk_sub.oldcomppad);
10406                 break;
10407             case CXt_EVAL:
10408                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
10409                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
10410                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
10411                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
10412                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
10413                 ncx->blk_eval.retop = cx->blk_eval.retop;
10414                 break;
10415             case CXt_LOOP:
10416                 ncx->blk_loop.label     = cx->blk_loop.label;
10417                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
10418                 ncx->blk_loop.my_op     = cx->blk_loop.my_op;
10419                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
10420                                            ? cx->blk_loop.iterdata
10421                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
10422                 ncx->blk_loop.oldcomppad
10423                     = (PAD*)ptr_table_fetch(PL_ptr_table,
10424                                             cx->blk_loop.oldcomppad);
10425                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
10426                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
10427                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
10428                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
10429                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
10430                 break;
10431             case CXt_FORMAT:
10432                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
10433                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
10434                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
10435                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10436                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10437                 break;
10438             case CXt_BLOCK:
10439             case CXt_NULL:
10440                 break;
10441             }
10442         }
10443         --ix;
10444     }
10445     return ncxs;
10446 }
10447
10448 /* duplicate a stack info structure */
10449
10450 PERL_SI *
10451 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
10452 {
10453     PERL_SI *nsi;
10454
10455     if (!si)
10456         return (PERL_SI*)NULL;
10457
10458     /* look for it in the table first */
10459     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
10460     if (nsi)
10461         return nsi;
10462
10463     /* create anew and remember what it is */
10464     Newxz(nsi, 1, PERL_SI);
10465     ptr_table_store(PL_ptr_table, si, nsi);
10466
10467     nsi->si_stack       = av_dup_inc(si->si_stack, param);
10468     nsi->si_cxix        = si->si_cxix;
10469     nsi->si_cxmax       = si->si_cxmax;
10470     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
10471     nsi->si_type        = si->si_type;
10472     nsi->si_prev        = si_dup(si->si_prev, param);
10473     nsi->si_next        = si_dup(si->si_next, param);
10474     nsi->si_markoff     = si->si_markoff;
10475
10476     return nsi;
10477 }
10478
10479 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
10480 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
10481 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
10482 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
10483 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
10484 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
10485 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
10486 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
10487 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
10488 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
10489 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
10490 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
10491 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
10492 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
10493
10494 /* XXXXX todo */
10495 #define pv_dup_inc(p)   SAVEPV(p)
10496 #define pv_dup(p)       SAVEPV(p)
10497 #define svp_dup_inc(p,pp)       any_dup(p,pp)
10498
10499 /* map any object to the new equivent - either something in the
10500  * ptr table, or something in the interpreter structure
10501  */
10502
10503 void *
10504 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
10505 {
10506     void *ret;
10507
10508     if (!v)
10509         return (void*)NULL;
10510
10511     /* look for it in the table first */
10512     ret = ptr_table_fetch(PL_ptr_table, v);
10513     if (ret)
10514         return ret;
10515
10516     /* see if it is part of the interpreter structure */
10517     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
10518         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
10519     else {
10520         ret = v;
10521     }
10522
10523     return ret;
10524 }
10525
10526 /* duplicate the save stack */
10527
10528 ANY *
10529 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
10530 {
10531     dVAR;
10532     ANY * const ss      = proto_perl->Isavestack;
10533     const I32 max       = proto_perl->Isavestack_max;
10534     I32 ix              = proto_perl->Isavestack_ix;
10535     ANY *nss;
10536     SV *sv;
10537     GV *gv;
10538     AV *av;
10539     HV *hv;
10540     void* ptr;
10541     int intval;
10542     long longval;
10543     GP *gp;
10544     IV iv;
10545     I32 i;
10546     char *c = NULL;
10547     void (*dptr) (void*);
10548     void (*dxptr) (pTHX_ void*);
10549
10550     Newxz(nss, max, ANY);
10551
10552     while (ix > 0) {
10553         const I32 type = POPINT(ss,ix);
10554         TOPINT(nss,ix) = type;
10555         switch (type) {
10556         case SAVEt_HELEM:               /* hash element */
10557             sv = (SV*)POPPTR(ss,ix);
10558             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10559             /* fall through */
10560         case SAVEt_ITEM:                        /* normal string */
10561         case SAVEt_SV:                          /* scalar reference */
10562             sv = (SV*)POPPTR(ss,ix);
10563             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10564             /* fall through */
10565         case SAVEt_FREESV:
10566         case SAVEt_MORTALIZESV:
10567             sv = (SV*)POPPTR(ss,ix);
10568             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10569             break;
10570         case SAVEt_SHARED_PVREF:                /* char* in shared space */
10571             c = (char*)POPPTR(ss,ix);
10572             TOPPTR(nss,ix) = savesharedpv(c);
10573             ptr = POPPTR(ss,ix);
10574             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10575             break;
10576         case SAVEt_GENERIC_SVREF:               /* generic sv */
10577         case SAVEt_SVREF:                       /* scalar reference */
10578             sv = (SV*)POPPTR(ss,ix);
10579             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10580             ptr = POPPTR(ss,ix);
10581             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
10582             break;
10583         case SAVEt_HV:                          /* hash reference */
10584         case SAVEt_AV:                          /* array reference */
10585             sv = (SV*) POPPTR(ss,ix);
10586             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10587             /* fall through */
10588         case SAVEt_COMPPAD:
10589         case SAVEt_NSTAB:
10590             sv = (SV*) POPPTR(ss,ix);
10591             TOPPTR(nss,ix) = sv_dup(sv, param);
10592             break;
10593         case SAVEt_INT:                         /* int reference */
10594             ptr = POPPTR(ss,ix);
10595             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10596             intval = (int)POPINT(ss,ix);
10597             TOPINT(nss,ix) = intval;
10598             break;
10599         case SAVEt_LONG:                        /* long reference */
10600             ptr = POPPTR(ss,ix);
10601             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10602             /* fall through */
10603         case SAVEt_CLEARSV:
10604             longval = (long)POPLONG(ss,ix);
10605             TOPLONG(nss,ix) = longval;
10606             break;
10607         case SAVEt_I32:                         /* I32 reference */
10608         case SAVEt_I16:                         /* I16 reference */
10609         case SAVEt_I8:                          /* I8 reference */
10610         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
10611             ptr = POPPTR(ss,ix);
10612             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10613             i = POPINT(ss,ix);
10614             TOPINT(nss,ix) = i;
10615             break;
10616         case SAVEt_IV:                          /* IV reference */
10617             ptr = POPPTR(ss,ix);
10618             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10619             iv = POPIV(ss,ix);
10620             TOPIV(nss,ix) = iv;
10621             break;
10622         case SAVEt_HPTR:                        /* HV* reference */
10623         case SAVEt_APTR:                        /* AV* reference */
10624         case SAVEt_SPTR:                        /* SV* reference */
10625             ptr = POPPTR(ss,ix);
10626             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10627             sv = (SV*)POPPTR(ss,ix);
10628             TOPPTR(nss,ix) = sv_dup(sv, param);
10629             break;
10630         case SAVEt_VPTR:                        /* random* reference */
10631             ptr = POPPTR(ss,ix);
10632             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10633             ptr = POPPTR(ss,ix);
10634             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10635             break;
10636         case SAVEt_GENERIC_PVREF:               /* generic char* */
10637         case SAVEt_PPTR:                        /* char* reference */
10638             ptr = POPPTR(ss,ix);
10639             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10640             c = (char*)POPPTR(ss,ix);
10641             TOPPTR(nss,ix) = pv_dup(c);
10642             break;
10643         case SAVEt_GP:                          /* scalar reference */
10644             gp = (GP*)POPPTR(ss,ix);
10645             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
10646             (void)GpREFCNT_inc(gp);
10647             gv = (GV*)POPPTR(ss,ix);
10648             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
10649             break;
10650         case SAVEt_FREEOP:
10651             ptr = POPPTR(ss,ix);
10652             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10653                 /* these are assumed to be refcounted properly */
10654                 OP *o;
10655                 switch (((OP*)ptr)->op_type) {
10656                 case OP_LEAVESUB:
10657                 case OP_LEAVESUBLV:
10658                 case OP_LEAVEEVAL:
10659                 case OP_LEAVE:
10660                 case OP_SCOPE:
10661                 case OP_LEAVEWRITE:
10662                     TOPPTR(nss,ix) = ptr;
10663                     o = (OP*)ptr;
10664                     OP_REFCNT_LOCK;
10665                     (void) OpREFCNT_inc(o);
10666                     OP_REFCNT_UNLOCK;
10667                     break;
10668                 default:
10669                     TOPPTR(nss,ix) = NULL;
10670                     break;
10671                 }
10672             }
10673             else
10674                 TOPPTR(nss,ix) = NULL;
10675             break;
10676         case SAVEt_FREEPV:
10677             c = (char*)POPPTR(ss,ix);
10678             TOPPTR(nss,ix) = pv_dup_inc(c);
10679             break;
10680         case SAVEt_DELETE:
10681             hv = (HV*)POPPTR(ss,ix);
10682             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10683             c = (char*)POPPTR(ss,ix);
10684             TOPPTR(nss,ix) = pv_dup_inc(c);
10685             /* fall through */
10686         case SAVEt_STACK_POS:           /* Position on Perl stack */
10687             i = POPINT(ss,ix);
10688             TOPINT(nss,ix) = i;
10689             break;
10690         case SAVEt_DESTRUCTOR:
10691             ptr = POPPTR(ss,ix);
10692             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10693             dptr = POPDPTR(ss,ix);
10694             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10695                                         any_dup(FPTR2DPTR(void *, dptr),
10696                                                 proto_perl));
10697             break;
10698         case SAVEt_DESTRUCTOR_X:
10699             ptr = POPPTR(ss,ix);
10700             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10701             dxptr = POPDXPTR(ss,ix);
10702             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10703                                          any_dup(FPTR2DPTR(void *, dxptr),
10704                                                  proto_perl));
10705             break;
10706         case SAVEt_REGCONTEXT:
10707         case SAVEt_ALLOC:
10708             i = POPINT(ss,ix);
10709             TOPINT(nss,ix) = i;
10710             ix -= i;
10711             break;
10712         case SAVEt_AELEM:               /* array element */
10713             sv = (SV*)POPPTR(ss,ix);
10714             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10715             i = POPINT(ss,ix);
10716             TOPINT(nss,ix) = i;
10717             av = (AV*)POPPTR(ss,ix);
10718             TOPPTR(nss,ix) = av_dup_inc(av, param);
10719             break;
10720         case SAVEt_OP:
10721             ptr = POPPTR(ss,ix);
10722             TOPPTR(nss,ix) = ptr;
10723             break;
10724         case SAVEt_HINTS:
10725             i = POPINT(ss,ix);
10726             TOPINT(nss,ix) = i;
10727             ptr = POPPTR(ss,ix);
10728             if (ptr) {
10729                 HINTS_REFCNT_LOCK;
10730                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
10731                 HINTS_REFCNT_UNLOCK;
10732             }
10733             TOPPTR(nss,ix) = ptr;
10734             if (i & HINT_LOCALIZE_HH) {
10735                 hv = (HV*)POPPTR(ss,ix);
10736                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10737             }
10738             break;
10739         case SAVEt_PADSV:
10740             longval = (long)POPLONG(ss,ix);
10741             TOPLONG(nss,ix) = longval;
10742             ptr = POPPTR(ss,ix);
10743             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10744             sv = (SV*)POPPTR(ss,ix);
10745             TOPPTR(nss,ix) = sv_dup(sv, param);
10746             break;
10747         case SAVEt_BOOL:
10748             ptr = POPPTR(ss,ix);
10749             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10750             longval = (long)POPBOOL(ss,ix);
10751             TOPBOOL(nss,ix) = (bool)longval;
10752             break;
10753         case SAVEt_SET_SVFLAGS:
10754             i = POPINT(ss,ix);
10755             TOPINT(nss,ix) = i;
10756             i = POPINT(ss,ix);
10757             TOPINT(nss,ix) = i;
10758             sv = (SV*)POPPTR(ss,ix);
10759             TOPPTR(nss,ix) = sv_dup(sv, param);
10760             break;
10761         case SAVEt_RE_STATE:
10762             {
10763                 const struct re_save_state *const old_state
10764                     = (struct re_save_state *)
10765                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10766                 struct re_save_state *const new_state
10767                     = (struct re_save_state *)
10768                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10769
10770                 Copy(old_state, new_state, 1, struct re_save_state);
10771                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
10772
10773                 new_state->re_state_bostr
10774                     = pv_dup(old_state->re_state_bostr);
10775                 new_state->re_state_reginput
10776                     = pv_dup(old_state->re_state_reginput);
10777                 new_state->re_state_regeol
10778                     = pv_dup(old_state->re_state_regeol);
10779                 new_state->re_state_regoffs
10780                     = (regexp_paren_pair*)
10781                         any_dup(old_state->re_state_regoffs, proto_perl);
10782                 new_state->re_state_reglastparen
10783                     = (U32*) any_dup(old_state->re_state_reglastparen, 
10784                               proto_perl);
10785                 new_state->re_state_reglastcloseparen
10786                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
10787                               proto_perl);
10788                 /* XXX This just has to be broken. The old save_re_context
10789                    code did SAVEGENERICPV(PL_reg_start_tmp);
10790                    PL_reg_start_tmp is char **.
10791                    Look above to what the dup code does for
10792                    SAVEt_GENERIC_PVREF
10793                    It can never have worked.
10794                    So this is merely a faithful copy of the exiting bug:  */
10795                 new_state->re_state_reg_start_tmp
10796                     = (char **) pv_dup((char *)
10797                                       old_state->re_state_reg_start_tmp);
10798                 /* I assume that it only ever "worked" because no-one called
10799                    (pseudo)fork while the regexp engine had re-entered itself.
10800                 */
10801 #ifdef PERL_OLD_COPY_ON_WRITE
10802                 new_state->re_state_nrs
10803                     = sv_dup(old_state->re_state_nrs, param);
10804 #endif
10805                 new_state->re_state_reg_magic
10806                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
10807                                proto_perl);
10808                 new_state->re_state_reg_oldcurpm
10809                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
10810                               proto_perl);
10811                 new_state->re_state_reg_curpm
10812                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
10813                                proto_perl);
10814                 new_state->re_state_reg_oldsaved
10815                     = pv_dup(old_state->re_state_reg_oldsaved);
10816                 new_state->re_state_reg_poscache
10817                     = pv_dup(old_state->re_state_reg_poscache);
10818                 new_state->re_state_reg_starttry
10819                     = pv_dup(old_state->re_state_reg_starttry);
10820                 break;
10821             }
10822         case SAVEt_COMPILE_WARNINGS:
10823             ptr = POPPTR(ss,ix);
10824             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
10825             break;
10826         case SAVEt_PARSER:
10827             ptr = POPPTR(ss,ix);
10828             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
10829             break;
10830         default:
10831             Perl_croak(aTHX_
10832                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
10833         }
10834     }
10835
10836     return nss;
10837 }
10838
10839
10840 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10841  * flag to the result. This is done for each stash before cloning starts,
10842  * so we know which stashes want their objects cloned */
10843
10844 static void
10845 do_mark_cloneable_stash(pTHX_ SV *sv)
10846 {
10847     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10848     if (hvname) {
10849         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10850         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10851         if (cloner && GvCV(cloner)) {
10852             dSP;
10853             UV status;
10854
10855             ENTER;
10856             SAVETMPS;
10857             PUSHMARK(SP);
10858             XPUSHs(sv_2mortal(newSVhek(hvname)));
10859             PUTBACK;
10860             call_sv((SV*)GvCV(cloner), G_SCALAR);
10861             SPAGAIN;
10862             status = POPu;
10863             PUTBACK;
10864             FREETMPS;
10865             LEAVE;
10866             if (status)
10867                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10868         }
10869     }
10870 }
10871
10872
10873
10874 /*
10875 =for apidoc perl_clone
10876
10877 Create and return a new interpreter by cloning the current one.
10878
10879 perl_clone takes these flags as parameters:
10880
10881 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10882 without it we only clone the data and zero the stacks,
10883 with it we copy the stacks and the new perl interpreter is
10884 ready to run at the exact same point as the previous one.
10885 The pseudo-fork code uses COPY_STACKS while the
10886 threads->create doesn't.
10887
10888 CLONEf_KEEP_PTR_TABLE
10889 perl_clone keeps a ptr_table with the pointer of the old
10890 variable as a key and the new variable as a value,
10891 this allows it to check if something has been cloned and not
10892 clone it again but rather just use the value and increase the
10893 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10894 the ptr_table using the function
10895 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10896 reason to keep it around is if you want to dup some of your own
10897 variable who are outside the graph perl scans, example of this
10898 code is in threads.xs create
10899
10900 CLONEf_CLONE_HOST
10901 This is a win32 thing, it is ignored on unix, it tells perls
10902 win32host code (which is c++) to clone itself, this is needed on
10903 win32 if you want to run two threads at the same time,
10904 if you just want to do some stuff in a separate perl interpreter
10905 and then throw it away and return to the original one,
10906 you don't need to do anything.
10907
10908 =cut
10909 */
10910
10911 /* XXX the above needs expanding by someone who actually understands it ! */
10912 EXTERN_C PerlInterpreter *
10913 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10914
10915 PerlInterpreter *
10916 perl_clone(PerlInterpreter *proto_perl, UV flags)
10917 {
10918    dVAR;
10919 #ifdef PERL_IMPLICIT_SYS
10920
10921    /* perlhost.h so we need to call into it
10922    to clone the host, CPerlHost should have a c interface, sky */
10923
10924    if (flags & CLONEf_CLONE_HOST) {
10925        return perl_clone_host(proto_perl,flags);
10926    }
10927    return perl_clone_using(proto_perl, flags,
10928                             proto_perl->IMem,
10929                             proto_perl->IMemShared,
10930                             proto_perl->IMemParse,
10931                             proto_perl->IEnv,
10932                             proto_perl->IStdIO,
10933                             proto_perl->ILIO,
10934                             proto_perl->IDir,
10935                             proto_perl->ISock,
10936                             proto_perl->IProc);
10937 }
10938
10939 PerlInterpreter *
10940 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10941                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10942                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10943                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10944                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10945                  struct IPerlProc* ipP)
10946 {
10947     /* XXX many of the string copies here can be optimized if they're
10948      * constants; they need to be allocated as common memory and just
10949      * their pointers copied. */
10950
10951     IV i;
10952     CLONE_PARAMS clone_params;
10953     CLONE_PARAMS* const param = &clone_params;
10954
10955     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10956     /* for each stash, determine whether its objects should be cloned */
10957     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10958     PERL_SET_THX(my_perl);
10959
10960 #  ifdef DEBUGGING
10961     PoisonNew(my_perl, 1, PerlInterpreter);
10962     PL_op = NULL;
10963     PL_curcop = NULL;
10964     PL_markstack = 0;
10965     PL_scopestack = 0;
10966     PL_savestack = 0;
10967     PL_savestack_ix = 0;
10968     PL_savestack_max = -1;
10969     PL_sig_pending = 0;
10970     PL_parser = NULL;
10971     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10972 #  else /* !DEBUGGING */
10973     Zero(my_perl, 1, PerlInterpreter);
10974 #  endif        /* DEBUGGING */
10975
10976     /* host pointers */
10977     PL_Mem              = ipM;
10978     PL_MemShared        = ipMS;
10979     PL_MemParse         = ipMP;
10980     PL_Env              = ipE;
10981     PL_StdIO            = ipStd;
10982     PL_LIO              = ipLIO;
10983     PL_Dir              = ipD;
10984     PL_Sock             = ipS;
10985     PL_Proc             = ipP;
10986 #else           /* !PERL_IMPLICIT_SYS */
10987     IV i;
10988     CLONE_PARAMS clone_params;
10989     CLONE_PARAMS* param = &clone_params;
10990     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10991     /* for each stash, determine whether its objects should be cloned */
10992     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10993     PERL_SET_THX(my_perl);
10994
10995 #    ifdef DEBUGGING
10996     PoisonNew(my_perl, 1, PerlInterpreter);
10997     PL_op = NULL;
10998     PL_curcop = NULL;
10999     PL_markstack = 0;
11000     PL_scopestack = 0;
11001     PL_savestack = 0;
11002     PL_savestack_ix = 0;
11003     PL_savestack_max = -1;
11004     PL_sig_pending = 0;
11005     PL_parser = NULL;
11006     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11007 #    else       /* !DEBUGGING */
11008     Zero(my_perl, 1, PerlInterpreter);
11009 #    endif      /* DEBUGGING */
11010 #endif          /* PERL_IMPLICIT_SYS */
11011     param->flags = flags;
11012     param->proto_perl = proto_perl;
11013
11014     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
11015
11016     PL_body_arenas = NULL;
11017     Zero(&PL_body_roots, 1, PL_body_roots);
11018     
11019     PL_nice_chunk       = NULL;
11020     PL_nice_chunk_size  = 0;
11021     PL_sv_count         = 0;
11022     PL_sv_objcount      = 0;
11023     PL_sv_root          = NULL;
11024     PL_sv_arenaroot     = NULL;
11025
11026     PL_debug            = proto_perl->Idebug;
11027
11028     PL_hash_seed        = proto_perl->Ihash_seed;
11029     PL_rehash_seed      = proto_perl->Irehash_seed;
11030
11031 #ifdef USE_REENTRANT_API
11032     /* XXX: things like -Dm will segfault here in perlio, but doing
11033      *  PERL_SET_CONTEXT(proto_perl);
11034      * breaks too many other things
11035      */
11036     Perl_reentrant_init(aTHX);
11037 #endif
11038
11039     /* create SV map for pointer relocation */
11040     PL_ptr_table = ptr_table_new();
11041
11042     /* initialize these special pointers as early as possible */
11043     SvANY(&PL_sv_undef)         = NULL;
11044     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
11045     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
11046     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
11047
11048     SvANY(&PL_sv_no)            = new_XPVNV();
11049     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
11050     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11051                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11052     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
11053     SvCUR_set(&PL_sv_no, 0);
11054     SvLEN_set(&PL_sv_no, 1);
11055     SvIV_set(&PL_sv_no, 0);
11056     SvNV_set(&PL_sv_no, 0);
11057     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
11058
11059     SvANY(&PL_sv_yes)           = new_XPVNV();
11060     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11061     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11062                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11063     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11064     SvCUR_set(&PL_sv_yes, 1);
11065     SvLEN_set(&PL_sv_yes, 2);
11066     SvIV_set(&PL_sv_yes, 1);
11067     SvNV_set(&PL_sv_yes, 1);
11068     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11069
11070     /* create (a non-shared!) shared string table */
11071     PL_strtab           = newHV();
11072     HvSHAREKEYS_off(PL_strtab);
11073     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11074     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11075
11076     PL_compiling = proto_perl->Icompiling;
11077
11078     /* These two PVs will be free'd special way so must set them same way op.c does */
11079     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11080     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11081
11082     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11083     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11084
11085     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11086     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11087     if (PL_compiling.cop_hints_hash) {
11088         HINTS_REFCNT_LOCK;
11089         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11090         HINTS_REFCNT_UNLOCK;
11091     }
11092     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11093 #ifdef PERL_DEBUG_READONLY_OPS
11094     PL_slabs = NULL;
11095     PL_slab_count = 0;
11096 #endif
11097
11098     /* pseudo environmental stuff */
11099     PL_origargc         = proto_perl->Iorigargc;
11100     PL_origargv         = proto_perl->Iorigargv;
11101
11102     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11103
11104     /* Set tainting stuff before PerlIO_debug can possibly get called */
11105     PL_tainting         = proto_perl->Itainting;
11106     PL_taint_warn       = proto_perl->Itaint_warn;
11107
11108 #ifdef PERLIO_LAYERS
11109     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11110     PerlIO_clone(aTHX_ proto_perl, param);
11111 #endif
11112
11113     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11114     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11115     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11116     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11117     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11118     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11119
11120     /* switches */
11121     PL_minus_c          = proto_perl->Iminus_c;
11122     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11123     PL_localpatches     = proto_perl->Ilocalpatches;
11124     PL_splitstr         = proto_perl->Isplitstr;
11125     PL_preprocess       = proto_perl->Ipreprocess;
11126     PL_minus_n          = proto_perl->Iminus_n;
11127     PL_minus_p          = proto_perl->Iminus_p;
11128     PL_minus_l          = proto_perl->Iminus_l;
11129     PL_minus_a          = proto_perl->Iminus_a;
11130     PL_minus_E          = proto_perl->Iminus_E;
11131     PL_minus_F          = proto_perl->Iminus_F;
11132     PL_doswitches       = proto_perl->Idoswitches;
11133     PL_dowarn           = proto_perl->Idowarn;
11134     PL_doextract        = proto_perl->Idoextract;
11135     PL_sawampersand     = proto_perl->Isawampersand;
11136     PL_unsafe           = proto_perl->Iunsafe;
11137     PL_inplace          = SAVEPV(proto_perl->Iinplace);
11138     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
11139     PL_perldb           = proto_perl->Iperldb;
11140     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
11141     PL_exit_flags       = proto_perl->Iexit_flags;
11142
11143     /* magical thingies */
11144     /* XXX time(&PL_basetime) when asked for? */
11145     PL_basetime         = proto_perl->Ibasetime;
11146     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
11147
11148     PL_maxsysfd         = proto_perl->Imaxsysfd;
11149     PL_statusvalue      = proto_perl->Istatusvalue;
11150 #ifdef VMS
11151     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
11152 #else
11153     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
11154 #endif
11155     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
11156
11157     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
11158     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
11159     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
11160
11161    
11162     /* RE engine related */
11163     Zero(&PL_reg_state, 1, struct re_save_state);
11164     PL_reginterp_cnt    = 0;
11165     PL_regmatch_slab    = NULL;
11166     
11167     /* Clone the regex array */
11168     PL_regex_padav = newAV();
11169     {
11170         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
11171         SV* const * const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
11172         IV i;
11173         av_push(PL_regex_padav, sv_dup_inc_NN(regexen[0],param));
11174         for(i = 1; i <= len; i++) {
11175             const SV * const regex = regexen[i];
11176             SV * const sv =
11177                 SvREPADTMP(regex)
11178                     ? sv_dup_inc(regex, param)
11179                     : SvREFCNT_inc(
11180                         newSViv(PTR2IV(CALLREGDUPE(
11181                                 INT2PTR(REGEXP *, SvIVX(regex)), param))))
11182                 ;
11183             if (SvFLAGS(regex) & SVf_BREAK)
11184                 SvFLAGS(sv) |= SVf_BREAK; /* unrefcnted PL_curpm */
11185             av_push(PL_regex_padav, sv);
11186         }
11187     }
11188     PL_regex_pad = AvARRAY(PL_regex_padav);
11189
11190     /* shortcuts to various I/O objects */
11191     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
11192     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
11193     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
11194     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
11195     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
11196     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
11197
11198     /* shortcuts to regexp stuff */
11199     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
11200
11201     /* shortcuts to misc objects */
11202     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
11203
11204     /* shortcuts to debugging objects */
11205     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
11206     PL_DBline           = gv_dup(proto_perl->IDBline, param);
11207     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
11208     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
11209     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
11210     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
11211     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
11212
11213     /* symbol tables */
11214     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
11215     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
11216     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
11217     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
11218     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
11219
11220     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
11221     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
11222     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
11223     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
11224     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
11225     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
11226     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
11227     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
11228
11229     PL_sub_generation   = proto_perl->Isub_generation;
11230     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
11231
11232     /* funky return mechanisms */
11233     PL_forkprocess      = proto_perl->Iforkprocess;
11234
11235     /* subprocess state */
11236     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
11237
11238     /* internal state */
11239     PL_maxo             = proto_perl->Imaxo;
11240     if (proto_perl->Iop_mask)
11241         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
11242     else
11243         PL_op_mask      = NULL;
11244     /* PL_asserting        = proto_perl->Iasserting; */
11245
11246     /* current interpreter roots */
11247     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
11248     OP_REFCNT_LOCK;
11249     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
11250     OP_REFCNT_UNLOCK;
11251     PL_main_start       = proto_perl->Imain_start;
11252     PL_eval_root        = proto_perl->Ieval_root;
11253     PL_eval_start       = proto_perl->Ieval_start;
11254
11255     /* runtime control stuff */
11256     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
11257
11258     PL_filemode         = proto_perl->Ifilemode;
11259     PL_lastfd           = proto_perl->Ilastfd;
11260     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
11261     PL_Argv             = NULL;
11262     PL_Cmd              = NULL;
11263     PL_gensym           = proto_perl->Igensym;
11264     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
11265     PL_laststatval      = proto_perl->Ilaststatval;
11266     PL_laststype        = proto_perl->Ilaststype;
11267     PL_mess_sv          = NULL;
11268
11269     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
11270
11271     /* interpreter atexit processing */
11272     PL_exitlistlen      = proto_perl->Iexitlistlen;
11273     if (PL_exitlistlen) {
11274         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11275         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11276     }
11277     else
11278         PL_exitlist     = (PerlExitListEntry*)NULL;
11279
11280     PL_my_cxt_size = proto_perl->Imy_cxt_size;
11281     if (PL_my_cxt_size) {
11282         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
11283         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
11284 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11285         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
11286         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
11287 #endif
11288     }
11289     else {
11290         PL_my_cxt_list  = (void**)NULL;
11291 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11292         PL_my_cxt_keys  = (const char**)NULL;
11293 #endif
11294     }
11295     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
11296     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
11297     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
11298
11299     PL_profiledata      = NULL;
11300
11301     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
11302
11303     PAD_CLONE_VARS(proto_perl, param);
11304
11305 #ifdef HAVE_INTERP_INTERN
11306     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
11307 #endif
11308
11309     /* more statics moved here */
11310     PL_generation       = proto_perl->Igeneration;
11311     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
11312
11313     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
11314     PL_in_clean_all     = proto_perl->Iin_clean_all;
11315
11316     PL_uid              = proto_perl->Iuid;
11317     PL_euid             = proto_perl->Ieuid;
11318     PL_gid              = proto_perl->Igid;
11319     PL_egid             = proto_perl->Iegid;
11320     PL_nomemok          = proto_perl->Inomemok;
11321     PL_an               = proto_perl->Ian;
11322     PL_evalseq          = proto_perl->Ievalseq;
11323     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
11324     PL_origalen         = proto_perl->Iorigalen;
11325 #ifdef PERL_USES_PL_PIDSTATUS
11326     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
11327 #endif
11328     PL_osname           = SAVEPV(proto_perl->Iosname);
11329     PL_sighandlerp      = proto_perl->Isighandlerp;
11330
11331     PL_runops           = proto_perl->Irunops;
11332
11333     PL_parser           = parser_dup(proto_perl->Iparser, param);
11334
11335     PL_subline          = proto_perl->Isubline;
11336     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
11337
11338 #ifdef FCRYPT
11339     PL_cryptseen        = proto_perl->Icryptseen;
11340 #endif
11341
11342     PL_hints            = proto_perl->Ihints;
11343
11344     PL_amagic_generation        = proto_perl->Iamagic_generation;
11345
11346 #ifdef USE_LOCALE_COLLATE
11347     PL_collation_ix     = proto_perl->Icollation_ix;
11348     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
11349     PL_collation_standard       = proto_perl->Icollation_standard;
11350     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
11351     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
11352 #endif /* USE_LOCALE_COLLATE */
11353
11354 #ifdef USE_LOCALE_NUMERIC
11355     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
11356     PL_numeric_standard = proto_perl->Inumeric_standard;
11357     PL_numeric_local    = proto_perl->Inumeric_local;
11358     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
11359 #endif /* !USE_LOCALE_NUMERIC */
11360
11361     /* utf8 character classes */
11362     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
11363     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
11364     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
11365     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
11366     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
11367     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
11368     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
11369     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
11370     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
11371     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
11372     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
11373     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
11374     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
11375     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
11376     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
11377     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
11378     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
11379     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
11380     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
11381     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
11382
11383     /* Did the locale setup indicate UTF-8? */
11384     PL_utf8locale       = proto_perl->Iutf8locale;
11385     /* Unicode features (see perlrun/-C) */
11386     PL_unicode          = proto_perl->Iunicode;
11387
11388     /* Pre-5.8 signals control */
11389     PL_signals          = proto_perl->Isignals;
11390
11391     /* times() ticks per second */
11392     PL_clocktick        = proto_perl->Iclocktick;
11393
11394     /* Recursion stopper for PerlIO_find_layer */
11395     PL_in_load_module   = proto_perl->Iin_load_module;
11396
11397     /* sort() routine */
11398     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
11399
11400     /* Not really needed/useful since the reenrant_retint is "volatile",
11401      * but do it for consistency's sake. */
11402     PL_reentrant_retint = proto_perl->Ireentrant_retint;
11403
11404     /* Hooks to shared SVs and locks. */
11405     PL_sharehook        = proto_perl->Isharehook;
11406     PL_lockhook         = proto_perl->Ilockhook;
11407     PL_unlockhook       = proto_perl->Iunlockhook;
11408     PL_threadhook       = proto_perl->Ithreadhook;
11409     PL_destroyhook      = proto_perl->Idestroyhook;
11410
11411 #ifdef THREADS_HAVE_PIDS
11412     PL_ppid             = proto_perl->Ippid;
11413 #endif
11414
11415     /* swatch cache */
11416     PL_last_swash_hv    = NULL; /* reinits on demand */
11417     PL_last_swash_klen  = 0;
11418     PL_last_swash_key[0]= '\0';
11419     PL_last_swash_tmps  = (U8*)NULL;
11420     PL_last_swash_slen  = 0;
11421
11422     PL_glob_index       = proto_perl->Iglob_index;
11423     PL_srand_called     = proto_perl->Isrand_called;
11424     PL_bitcount         = NULL; /* reinits on demand */
11425
11426     if (proto_perl->Ipsig_pend) {
11427         Newxz(PL_psig_pend, SIG_SIZE, int);
11428     }
11429     else {
11430         PL_psig_pend    = (int*)NULL;
11431     }
11432
11433     if (proto_perl->Ipsig_ptr) {
11434         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
11435         Newxz(PL_psig_name, SIG_SIZE, SV*);
11436         for (i = 1; i < SIG_SIZE; i++) {
11437             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
11438             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
11439         }
11440     }
11441     else {
11442         PL_psig_ptr     = (SV**)NULL;
11443         PL_psig_name    = (SV**)NULL;
11444     }
11445
11446     /* intrpvar.h stuff */
11447
11448     if (flags & CLONEf_COPY_STACKS) {
11449         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
11450         PL_tmps_ix              = proto_perl->Itmps_ix;
11451         PL_tmps_max             = proto_perl->Itmps_max;
11452         PL_tmps_floor           = proto_perl->Itmps_floor;
11453         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
11454         i = 0;
11455         while (i <= PL_tmps_ix) {
11456             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Itmps_stack[i], param);
11457             ++i;
11458         }
11459
11460         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
11461         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
11462         Newxz(PL_markstack, i, I32);
11463         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
11464                                                   - proto_perl->Imarkstack);
11465         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
11466                                                   - proto_perl->Imarkstack);
11467         Copy(proto_perl->Imarkstack, PL_markstack,
11468              PL_markstack_ptr - PL_markstack + 1, I32);
11469
11470         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
11471          * NOTE: unlike the others! */
11472         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
11473         PL_scopestack_max       = proto_perl->Iscopestack_max;
11474         Newxz(PL_scopestack, PL_scopestack_max, I32);
11475         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
11476
11477         /* NOTE: si_dup() looks at PL_markstack */
11478         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
11479
11480         /* PL_curstack          = PL_curstackinfo->si_stack; */
11481         PL_curstack             = av_dup(proto_perl->Icurstack, param);
11482         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
11483
11484         /* next PUSHs() etc. set *(PL_stack_sp+1) */
11485         PL_stack_base           = AvARRAY(PL_curstack);
11486         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
11487                                                    - proto_perl->Istack_base);
11488         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
11489
11490         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
11491          * NOTE: unlike the others! */
11492         PL_savestack_ix         = proto_perl->Isavestack_ix;
11493         PL_savestack_max        = proto_perl->Isavestack_max;
11494         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
11495         PL_savestack            = ss_dup(proto_perl, param);
11496     }
11497     else {
11498         init_stacks();
11499         ENTER;                  /* perl_destruct() wants to LEAVE; */
11500
11501         /* although we're not duplicating the tmps stack, we should still
11502          * add entries for any SVs on the tmps stack that got cloned by a
11503          * non-refcount means (eg a temp in @_); otherwise they will be
11504          * orphaned
11505          */
11506         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
11507             SV * const nsv = (SV*)ptr_table_fetch(PL_ptr_table,
11508                     proto_perl->Itmps_stack[i]);
11509             if (nsv && !SvREFCNT(nsv)) {
11510                 EXTEND_MORTAL(1);
11511                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
11512             }
11513         }
11514     }
11515
11516     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
11517     PL_top_env          = &PL_start_env;
11518
11519     PL_op               = proto_perl->Iop;
11520
11521     PL_Sv               = NULL;
11522     PL_Xpv              = (XPV*)NULL;
11523     my_perl->Ina        = proto_perl->Ina;
11524
11525     PL_statbuf          = proto_perl->Istatbuf;
11526     PL_statcache        = proto_perl->Istatcache;
11527     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
11528     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
11529 #ifdef HAS_TIMES
11530     PL_timesbuf         = proto_perl->Itimesbuf;
11531 #endif
11532
11533     PL_tainted          = proto_perl->Itainted;
11534     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
11535     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
11536     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
11537     PL_ofs_sv           = sv_dup_inc(proto_perl->Iofs_sv, param);
11538     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
11539     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
11540     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
11541     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
11542     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
11543
11544     PL_restartop        = proto_perl->Irestartop;
11545     PL_in_eval          = proto_perl->Iin_eval;
11546     PL_delaymagic       = proto_perl->Idelaymagic;
11547     PL_dirty            = proto_perl->Idirty;
11548     PL_localizing       = proto_perl->Ilocalizing;
11549
11550     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
11551     PL_hv_fetch_ent_mh  = NULL;
11552     PL_modcount         = proto_perl->Imodcount;
11553     PL_lastgotoprobe    = NULL;
11554     PL_dumpindent       = proto_perl->Idumpindent;
11555
11556     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
11557     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
11558     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
11559     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
11560     PL_efloatbuf        = NULL;         /* reinits on demand */
11561     PL_efloatsize       = 0;                    /* reinits on demand */
11562
11563     /* regex stuff */
11564
11565     PL_screamfirst      = NULL;
11566     PL_screamnext       = NULL;
11567     PL_maxscream        = -1;                   /* reinits on demand */
11568     PL_lastscream       = NULL;
11569
11570
11571     PL_regdummy         = proto_perl->Iregdummy;
11572     PL_colorset         = 0;            /* reinits PL_colors[] */
11573     /*PL_colors[6]      = {0,0,0,0,0,0};*/
11574
11575
11576
11577     /* Pluggable optimizer */
11578     PL_peepp            = proto_perl->Ipeepp;
11579
11580     PL_stashcache       = newHV();
11581
11582     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
11583                                             proto_perl->Iwatchaddr);
11584     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
11585     if (PL_debug && PL_watchaddr) {
11586         PerlIO_printf(Perl_debug_log,
11587           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
11588           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
11589           PTR2UV(PL_watchok));
11590     }
11591
11592     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
11593         ptr_table_free(PL_ptr_table);
11594         PL_ptr_table = NULL;
11595     }
11596
11597     /* Call the ->CLONE method, if it exists, for each of the stashes
11598        identified by sv_dup() above.
11599     */
11600     while(av_len(param->stashes) != -1) {
11601         HV* const stash = (HV*) av_shift(param->stashes);
11602         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
11603         if (cloner && GvCV(cloner)) {
11604             dSP;
11605             ENTER;
11606             SAVETMPS;
11607             PUSHMARK(SP);
11608             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
11609             PUTBACK;
11610             call_sv((SV*)GvCV(cloner), G_DISCARD);
11611             FREETMPS;
11612             LEAVE;
11613         }
11614     }
11615
11616     SvREFCNT_dec(param->stashes);
11617
11618     /* orphaned? eg threads->new inside BEGIN or use */
11619     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11620         SvREFCNT_inc_simple_void(PL_compcv);
11621         SAVEFREESV(PL_compcv);
11622     }
11623
11624     return my_perl;
11625 }
11626
11627 #endif /* USE_ITHREADS */
11628
11629 /*
11630 =head1 Unicode Support
11631
11632 =for apidoc sv_recode_to_utf8
11633
11634 The encoding is assumed to be an Encode object, on entry the PV
11635 of the sv is assumed to be octets in that encoding, and the sv
11636 will be converted into Unicode (and UTF-8).
11637
11638 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11639 is not a reference, nothing is done to the sv.  If the encoding is not
11640 an C<Encode::XS> Encoding object, bad things will happen.
11641 (See F<lib/encoding.pm> and L<Encode>).
11642
11643 The PV of the sv is returned.
11644
11645 =cut */
11646
11647 char *
11648 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11649 {
11650     dVAR;
11651     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11652         SV *uni;
11653         STRLEN len;
11654         const char *s;
11655         dSP;
11656         ENTER;
11657         SAVETMPS;
11658         save_re_context();
11659         PUSHMARK(sp);
11660         EXTEND(SP, 3);
11661         XPUSHs(encoding);
11662         XPUSHs(sv);
11663 /*
11664   NI-S 2002/07/09
11665   Passing sv_yes is wrong - it needs to be or'ed set of constants
11666   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11667   remove converted chars from source.
11668
11669   Both will default the value - let them.
11670
11671         XPUSHs(&PL_sv_yes);
11672 */
11673         PUTBACK;
11674         call_method("decode", G_SCALAR);
11675         SPAGAIN;
11676         uni = POPs;
11677         PUTBACK;
11678         s = SvPV_const(uni, len);
11679         if (s != SvPVX_const(sv)) {
11680             SvGROW(sv, len + 1);
11681             Move(s, SvPVX(sv), len + 1, char);
11682             SvCUR_set(sv, len);
11683         }
11684         FREETMPS;
11685         LEAVE;
11686         SvUTF8_on(sv);
11687         return SvPVX(sv);
11688     }
11689     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11690 }
11691
11692 /*
11693 =for apidoc sv_cat_decode
11694
11695 The encoding is assumed to be an Encode object, the PV of the ssv is
11696 assumed to be octets in that encoding and decoding the input starts
11697 from the position which (PV + *offset) pointed to.  The dsv will be
11698 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11699 when the string tstr appears in decoding output or the input ends on
11700 the PV of the ssv. The value which the offset points will be modified
11701 to the last input position on the ssv.
11702
11703 Returns TRUE if the terminator was found, else returns FALSE.
11704
11705 =cut */
11706
11707 bool
11708 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11709                    SV *ssv, int *offset, char *tstr, int tlen)
11710 {
11711     dVAR;
11712     bool ret = FALSE;
11713     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11714         SV *offsv;
11715         dSP;
11716         ENTER;
11717         SAVETMPS;
11718         save_re_context();
11719         PUSHMARK(sp);
11720         EXTEND(SP, 6);
11721         XPUSHs(encoding);
11722         XPUSHs(dsv);
11723         XPUSHs(ssv);
11724         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11725         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11726         PUTBACK;
11727         call_method("cat_decode", G_SCALAR);
11728         SPAGAIN;
11729         ret = SvTRUE(TOPs);
11730         *offset = SvIV(offsv);
11731         PUTBACK;
11732         FREETMPS;
11733         LEAVE;
11734     }
11735     else
11736         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11737     return ret;
11738
11739 }
11740
11741 /* ---------------------------------------------------------------------
11742  *
11743  * support functions for report_uninit()
11744  */
11745
11746 /* the maxiumum size of array or hash where we will scan looking
11747  * for the undefined element that triggered the warning */
11748
11749 #define FUV_MAX_SEARCH_SIZE 1000
11750
11751 /* Look for an entry in the hash whose value has the same SV as val;
11752  * If so, return a mortal copy of the key. */
11753
11754 STATIC SV*
11755 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11756 {
11757     dVAR;
11758     register HE **array;
11759     I32 i;
11760
11761     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11762                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11763         return NULL;
11764
11765     array = HvARRAY(hv);
11766
11767     for (i=HvMAX(hv); i>0; i--) {
11768         register HE *entry;
11769         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11770             if (HeVAL(entry) != val)
11771                 continue;
11772             if (    HeVAL(entry) == &PL_sv_undef ||
11773                     HeVAL(entry) == &PL_sv_placeholder)
11774                 continue;
11775             if (!HeKEY(entry))
11776                 return NULL;
11777             if (HeKLEN(entry) == HEf_SVKEY)
11778                 return sv_mortalcopy(HeKEY_sv(entry));
11779             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11780         }
11781     }
11782     return NULL;
11783 }
11784
11785 /* Look for an entry in the array whose value has the same SV as val;
11786  * If so, return the index, otherwise return -1. */
11787
11788 STATIC I32
11789 S_find_array_subscript(pTHX_ AV *av, SV* val)
11790 {
11791     dVAR;
11792     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11793                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11794         return -1;
11795
11796     if (val != &PL_sv_undef) {
11797         SV ** const svp = AvARRAY(av);
11798         I32 i;
11799
11800         for (i=AvFILLp(av); i>=0; i--)
11801             if (svp[i] == val)
11802                 return i;
11803     }
11804     return -1;
11805 }
11806
11807 /* S_varname(): return the name of a variable, optionally with a subscript.
11808  * If gv is non-zero, use the name of that global, along with gvtype (one
11809  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11810  * targ.  Depending on the value of the subscript_type flag, return:
11811  */
11812
11813 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11814 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11815 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11816 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11817
11818 STATIC SV*
11819 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11820         SV* keyname, I32 aindex, int subscript_type)
11821 {
11822
11823     SV * const name = sv_newmortal();
11824     if (gv) {
11825         char buffer[2];
11826         buffer[0] = gvtype;
11827         buffer[1] = 0;
11828
11829         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11830
11831         gv_fullname4(name, gv, buffer, 0);
11832
11833         if ((unsigned int)SvPVX(name)[1] <= 26) {
11834             buffer[0] = '^';
11835             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11836
11837             /* Swap the 1 unprintable control character for the 2 byte pretty
11838                version - ie substr($name, 1, 1) = $buffer; */
11839             sv_insert(name, 1, 1, buffer, 2);
11840         }
11841     }
11842     else {
11843         CV * const cv = find_runcv(NULL);
11844         SV *sv;
11845         AV *av;
11846
11847         if (!cv || !CvPADLIST(cv))
11848             return NULL;
11849         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11850         sv = *av_fetch(av, targ, FALSE);
11851         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
11852     }
11853
11854     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11855         SV * const sv = newSV(0);
11856         *SvPVX(name) = '$';
11857         Perl_sv_catpvf(aTHX_ name, "{%s}",
11858             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11859         SvREFCNT_dec(sv);
11860     }
11861     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11862         *SvPVX(name) = '$';
11863         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11864     }
11865     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11866         Perl_sv_insert(aTHX_ name, 0, 0,  STR_WITH_LEN("within "));
11867
11868     return name;
11869 }
11870
11871
11872 /*
11873 =for apidoc find_uninit_var
11874
11875 Find the name of the undefined variable (if any) that caused the operator o
11876 to issue a "Use of uninitialized value" warning.
11877 If match is true, only return a name if it's value matches uninit_sv.
11878 So roughly speaking, if a unary operator (such as OP_COS) generates a
11879 warning, then following the direct child of the op may yield an
11880 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11881 other hand, with OP_ADD there are two branches to follow, so we only print
11882 the variable name if we get an exact match.
11883
11884 The name is returned as a mortal SV.
11885
11886 Assumes that PL_op is the op that originally triggered the error, and that
11887 PL_comppad/PL_curpad points to the currently executing pad.
11888
11889 =cut
11890 */
11891
11892 STATIC SV *
11893 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11894 {
11895     dVAR;
11896     SV *sv;
11897     AV *av;
11898     GV *gv;
11899     OP *o, *o2, *kid;
11900
11901     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11902                             uninit_sv == &PL_sv_placeholder)))
11903         return NULL;
11904
11905     switch (obase->op_type) {
11906
11907     case OP_RV2AV:
11908     case OP_RV2HV:
11909     case OP_PADAV:
11910     case OP_PADHV:
11911       {
11912         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11913         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11914         I32 index = 0;
11915         SV *keysv = NULL;
11916         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11917
11918         if (pad) { /* @lex, %lex */
11919             sv = PAD_SVl(obase->op_targ);
11920             gv = NULL;
11921         }
11922         else {
11923             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11924             /* @global, %global */
11925                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11926                 if (!gv)
11927                     break;
11928                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11929             }
11930             else /* @{expr}, %{expr} */
11931                 return find_uninit_var(cUNOPx(obase)->op_first,
11932                                                     uninit_sv, match);
11933         }
11934
11935         /* attempt to find a match within the aggregate */
11936         if (hash) {
11937             keysv = find_hash_subscript((HV*)sv, uninit_sv);
11938             if (keysv)
11939                 subscript_type = FUV_SUBSCRIPT_HASH;
11940         }
11941         else {
11942             index = find_array_subscript((AV*)sv, uninit_sv);
11943             if (index >= 0)
11944                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11945         }
11946
11947         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11948             break;
11949
11950         return varname(gv, hash ? '%' : '@', obase->op_targ,
11951                                     keysv, index, subscript_type);
11952       }
11953
11954     case OP_PADSV:
11955         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11956             break;
11957         return varname(NULL, '$', obase->op_targ,
11958                                     NULL, 0, FUV_SUBSCRIPT_NONE);
11959
11960     case OP_GVSV:
11961         gv = cGVOPx_gv(obase);
11962         if (!gv || (match && GvSV(gv) != uninit_sv))
11963             break;
11964         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
11965
11966     case OP_AELEMFAST:
11967         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11968             if (match) {
11969                 SV **svp;
11970                 av = (AV*)PAD_SV(obase->op_targ);
11971                 if (!av || SvRMAGICAL(av))
11972                     break;
11973                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11974                 if (!svp || *svp != uninit_sv)
11975                     break;
11976             }
11977             return varname(NULL, '$', obase->op_targ,
11978                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11979         }
11980         else {
11981             gv = cGVOPx_gv(obase);
11982             if (!gv)
11983                 break;
11984             if (match) {
11985                 SV **svp;
11986                 av = GvAV(gv);
11987                 if (!av || SvRMAGICAL(av))
11988                     break;
11989                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11990                 if (!svp || *svp != uninit_sv)
11991                     break;
11992             }
11993             return varname(gv, '$', 0,
11994                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11995         }
11996         break;
11997
11998     case OP_EXISTS:
11999         o = cUNOPx(obase)->op_first;
12000         if (!o || o->op_type != OP_NULL ||
12001                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
12002             break;
12003         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
12004
12005     case OP_AELEM:
12006     case OP_HELEM:
12007         if (PL_op == obase)
12008             /* $a[uninit_expr] or $h{uninit_expr} */
12009             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
12010
12011         gv = NULL;
12012         o = cBINOPx(obase)->op_first;
12013         kid = cBINOPx(obase)->op_last;
12014
12015         /* get the av or hv, and optionally the gv */
12016         sv = NULL;
12017         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
12018             sv = PAD_SV(o->op_targ);
12019         }
12020         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
12021                 && cUNOPo->op_first->op_type == OP_GV)
12022         {
12023             gv = cGVOPx_gv(cUNOPo->op_first);
12024             if (!gv)
12025                 break;
12026             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
12027         }
12028         if (!sv)
12029             break;
12030
12031         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
12032             /* index is constant */
12033             if (match) {
12034                 if (SvMAGICAL(sv))
12035                     break;
12036                 if (obase->op_type == OP_HELEM) {
12037                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
12038                     if (!he || HeVAL(he) != uninit_sv)
12039                         break;
12040                 }
12041                 else {
12042                     SV * const * const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
12043                     if (!svp || *svp != uninit_sv)
12044                         break;
12045                 }
12046             }
12047             if (obase->op_type == OP_HELEM)
12048                 return varname(gv, '%', o->op_targ,
12049                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
12050             else
12051                 return varname(gv, '@', o->op_targ, NULL,
12052                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
12053         }
12054         else  {
12055             /* index is an expression;
12056              * attempt to find a match within the aggregate */
12057             if (obase->op_type == OP_HELEM) {
12058                 SV * const keysv = find_hash_subscript((HV*)sv, uninit_sv);
12059                 if (keysv)
12060                     return varname(gv, '%', o->op_targ,
12061                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12062             }
12063             else {
12064                 const I32 index = find_array_subscript((AV*)sv, uninit_sv);
12065                 if (index >= 0)
12066                     return varname(gv, '@', o->op_targ,
12067                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12068             }
12069             if (match)
12070                 break;
12071             return varname(gv,
12072                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12073                 ? '@' : '%',
12074                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12075         }
12076         break;
12077
12078     case OP_AASSIGN:
12079         /* only examine RHS */
12080         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12081
12082     case OP_OPEN:
12083         o = cUNOPx(obase)->op_first;
12084         if (o->op_type == OP_PUSHMARK)
12085             o = o->op_sibling;
12086
12087         if (!o->op_sibling) {
12088             /* one-arg version of open is highly magical */
12089
12090             if (o->op_type == OP_GV) { /* open FOO; */
12091                 gv = cGVOPx_gv(o);
12092                 if (match && GvSV(gv) != uninit_sv)
12093                     break;
12094                 return varname(gv, '$', 0,
12095                             NULL, 0, FUV_SUBSCRIPT_NONE);
12096             }
12097             /* other possibilities not handled are:
12098              * open $x; or open my $x;  should return '${*$x}'
12099              * open expr;               should return '$'.expr ideally
12100              */
12101              break;
12102         }
12103         goto do_op;
12104
12105     /* ops where $_ may be an implicit arg */
12106     case OP_TRANS:
12107     case OP_SUBST:
12108     case OP_MATCH:
12109         if ( !(obase->op_flags & OPf_STACKED)) {
12110             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12111                                  ? PAD_SVl(obase->op_targ)
12112                                  : DEFSV))
12113             {
12114                 sv = sv_newmortal();
12115                 sv_setpvn(sv, "$_", 2);
12116                 return sv;
12117             }
12118         }
12119         goto do_op;
12120
12121     case OP_PRTF:
12122     case OP_PRINT:
12123     case OP_SAY:
12124         /* skip filehandle as it can't produce 'undef' warning  */
12125         o = cUNOPx(obase)->op_first;
12126         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
12127             o = o->op_sibling->op_sibling;
12128         goto do_op2;
12129
12130
12131     case OP_RV2SV:
12132     case OP_CUSTOM:
12133         match = 1; /* XS or custom code could trigger random warnings */
12134         goto do_op;
12135
12136     case OP_ENTERSUB:
12137     case OP_GOTO:
12138         /* XXX tmp hack: these two may call an XS sub, and currently
12139           XS subs don't have a SUB entry on the context stack, so CV and
12140           pad determination goes wrong, and BAD things happen. So, just
12141           don't try to determine the value under those circumstances.
12142           Need a better fix at dome point. DAPM 11/2007 */
12143         break;
12144
12145     case OP_POS:
12146         /* def-ness of rval pos() is independent of the def-ness of its arg */
12147         if ( !(obase->op_flags & OPf_MOD))
12148             break;
12149
12150     case OP_SCHOMP:
12151     case OP_CHOMP:
12152         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
12153             return sv_2mortal(newSVpvs("${$/}"));
12154         /*FALLTHROUGH*/
12155
12156     default:
12157     do_op:
12158         if (!(obase->op_flags & OPf_KIDS))
12159             break;
12160         o = cUNOPx(obase)->op_first;
12161         
12162     do_op2:
12163         if (!o)
12164             break;
12165
12166         /* if all except one arg are constant, or have no side-effects,
12167          * or are optimized away, then it's unambiguous */
12168         o2 = NULL;
12169         for (kid=o; kid; kid = kid->op_sibling) {
12170             if (kid) {
12171                 const OPCODE type = kid->op_type;
12172                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
12173                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
12174                   || (type == OP_PUSHMARK)
12175                 )
12176                 continue;
12177             }
12178             if (o2) { /* more than one found */
12179                 o2 = NULL;
12180                 break;
12181             }
12182             o2 = kid;
12183         }
12184         if (o2)
12185             return find_uninit_var(o2, uninit_sv, match);
12186
12187         /* scan all args */
12188         while (o) {
12189             sv = find_uninit_var(o, uninit_sv, 1);
12190             if (sv)
12191                 return sv;
12192             o = o->op_sibling;
12193         }
12194         break;
12195     }
12196     return NULL;
12197 }
12198
12199
12200 /*
12201 =for apidoc report_uninit
12202
12203 Print appropriate "Use of uninitialized variable" warning
12204
12205 =cut
12206 */
12207
12208 void
12209 Perl_report_uninit(pTHX_ SV* uninit_sv)
12210 {
12211     dVAR;
12212     if (PL_op) {
12213         SV* varname = NULL;
12214         if (uninit_sv) {
12215             varname = find_uninit_var(PL_op, uninit_sv,0);
12216             if (varname)
12217                 sv_insert(varname, 0, 0, " ", 1);
12218         }
12219         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12220                 varname ? SvPV_nolen_const(varname) : "",
12221                 " in ", OP_DESC(PL_op));
12222     }
12223     else
12224         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12225                     "", "", "");
12226 }
12227
12228 /*
12229  * Local variables:
12230  * c-indentation-style: bsd
12231  * c-basic-offset: 4
12232  * indent-tabs-mode: t
12233  * End:
12234  *
12235  * ex: set ts=8 sts=4 sw=4 noet:
12236  */