Change 26487 left some debugging code in, and through the wonders of
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* if adding more checks watch out for the following tests:
34  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
35  *   lib/utf8.t lib/Unicode/Collate/t/index.t
36  * --jhi
37  */
38 #   define ASSERT_UTF8_CACHE(cache) \
39     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
40                               assert((cache)[2] <= (cache)[3]); \
41                               assert((cache)[3] <= (cache)[1]);} \
42                               } STMT_END
43 #else
44 #   define ASSERT_UTF8_CACHE(cache) NOOP
45 #endif
46
47 #ifdef PERL_OLD_COPY_ON_WRITE
48 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
49 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
50 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
51    on-write.  */
52 #endif
53
54 /* ============================================================================
55
56 =head1 Allocation and deallocation of SVs.
57
58 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
59 sv, av, hv...) contains type and reference count information, and for
60 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
61 contains fields specific to each type.  Some types store all they need
62 in the head, so don't have a body.
63
64 In all but the most memory-paranoid configuations (ex: PURIFY), heads
65 and bodies are allocated out of arenas, which by default are
66 approximately 4K chunks of memory parcelled up into N heads or bodies.
67 Sv-bodies are allocated by their sv-type, guaranteeing size
68 consistency needed to allocate safely from arrays.
69
70 For SV-heads, the first slot in each arena is reserved, and holds a
71 link to the next arena, some flags, and a note of the number of slots.
72 Snaked through each arena chain is a linked list of free items; when
73 this becomes empty, an extra arena is allocated and divided up into N
74 items which are threaded into the free list.
75
76 SV-bodies are similar, but they use arena-sets by default, which
77 separate the link and info from the arena itself, and reclaim the 1st
78 slot in the arena.  SV-bodies are further described later.
79
80 The following global variables are associated with arenas:
81
82     PL_sv_arenaroot     pointer to list of SV arenas
83     PL_sv_root          pointer to list of free SV structures
84
85     PL_body_arenas      head of linked-list of body arenas
86     PL_body_roots[]     array of pointers to list of free bodies of svtype
87                         arrays are indexed by the svtype needed
88
89 A few special SV heads are not allocated from an arena, but are
90 instead directly created in the interpreter structure, eg PL_sv_undef.
91 The size of arenas can be changed from the default by setting
92 PERL_ARENA_SIZE appropriately at compile time.
93
94 The SV arena serves the secondary purpose of allowing still-live SVs
95 to be located and destroyed during final cleanup.
96
97 At the lowest level, the macros new_SV() and del_SV() grab and free
98 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
99 to return the SV to the free list with error checking.) new_SV() calls
100 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
101 SVs in the free list have their SvTYPE field set to all ones.
102
103 At the time of very final cleanup, sv_free_arenas() is called from
104 perl_destruct() to physically free all the arenas allocated since the
105 start of the interpreter.
106
107 The function visit() scans the SV arenas list, and calls a specified
108 function for each SV it finds which is still live - ie which has an SvTYPE
109 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
110 following functions (specified as [function that calls visit()] / [function
111 called by visit() for each SV]):
112
113     sv_report_used() / do_report_used()
114                         dump all remaining SVs (debugging aid)
115
116     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
117                         Attempt to free all objects pointed to by RVs,
118                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
119                         try to do the same for all objects indirectly
120                         referenced by typeglobs too.  Called once from
121                         perl_destruct(), prior to calling sv_clean_all()
122                         below.
123
124     sv_clean_all() / do_clean_all()
125                         SvREFCNT_dec(sv) each remaining SV, possibly
126                         triggering an sv_free(). It also sets the
127                         SVf_BREAK flag on the SV to indicate that the
128                         refcnt has been artificially lowered, and thus
129                         stopping sv_free() from giving spurious warnings
130                         about SVs which unexpectedly have a refcnt
131                         of zero.  called repeatedly from perl_destruct()
132                         until there are no SVs left.
133
134 =head2 Arena allocator API Summary
135
136 Private API to rest of sv.c
137
138     new_SV(),  del_SV(),
139
140     new_XIV(), del_XIV(),
141     new_XNV(), del_XNV(),
142     etc
143
144 Public API:
145
146     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
147
148 =cut
149
150 ============================================================================ */
151
152 /*
153  * "A time to plant, and a time to uproot what was planted..."
154  */
155
156 void
157 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
158 {
159     dVAR;
160     void *new_chunk;
161     U32 new_chunk_size;
162     new_chunk = (void *)(chunk);
163     new_chunk_size = (chunk_size);
164     if (new_chunk_size > PL_nice_chunk_size) {
165         Safefree(PL_nice_chunk);
166         PL_nice_chunk = (char *) new_chunk;
167         PL_nice_chunk_size = new_chunk_size;
168     } else {
169         Safefree(chunk);
170     }
171 }
172
173 #ifdef DEBUG_LEAKING_SCALARS
174 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
175 #else
176 #  define FREE_SV_DEBUG_FILE(sv)
177 #endif
178
179 #ifdef PERL_POISON
180 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
181 /* Whilst I'd love to do this, it seems that things like to check on
182    unreferenced scalars
183 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
184 */
185 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
186                                 PoisonNew(&SvREFCNT(sv), 1, U32)
187 #else
188 #  define SvARENA_CHAIN(sv)     SvANY(sv)
189 #  define POSION_SV_HEAD(sv)
190 #endif
191
192 #define plant_SV(p) \
193     STMT_START {                                        \
194         FREE_SV_DEBUG_FILE(p);                          \
195         POSION_SV_HEAD(p);                              \
196         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
197         SvFLAGS(p) = SVTYPEMASK;                        \
198         PL_sv_root = (p);                               \
199         --PL_sv_count;                                  \
200     } STMT_END
201
202 #define uproot_SV(p) \
203     STMT_START {                                        \
204         (p) = PL_sv_root;                               \
205         PL_sv_root = (SV*)SvARENA_CHAIN(p);             \
206         ++PL_sv_count;                                  \
207     } STMT_END
208
209
210 /* make some more SVs by adding another arena */
211
212 STATIC SV*
213 S_more_sv(pTHX)
214 {
215     dVAR;
216     SV* sv;
217
218     if (PL_nice_chunk) {
219         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
220         PL_nice_chunk = NULL;
221         PL_nice_chunk_size = 0;
222     }
223     else {
224         char *chunk;                /* must use New here to match call to */
225         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
226         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
227     }
228     uproot_SV(sv);
229     return sv;
230 }
231
232 /* new_SV(): return a new, empty SV head */
233
234 #ifdef DEBUG_LEAKING_SCALARS
235 /* provide a real function for a debugger to play with */
236 STATIC SV*
237 S_new_SV(pTHX)
238 {
239     SV* sv;
240
241     if (PL_sv_root)
242         uproot_SV(sv);
243     else
244         sv = S_more_sv(aTHX);
245     SvANY(sv) = 0;
246     SvREFCNT(sv) = 1;
247     SvFLAGS(sv) = 0;
248     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
249     sv->sv_debug_line = (U16) ((PL_copline == NOLINE) ?
250         (PL_curcop ? CopLINE(PL_curcop) : 0) : PL_copline);
251     sv->sv_debug_inpad = 0;
252     sv->sv_debug_cloned = 0;
253     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
254     
255     return sv;
256 }
257 #  define new_SV(p) (p)=S_new_SV(aTHX)
258
259 #else
260 #  define new_SV(p) \
261     STMT_START {                                        \
262         if (PL_sv_root)                                 \
263             uproot_SV(p);                               \
264         else                                            \
265             (p) = S_more_sv(aTHX);                      \
266         SvANY(p) = 0;                                   \
267         SvREFCNT(p) = 1;                                \
268         SvFLAGS(p) = 0;                                 \
269     } STMT_END
270 #endif
271
272
273 /* del_SV(): return an empty SV head to the free list */
274
275 #ifdef DEBUGGING
276
277 #define del_SV(p) \
278     STMT_START {                                        \
279         if (DEBUG_D_TEST)                               \
280             del_sv(p);                                  \
281         else                                            \
282             plant_SV(p);                                \
283     } STMT_END
284
285 STATIC void
286 S_del_sv(pTHX_ SV *p)
287 {
288     dVAR;
289     if (DEBUG_D_TEST) {
290         SV* sva;
291         bool ok = 0;
292         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
293             const SV * const sv = sva + 1;
294             const SV * const svend = &sva[SvREFCNT(sva)];
295             if (p >= sv && p < svend) {
296                 ok = 1;
297                 break;
298             }
299         }
300         if (!ok) {
301             if (ckWARN_d(WARN_INTERNAL))        
302                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
303                             "Attempt to free non-arena SV: 0x%"UVxf
304                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
305             return;
306         }
307     }
308     plant_SV(p);
309 }
310
311 #else /* ! DEBUGGING */
312
313 #define del_SV(p)   plant_SV(p)
314
315 #endif /* DEBUGGING */
316
317
318 /*
319 =head1 SV Manipulation Functions
320
321 =for apidoc sv_add_arena
322
323 Given a chunk of memory, link it to the head of the list of arenas,
324 and split it into a list of free SVs.
325
326 =cut
327 */
328
329 void
330 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
331 {
332     dVAR;
333     SV* const sva = (SV*)ptr;
334     register SV* sv;
335     register SV* svend;
336
337     /* The first SV in an arena isn't an SV. */
338     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
339     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
340     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
341
342     PL_sv_arenaroot = sva;
343     PL_sv_root = sva + 1;
344
345     svend = &sva[SvREFCNT(sva) - 1];
346     sv = sva + 1;
347     while (sv < svend) {
348         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
349 #ifdef DEBUGGING
350         SvREFCNT(sv) = 0;
351 #endif
352         /* Must always set typemask because it's awlays checked in on cleanup
353            when the arenas are walked looking for objects.  */
354         SvFLAGS(sv) = SVTYPEMASK;
355         sv++;
356     }
357     SvARENA_CHAIN(sv) = 0;
358 #ifdef DEBUGGING
359     SvREFCNT(sv) = 0;
360 #endif
361     SvFLAGS(sv) = SVTYPEMASK;
362 }
363
364 /* visit(): call the named function for each non-free SV in the arenas
365  * whose flags field matches the flags/mask args. */
366
367 STATIC I32
368 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
369 {
370     dVAR;
371     SV* sva;
372     I32 visited = 0;
373
374     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
375         register const SV * const svend = &sva[SvREFCNT(sva)];
376         register SV* sv;
377         for (sv = sva + 1; sv < svend; ++sv) {
378             if (SvTYPE(sv) != SVTYPEMASK
379                     && (sv->sv_flags & mask) == flags
380                     && SvREFCNT(sv))
381             {
382                 (FCALL)(aTHX_ sv);
383                 ++visited;
384             }
385         }
386     }
387     return visited;
388 }
389
390 #ifdef DEBUGGING
391
392 /* called by sv_report_used() for each live SV */
393
394 static void
395 do_report_used(pTHX_ SV *sv)
396 {
397     if (SvTYPE(sv) != SVTYPEMASK) {
398         PerlIO_printf(Perl_debug_log, "****\n");
399         sv_dump(sv);
400     }
401 }
402 #endif
403
404 /*
405 =for apidoc sv_report_used
406
407 Dump the contents of all SVs not yet freed. (Debugging aid).
408
409 =cut
410 */
411
412 void
413 Perl_sv_report_used(pTHX)
414 {
415 #ifdef DEBUGGING
416     visit(do_report_used, 0, 0);
417 #else
418     PERL_UNUSED_CONTEXT;
419 #endif
420 }
421
422 /* called by sv_clean_objs() for each live SV */
423
424 static void
425 do_clean_objs(pTHX_ SV *ref)
426 {
427     dVAR;
428     assert (SvROK(ref));
429     {
430         SV * const target = SvRV(ref);
431         if (SvOBJECT(target)) {
432             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
433             if (SvWEAKREF(ref)) {
434                 sv_del_backref(target, ref);
435                 SvWEAKREF_off(ref);
436                 SvRV_set(ref, NULL);
437             } else {
438                 SvROK_off(ref);
439                 SvRV_set(ref, NULL);
440                 SvREFCNT_dec(target);
441             }
442         }
443     }
444
445     /* XXX Might want to check arrays, etc. */
446 }
447
448 /* called by sv_clean_objs() for each live SV */
449
450 #ifndef DISABLE_DESTRUCTOR_KLUDGE
451 static void
452 do_clean_named_objs(pTHX_ SV *sv)
453 {
454     dVAR;
455     assert(SvTYPE(sv) == SVt_PVGV);
456     assert(isGV_with_GP(sv));
457     if (GvGP(sv)) {
458         if ((
459 #ifdef PERL_DONT_CREATE_GVSV
460              GvSV(sv) &&
461 #endif
462              SvOBJECT(GvSV(sv))) ||
463              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
464              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
465              (GvIO(sv) && SvOBJECT(GvIO(sv))) ||
466              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
467         {
468             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
469             SvFLAGS(sv) |= SVf_BREAK;
470             SvREFCNT_dec(sv);
471         }
472     }
473 }
474 #endif
475
476 /*
477 =for apidoc sv_clean_objs
478
479 Attempt to destroy all objects not yet freed
480
481 =cut
482 */
483
484 void
485 Perl_sv_clean_objs(pTHX)
486 {
487     dVAR;
488     PL_in_clean_objs = TRUE;
489     visit(do_clean_objs, SVf_ROK, SVf_ROK);
490 #ifndef DISABLE_DESTRUCTOR_KLUDGE
491     /* some barnacles may yet remain, clinging to typeglobs */
492     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
493 #endif
494     PL_in_clean_objs = FALSE;
495 }
496
497 /* called by sv_clean_all() for each live SV */
498
499 static void
500 do_clean_all(pTHX_ SV *sv)
501 {
502     dVAR;
503     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
504     SvFLAGS(sv) |= SVf_BREAK;
505     if (PL_comppad == (AV*)sv) {
506         PL_comppad = NULL;
507         PL_curpad = NULL;
508     }
509     SvREFCNT_dec(sv);
510 }
511
512 /*
513 =for apidoc sv_clean_all
514
515 Decrement the refcnt of each remaining SV, possibly triggering a
516 cleanup. This function may have to be called multiple times to free
517 SVs which are in complex self-referential hierarchies.
518
519 =cut
520 */
521
522 I32
523 Perl_sv_clean_all(pTHX)
524 {
525     dVAR;
526     I32 cleaned;
527     PL_in_clean_all = TRUE;
528     cleaned = visit(do_clean_all, 0,0);
529     PL_in_clean_all = FALSE;
530     return cleaned;
531 }
532
533 /*
534   ARENASETS: a meta-arena implementation which separates arena-info
535   into struct arena_set, which contains an array of struct
536   arena_descs, each holding info for a single arena.  By separating
537   the meta-info from the arena, we recover the 1st slot, formerly
538   borrowed for list management.  The arena_set is about the size of an
539   arena, avoiding the needless malloc overhead of a naive linked-list.
540
541   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
542   memory in the last arena-set (1/2 on average).  In trade, we get
543   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
544   smaller types).  The recovery of the wasted space allows use of
545   small arenas for large, rare body types,
546 */
547 struct arena_desc {
548     char       *arena;          /* the raw storage, allocated aligned */
549     size_t      size;           /* its size ~4k typ */
550     U32         misc;           /* type, and in future other things. */
551 };
552
553 struct arena_set;
554
555 /* Get the maximum number of elements in set[] such that struct arena_set
556    will fit within PERL_ARENA_SIZE, which is probabably just under 4K, and
557    therefore likely to be 1 aligned memory page.  */
558
559 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
560                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
561
562 struct arena_set {
563     struct arena_set* next;
564     unsigned int   set_size;    /* ie ARENAS_PER_SET */
565     unsigned int   curr;        /* index of next available arena-desc */
566     struct arena_desc set[ARENAS_PER_SET];
567 };
568
569 /*
570 =for apidoc sv_free_arenas
571
572 Deallocate the memory used by all arenas. Note that all the individual SV
573 heads and bodies within the arenas must already have been freed.
574
575 =cut
576 */
577 void
578 Perl_sv_free_arenas(pTHX)
579 {
580     dVAR;
581     SV* sva;
582     SV* svanext;
583     unsigned int i;
584
585     /* Free arenas here, but be careful about fake ones.  (We assume
586        contiguity of the fake ones with the corresponding real ones.) */
587
588     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
589         svanext = (SV*) SvANY(sva);
590         while (svanext && SvFAKE(svanext))
591             svanext = (SV*) SvANY(svanext);
592
593         if (!SvFAKE(sva))
594             Safefree(sva);
595     }
596
597     {
598         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
599
600         while (aroot) {
601             struct arena_set *current = aroot;
602             i = aroot->curr;
603             while (i--) {
604                 assert(aroot->set[i].arena);
605                 Safefree(aroot->set[i].arena);
606             }
607             aroot = aroot->next;
608             Safefree(current);
609         }
610     }
611     PL_body_arenas = 0;
612
613     i = PERL_ARENA_ROOTS_SIZE;
614     while (i--)
615         PL_body_roots[i] = 0;
616
617     Safefree(PL_nice_chunk);
618     PL_nice_chunk = NULL;
619     PL_nice_chunk_size = 0;
620     PL_sv_arenaroot = 0;
621     PL_sv_root = 0;
622 }
623
624 /*
625   Here are mid-level routines that manage the allocation of bodies out
626   of the various arenas.  There are 5 kinds of arenas:
627
628   1. SV-head arenas, which are discussed and handled above
629   2. regular body arenas
630   3. arenas for reduced-size bodies
631   4. Hash-Entry arenas
632   5. pte arenas (thread related)
633
634   Arena types 2 & 3 are chained by body-type off an array of
635   arena-root pointers, which is indexed by svtype.  Some of the
636   larger/less used body types are malloced singly, since a large
637   unused block of them is wasteful.  Also, several svtypes dont have
638   bodies; the data fits into the sv-head itself.  The arena-root
639   pointer thus has a few unused root-pointers (which may be hijacked
640   later for arena types 4,5)
641
642   3 differs from 2 as an optimization; some body types have several
643   unused fields in the front of the structure (which are kept in-place
644   for consistency).  These bodies can be allocated in smaller chunks,
645   because the leading fields arent accessed.  Pointers to such bodies
646   are decremented to point at the unused 'ghost' memory, knowing that
647   the pointers are used with offsets to the real memory.
648
649   HE, HEK arenas are managed separately, with separate code, but may
650   be merge-able later..
651
652   PTE arenas are not sv-bodies, but they share these mid-level
653   mechanics, so are considered here.  The new mid-level mechanics rely
654   on the sv_type of the body being allocated, so we just reserve one
655   of the unused body-slots for PTEs, then use it in those (2) PTE
656   contexts below (line ~10k)
657 */
658
659 /* get_arena(size): this creates custom-sized arenas
660    TBD: export properly for hv.c: S_more_he().
661 */
662 void*
663 Perl_get_arena(pTHX_ size_t arena_size, U32 misc)
664 {
665     dVAR;
666     struct arena_desc* adesc;
667     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
668     unsigned int curr;
669
670     /* shouldnt need this
671     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
672     */
673
674     /* may need new arena-set to hold new arena */
675     if (!aroot || aroot->curr >= aroot->set_size) {
676         struct arena_set *newroot;
677         Newxz(newroot, 1, struct arena_set);
678         newroot->set_size = ARENAS_PER_SET;
679         newroot->next = aroot;
680         aroot = newroot;
681         PL_body_arenas = (void *) newroot;
682         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
683     }
684
685     /* ok, now have arena-set with at least 1 empty/available arena-desc */
686     curr = aroot->curr++;
687     adesc = &(aroot->set[curr]);
688     assert(!adesc->arena);
689     
690     Newx(adesc->arena, arena_size, char);
691     adesc->size = arena_size;
692     adesc->misc = misc;
693     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %d\n", 
694                           curr, (void*)adesc->arena, arena_size));
695
696     return adesc->arena;
697 }
698
699
700 /* return a thing to the free list */
701
702 #define del_body(thing, root)                   \
703     STMT_START {                                \
704         void ** const thing_copy = (void **)thing;\
705         *thing_copy = *root;                    \
706         *root = (void*)thing_copy;              \
707     } STMT_END
708
709 /* 
710
711 =head1 SV-Body Allocation
712
713 Allocation of SV-bodies is similar to SV-heads, differing as follows;
714 the allocation mechanism is used for many body types, so is somewhat
715 more complicated, it uses arena-sets, and has no need for still-live
716 SV detection.
717
718 At the outermost level, (new|del)_X*V macros return bodies of the
719 appropriate type.  These macros call either (new|del)_body_type or
720 (new|del)_body_allocated macro pairs, depending on specifics of the
721 type.  Most body types use the former pair, the latter pair is used to
722 allocate body types with "ghost fields".
723
724 "ghost fields" are fields that are unused in certain types, and
725 consequently dont need to actually exist.  They are declared because
726 they're part of a "base type", which allows use of functions as
727 methods.  The simplest examples are AVs and HVs, 2 aggregate types
728 which don't use the fields which support SCALAR semantics.
729
730 For these types, the arenas are carved up into *_allocated size
731 chunks, we thus avoid wasted memory for those unaccessed members.
732 When bodies are allocated, we adjust the pointer back in memory by the
733 size of the bit not allocated, so it's as if we allocated the full
734 structure.  (But things will all go boom if you write to the part that
735 is "not there", because you'll be overwriting the last members of the
736 preceding structure in memory.)
737
738 We calculate the correction using the STRUCT_OFFSET macro. For
739 example, if xpv_allocated is the same structure as XPV then the two
740 OFFSETs sum to zero, and the pointer is unchanged. If the allocated
741 structure is smaller (no initial NV actually allocated) then the net
742 effect is to subtract the size of the NV from the pointer, to return a
743 new pointer as if an initial NV were actually allocated.
744
745 This is the same trick as was used for NV and IV bodies. Ironically it
746 doesn't need to be used for NV bodies any more, because NV is now at
747 the start of the structure. IV bodies don't need it either, because
748 they are no longer allocated.
749
750 In turn, the new_body_* allocators call S_new_body(), which invokes
751 new_body_inline macro, which takes a lock, and takes a body off the
752 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
753 necessary to refresh an empty list.  Then the lock is released, and
754 the body is returned.
755
756 S_more_bodies calls get_arena(), and carves it up into an array of N
757 bodies, which it strings into a linked list.  It looks up arena-size
758 and body-size from the body_details table described below, thus
759 supporting the multiple body-types.
760
761 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
762 the (new|del)_X*V macros are mapped directly to malloc/free.
763
764 */
765
766 /* 
767
768 For each sv-type, struct body_details bodies_by_type[] carries
769 parameters which control these aspects of SV handling:
770
771 Arena_size determines whether arenas are used for this body type, and if
772 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
773 zero, forcing individual mallocs and frees.
774
775 Body_size determines how big a body is, and therefore how many fit into
776 each arena.  Offset carries the body-pointer adjustment needed for
777 *_allocated body types, and is used in *_allocated macros.
778
779 But its main purpose is to parameterize info needed in
780 Perl_sv_upgrade().  The info here dramatically simplifies the function
781 vs the implementation in 5.8.7, making it table-driven.  All fields
782 are used for this, except for arena_size.
783
784 For the sv-types that have no bodies, arenas are not used, so those
785 PL_body_roots[sv_type] are unused, and can be overloaded.  In
786 something of a special case, SVt_NULL is borrowed for HE arenas;
787 PL_body_roots[SVt_NULL] is filled by S_more_he, but the
788 bodies_by_type[SVt_NULL] slot is not used, as the table is not
789 available in hv.c,
790
791 PTEs also use arenas, but are never seen in Perl_sv_upgrade.
792 Nonetheless, they get their own slot in bodies_by_type[SVt_NULL], so
793 they can just use the same allocation semantics.  At first, PTEs were
794 also overloaded to a non-body sv-type, but this yielded hard-to-find
795 malloc bugs, so was simplified by claiming a new slot.  This choice
796 has no consequence at this time.
797
798 */
799
800 struct body_details {
801     U8 body_size;       /* Size to allocate  */
802     U8 copy;            /* Size of structure to copy (may be shorter)  */
803     U8 offset;
804     unsigned int type : 4;          /* We have space for a sanity check.  */
805     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
806     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
807     unsigned int arena : 1;         /* Allocated from an arena */
808     size_t arena_size;              /* Size of arena to allocate */
809 };
810
811 #define HADNV FALSE
812 #define NONV TRUE
813
814
815 #ifdef PURIFY
816 /* With -DPURFIY we allocate everything directly, and don't use arenas.
817    This seems a rather elegant way to simplify some of the code below.  */
818 #define HASARENA FALSE
819 #else
820 #define HASARENA TRUE
821 #endif
822 #define NOARENA FALSE
823
824 /* Size the arenas to exactly fit a given number of bodies.  A count
825    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
826    simplifying the default.  If count > 0, the arena is sized to fit
827    only that many bodies, allowing arenas to be used for large, rare
828    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
829    limited by PERL_ARENA_SIZE, so we can safely oversize the
830    declarations.
831  */
832 #define FIT_ARENA0(body_size)                           \
833     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
834 #define FIT_ARENAn(count,body_size)                     \
835     ( count * body_size <= PERL_ARENA_SIZE)             \
836     ? count * body_size                                 \
837     : FIT_ARENA0 (body_size)
838 #define FIT_ARENA(count,body_size)                      \
839     count                                               \
840     ? FIT_ARENAn (count, body_size)                     \
841     : FIT_ARENA0 (body_size)
842
843 /* A macro to work out the offset needed to subtract from a pointer to (say)
844
845 typedef struct {
846     STRLEN      xpv_cur;
847     STRLEN      xpv_len;
848 } xpv_allocated;
849
850 to make its members accessible via a pointer to (say)
851
852 struct xpv {
853     NV          xnv_nv;
854     STRLEN      xpv_cur;
855     STRLEN      xpv_len;
856 };
857
858 */
859
860 #define relative_STRUCT_OFFSET(longer, shorter, member) \
861     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
862
863 /* Calculate the length to copy. Specifically work out the length less any
864    final padding the compiler needed to add.  See the comment in sv_upgrade
865    for why copying the padding proved to be a bug.  */
866
867 #define copy_length(type, last_member) \
868         STRUCT_OFFSET(type, last_member) \
869         + sizeof (((type*)SvANY((SV*)0))->last_member)
870
871 static const struct body_details bodies_by_type[] = {
872     { sizeof(HE), 0, 0, SVt_NULL,
873       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
874
875     /* The bind placeholder pretends to be an RV for now.
876        Also it's marked as "can't upgrade" top stop anyone using it before it's
877        implemented.  */
878     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
879
880     /* IVs are in the head, so the allocation size is 0.
881        However, the slot is overloaded for PTEs.  */
882     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
883       sizeof(IV), /* This is used to copy out the IV body.  */
884       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
885       NOARENA /* IVS don't need an arena  */,
886       /* But PTEs need to know the size of their arena  */
887       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
888     },
889
890     /* 8 bytes on most ILP32 with IEEE doubles */
891     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
892       FIT_ARENA(0, sizeof(NV)) },
893
894     /* RVs are in the head now.  */
895     { 0, 0, 0, SVt_RV, FALSE, NONV, NOARENA, 0 },
896
897     /* 8 bytes on most ILP32 with IEEE doubles */
898     { sizeof(xpv_allocated),
899       copy_length(XPV, xpv_len)
900       - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
901       + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
902       SVt_PV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpv_allocated)) },
903
904     /* 12 */
905     { sizeof(xpviv_allocated),
906       copy_length(XPVIV, xiv_u)
907       - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
908       + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
909       SVt_PVIV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpviv_allocated)) },
910
911     /* 20 */
912     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
913       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
914
915     /* 28 */
916     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
917       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
918     
919     /* 48 */
920     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
921       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
922     
923     /* 64 */
924     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
925       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
926
927     { sizeof(xpvav_allocated),
928       copy_length(XPVAV, xmg_stash)
929       - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
930       + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
931       SVt_PVAV, TRUE, HADNV, HASARENA, FIT_ARENA(0, sizeof(xpvav_allocated)) },
932
933     { sizeof(xpvhv_allocated),
934       copy_length(XPVHV, xmg_stash)
935       - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
936       + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
937       SVt_PVHV, TRUE, HADNV, HASARENA, FIT_ARENA(0, sizeof(xpvhv_allocated)) },
938
939     /* 56 */
940     { sizeof(xpvcv_allocated), sizeof(xpvcv_allocated),
941       + relative_STRUCT_OFFSET(xpvcv_allocated, XPVCV, xpv_cur),
942       SVt_PVCV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvcv_allocated)) },
943
944     { sizeof(xpvfm_allocated), sizeof(xpvfm_allocated),
945       + relative_STRUCT_OFFSET(xpvfm_allocated, XPVFM, xpv_cur),
946       SVt_PVFM, TRUE, NONV, NOARENA, FIT_ARENA(20, sizeof(xpvfm_allocated)) },
947
948     /* XPVIO is 84 bytes, fits 48x */
949     { sizeof(XPVIO), sizeof(XPVIO), 0, SVt_PVIO, TRUE, HADNV,
950       HASARENA, FIT_ARENA(24, sizeof(XPVIO)) },
951 };
952
953 #define new_body_type(sv_type)          \
954     (void *)((char *)S_new_body(aTHX_ sv_type))
955
956 #define del_body_type(p, sv_type)       \
957     del_body(p, &PL_body_roots[sv_type])
958
959
960 #define new_body_allocated(sv_type)             \
961     (void *)((char *)S_new_body(aTHX_ sv_type)  \
962              - bodies_by_type[sv_type].offset)
963
964 #define del_body_allocated(p, sv_type)          \
965     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
966
967
968 #define my_safemalloc(s)        (void*)safemalloc(s)
969 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
970 #define my_safefree(p)  safefree((char*)p)
971
972 #ifdef PURIFY
973
974 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
975 #define del_XNV(p)      my_safefree(p)
976
977 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
978 #define del_XPVNV(p)    my_safefree(p)
979
980 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
981 #define del_XPVAV(p)    my_safefree(p)
982
983 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
984 #define del_XPVHV(p)    my_safefree(p)
985
986 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
987 #define del_XPVMG(p)    my_safefree(p)
988
989 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
990 #define del_XPVGV(p)    my_safefree(p)
991
992 #else /* !PURIFY */
993
994 #define new_XNV()       new_body_type(SVt_NV)
995 #define del_XNV(p)      del_body_type(p, SVt_NV)
996
997 #define new_XPVNV()     new_body_type(SVt_PVNV)
998 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
999
1000 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1001 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1002
1003 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1004 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1005
1006 #define new_XPVMG()     new_body_type(SVt_PVMG)
1007 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1008
1009 #define new_XPVGV()     new_body_type(SVt_PVGV)
1010 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1011
1012 #endif /* PURIFY */
1013
1014 /* no arena for you! */
1015
1016 #define new_NOARENA(details) \
1017         my_safemalloc((details)->body_size + (details)->offset)
1018 #define new_NOARENAZ(details) \
1019         my_safecalloc((details)->body_size + (details)->offset)
1020
1021 STATIC void *
1022 S_more_bodies (pTHX_ svtype sv_type)
1023 {
1024     dVAR;
1025     void ** const root = &PL_body_roots[sv_type];
1026     const struct body_details * const bdp = &bodies_by_type[sv_type];
1027     const size_t body_size = bdp->body_size;
1028     char *start;
1029     const char *end;
1030 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1031     static bool done_sanity_check;
1032
1033     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1034      * variables like done_sanity_check. */
1035     if (!done_sanity_check) {
1036         unsigned int i = SVt_LAST;
1037
1038         done_sanity_check = TRUE;
1039
1040         while (i--)
1041             assert (bodies_by_type[i].type == i);
1042     }
1043 #endif
1044
1045     assert(bdp->arena_size);
1046
1047     start = (char*) Perl_get_arena(aTHX_ bdp->arena_size, sv_type);
1048
1049     end = start + bdp->arena_size - body_size;
1050
1051     /* computed count doesnt reflect the 1st slot reservation */
1052     DEBUG_m(PerlIO_printf(Perl_debug_log,
1053                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1054                           (void*)start, (void*)end,
1055                           (int)bdp->arena_size, sv_type, (int)body_size,
1056                           (int)bdp->arena_size / (int)body_size));
1057
1058     *root = (void *)start;
1059
1060     while (start < end) {
1061         char * const next = start + body_size;
1062         *(void**) start = (void *)next;
1063         start = next;
1064     }
1065     *(void **)start = 0;
1066
1067     return *root;
1068 }
1069
1070 /* grab a new thing from the free list, allocating more if necessary.
1071    The inline version is used for speed in hot routines, and the
1072    function using it serves the rest (unless PURIFY).
1073 */
1074 #define new_body_inline(xpv, sv_type) \
1075     STMT_START { \
1076         void ** const r3wt = &PL_body_roots[sv_type]; \
1077         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1078           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1079         *(r3wt) = *(void**)(xpv); \
1080     } STMT_END
1081
1082 #ifndef PURIFY
1083
1084 STATIC void *
1085 S_new_body(pTHX_ svtype sv_type)
1086 {
1087     dVAR;
1088     void *xpv;
1089     new_body_inline(xpv, sv_type);
1090     return xpv;
1091 }
1092
1093 #endif
1094
1095 /*
1096 =for apidoc sv_upgrade
1097
1098 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1099 SV, then copies across as much information as possible from the old body.
1100 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1101
1102 =cut
1103 */
1104
1105 void
1106 Perl_sv_upgrade(pTHX_ register SV *sv, svtype new_type)
1107 {
1108     dVAR;
1109     void*       old_body;
1110     void*       new_body;
1111     const svtype old_type = SvTYPE(sv);
1112     const struct body_details *new_type_details;
1113     const struct body_details *const old_type_details
1114         = bodies_by_type + old_type;
1115
1116     if (new_type != SVt_PV && SvIsCOW(sv)) {
1117         sv_force_normal_flags(sv, 0);
1118     }
1119
1120     if (old_type == new_type)
1121         return;
1122
1123     if (old_type > new_type)
1124         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1125                 (int)old_type, (int)new_type);
1126
1127
1128     old_body = SvANY(sv);
1129
1130     /* Copying structures onto other structures that have been neatly zeroed
1131        has a subtle gotcha. Consider XPVMG
1132
1133        +------+------+------+------+------+-------+-------+
1134        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1135        +------+------+------+------+------+-------+-------+
1136        0      4      8     12     16     20      24      28
1137
1138        where NVs are aligned to 8 bytes, so that sizeof that structure is
1139        actually 32 bytes long, with 4 bytes of padding at the end:
1140
1141        +------+------+------+------+------+-------+-------+------+
1142        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1143        +------+------+------+------+------+-------+-------+------+
1144        0      4      8     12     16     20      24      28     32
1145
1146        so what happens if you allocate memory for this structure:
1147
1148        +------+------+------+------+------+-------+-------+------+------+...
1149        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1150        +------+------+------+------+------+-------+-------+------+------+...
1151        0      4      8     12     16     20      24      28     32     36
1152
1153        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1154        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1155        started out as zero once, but it's quite possible that it isn't. So now,
1156        rather than a nicely zeroed GP, you have it pointing somewhere random.
1157        Bugs ensue.
1158
1159        (In fact, GP ends up pointing at a previous GP structure, because the
1160        principle cause of the padding in XPVMG getting garbage is a copy of
1161        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1162        this happens to be moot because XPVGV has been re-ordered, with GP
1163        no longer after STASH)
1164
1165        So we are careful and work out the size of used parts of all the
1166        structures.  */
1167
1168     switch (old_type) {
1169     case SVt_NULL:
1170         break;
1171     case SVt_IV:
1172         if (new_type < SVt_PVIV) {
1173             new_type = (new_type == SVt_NV)
1174                 ? SVt_PVNV : SVt_PVIV;
1175         }
1176         break;
1177     case SVt_NV:
1178         if (new_type < SVt_PVNV) {
1179             new_type = SVt_PVNV;
1180         }
1181         break;
1182     case SVt_RV:
1183         break;
1184     case SVt_PV:
1185         assert(new_type > SVt_PV);
1186         assert(SVt_IV < SVt_PV);
1187         assert(SVt_NV < SVt_PV);
1188         break;
1189     case SVt_PVIV:
1190         break;
1191     case SVt_PVNV:
1192         break;
1193     case SVt_PVMG:
1194         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1195            there's no way that it can be safely upgraded, because perl.c
1196            expects to Safefree(SvANY(PL_mess_sv))  */
1197         assert(sv != PL_mess_sv);
1198         /* This flag bit is used to mean other things in other scalar types.
1199            Given that it only has meaning inside the pad, it shouldn't be set
1200            on anything that can get upgraded.  */
1201         assert(!SvPAD_TYPED(sv));
1202         break;
1203     default:
1204         if (old_type_details->cant_upgrade)
1205             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1206                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1207     }
1208     new_type_details = bodies_by_type + new_type;
1209
1210     SvFLAGS(sv) &= ~SVTYPEMASK;
1211     SvFLAGS(sv) |= new_type;
1212
1213     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1214        the return statements above will have triggered.  */
1215     assert (new_type != SVt_NULL);
1216     switch (new_type) {
1217     case SVt_IV:
1218         assert(old_type == SVt_NULL);
1219         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1220         SvIV_set(sv, 0);
1221         return;
1222     case SVt_NV:
1223         assert(old_type == SVt_NULL);
1224         SvANY(sv) = new_XNV();
1225         SvNV_set(sv, 0);
1226         return;
1227     case SVt_RV:
1228         assert(old_type == SVt_NULL);
1229         SvANY(sv) = &sv->sv_u.svu_rv;
1230         SvRV_set(sv, 0);
1231         return;
1232     case SVt_PVHV:
1233     case SVt_PVAV:
1234         assert(new_type_details->body_size);
1235
1236 #ifndef PURIFY  
1237         assert(new_type_details->arena);
1238         assert(new_type_details->arena_size);
1239         /* This points to the start of the allocated area.  */
1240         new_body_inline(new_body, new_type);
1241         Zero(new_body, new_type_details->body_size, char);
1242         new_body = ((char *)new_body) - new_type_details->offset;
1243 #else
1244         /* We always allocated the full length item with PURIFY. To do this
1245            we fake things so that arena is false for all 16 types..  */
1246         new_body = new_NOARENAZ(new_type_details);
1247 #endif
1248         SvANY(sv) = new_body;
1249         if (new_type == SVt_PVAV) {
1250             AvMAX(sv)   = -1;
1251             AvFILLp(sv) = -1;
1252             AvREAL_only(sv);
1253         }
1254
1255         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1256            The target created by newSVrv also is, and it can have magic.
1257            However, it never has SvPVX set.
1258         */
1259         if (old_type >= SVt_RV) {
1260             assert(SvPVX_const(sv) == 0);
1261         }
1262
1263         if (old_type >= SVt_PVMG) {
1264             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1265             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1266         } else {
1267             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1268         }
1269         break;
1270
1271
1272     case SVt_PVIV:
1273         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1274            no route from NV to PVIV, NOK can never be true  */
1275         assert(!SvNOKp(sv));
1276         assert(!SvNOK(sv));
1277     case SVt_PVIO:
1278     case SVt_PVFM:
1279     case SVt_PVGV:
1280     case SVt_PVCV:
1281     case SVt_PVLV:
1282     case SVt_PVMG:
1283     case SVt_PVNV:
1284     case SVt_PV:
1285
1286         assert(new_type_details->body_size);
1287         /* We always allocated the full length item with PURIFY. To do this
1288            we fake things so that arena is false for all 16 types..  */
1289         if(new_type_details->arena) {
1290             /* This points to the start of the allocated area.  */
1291             new_body_inline(new_body, new_type);
1292             Zero(new_body, new_type_details->body_size, char);
1293             new_body = ((char *)new_body) - new_type_details->offset;
1294         } else {
1295             new_body = new_NOARENAZ(new_type_details);
1296         }
1297         SvANY(sv) = new_body;
1298
1299         if (old_type_details->copy) {
1300             /* There is now the potential for an upgrade from something without
1301                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1302             int offset = old_type_details->offset;
1303             int length = old_type_details->copy;
1304
1305             if (new_type_details->offset > old_type_details->offset) {
1306                 const int difference
1307                     = new_type_details->offset - old_type_details->offset;
1308                 offset += difference;
1309                 length -= difference;
1310             }
1311             assert (length >= 0);
1312                 
1313             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1314                  char);
1315         }
1316
1317 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1318         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1319          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1320          * NV slot, but the new one does, then we need to initialise the
1321          * freshly created NV slot with whatever the correct bit pattern is
1322          * for 0.0  */
1323         if (old_type_details->zero_nv && !new_type_details->zero_nv)
1324             SvNV_set(sv, 0);
1325 #endif
1326
1327         if (new_type == SVt_PVIO)
1328             IoPAGE_LEN(sv) = 60;
1329         if (old_type < SVt_RV)
1330             SvPV_set(sv, NULL);
1331         break;
1332     default:
1333         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1334                    (unsigned long)new_type);
1335     }
1336
1337     if (old_type_details->arena) {
1338         /* If there was an old body, then we need to free it.
1339            Note that there is an assumption that all bodies of types that
1340            can be upgraded came from arenas. Only the more complex non-
1341            upgradable types are allowed to be directly malloc()ed.  */
1342 #ifdef PURIFY
1343         my_safefree(old_body);
1344 #else
1345         del_body((void*)((char*)old_body + old_type_details->offset),
1346                  &PL_body_roots[old_type]);
1347 #endif
1348     }
1349 }
1350
1351 /*
1352 =for apidoc sv_backoff
1353
1354 Remove any string offset. You should normally use the C<SvOOK_off> macro
1355 wrapper instead.
1356
1357 =cut
1358 */
1359
1360 int
1361 Perl_sv_backoff(pTHX_ register SV *sv)
1362 {
1363     PERL_UNUSED_CONTEXT;
1364     assert(SvOOK(sv));
1365     assert(SvTYPE(sv) != SVt_PVHV);
1366     assert(SvTYPE(sv) != SVt_PVAV);
1367     if (SvIVX(sv)) {
1368         const char * const s = SvPVX_const(sv);
1369         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1370         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1371         SvIV_set(sv, 0);
1372         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1373     }
1374     SvFLAGS(sv) &= ~SVf_OOK;
1375     return 0;
1376 }
1377
1378 /*
1379 =for apidoc sv_grow
1380
1381 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1382 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1383 Use the C<SvGROW> wrapper instead.
1384
1385 =cut
1386 */
1387
1388 char *
1389 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1390 {
1391     register char *s;
1392
1393     if (PL_madskills && newlen >= 0x100000) {
1394         PerlIO_printf(Perl_debug_log,
1395                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1396     }
1397 #ifdef HAS_64K_LIMIT
1398     if (newlen >= 0x10000) {
1399         PerlIO_printf(Perl_debug_log,
1400                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1401         my_exit(1);
1402     }
1403 #endif /* HAS_64K_LIMIT */
1404     if (SvROK(sv))
1405         sv_unref(sv);
1406     if (SvTYPE(sv) < SVt_PV) {
1407         sv_upgrade(sv, SVt_PV);
1408         s = SvPVX_mutable(sv);
1409     }
1410     else if (SvOOK(sv)) {       /* pv is offset? */
1411         sv_backoff(sv);
1412         s = SvPVX_mutable(sv);
1413         if (newlen > SvLEN(sv))
1414             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1415 #ifdef HAS_64K_LIMIT
1416         if (newlen >= 0x10000)
1417             newlen = 0xFFFF;
1418 #endif
1419     }
1420     else
1421         s = SvPVX_mutable(sv);
1422
1423     if (newlen > SvLEN(sv)) {           /* need more room? */
1424         newlen = PERL_STRLEN_ROUNDUP(newlen);
1425         if (SvLEN(sv) && s) {
1426 #ifdef MYMALLOC
1427             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1428             if (newlen <= l) {
1429                 SvLEN_set(sv, l);
1430                 return s;
1431             } else
1432 #endif
1433             s = (char*)saferealloc(s, newlen);
1434         }
1435         else {
1436             s = (char*)safemalloc(newlen);
1437             if (SvPVX_const(sv) && SvCUR(sv)) {
1438                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1439             }
1440         }
1441         SvPV_set(sv, s);
1442         SvLEN_set(sv, newlen);
1443     }
1444     return s;
1445 }
1446
1447 /*
1448 =for apidoc sv_setiv
1449
1450 Copies an integer into the given SV, upgrading first if necessary.
1451 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1452
1453 =cut
1454 */
1455
1456 void
1457 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1458 {
1459     dVAR;
1460     SV_CHECK_THINKFIRST_COW_DROP(sv);
1461     switch (SvTYPE(sv)) {
1462     case SVt_NULL:
1463         sv_upgrade(sv, SVt_IV);
1464         break;
1465     case SVt_NV:
1466         sv_upgrade(sv, SVt_PVNV);
1467         break;
1468     case SVt_RV:
1469     case SVt_PV:
1470         sv_upgrade(sv, SVt_PVIV);
1471         break;
1472
1473     case SVt_PVGV:
1474     case SVt_PVAV:
1475     case SVt_PVHV:
1476     case SVt_PVCV:
1477     case SVt_PVFM:
1478     case SVt_PVIO:
1479         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1480                    OP_DESC(PL_op));
1481     default: NOOP;
1482     }
1483     (void)SvIOK_only(sv);                       /* validate number */
1484     SvIV_set(sv, i);
1485     SvTAINT(sv);
1486 }
1487
1488 /*
1489 =for apidoc sv_setiv_mg
1490
1491 Like C<sv_setiv>, but also handles 'set' magic.
1492
1493 =cut
1494 */
1495
1496 void
1497 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1498 {
1499     sv_setiv(sv,i);
1500     SvSETMAGIC(sv);
1501 }
1502
1503 /*
1504 =for apidoc sv_setuv
1505
1506 Copies an unsigned integer into the given SV, upgrading first if necessary.
1507 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1508
1509 =cut
1510 */
1511
1512 void
1513 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1514 {
1515     /* With these two if statements:
1516        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1517
1518        without
1519        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1520
1521        If you wish to remove them, please benchmark to see what the effect is
1522     */
1523     if (u <= (UV)IV_MAX) {
1524        sv_setiv(sv, (IV)u);
1525        return;
1526     }
1527     sv_setiv(sv, 0);
1528     SvIsUV_on(sv);
1529     SvUV_set(sv, u);
1530 }
1531
1532 /*
1533 =for apidoc sv_setuv_mg
1534
1535 Like C<sv_setuv>, but also handles 'set' magic.
1536
1537 =cut
1538 */
1539
1540 void
1541 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1542 {
1543     sv_setuv(sv,u);
1544     SvSETMAGIC(sv);
1545 }
1546
1547 /*
1548 =for apidoc sv_setnv
1549
1550 Copies a double into the given SV, upgrading first if necessary.
1551 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1552
1553 =cut
1554 */
1555
1556 void
1557 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1558 {
1559     dVAR;
1560     SV_CHECK_THINKFIRST_COW_DROP(sv);
1561     switch (SvTYPE(sv)) {
1562     case SVt_NULL:
1563     case SVt_IV:
1564         sv_upgrade(sv, SVt_NV);
1565         break;
1566     case SVt_RV:
1567     case SVt_PV:
1568     case SVt_PVIV:
1569         sv_upgrade(sv, SVt_PVNV);
1570         break;
1571
1572     case SVt_PVGV:
1573     case SVt_PVAV:
1574     case SVt_PVHV:
1575     case SVt_PVCV:
1576     case SVt_PVFM:
1577     case SVt_PVIO:
1578         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1579                    OP_NAME(PL_op));
1580     default: NOOP;
1581     }
1582     SvNV_set(sv, num);
1583     (void)SvNOK_only(sv);                       /* validate number */
1584     SvTAINT(sv);
1585 }
1586
1587 /*
1588 =for apidoc sv_setnv_mg
1589
1590 Like C<sv_setnv>, but also handles 'set' magic.
1591
1592 =cut
1593 */
1594
1595 void
1596 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1597 {
1598     sv_setnv(sv,num);
1599     SvSETMAGIC(sv);
1600 }
1601
1602 /* Print an "isn't numeric" warning, using a cleaned-up,
1603  * printable version of the offending string
1604  */
1605
1606 STATIC void
1607 S_not_a_number(pTHX_ SV *sv)
1608 {
1609      dVAR;
1610      SV *dsv;
1611      char tmpbuf[64];
1612      const char *pv;
1613
1614      if (DO_UTF8(sv)) {
1615           dsv = sv_2mortal(newSVpvs(""));
1616           pv = sv_uni_display(dsv, sv, 10, 0);
1617      } else {
1618           char *d = tmpbuf;
1619           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1620           /* each *s can expand to 4 chars + "...\0",
1621              i.e. need room for 8 chars */
1622         
1623           const char *s = SvPVX_const(sv);
1624           const char * const end = s + SvCUR(sv);
1625           for ( ; s < end && d < limit; s++ ) {
1626                int ch = *s & 0xFF;
1627                if (ch & 128 && !isPRINT_LC(ch)) {
1628                     *d++ = 'M';
1629                     *d++ = '-';
1630                     ch &= 127;
1631                }
1632                if (ch == '\n') {
1633                     *d++ = '\\';
1634                     *d++ = 'n';
1635                }
1636                else if (ch == '\r') {
1637                     *d++ = '\\';
1638                     *d++ = 'r';
1639                }
1640                else if (ch == '\f') {
1641                     *d++ = '\\';
1642                     *d++ = 'f';
1643                }
1644                else if (ch == '\\') {
1645                     *d++ = '\\';
1646                     *d++ = '\\';
1647                }
1648                else if (ch == '\0') {
1649                     *d++ = '\\';
1650                     *d++ = '0';
1651                }
1652                else if (isPRINT_LC(ch))
1653                     *d++ = ch;
1654                else {
1655                     *d++ = '^';
1656                     *d++ = toCTRL(ch);
1657                }
1658           }
1659           if (s < end) {
1660                *d++ = '.';
1661                *d++ = '.';
1662                *d++ = '.';
1663           }
1664           *d = '\0';
1665           pv = tmpbuf;
1666     }
1667
1668     if (PL_op)
1669         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1670                     "Argument \"%s\" isn't numeric in %s", pv,
1671                     OP_DESC(PL_op));
1672     else
1673         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1674                     "Argument \"%s\" isn't numeric", pv);
1675 }
1676
1677 /*
1678 =for apidoc looks_like_number
1679
1680 Test if the content of an SV looks like a number (or is a number).
1681 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1682 non-numeric warning), even if your atof() doesn't grok them.
1683
1684 =cut
1685 */
1686
1687 I32
1688 Perl_looks_like_number(pTHX_ SV *sv)
1689 {
1690     register const char *sbegin;
1691     STRLEN len;
1692
1693     if (SvPOK(sv)) {
1694         sbegin = SvPVX_const(sv);
1695         len = SvCUR(sv);
1696     }
1697     else if (SvPOKp(sv))
1698         sbegin = SvPV_const(sv, len);
1699     else
1700         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1701     return grok_number(sbegin, len, NULL);
1702 }
1703
1704 STATIC bool
1705 S_glob_2number(pTHX_ GV * const gv)
1706 {
1707     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1708     SV *const buffer = sv_newmortal();
1709
1710     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1711        is on.  */
1712     SvFAKE_off(gv);
1713     gv_efullname3(buffer, gv, "*");
1714     SvFLAGS(gv) |= wasfake;
1715
1716     /* We know that all GVs stringify to something that is not-a-number,
1717         so no need to test that.  */
1718     if (ckWARN(WARN_NUMERIC))
1719         not_a_number(buffer);
1720     /* We just want something true to return, so that S_sv_2iuv_common
1721         can tail call us and return true.  */
1722     return TRUE;
1723 }
1724
1725 STATIC char *
1726 S_glob_2pv(pTHX_ GV * const gv, STRLEN * const len)
1727 {
1728     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1729     SV *const buffer = sv_newmortal();
1730
1731     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1732        is on.  */
1733     SvFAKE_off(gv);
1734     gv_efullname3(buffer, gv, "*");
1735     SvFLAGS(gv) |= wasfake;
1736
1737     assert(SvPOK(buffer));
1738     if (len) {
1739         *len = SvCUR(buffer);
1740     }
1741     return SvPVX(buffer);
1742 }
1743
1744 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1745    until proven guilty, assume that things are not that bad... */
1746
1747 /*
1748    NV_PRESERVES_UV:
1749
1750    As 64 bit platforms often have an NV that doesn't preserve all bits of
1751    an IV (an assumption perl has been based on to date) it becomes necessary
1752    to remove the assumption that the NV always carries enough precision to
1753    recreate the IV whenever needed, and that the NV is the canonical form.
1754    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1755    precision as a side effect of conversion (which would lead to insanity
1756    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1757    1) to distinguish between IV/UV/NV slots that have cached a valid
1758       conversion where precision was lost and IV/UV/NV slots that have a
1759       valid conversion which has lost no precision
1760    2) to ensure that if a numeric conversion to one form is requested that
1761       would lose precision, the precise conversion (or differently
1762       imprecise conversion) is also performed and cached, to prevent
1763       requests for different numeric formats on the same SV causing
1764       lossy conversion chains. (lossless conversion chains are perfectly
1765       acceptable (still))
1766
1767
1768    flags are used:
1769    SvIOKp is true if the IV slot contains a valid value
1770    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1771    SvNOKp is true if the NV slot contains a valid value
1772    SvNOK  is true only if the NV value is accurate
1773
1774    so
1775    while converting from PV to NV, check to see if converting that NV to an
1776    IV(or UV) would lose accuracy over a direct conversion from PV to
1777    IV(or UV). If it would, cache both conversions, return NV, but mark
1778    SV as IOK NOKp (ie not NOK).
1779
1780    While converting from PV to IV, check to see if converting that IV to an
1781    NV would lose accuracy over a direct conversion from PV to NV. If it
1782    would, cache both conversions, flag similarly.
1783
1784    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1785    correctly because if IV & NV were set NV *always* overruled.
1786    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1787    changes - now IV and NV together means that the two are interchangeable:
1788    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1789
1790    The benefit of this is that operations such as pp_add know that if
1791    SvIOK is true for both left and right operands, then integer addition
1792    can be used instead of floating point (for cases where the result won't
1793    overflow). Before, floating point was always used, which could lead to
1794    loss of precision compared with integer addition.
1795
1796    * making IV and NV equal status should make maths accurate on 64 bit
1797      platforms
1798    * may speed up maths somewhat if pp_add and friends start to use
1799      integers when possible instead of fp. (Hopefully the overhead in
1800      looking for SvIOK and checking for overflow will not outweigh the
1801      fp to integer speedup)
1802    * will slow down integer operations (callers of SvIV) on "inaccurate"
1803      values, as the change from SvIOK to SvIOKp will cause a call into
1804      sv_2iv each time rather than a macro access direct to the IV slot
1805    * should speed up number->string conversion on integers as IV is
1806      favoured when IV and NV are equally accurate
1807
1808    ####################################################################
1809    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1810    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1811    On the other hand, SvUOK is true iff UV.
1812    ####################################################################
1813
1814    Your mileage will vary depending your CPU's relative fp to integer
1815    performance ratio.
1816 */
1817
1818 #ifndef NV_PRESERVES_UV
1819 #  define IS_NUMBER_UNDERFLOW_IV 1
1820 #  define IS_NUMBER_UNDERFLOW_UV 2
1821 #  define IS_NUMBER_IV_AND_UV    2
1822 #  define IS_NUMBER_OVERFLOW_IV  4
1823 #  define IS_NUMBER_OVERFLOW_UV  5
1824
1825 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1826
1827 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1828 STATIC int
1829 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1830 {
1831     dVAR;
1832     PERL_UNUSED_ARG(numtype); /* Used only under DEBUGGING? */
1833     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1834     if (SvNVX(sv) < (NV)IV_MIN) {
1835         (void)SvIOKp_on(sv);
1836         (void)SvNOK_on(sv);
1837         SvIV_set(sv, IV_MIN);
1838         return IS_NUMBER_UNDERFLOW_IV;
1839     }
1840     if (SvNVX(sv) > (NV)UV_MAX) {
1841         (void)SvIOKp_on(sv);
1842         (void)SvNOK_on(sv);
1843         SvIsUV_on(sv);
1844         SvUV_set(sv, UV_MAX);
1845         return IS_NUMBER_OVERFLOW_UV;
1846     }
1847     (void)SvIOKp_on(sv);
1848     (void)SvNOK_on(sv);
1849     /* Can't use strtol etc to convert this string.  (See truth table in
1850        sv_2iv  */
1851     if (SvNVX(sv) <= (UV)IV_MAX) {
1852         SvIV_set(sv, I_V(SvNVX(sv)));
1853         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1854             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1855         } else {
1856             /* Integer is imprecise. NOK, IOKp */
1857         }
1858         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1859     }
1860     SvIsUV_on(sv);
1861     SvUV_set(sv, U_V(SvNVX(sv)));
1862     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1863         if (SvUVX(sv) == UV_MAX) {
1864             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1865                possibly be preserved by NV. Hence, it must be overflow.
1866                NOK, IOKp */
1867             return IS_NUMBER_OVERFLOW_UV;
1868         }
1869         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1870     } else {
1871         /* Integer is imprecise. NOK, IOKp */
1872     }
1873     return IS_NUMBER_OVERFLOW_IV;
1874 }
1875 #endif /* !NV_PRESERVES_UV*/
1876
1877 STATIC bool
1878 S_sv_2iuv_common(pTHX_ SV *sv) {
1879     dVAR;
1880     if (SvNOKp(sv)) {
1881         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1882          * without also getting a cached IV/UV from it at the same time
1883          * (ie PV->NV conversion should detect loss of accuracy and cache
1884          * IV or UV at same time to avoid this. */
1885         /* IV-over-UV optimisation - choose to cache IV if possible */
1886
1887         if (SvTYPE(sv) == SVt_NV)
1888             sv_upgrade(sv, SVt_PVNV);
1889
1890         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1891         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1892            certainly cast into the IV range at IV_MAX, whereas the correct
1893            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1894            cases go to UV */
1895 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
1896         if (Perl_isnan(SvNVX(sv))) {
1897             SvUV_set(sv, 0);
1898             SvIsUV_on(sv);
1899             return FALSE;
1900         }
1901 #endif
1902         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1903             SvIV_set(sv, I_V(SvNVX(sv)));
1904             if (SvNVX(sv) == (NV) SvIVX(sv)
1905 #ifndef NV_PRESERVES_UV
1906                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1907                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1908                 /* Don't flag it as "accurately an integer" if the number
1909                    came from a (by definition imprecise) NV operation, and
1910                    we're outside the range of NV integer precision */
1911 #endif
1912                 ) {
1913                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1914                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1915                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1916                                       PTR2UV(sv),
1917                                       SvNVX(sv),
1918                                       SvIVX(sv)));
1919
1920             } else {
1921                 /* IV not precise.  No need to convert from PV, as NV
1922                    conversion would already have cached IV if it detected
1923                    that PV->IV would be better than PV->NV->IV
1924                    flags already correct - don't set public IOK.  */
1925                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1926                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1927                                       PTR2UV(sv),
1928                                       SvNVX(sv),
1929                                       SvIVX(sv)));
1930             }
1931             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1932                but the cast (NV)IV_MIN rounds to a the value less (more
1933                negative) than IV_MIN which happens to be equal to SvNVX ??
1934                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1935                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1936                (NV)UVX == NVX are both true, but the values differ. :-(
1937                Hopefully for 2s complement IV_MIN is something like
1938                0x8000000000000000 which will be exact. NWC */
1939         }
1940         else {
1941             SvUV_set(sv, U_V(SvNVX(sv)));
1942             if (
1943                 (SvNVX(sv) == (NV) SvUVX(sv))
1944 #ifndef  NV_PRESERVES_UV
1945                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1946                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1947                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1948                 /* Don't flag it as "accurately an integer" if the number
1949                    came from a (by definition imprecise) NV operation, and
1950                    we're outside the range of NV integer precision */
1951 #endif
1952                 )
1953                 SvIOK_on(sv);
1954             SvIsUV_on(sv);
1955             DEBUG_c(PerlIO_printf(Perl_debug_log,
1956                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1957                                   PTR2UV(sv),
1958                                   SvUVX(sv),
1959                                   SvUVX(sv)));
1960         }
1961     }
1962     else if (SvPOKp(sv) && SvLEN(sv)) {
1963         UV value;
1964         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1965         /* We want to avoid a possible problem when we cache an IV/ a UV which
1966            may be later translated to an NV, and the resulting NV is not
1967            the same as the direct translation of the initial string
1968            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1969            be careful to ensure that the value with the .456 is around if the
1970            NV value is requested in the future).
1971         
1972            This means that if we cache such an IV/a UV, we need to cache the
1973            NV as well.  Moreover, we trade speed for space, and do not
1974            cache the NV if we are sure it's not needed.
1975          */
1976
1977         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
1978         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1979              == IS_NUMBER_IN_UV) {
1980             /* It's definitely an integer, only upgrade to PVIV */
1981             if (SvTYPE(sv) < SVt_PVIV)
1982                 sv_upgrade(sv, SVt_PVIV);
1983             (void)SvIOK_on(sv);
1984         } else if (SvTYPE(sv) < SVt_PVNV)
1985             sv_upgrade(sv, SVt_PVNV);
1986
1987         /* If NVs preserve UVs then we only use the UV value if we know that
1988            we aren't going to call atof() below. If NVs don't preserve UVs
1989            then the value returned may have more precision than atof() will
1990            return, even though value isn't perfectly accurate.  */
1991         if ((numtype & (IS_NUMBER_IN_UV
1992 #ifdef NV_PRESERVES_UV
1993                         | IS_NUMBER_NOT_INT
1994 #endif
1995             )) == IS_NUMBER_IN_UV) {
1996             /* This won't turn off the public IOK flag if it was set above  */
1997             (void)SvIOKp_on(sv);
1998
1999             if (!(numtype & IS_NUMBER_NEG)) {
2000                 /* positive */;
2001                 if (value <= (UV)IV_MAX) {
2002                     SvIV_set(sv, (IV)value);
2003                 } else {
2004                     /* it didn't overflow, and it was positive. */
2005                     SvUV_set(sv, value);
2006                     SvIsUV_on(sv);
2007                 }
2008             } else {
2009                 /* 2s complement assumption  */
2010                 if (value <= (UV)IV_MIN) {
2011                     SvIV_set(sv, -(IV)value);
2012                 } else {
2013                     /* Too negative for an IV.  This is a double upgrade, but
2014                        I'm assuming it will be rare.  */
2015                     if (SvTYPE(sv) < SVt_PVNV)
2016                         sv_upgrade(sv, SVt_PVNV);
2017                     SvNOK_on(sv);
2018                     SvIOK_off(sv);
2019                     SvIOKp_on(sv);
2020                     SvNV_set(sv, -(NV)value);
2021                     SvIV_set(sv, IV_MIN);
2022                 }
2023             }
2024         }
2025         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2026            will be in the previous block to set the IV slot, and the next
2027            block to set the NV slot.  So no else here.  */
2028         
2029         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2030             != IS_NUMBER_IN_UV) {
2031             /* It wasn't an (integer that doesn't overflow the UV). */
2032             SvNV_set(sv, Atof(SvPVX_const(sv)));
2033
2034             if (! numtype && ckWARN(WARN_NUMERIC))
2035                 not_a_number(sv);
2036
2037 #if defined(USE_LONG_DOUBLE)
2038             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2039                                   PTR2UV(sv), SvNVX(sv)));
2040 #else
2041             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2042                                   PTR2UV(sv), SvNVX(sv)));
2043 #endif
2044
2045 #ifdef NV_PRESERVES_UV
2046             (void)SvIOKp_on(sv);
2047             (void)SvNOK_on(sv);
2048             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2049                 SvIV_set(sv, I_V(SvNVX(sv)));
2050                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2051                     SvIOK_on(sv);
2052                 } else {
2053                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2054                 }
2055                 /* UV will not work better than IV */
2056             } else {
2057                 if (SvNVX(sv) > (NV)UV_MAX) {
2058                     SvIsUV_on(sv);
2059                     /* Integer is inaccurate. NOK, IOKp, is UV */
2060                     SvUV_set(sv, UV_MAX);
2061                 } else {
2062                     SvUV_set(sv, U_V(SvNVX(sv)));
2063                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2064                        NV preservse UV so can do correct comparison.  */
2065                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2066                         SvIOK_on(sv);
2067                     } else {
2068                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2069                     }
2070                 }
2071                 SvIsUV_on(sv);
2072             }
2073 #else /* NV_PRESERVES_UV */
2074             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2075                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2076                 /* The IV/UV slot will have been set from value returned by
2077                    grok_number above.  The NV slot has just been set using
2078                    Atof.  */
2079                 SvNOK_on(sv);
2080                 assert (SvIOKp(sv));
2081             } else {
2082                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2083                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2084                     /* Small enough to preserve all bits. */
2085                     (void)SvIOKp_on(sv);
2086                     SvNOK_on(sv);
2087                     SvIV_set(sv, I_V(SvNVX(sv)));
2088                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2089                         SvIOK_on(sv);
2090                     /* Assumption: first non-preserved integer is < IV_MAX,
2091                        this NV is in the preserved range, therefore: */
2092                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2093                           < (UV)IV_MAX)) {
2094                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2095                     }
2096                 } else {
2097                     /* IN_UV NOT_INT
2098                          0      0       already failed to read UV.
2099                          0      1       already failed to read UV.
2100                          1      0       you won't get here in this case. IV/UV
2101                                         slot set, public IOK, Atof() unneeded.
2102                          1      1       already read UV.
2103                        so there's no point in sv_2iuv_non_preserve() attempting
2104                        to use atol, strtol, strtoul etc.  */
2105                     sv_2iuv_non_preserve (sv, numtype);
2106                 }
2107             }
2108 #endif /* NV_PRESERVES_UV */
2109         }
2110     }
2111     else  {
2112         if (isGV_with_GP(sv))
2113             return glob_2number((GV *)sv);
2114
2115         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2116             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2117                 report_uninit(sv);
2118         }
2119         if (SvTYPE(sv) < SVt_IV)
2120             /* Typically the caller expects that sv_any is not NULL now.  */
2121             sv_upgrade(sv, SVt_IV);
2122         /* Return 0 from the caller.  */
2123         return TRUE;
2124     }
2125     return FALSE;
2126 }
2127
2128 /*
2129 =for apidoc sv_2iv_flags
2130
2131 Return the integer value of an SV, doing any necessary string
2132 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2133 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2134
2135 =cut
2136 */
2137
2138 IV
2139 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
2140 {
2141     dVAR;
2142     if (!sv)
2143         return 0;
2144     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2145         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2146            cache IVs just in case. In practice it seems that they never
2147            actually anywhere accessible by user Perl code, let alone get used
2148            in anything other than a string context.  */
2149         if (flags & SV_GMAGIC)
2150             mg_get(sv);
2151         if (SvIOKp(sv))
2152             return SvIVX(sv);
2153         if (SvNOKp(sv)) {
2154             return I_V(SvNVX(sv));
2155         }
2156         if (SvPOKp(sv) && SvLEN(sv)) {
2157             UV value;
2158             const int numtype
2159                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2160
2161             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2162                 == IS_NUMBER_IN_UV) {
2163                 /* It's definitely an integer */
2164                 if (numtype & IS_NUMBER_NEG) {
2165                     if (value < (UV)IV_MIN)
2166                         return -(IV)value;
2167                 } else {
2168                     if (value < (UV)IV_MAX)
2169                         return (IV)value;
2170                 }
2171             }
2172             if (!numtype) {
2173                 if (ckWARN(WARN_NUMERIC))
2174                     not_a_number(sv);
2175             }
2176             return I_V(Atof(SvPVX_const(sv)));
2177         }
2178         if (SvROK(sv)) {
2179             goto return_rok;
2180         }
2181         assert(SvTYPE(sv) >= SVt_PVMG);
2182         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2183     } else if (SvTHINKFIRST(sv)) {
2184         if (SvROK(sv)) {
2185         return_rok:
2186             if (SvAMAGIC(sv)) {
2187                 SV * const tmpstr=AMG_CALLun(sv,numer);
2188                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2189                     return SvIV(tmpstr);
2190                 }
2191             }
2192             return PTR2IV(SvRV(sv));
2193         }
2194         if (SvIsCOW(sv)) {
2195             sv_force_normal_flags(sv, 0);
2196         }
2197         if (SvREADONLY(sv) && !SvOK(sv)) {
2198             if (ckWARN(WARN_UNINITIALIZED))
2199                 report_uninit(sv);
2200             return 0;
2201         }
2202     }
2203     if (!SvIOKp(sv)) {
2204         if (S_sv_2iuv_common(aTHX_ sv))
2205             return 0;
2206     }
2207     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2208         PTR2UV(sv),SvIVX(sv)));
2209     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2210 }
2211
2212 /*
2213 =for apidoc sv_2uv_flags
2214
2215 Return the unsigned integer value of an SV, doing any necessary string
2216 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2217 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2218
2219 =cut
2220 */
2221
2222 UV
2223 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
2224 {
2225     dVAR;
2226     if (!sv)
2227         return 0;
2228     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2229         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2230            cache IVs just in case.  */
2231         if (flags & SV_GMAGIC)
2232             mg_get(sv);
2233         if (SvIOKp(sv))
2234             return SvUVX(sv);
2235         if (SvNOKp(sv))
2236             return U_V(SvNVX(sv));
2237         if (SvPOKp(sv) && SvLEN(sv)) {
2238             UV value;
2239             const int numtype
2240                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2241
2242             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2243                 == IS_NUMBER_IN_UV) {
2244                 /* It's definitely an integer */
2245                 if (!(numtype & IS_NUMBER_NEG))
2246                     return value;
2247             }
2248             if (!numtype) {
2249                 if (ckWARN(WARN_NUMERIC))
2250                     not_a_number(sv);
2251             }
2252             return U_V(Atof(SvPVX_const(sv)));
2253         }
2254         if (SvROK(sv)) {
2255             goto return_rok;
2256         }
2257         assert(SvTYPE(sv) >= SVt_PVMG);
2258         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2259     } else if (SvTHINKFIRST(sv)) {
2260         if (SvROK(sv)) {
2261         return_rok:
2262             if (SvAMAGIC(sv)) {
2263                 SV *const tmpstr = AMG_CALLun(sv,numer);
2264                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2265                     return SvUV(tmpstr);
2266                 }
2267             }
2268             return PTR2UV(SvRV(sv));
2269         }
2270         if (SvIsCOW(sv)) {
2271             sv_force_normal_flags(sv, 0);
2272         }
2273         if (SvREADONLY(sv) && !SvOK(sv)) {
2274             if (ckWARN(WARN_UNINITIALIZED))
2275                 report_uninit(sv);
2276             return 0;
2277         }
2278     }
2279     if (!SvIOKp(sv)) {
2280         if (S_sv_2iuv_common(aTHX_ sv))
2281             return 0;
2282     }
2283
2284     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2285                           PTR2UV(sv),SvUVX(sv)));
2286     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2287 }
2288
2289 /*
2290 =for apidoc sv_2nv
2291
2292 Return the num value of an SV, doing any necessary string or integer
2293 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2294 macros.
2295
2296 =cut
2297 */
2298
2299 NV
2300 Perl_sv_2nv(pTHX_ register SV *sv)
2301 {
2302     dVAR;
2303     if (!sv)
2304         return 0.0;
2305     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2306         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2307            cache IVs just in case.  */
2308         mg_get(sv);
2309         if (SvNOKp(sv))
2310             return SvNVX(sv);
2311         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2312             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2313                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2314                 not_a_number(sv);
2315             return Atof(SvPVX_const(sv));
2316         }
2317         if (SvIOKp(sv)) {
2318             if (SvIsUV(sv))
2319                 return (NV)SvUVX(sv);
2320             else
2321                 return (NV)SvIVX(sv);
2322         }
2323         if (SvROK(sv)) {
2324             goto return_rok;
2325         }
2326         assert(SvTYPE(sv) >= SVt_PVMG);
2327         /* This falls through to the report_uninit near the end of the
2328            function. */
2329     } else if (SvTHINKFIRST(sv)) {
2330         if (SvROK(sv)) {
2331         return_rok:
2332             if (SvAMAGIC(sv)) {
2333                 SV *const tmpstr = AMG_CALLun(sv,numer);
2334                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2335                     return SvNV(tmpstr);
2336                 }
2337             }
2338             return PTR2NV(SvRV(sv));
2339         }
2340         if (SvIsCOW(sv)) {
2341             sv_force_normal_flags(sv, 0);
2342         }
2343         if (SvREADONLY(sv) && !SvOK(sv)) {
2344             if (ckWARN(WARN_UNINITIALIZED))
2345                 report_uninit(sv);
2346             return 0.0;
2347         }
2348     }
2349     if (SvTYPE(sv) < SVt_NV) {
2350         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2351         sv_upgrade(sv, SVt_NV);
2352 #ifdef USE_LONG_DOUBLE
2353         DEBUG_c({
2354             STORE_NUMERIC_LOCAL_SET_STANDARD();
2355             PerlIO_printf(Perl_debug_log,
2356                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2357                           PTR2UV(sv), SvNVX(sv));
2358             RESTORE_NUMERIC_LOCAL();
2359         });
2360 #else
2361         DEBUG_c({
2362             STORE_NUMERIC_LOCAL_SET_STANDARD();
2363             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2364                           PTR2UV(sv), SvNVX(sv));
2365             RESTORE_NUMERIC_LOCAL();
2366         });
2367 #endif
2368     }
2369     else if (SvTYPE(sv) < SVt_PVNV)
2370         sv_upgrade(sv, SVt_PVNV);
2371     if (SvNOKp(sv)) {
2372         return SvNVX(sv);
2373     }
2374     if (SvIOKp(sv)) {
2375         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2376 #ifdef NV_PRESERVES_UV
2377         SvNOK_on(sv);
2378 #else
2379         /* Only set the public NV OK flag if this NV preserves the IV  */
2380         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2381         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2382                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2383             SvNOK_on(sv);
2384         else
2385             SvNOKp_on(sv);
2386 #endif
2387     }
2388     else if (SvPOKp(sv) && SvLEN(sv)) {
2389         UV value;
2390         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2391         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2392             not_a_number(sv);
2393 #ifdef NV_PRESERVES_UV
2394         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2395             == IS_NUMBER_IN_UV) {
2396             /* It's definitely an integer */
2397             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2398         } else
2399             SvNV_set(sv, Atof(SvPVX_const(sv)));
2400         SvNOK_on(sv);
2401 #else
2402         SvNV_set(sv, Atof(SvPVX_const(sv)));
2403         /* Only set the public NV OK flag if this NV preserves the value in
2404            the PV at least as well as an IV/UV would.
2405            Not sure how to do this 100% reliably. */
2406         /* if that shift count is out of range then Configure's test is
2407            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2408            UV_BITS */
2409         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2410             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2411             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2412         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2413             /* Can't use strtol etc to convert this string, so don't try.
2414                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2415             SvNOK_on(sv);
2416         } else {
2417             /* value has been set.  It may not be precise.  */
2418             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2419                 /* 2s complement assumption for (UV)IV_MIN  */
2420                 SvNOK_on(sv); /* Integer is too negative.  */
2421             } else {
2422                 SvNOKp_on(sv);
2423                 SvIOKp_on(sv);
2424
2425                 if (numtype & IS_NUMBER_NEG) {
2426                     SvIV_set(sv, -(IV)value);
2427                 } else if (value <= (UV)IV_MAX) {
2428                     SvIV_set(sv, (IV)value);
2429                 } else {
2430                     SvUV_set(sv, value);
2431                     SvIsUV_on(sv);
2432                 }
2433
2434                 if (numtype & IS_NUMBER_NOT_INT) {
2435                     /* I believe that even if the original PV had decimals,
2436                        they are lost beyond the limit of the FP precision.
2437                        However, neither is canonical, so both only get p
2438                        flags.  NWC, 2000/11/25 */
2439                     /* Both already have p flags, so do nothing */
2440                 } else {
2441                     const NV nv = SvNVX(sv);
2442                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2443                         if (SvIVX(sv) == I_V(nv)) {
2444                             SvNOK_on(sv);
2445                         } else {
2446                             /* It had no "." so it must be integer.  */
2447                         }
2448                         SvIOK_on(sv);
2449                     } else {
2450                         /* between IV_MAX and NV(UV_MAX).
2451                            Could be slightly > UV_MAX */
2452
2453                         if (numtype & IS_NUMBER_NOT_INT) {
2454                             /* UV and NV both imprecise.  */
2455                         } else {
2456                             const UV nv_as_uv = U_V(nv);
2457
2458                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2459                                 SvNOK_on(sv);
2460                             }
2461                             SvIOK_on(sv);
2462                         }
2463                     }
2464                 }
2465             }
2466         }
2467 #endif /* NV_PRESERVES_UV */
2468     }
2469     else  {
2470         if (isGV_with_GP(sv)) {
2471             glob_2number((GV *)sv);
2472             return 0.0;
2473         }
2474
2475         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2476             report_uninit(sv);
2477         assert (SvTYPE(sv) >= SVt_NV);
2478         /* Typically the caller expects that sv_any is not NULL now.  */
2479         /* XXX Ilya implies that this is a bug in callers that assume this
2480            and ideally should be fixed.  */
2481         return 0.0;
2482     }
2483 #if defined(USE_LONG_DOUBLE)
2484     DEBUG_c({
2485         STORE_NUMERIC_LOCAL_SET_STANDARD();
2486         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2487                       PTR2UV(sv), SvNVX(sv));
2488         RESTORE_NUMERIC_LOCAL();
2489     });
2490 #else
2491     DEBUG_c({
2492         STORE_NUMERIC_LOCAL_SET_STANDARD();
2493         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2494                       PTR2UV(sv), SvNVX(sv));
2495         RESTORE_NUMERIC_LOCAL();
2496     });
2497 #endif
2498     return SvNVX(sv);
2499 }
2500
2501 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2502  * UV as a string towards the end of buf, and return pointers to start and
2503  * end of it.
2504  *
2505  * We assume that buf is at least TYPE_CHARS(UV) long.
2506  */
2507
2508 static char *
2509 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2510 {
2511     char *ptr = buf + TYPE_CHARS(UV);
2512     char * const ebuf = ptr;
2513     int sign;
2514
2515     if (is_uv)
2516         sign = 0;
2517     else if (iv >= 0) {
2518         uv = iv;
2519         sign = 0;
2520     } else {
2521         uv = -iv;
2522         sign = 1;
2523     }
2524     do {
2525         *--ptr = '0' + (char)(uv % 10);
2526     } while (uv /= 10);
2527     if (sign)
2528         *--ptr = '-';
2529     *peob = ebuf;
2530     return ptr;
2531 }
2532
2533 /*
2534 =for apidoc sv_2pv_flags
2535
2536 Returns a pointer to the string value of an SV, and sets *lp to its length.
2537 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2538 if necessary.
2539 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2540 usually end up here too.
2541
2542 =cut
2543 */
2544
2545 char *
2546 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2547 {
2548     dVAR;
2549     register char *s;
2550
2551     if (!sv) {
2552         if (lp)
2553             *lp = 0;
2554         return (char *)"";
2555     }
2556     if (SvGMAGICAL(sv)) {
2557         if (flags & SV_GMAGIC)
2558             mg_get(sv);
2559         if (SvPOKp(sv)) {
2560             if (lp)
2561                 *lp = SvCUR(sv);
2562             if (flags & SV_MUTABLE_RETURN)
2563                 return SvPVX_mutable(sv);
2564             if (flags & SV_CONST_RETURN)
2565                 return (char *)SvPVX_const(sv);
2566             return SvPVX(sv);
2567         }
2568         if (SvIOKp(sv) || SvNOKp(sv)) {
2569             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2570             STRLEN len;
2571
2572             if (SvIOKp(sv)) {
2573                 len = SvIsUV(sv)
2574                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2575                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2576             } else {
2577                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2578                 len = strlen(tbuf);
2579             }
2580             assert(!SvROK(sv));
2581             {
2582                 dVAR;
2583
2584 #ifdef FIXNEGATIVEZERO
2585                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2586                     tbuf[0] = '0';
2587                     tbuf[1] = 0;
2588                     len = 1;
2589                 }
2590 #endif
2591                 SvUPGRADE(sv, SVt_PV);
2592                 if (lp)
2593                     *lp = len;
2594                 s = SvGROW_mutable(sv, len + 1);
2595                 SvCUR_set(sv, len);
2596                 SvPOKp_on(sv);
2597                 return (char*)memcpy(s, tbuf, len + 1);
2598             }
2599         }
2600         if (SvROK(sv)) {
2601             goto return_rok;
2602         }
2603         assert(SvTYPE(sv) >= SVt_PVMG);
2604         /* This falls through to the report_uninit near the end of the
2605            function. */
2606     } else if (SvTHINKFIRST(sv)) {
2607         if (SvROK(sv)) {
2608         return_rok:
2609             if (SvAMAGIC(sv)) {
2610                 SV *const tmpstr = AMG_CALLun(sv,string);
2611                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2612                     /* Unwrap this:  */
2613                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2614                      */
2615
2616                     char *pv;
2617                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2618                         if (flags & SV_CONST_RETURN) {
2619                             pv = (char *) SvPVX_const(tmpstr);
2620                         } else {
2621                             pv = (flags & SV_MUTABLE_RETURN)
2622                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2623                         }
2624                         if (lp)
2625                             *lp = SvCUR(tmpstr);
2626                     } else {
2627                         pv = sv_2pv_flags(tmpstr, lp, flags);
2628                     }
2629                     if (SvUTF8(tmpstr))
2630                         SvUTF8_on(sv);
2631                     else
2632                         SvUTF8_off(sv);
2633                     return pv;
2634                 }
2635             }
2636             {
2637                 STRLEN len;
2638                 char *retval;
2639                 char *buffer;
2640                 MAGIC *mg;
2641                 const SV *const referent = (SV*)SvRV(sv);
2642
2643                 if (!referent) {
2644                     len = 7;
2645                     retval = buffer = savepvn("NULLREF", len);
2646                 } else if (SvTYPE(referent) == SVt_PVMG
2647                            && ((SvFLAGS(referent) &
2648                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2649                                == (SVs_OBJECT|SVs_SMG))
2650                            && (mg = mg_find(referent, PERL_MAGIC_qr)))
2651                 {
2652                     char *str = NULL;
2653                     I32 haseval = 0;
2654                     U32 flags = 0;
2655                     (str) = CALLREG_AS_STR(mg,lp,&flags,&haseval);
2656                     if (flags & 1)
2657                         SvUTF8_on(sv);
2658                     else
2659                         SvUTF8_off(sv);
2660                     PL_reginterp_cnt += haseval;
2661                     return str;
2662                 } else {
2663                     const char *const typestr = sv_reftype(referent, 0);
2664                     const STRLEN typelen = strlen(typestr);
2665                     UV addr = PTR2UV(referent);
2666                     const char *stashname = NULL;
2667                     STRLEN stashnamelen = 0; /* hush, gcc */
2668                     const char *buffer_end;
2669
2670                     if (SvOBJECT(referent)) {
2671                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2672
2673                         if (name) {
2674                             stashname = HEK_KEY(name);
2675                             stashnamelen = HEK_LEN(name);
2676
2677                             if (HEK_UTF8(name)) {
2678                                 SvUTF8_on(sv);
2679                             } else {
2680                                 SvUTF8_off(sv);
2681                             }
2682                         } else {
2683                             stashname = "__ANON__";
2684                             stashnamelen = 8;
2685                         }
2686                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2687                             + 2 * sizeof(UV) + 2 /* )\0 */;
2688                     } else {
2689                         len = typelen + 3 /* (0x */
2690                             + 2 * sizeof(UV) + 2 /* )\0 */;
2691                     }
2692
2693                     Newx(buffer, len, char);
2694                     buffer_end = retval = buffer + len;
2695
2696                     /* Working backwards  */
2697                     *--retval = '\0';
2698                     *--retval = ')';
2699                     do {
2700                         *--retval = PL_hexdigit[addr & 15];
2701                     } while (addr >>= 4);
2702                     *--retval = 'x';
2703                     *--retval = '0';
2704                     *--retval = '(';
2705
2706                     retval -= typelen;
2707                     memcpy(retval, typestr, typelen);
2708
2709                     if (stashname) {
2710                         *--retval = '=';
2711                         retval -= stashnamelen;
2712                         memcpy(retval, stashname, stashnamelen);
2713                     }
2714                     /* retval may not neccesarily have reached the start of the
2715                        buffer here.  */
2716                     assert (retval >= buffer);
2717
2718                     len = buffer_end - retval - 1; /* -1 for that \0  */
2719                 }
2720                 if (lp)
2721                     *lp = len;
2722                 SAVEFREEPV(buffer);
2723                 return retval;
2724             }
2725         }
2726         if (SvREADONLY(sv) && !SvOK(sv)) {
2727             if (ckWARN(WARN_UNINITIALIZED))
2728                 report_uninit(sv);
2729             if (lp)
2730                 *lp = 0;
2731             return (char *)"";
2732         }
2733     }
2734     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2735         /* I'm assuming that if both IV and NV are equally valid then
2736            converting the IV is going to be more efficient */
2737         const U32 isUIOK = SvIsUV(sv);
2738         char buf[TYPE_CHARS(UV)];
2739         char *ebuf, *ptr;
2740
2741         if (SvTYPE(sv) < SVt_PVIV)
2742             sv_upgrade(sv, SVt_PVIV);
2743         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2744         /* inlined from sv_setpvn */
2745         SvGROW_mutable(sv, (STRLEN)(ebuf - ptr + 1));
2746         Move(ptr,SvPVX_mutable(sv),ebuf - ptr,char);
2747         SvCUR_set(sv, ebuf - ptr);
2748         s = SvEND(sv);
2749         *s = '\0';
2750     }
2751     else if (SvNOKp(sv)) {
2752         const int olderrno = errno;
2753         if (SvTYPE(sv) < SVt_PVNV)
2754             sv_upgrade(sv, SVt_PVNV);
2755         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2756         s = SvGROW_mutable(sv, NV_DIG + 20);
2757         /* some Xenix systems wipe out errno here */
2758 #ifdef apollo
2759         if (SvNVX(sv) == 0.0)
2760             my_strlcpy(s, "0", SvLEN(sv));
2761         else
2762 #endif /*apollo*/
2763         {
2764             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2765         }
2766         errno = olderrno;
2767 #ifdef FIXNEGATIVEZERO
2768         if (*s == '-' && s[1] == '0' && !s[2])
2769             my_strlcpy(s, "0", SvLEN(s));
2770 #endif
2771         while (*s) s++;
2772 #ifdef hcx
2773         if (s[-1] == '.')
2774             *--s = '\0';
2775 #endif
2776     }
2777     else {
2778         if (isGV_with_GP(sv))
2779             return glob_2pv((GV *)sv, lp);
2780
2781         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2782             report_uninit(sv);
2783         if (lp)
2784             *lp = 0;
2785         if (SvTYPE(sv) < SVt_PV)
2786             /* Typically the caller expects that sv_any is not NULL now.  */
2787             sv_upgrade(sv, SVt_PV);
2788         return (char *)"";
2789     }
2790     {
2791         const STRLEN len = s - SvPVX_const(sv);
2792         if (lp) 
2793             *lp = len;
2794         SvCUR_set(sv, len);
2795     }
2796     SvPOK_on(sv);
2797     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2798                           PTR2UV(sv),SvPVX_const(sv)));
2799     if (flags & SV_CONST_RETURN)
2800         return (char *)SvPVX_const(sv);
2801     if (flags & SV_MUTABLE_RETURN)
2802         return SvPVX_mutable(sv);
2803     return SvPVX(sv);
2804 }
2805
2806 /*
2807 =for apidoc sv_copypv
2808
2809 Copies a stringified representation of the source SV into the
2810 destination SV.  Automatically performs any necessary mg_get and
2811 coercion of numeric values into strings.  Guaranteed to preserve
2812 UTF-8 flag even from overloaded objects.  Similar in nature to
2813 sv_2pv[_flags] but operates directly on an SV instead of just the
2814 string.  Mostly uses sv_2pv_flags to do its work, except when that
2815 would lose the UTF-8'ness of the PV.
2816
2817 =cut
2818 */
2819
2820 void
2821 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2822 {
2823     STRLEN len;
2824     const char * const s = SvPV_const(ssv,len);
2825     sv_setpvn(dsv,s,len);
2826     if (SvUTF8(ssv))
2827         SvUTF8_on(dsv);
2828     else
2829         SvUTF8_off(dsv);
2830 }
2831
2832 /*
2833 =for apidoc sv_2pvbyte
2834
2835 Return a pointer to the byte-encoded representation of the SV, and set *lp
2836 to its length.  May cause the SV to be downgraded from UTF-8 as a
2837 side-effect.
2838
2839 Usually accessed via the C<SvPVbyte> macro.
2840
2841 =cut
2842 */
2843
2844 char *
2845 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2846 {
2847     sv_utf8_downgrade(sv,0);
2848     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2849 }
2850
2851 /*
2852 =for apidoc sv_2pvutf8
2853
2854 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2855 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2856
2857 Usually accessed via the C<SvPVutf8> macro.
2858
2859 =cut
2860 */
2861
2862 char *
2863 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2864 {
2865     sv_utf8_upgrade(sv);
2866     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2867 }
2868
2869
2870 /*
2871 =for apidoc sv_2bool
2872
2873 This function is only called on magical items, and is only used by
2874 sv_true() or its macro equivalent.
2875
2876 =cut
2877 */
2878
2879 bool
2880 Perl_sv_2bool(pTHX_ register SV *sv)
2881 {
2882     dVAR;
2883     SvGETMAGIC(sv);
2884
2885     if (!SvOK(sv))
2886         return 0;
2887     if (SvROK(sv)) {
2888         if (SvAMAGIC(sv)) {
2889             SV * const tmpsv = AMG_CALLun(sv,bool_);
2890             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2891                 return (bool)SvTRUE(tmpsv);
2892         }
2893         return SvRV(sv) != 0;
2894     }
2895     if (SvPOKp(sv)) {
2896         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2897         if (Xpvtmp &&
2898                 (*sv->sv_u.svu_pv > '0' ||
2899                 Xpvtmp->xpv_cur > 1 ||
2900                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2901             return 1;
2902         else
2903             return 0;
2904     }
2905     else {
2906         if (SvIOKp(sv))
2907             return SvIVX(sv) != 0;
2908         else {
2909             if (SvNOKp(sv))
2910                 return SvNVX(sv) != 0.0;
2911             else {
2912                 if (isGV_with_GP(sv))
2913                     return TRUE;
2914                 else
2915                     return FALSE;
2916             }
2917         }
2918     }
2919 }
2920
2921 /*
2922 =for apidoc sv_utf8_upgrade
2923
2924 Converts the PV of an SV to its UTF-8-encoded form.
2925 Forces the SV to string form if it is not already.
2926 Always sets the SvUTF8 flag to avoid future validity checks even
2927 if all the bytes have hibit clear.
2928
2929 This is not as a general purpose byte encoding to Unicode interface:
2930 use the Encode extension for that.
2931
2932 =for apidoc sv_utf8_upgrade_flags
2933
2934 Converts the PV of an SV to its UTF-8-encoded form.
2935 Forces the SV to string form if it is not already.
2936 Always sets the SvUTF8 flag to avoid future validity checks even
2937 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2938 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2939 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2940
2941 This is not as a general purpose byte encoding to Unicode interface:
2942 use the Encode extension for that.
2943
2944 =cut
2945 */
2946
2947 STRLEN
2948 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
2949 {
2950     dVAR;
2951     if (sv == &PL_sv_undef)
2952         return 0;
2953     if (!SvPOK(sv)) {
2954         STRLEN len = 0;
2955         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
2956             (void) sv_2pv_flags(sv,&len, flags);
2957             if (SvUTF8(sv))
2958                 return len;
2959         } else {
2960             (void) SvPV_force(sv,len);
2961         }
2962     }
2963
2964     if (SvUTF8(sv)) {
2965         return SvCUR(sv);
2966     }
2967
2968     if (SvIsCOW(sv)) {
2969         sv_force_normal_flags(sv, 0);
2970     }
2971
2972     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
2973         sv_recode_to_utf8(sv, PL_encoding);
2974     else { /* Assume Latin-1/EBCDIC */
2975         /* This function could be much more efficient if we
2976          * had a FLAG in SVs to signal if there are any hibit
2977          * chars in the PV.  Given that there isn't such a flag
2978          * make the loop as fast as possible. */
2979         const U8 * const s = (U8 *) SvPVX_const(sv);
2980         const U8 * const e = (U8 *) SvEND(sv);
2981         const U8 *t = s;
2982         
2983         while (t < e) {
2984             const U8 ch = *t++;
2985             /* Check for hi bit */
2986             if (!NATIVE_IS_INVARIANT(ch)) {
2987                 STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
2988                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
2989
2990                 SvPV_free(sv); /* No longer using what was there before. */
2991                 SvPV_set(sv, (char*)recoded);
2992                 SvCUR_set(sv, len - 1);
2993                 SvLEN_set(sv, len); /* No longer know the real size. */
2994                 break;
2995             }
2996         }
2997         /* Mark as UTF-8 even if no hibit - saves scanning loop */
2998         SvUTF8_on(sv);
2999     }
3000     return SvCUR(sv);
3001 }
3002
3003 /*
3004 =for apidoc sv_utf8_downgrade
3005
3006 Attempts to convert the PV of an SV from characters to bytes.
3007 If the PV contains a character beyond byte, this conversion will fail;
3008 in this case, either returns false or, if C<fail_ok> is not
3009 true, croaks.
3010
3011 This is not as a general purpose Unicode to byte encoding interface:
3012 use the Encode extension for that.
3013
3014 =cut
3015 */
3016
3017 bool
3018 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
3019 {
3020     dVAR;
3021     if (SvPOKp(sv) && SvUTF8(sv)) {
3022         if (SvCUR(sv)) {
3023             U8 *s;
3024             STRLEN len;
3025
3026             if (SvIsCOW(sv)) {
3027                 sv_force_normal_flags(sv, 0);
3028             }
3029             s = (U8 *) SvPV(sv, len);
3030             if (!utf8_to_bytes(s, &len)) {
3031                 if (fail_ok)
3032                     return FALSE;
3033                 else {
3034                     if (PL_op)
3035                         Perl_croak(aTHX_ "Wide character in %s",
3036                                    OP_DESC(PL_op));
3037                     else
3038                         Perl_croak(aTHX_ "Wide character");
3039                 }
3040             }
3041             SvCUR_set(sv, len);
3042         }
3043     }
3044     SvUTF8_off(sv);
3045     return TRUE;
3046 }
3047
3048 /*
3049 =for apidoc sv_utf8_encode
3050
3051 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3052 flag off so that it looks like octets again.
3053
3054 =cut
3055 */
3056
3057 void
3058 Perl_sv_utf8_encode(pTHX_ register SV *sv)
3059 {
3060     if (SvIsCOW(sv)) {
3061         sv_force_normal_flags(sv, 0);
3062     }
3063     if (SvREADONLY(sv)) {
3064         Perl_croak(aTHX_ PL_no_modify);
3065     }
3066     (void) sv_utf8_upgrade(sv);
3067     SvUTF8_off(sv);
3068 }
3069
3070 /*
3071 =for apidoc sv_utf8_decode
3072
3073 If the PV of the SV is an octet sequence in UTF-8
3074 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3075 so that it looks like a character. If the PV contains only single-byte
3076 characters, the C<SvUTF8> flag stays being off.
3077 Scans PV for validity and returns false if the PV is invalid UTF-8.
3078
3079 =cut
3080 */
3081
3082 bool
3083 Perl_sv_utf8_decode(pTHX_ register SV *sv)
3084 {
3085     if (SvPOKp(sv)) {
3086         const U8 *c;
3087         const U8 *e;
3088
3089         /* The octets may have got themselves encoded - get them back as
3090          * bytes
3091          */
3092         if (!sv_utf8_downgrade(sv, TRUE))
3093             return FALSE;
3094
3095         /* it is actually just a matter of turning the utf8 flag on, but
3096          * we want to make sure everything inside is valid utf8 first.
3097          */
3098         c = (const U8 *) SvPVX_const(sv);
3099         if (!is_utf8_string(c, SvCUR(sv)+1))
3100             return FALSE;
3101         e = (const U8 *) SvEND(sv);
3102         while (c < e) {
3103             const U8 ch = *c++;
3104             if (!UTF8_IS_INVARIANT(ch)) {
3105                 SvUTF8_on(sv);
3106                 break;
3107             }
3108         }
3109     }
3110     return TRUE;
3111 }
3112
3113 /*
3114 =for apidoc sv_setsv
3115
3116 Copies the contents of the source SV C<ssv> into the destination SV
3117 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3118 function if the source SV needs to be reused. Does not handle 'set' magic.
3119 Loosely speaking, it performs a copy-by-value, obliterating any previous
3120 content of the destination.
3121
3122 You probably want to use one of the assortment of wrappers, such as
3123 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3124 C<SvSetMagicSV_nosteal>.
3125
3126 =for apidoc sv_setsv_flags
3127
3128 Copies the contents of the source SV C<ssv> into the destination SV
3129 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3130 function if the source SV needs to be reused. Does not handle 'set' magic.
3131 Loosely speaking, it performs a copy-by-value, obliterating any previous
3132 content of the destination.
3133 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3134 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3135 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3136 and C<sv_setsv_nomg> are implemented in terms of this function.
3137
3138 You probably want to use one of the assortment of wrappers, such as
3139 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3140 C<SvSetMagicSV_nosteal>.
3141
3142 This is the primary function for copying scalars, and most other
3143 copy-ish functions and macros use this underneath.
3144
3145 =cut
3146 */
3147
3148 static void
3149 S_glob_assign_glob(pTHX_ SV *dstr, SV *sstr, const int dtype)
3150 {
3151     if (dtype != SVt_PVGV) {
3152         const char * const name = GvNAME(sstr);
3153         const STRLEN len = GvNAMELEN(sstr);
3154         {
3155             if (dtype >= SVt_PV) {
3156                 SvPV_free(dstr);
3157                 SvPV_set(dstr, 0);
3158                 SvLEN_set(dstr, 0);
3159                 SvCUR_set(dstr, 0);
3160             }
3161             SvUPGRADE(dstr, SVt_PVGV);
3162             (void)SvOK_off(dstr);
3163             /* FIXME - why are we doing this, then turning it off and on again
3164                below?  */
3165             isGV_with_GP_on(dstr);
3166         }
3167         GvSTASH(dstr) = GvSTASH(sstr);
3168         if (GvSTASH(dstr))
3169             Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
3170         gv_name_set((GV *)dstr, name, len, GV_ADD);
3171         SvFAKE_on(dstr);        /* can coerce to non-glob */
3172     }
3173
3174 #ifdef GV_UNIQUE_CHECK
3175     if (GvUNIQUE((GV*)dstr)) {
3176         Perl_croak(aTHX_ PL_no_modify);
3177     }
3178 #endif
3179
3180     gp_free((GV*)dstr);
3181     isGV_with_GP_off(dstr);
3182     (void)SvOK_off(dstr);
3183     isGV_with_GP_on(dstr);
3184     GvINTRO_off(dstr);          /* one-shot flag */
3185     GvGP(dstr) = gp_ref(GvGP(sstr));
3186     if (SvTAINTED(sstr))
3187         SvTAINT(dstr);
3188     if (GvIMPORTED(dstr) != GVf_IMPORTED
3189         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3190         {
3191             GvIMPORTED_on(dstr);
3192         }
3193     GvMULTI_on(dstr);
3194     return;
3195 }
3196
3197 static void
3198 S_glob_assign_ref(pTHX_ SV *dstr, SV *sstr) {
3199     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3200     SV *dref = NULL;
3201     const int intro = GvINTRO(dstr);
3202     SV **location;
3203     U8 import_flag = 0;
3204     const U32 stype = SvTYPE(sref);
3205
3206
3207 #ifdef GV_UNIQUE_CHECK
3208     if (GvUNIQUE((GV*)dstr)) {
3209         Perl_croak(aTHX_ PL_no_modify);
3210     }
3211 #endif
3212
3213     if (intro) {
3214         GvINTRO_off(dstr);      /* one-shot flag */
3215         GvLINE(dstr) = CopLINE(PL_curcop);
3216         GvEGV(dstr) = (GV*)dstr;
3217     }
3218     GvMULTI_on(dstr);
3219     switch (stype) {
3220     case SVt_PVCV:
3221         location = (SV **) &GvCV(dstr);
3222         import_flag = GVf_IMPORTED_CV;
3223         goto common;
3224     case SVt_PVHV:
3225         location = (SV **) &GvHV(dstr);
3226         import_flag = GVf_IMPORTED_HV;
3227         goto common;
3228     case SVt_PVAV:
3229         location = (SV **) &GvAV(dstr);
3230         import_flag = GVf_IMPORTED_AV;
3231         goto common;
3232     case SVt_PVIO:
3233         location = (SV **) &GvIOp(dstr);
3234         goto common;
3235     case SVt_PVFM:
3236         location = (SV **) &GvFORM(dstr);
3237     default:
3238         location = &GvSV(dstr);
3239         import_flag = GVf_IMPORTED_SV;
3240     common:
3241         if (intro) {
3242             if (stype == SVt_PVCV) {
3243                 if (GvCVGEN(dstr) && GvCV(dstr) != (CV*)sref) {
3244                     SvREFCNT_dec(GvCV(dstr));
3245                     GvCV(dstr) = NULL;
3246                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3247                     PL_sub_generation++;
3248                 }
3249             }
3250             SAVEGENERICSV(*location);
3251         }
3252         else
3253             dref = *location;
3254         if (stype == SVt_PVCV && *location != sref) {
3255             CV* const cv = (CV*)*location;
3256             if (cv) {
3257                 if (!GvCVGEN((GV*)dstr) &&
3258                     (CvROOT(cv) || CvXSUB(cv)))
3259                     {
3260                         /* Redefining a sub - warning is mandatory if
3261                            it was a const and its value changed. */
3262                         if (CvCONST(cv) && CvCONST((CV*)sref)
3263                             && cv_const_sv(cv) == cv_const_sv((CV*)sref)) {
3264                             NOOP;
3265                             /* They are 2 constant subroutines generated from
3266                                the same constant. This probably means that
3267                                they are really the "same" proxy subroutine
3268                                instantiated in 2 places. Most likely this is
3269                                when a constant is exported twice.  Don't warn.
3270                             */
3271                         }
3272                         else if (ckWARN(WARN_REDEFINE)
3273                                  || (CvCONST(cv)
3274                                      && (!CvCONST((CV*)sref)
3275                                          || sv_cmp(cv_const_sv(cv),
3276                                                    cv_const_sv((CV*)sref))))) {
3277                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3278                                         (const char *)
3279                                         (CvCONST(cv)
3280                                          ? "Constant subroutine %s::%s redefined"
3281                                          : "Subroutine %s::%s redefined"),
3282                                         HvNAME_get(GvSTASH((GV*)dstr)),
3283                                         GvENAME((GV*)dstr));
3284                         }
3285                     }
3286                 if (!intro)
3287                     cv_ckproto_len(cv, (GV*)dstr,
3288                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3289                                    SvPOK(sref) ? SvCUR(sref) : 0);
3290             }
3291             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3292             GvASSUMECV_on(dstr);
3293             PL_sub_generation++;
3294         }
3295         *location = sref;
3296         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3297             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3298             GvFLAGS(dstr) |= import_flag;
3299         }
3300         break;
3301     }
3302     SvREFCNT_dec(dref);
3303     if (SvTAINTED(sstr))
3304         SvTAINT(dstr);
3305     return;
3306 }
3307
3308 void
3309 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
3310 {
3311     dVAR;
3312     register U32 sflags;
3313     register int dtype;
3314     register svtype stype;
3315
3316     if (sstr == dstr)
3317         return;
3318
3319     if (SvIS_FREED(dstr)) {
3320         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3321                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3322     }
3323     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3324     if (!sstr)
3325         sstr = &PL_sv_undef;
3326     if (SvIS_FREED(sstr)) {
3327         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3328                    (void*)sstr, (void*)dstr);
3329     }
3330     stype = SvTYPE(sstr);
3331     dtype = SvTYPE(dstr);
3332
3333     (void)SvAMAGIC_off(dstr);
3334     if ( SvVOK(dstr) )
3335     {
3336         /* need to nuke the magic */
3337         mg_free(dstr);
3338         SvRMAGICAL_off(dstr);
3339     }
3340
3341     /* There's a lot of redundancy below but we're going for speed here */
3342
3343     switch (stype) {
3344     case SVt_NULL:
3345       undef_sstr:
3346         if (dtype != SVt_PVGV) {
3347             (void)SvOK_off(dstr);
3348             return;
3349         }
3350         break;
3351     case SVt_IV:
3352         if (SvIOK(sstr)) {
3353             switch (dtype) {
3354             case SVt_NULL:
3355                 sv_upgrade(dstr, SVt_IV);
3356                 break;
3357             case SVt_NV:
3358             case SVt_RV:
3359             case SVt_PV:
3360                 sv_upgrade(dstr, SVt_PVIV);
3361                 break;
3362             case SVt_PVGV:
3363                 goto end_of_first_switch;
3364             }
3365             (void)SvIOK_only(dstr);
3366             SvIV_set(dstr,  SvIVX(sstr));
3367             if (SvIsUV(sstr))
3368                 SvIsUV_on(dstr);
3369             /* SvTAINTED can only be true if the SV has taint magic, which in
3370                turn means that the SV type is PVMG (or greater). This is the
3371                case statement for SVt_IV, so this cannot be true (whatever gcov
3372                may say).  */
3373             assert(!SvTAINTED(sstr));
3374             return;
3375         }
3376         goto undef_sstr;
3377
3378     case SVt_NV:
3379         if (SvNOK(sstr)) {
3380             switch (dtype) {
3381             case SVt_NULL:
3382             case SVt_IV:
3383                 sv_upgrade(dstr, SVt_NV);
3384                 break;
3385             case SVt_RV:
3386             case SVt_PV:
3387             case SVt_PVIV:
3388                 sv_upgrade(dstr, SVt_PVNV);
3389                 break;
3390             case SVt_PVGV:
3391                 goto end_of_first_switch;
3392             }
3393             SvNV_set(dstr, SvNVX(sstr));
3394             (void)SvNOK_only(dstr);
3395             /* SvTAINTED can only be true if the SV has taint magic, which in
3396                turn means that the SV type is PVMG (or greater). This is the
3397                case statement for SVt_NV, so this cannot be true (whatever gcov
3398                may say).  */
3399             assert(!SvTAINTED(sstr));
3400             return;
3401         }
3402         goto undef_sstr;
3403
3404     case SVt_RV:
3405         if (dtype < SVt_RV)
3406             sv_upgrade(dstr, SVt_RV);
3407         break;
3408     case SVt_PVFM:
3409 #ifdef PERL_OLD_COPY_ON_WRITE
3410         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3411             if (dtype < SVt_PVIV)
3412                 sv_upgrade(dstr, SVt_PVIV);
3413             break;
3414         }
3415         /* Fall through */
3416 #endif
3417     case SVt_PV:
3418         if (dtype < SVt_PV)
3419             sv_upgrade(dstr, SVt_PV);
3420         break;
3421     case SVt_PVIV:
3422         if (dtype < SVt_PVIV)
3423             sv_upgrade(dstr, SVt_PVIV);
3424         break;
3425     case SVt_PVNV:
3426         if (dtype < SVt_PVNV)
3427             sv_upgrade(dstr, SVt_PVNV);
3428         break;
3429     default:
3430         {
3431         const char * const type = sv_reftype(sstr,0);
3432         if (PL_op)
3433             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3434         else
3435             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3436         }
3437         break;
3438
3439         /* case SVt_BIND: */
3440     case SVt_PVLV:
3441     case SVt_PVGV:
3442         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3443             glob_assign_glob(dstr, sstr, dtype);
3444             return;
3445         }
3446         /* SvVALID means that this PVGV is playing at being an FBM.  */
3447         /*FALLTHROUGH*/
3448
3449     case SVt_PVMG:
3450         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3451             mg_get(sstr);
3452             if (SvTYPE(sstr) != stype) {
3453                 stype = SvTYPE(sstr);
3454                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3455                     glob_assign_glob(dstr, sstr, dtype);
3456                     return;
3457                 }
3458             }
3459         }
3460         if (stype == SVt_PVLV)
3461             SvUPGRADE(dstr, SVt_PVNV);
3462         else
3463             SvUPGRADE(dstr, (svtype)stype);
3464     }
3465  end_of_first_switch:
3466
3467     /* dstr may have been upgraded.  */
3468     dtype = SvTYPE(dstr);
3469     sflags = SvFLAGS(sstr);
3470
3471     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3472         /* Assigning to a subroutine sets the prototype.  */
3473         if (SvOK(sstr)) {
3474             STRLEN len;
3475             const char *const ptr = SvPV_const(sstr, len);
3476
3477             SvGROW(dstr, len + 1);
3478             Copy(ptr, SvPVX(dstr), len + 1, char);
3479             SvCUR_set(dstr, len);
3480             SvPOK_only(dstr);
3481             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3482         } else {
3483             SvOK_off(dstr);
3484         }
3485     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3486         const char * const type = sv_reftype(dstr,0);
3487         if (PL_op)
3488             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3489         else
3490             Perl_croak(aTHX_ "Cannot copy to %s", type);
3491     } else if (sflags & SVf_ROK) {
3492         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3493             && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3494             sstr = SvRV(sstr);
3495             if (sstr == dstr) {
3496                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3497                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3498                 {
3499                     GvIMPORTED_on(dstr);
3500                 }
3501                 GvMULTI_on(dstr);
3502                 return;
3503             }
3504             glob_assign_glob(dstr, sstr, dtype);
3505             return;
3506         }
3507
3508         if (dtype >= SVt_PV) {
3509             if (dtype == SVt_PVGV) {
3510                 glob_assign_ref(dstr, sstr);
3511                 return;
3512             }
3513             if (SvPVX_const(dstr)) {
3514                 SvPV_free(dstr);
3515                 SvLEN_set(dstr, 0);
3516                 SvCUR_set(dstr, 0);
3517             }
3518         }
3519         (void)SvOK_off(dstr);
3520         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3521         SvFLAGS(dstr) |= sflags & SVf_ROK;
3522         assert(!(sflags & SVp_NOK));
3523         assert(!(sflags & SVp_IOK));
3524         assert(!(sflags & SVf_NOK));
3525         assert(!(sflags & SVf_IOK));
3526     }
3527     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3528         if (!(sflags & SVf_OK)) {
3529             if (ckWARN(WARN_MISC))
3530                 Perl_warner(aTHX_ packWARN(WARN_MISC),
3531                             "Undefined value assigned to typeglob");
3532         }
3533         else {
3534             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
3535             if (dstr != (SV*)gv) {
3536                 if (GvGP(dstr))
3537                     gp_free((GV*)dstr);
3538                 GvGP(dstr) = gp_ref(GvGP(gv));
3539             }
3540         }
3541     }
3542     else if (sflags & SVp_POK) {
3543         bool isSwipe = 0;
3544
3545         /*
3546          * Check to see if we can just swipe the string.  If so, it's a
3547          * possible small lose on short strings, but a big win on long ones.
3548          * It might even be a win on short strings if SvPVX_const(dstr)
3549          * has to be allocated and SvPVX_const(sstr) has to be freed.
3550          * Likewise if we can set up COW rather than doing an actual copy, we
3551          * drop to the else clause, as the swipe code and the COW setup code
3552          * have much in common.
3553          */
3554
3555         /* Whichever path we take through the next code, we want this true,
3556            and doing it now facilitates the COW check.  */
3557         (void)SvPOK_only(dstr);
3558
3559         if (
3560             /* If we're already COW then this clause is not true, and if COW
3561                is allowed then we drop down to the else and make dest COW 
3562                with us.  If caller hasn't said that we're allowed to COW
3563                shared hash keys then we don't do the COW setup, even if the
3564                source scalar is a shared hash key scalar.  */
3565             (((flags & SV_COW_SHARED_HASH_KEYS)
3566                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
3567                : 1 /* If making a COW copy is forbidden then the behaviour we
3568                        desire is as if the source SV isn't actually already
3569                        COW, even if it is.  So we act as if the source flags
3570                        are not COW, rather than actually testing them.  */
3571               )
3572 #ifndef PERL_OLD_COPY_ON_WRITE
3573              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
3574                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
3575                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
3576                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
3577                 but in turn, it's somewhat dead code, never expected to go
3578                 live, but more kept as a placeholder on how to do it better
3579                 in a newer implementation.  */
3580              /* If we are COW and dstr is a suitable target then we drop down
3581                 into the else and make dest a COW of us.  */
3582              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3583 #endif
3584              )
3585             &&
3586             !(isSwipe =
3587                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3588                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3589                  (!(flags & SV_NOSTEAL)) &&
3590                                         /* and we're allowed to steal temps */
3591                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3592                  SvLEN(sstr)    &&        /* and really is a string */
3593                                 /* and won't be needed again, potentially */
3594               !(PL_op && PL_op->op_type == OP_AASSIGN))
3595 #ifdef PERL_OLD_COPY_ON_WRITE
3596             && !((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3597                  && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3598                  && SvTYPE(sstr) >= SVt_PVIV)
3599 #endif
3600             ) {
3601             /* Failed the swipe test, and it's not a shared hash key either.
3602                Have to copy the string.  */
3603             STRLEN len = SvCUR(sstr);
3604             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3605             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3606             SvCUR_set(dstr, len);
3607             *SvEND(dstr) = '\0';
3608         } else {
3609             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3610                be true in here.  */
3611             /* Either it's a shared hash key, or it's suitable for
3612                copy-on-write or we can swipe the string.  */
3613             if (DEBUG_C_TEST) {
3614                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3615                 sv_dump(sstr);
3616                 sv_dump(dstr);
3617             }
3618 #ifdef PERL_OLD_COPY_ON_WRITE
3619             if (!isSwipe) {
3620                 /* I believe I should acquire a global SV mutex if
3621                    it's a COW sv (not a shared hash key) to stop
3622                    it going un copy-on-write.
3623                    If the source SV has gone un copy on write between up there
3624                    and down here, then (assert() that) it is of the correct
3625                    form to make it copy on write again */
3626                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3627                     != (SVf_FAKE | SVf_READONLY)) {
3628                     SvREADONLY_on(sstr);
3629                     SvFAKE_on(sstr);
3630                     /* Make the source SV into a loop of 1.
3631                        (about to become 2) */
3632                     SV_COW_NEXT_SV_SET(sstr, sstr);
3633                 }
3634             }
3635 #endif
3636             /* Initial code is common.  */
3637             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3638                 SvPV_free(dstr);
3639             }
3640
3641             if (!isSwipe) {
3642                 /* making another shared SV.  */
3643                 STRLEN cur = SvCUR(sstr);
3644                 STRLEN len = SvLEN(sstr);
3645 #ifdef PERL_OLD_COPY_ON_WRITE
3646                 if (len) {
3647                     assert (SvTYPE(dstr) >= SVt_PVIV);
3648                     /* SvIsCOW_normal */
3649                     /* splice us in between source and next-after-source.  */
3650                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3651                     SV_COW_NEXT_SV_SET(sstr, dstr);
3652                     SvPV_set(dstr, SvPVX_mutable(sstr));
3653                 } else
3654 #endif
3655                 {
3656                     /* SvIsCOW_shared_hash */
3657                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3658                                           "Copy on write: Sharing hash\n"));
3659
3660                     assert (SvTYPE(dstr) >= SVt_PV);
3661                     SvPV_set(dstr,
3662                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3663                 }
3664                 SvLEN_set(dstr, len);
3665                 SvCUR_set(dstr, cur);
3666                 SvREADONLY_on(dstr);
3667                 SvFAKE_on(dstr);
3668                 /* Relesase a global SV mutex.  */
3669             }
3670             else
3671                 {       /* Passes the swipe test.  */
3672                 SvPV_set(dstr, SvPVX_mutable(sstr));
3673                 SvLEN_set(dstr, SvLEN(sstr));
3674                 SvCUR_set(dstr, SvCUR(sstr));
3675
3676                 SvTEMP_off(dstr);
3677                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3678                 SvPV_set(sstr, NULL);
3679                 SvLEN_set(sstr, 0);
3680                 SvCUR_set(sstr, 0);
3681                 SvTEMP_off(sstr);
3682             }
3683         }
3684         if (sflags & SVp_NOK) {
3685             SvNV_set(dstr, SvNVX(sstr));
3686         }
3687         if (sflags & SVp_IOK) {
3688             SvOOK_off(dstr);
3689             SvIV_set(dstr, SvIVX(sstr));
3690             /* Must do this otherwise some other overloaded use of 0x80000000
3691                gets confused. I guess SVpbm_VALID */
3692             if (sflags & SVf_IVisUV)
3693                 SvIsUV_on(dstr);
3694         }
3695         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
3696         {
3697             const MAGIC * const smg = SvVSTRING_mg(sstr);
3698             if (smg) {
3699                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3700                          smg->mg_ptr, smg->mg_len);
3701                 SvRMAGICAL_on(dstr);
3702             }
3703         }
3704     }
3705     else if (sflags & (SVp_IOK|SVp_NOK)) {
3706         (void)SvOK_off(dstr);
3707         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
3708         if (sflags & SVp_IOK) {
3709             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3710             SvIV_set(dstr, SvIVX(sstr));
3711         }
3712         if (sflags & SVp_NOK) {
3713             SvNV_set(dstr, SvNVX(sstr));
3714         }
3715     }
3716     else {
3717         if (isGV_with_GP(sstr)) {
3718             /* This stringification rule for globs is spread in 3 places.
3719                This feels bad. FIXME.  */
3720             const U32 wasfake = sflags & SVf_FAKE;
3721
3722             /* FAKE globs can get coerced, so need to turn this off
3723                temporarily if it is on.  */
3724             SvFAKE_off(sstr);
3725             gv_efullname3(dstr, (GV *)sstr, "*");
3726             SvFLAGS(sstr) |= wasfake;
3727         }
3728         else
3729             (void)SvOK_off(dstr);
3730     }
3731     if (SvTAINTED(sstr))
3732         SvTAINT(dstr);
3733 }
3734
3735 /*
3736 =for apidoc sv_setsv_mg
3737
3738 Like C<sv_setsv>, but also handles 'set' magic.
3739
3740 =cut
3741 */
3742
3743 void
3744 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3745 {
3746     sv_setsv(dstr,sstr);
3747     SvSETMAGIC(dstr);
3748 }
3749
3750 #ifdef PERL_OLD_COPY_ON_WRITE
3751 SV *
3752 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3753 {
3754     STRLEN cur = SvCUR(sstr);
3755     STRLEN len = SvLEN(sstr);
3756     register char *new_pv;
3757
3758     if (DEBUG_C_TEST) {
3759         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3760                       (void*)sstr, (void*)dstr);
3761         sv_dump(sstr);
3762         if (dstr)
3763                     sv_dump(dstr);
3764     }
3765
3766     if (dstr) {
3767         if (SvTHINKFIRST(dstr))
3768             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3769         else if (SvPVX_const(dstr))
3770             Safefree(SvPVX_const(dstr));
3771     }
3772     else
3773         new_SV(dstr);
3774     SvUPGRADE(dstr, SVt_PVIV);
3775
3776     assert (SvPOK(sstr));
3777     assert (SvPOKp(sstr));
3778     assert (!SvIOK(sstr));
3779     assert (!SvIOKp(sstr));
3780     assert (!SvNOK(sstr));
3781     assert (!SvNOKp(sstr));
3782
3783     if (SvIsCOW(sstr)) {
3784
3785         if (SvLEN(sstr) == 0) {
3786             /* source is a COW shared hash key.  */
3787             DEBUG_C(PerlIO_printf(Perl_debug_log,
3788                                   "Fast copy on write: Sharing hash\n"));
3789             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3790             goto common_exit;
3791         }
3792         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3793     } else {
3794         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3795         SvUPGRADE(sstr, SVt_PVIV);
3796         SvREADONLY_on(sstr);
3797         SvFAKE_on(sstr);
3798         DEBUG_C(PerlIO_printf(Perl_debug_log,
3799                               "Fast copy on write: Converting sstr to COW\n"));
3800         SV_COW_NEXT_SV_SET(dstr, sstr);
3801     }
3802     SV_COW_NEXT_SV_SET(sstr, dstr);
3803     new_pv = SvPVX_mutable(sstr);
3804
3805   common_exit:
3806     SvPV_set(dstr, new_pv);
3807     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3808     if (SvUTF8(sstr))
3809         SvUTF8_on(dstr);
3810     SvLEN_set(dstr, len);
3811     SvCUR_set(dstr, cur);
3812     if (DEBUG_C_TEST) {
3813         sv_dump(dstr);
3814     }
3815     return dstr;
3816 }
3817 #endif
3818
3819 /*
3820 =for apidoc sv_setpvn
3821
3822 Copies a string into an SV.  The C<len> parameter indicates the number of
3823 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3824 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3825
3826 =cut
3827 */
3828
3829 void
3830 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3831 {
3832     dVAR;
3833     register char *dptr;
3834
3835     SV_CHECK_THINKFIRST_COW_DROP(sv);
3836     if (!ptr) {
3837         (void)SvOK_off(sv);
3838         return;
3839     }
3840     else {
3841         /* len is STRLEN which is unsigned, need to copy to signed */
3842         const IV iv = len;
3843         if (iv < 0)
3844             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3845     }
3846     SvUPGRADE(sv, SVt_PV);
3847
3848     dptr = SvGROW(sv, len + 1);
3849     Move(ptr,dptr,len,char);
3850     dptr[len] = '\0';
3851     SvCUR_set(sv, len);
3852     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3853     SvTAINT(sv);
3854 }
3855
3856 /*
3857 =for apidoc sv_setpvn_mg
3858
3859 Like C<sv_setpvn>, but also handles 'set' magic.
3860
3861 =cut
3862 */
3863
3864 void
3865 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3866 {
3867     sv_setpvn(sv,ptr,len);
3868     SvSETMAGIC(sv);
3869 }
3870
3871 /*
3872 =for apidoc sv_setpv
3873
3874 Copies a string into an SV.  The string must be null-terminated.  Does not
3875 handle 'set' magic.  See C<sv_setpv_mg>.
3876
3877 =cut
3878 */
3879
3880 void
3881 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3882 {
3883     dVAR;
3884     register STRLEN len;
3885
3886     SV_CHECK_THINKFIRST_COW_DROP(sv);
3887     if (!ptr) {
3888         (void)SvOK_off(sv);
3889         return;
3890     }
3891     len = strlen(ptr);
3892     SvUPGRADE(sv, SVt_PV);
3893
3894     SvGROW(sv, len + 1);
3895     Move(ptr,SvPVX(sv),len+1,char);
3896     SvCUR_set(sv, len);
3897     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3898     SvTAINT(sv);
3899 }
3900
3901 /*
3902 =for apidoc sv_setpv_mg
3903
3904 Like C<sv_setpv>, but also handles 'set' magic.
3905
3906 =cut
3907 */
3908
3909 void
3910 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3911 {
3912     sv_setpv(sv,ptr);
3913     SvSETMAGIC(sv);
3914 }
3915
3916 /*
3917 =for apidoc sv_usepvn_flags
3918
3919 Tells an SV to use C<ptr> to find its string value.  Normally the
3920 string is stored inside the SV but sv_usepvn allows the SV to use an
3921 outside string.  The C<ptr> should point to memory that was allocated
3922 by C<malloc>.  The string length, C<len>, must be supplied.  By default
3923 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
3924 so that pointer should not be freed or used by the programmer after
3925 giving it to sv_usepvn, and neither should any pointers from "behind"
3926 that pointer (e.g. ptr + 1) be used.
3927
3928 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
3929 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
3930 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
3931 C<len>, and already meets the requirements for storing in C<SvPVX>)
3932
3933 =cut
3934 */
3935
3936 void
3937 Perl_sv_usepvn_flags(pTHX_ SV *sv, char *ptr, STRLEN len, U32 flags)
3938 {
3939     dVAR;
3940     STRLEN allocate;
3941     SV_CHECK_THINKFIRST_COW_DROP(sv);
3942     SvUPGRADE(sv, SVt_PV);
3943     if (!ptr) {
3944         (void)SvOK_off(sv);
3945         if (flags & SV_SMAGIC)
3946             SvSETMAGIC(sv);
3947         return;
3948     }
3949     if (SvPVX_const(sv))
3950         SvPV_free(sv);
3951
3952 #ifdef DEBUGGING
3953     if (flags & SV_HAS_TRAILING_NUL)
3954         assert(ptr[len] == '\0');
3955 #endif
3956
3957     allocate = (flags & SV_HAS_TRAILING_NUL)
3958         ? len + 1: PERL_STRLEN_ROUNDUP(len + 1);
3959     if (flags & SV_HAS_TRAILING_NUL) {
3960         /* It's long enough - do nothing.
3961            Specfically Perl_newCONSTSUB is relying on this.  */
3962     } else {
3963 #ifdef DEBUGGING
3964         /* Force a move to shake out bugs in callers.  */
3965         char *new_ptr = (char*)safemalloc(allocate);
3966         Copy(ptr, new_ptr, len, char);
3967         PoisonFree(ptr,len,char);
3968         Safefree(ptr);
3969         ptr = new_ptr;
3970 #else
3971         ptr = (char*) saferealloc (ptr, allocate);
3972 #endif
3973     }
3974     SvPV_set(sv, ptr);
3975     SvCUR_set(sv, len);
3976     SvLEN_set(sv, allocate);
3977     if (!(flags & SV_HAS_TRAILING_NUL)) {
3978         *SvEND(sv) = '\0';
3979     }
3980     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3981     SvTAINT(sv);
3982     if (flags & SV_SMAGIC)
3983         SvSETMAGIC(sv);
3984 }
3985
3986 #ifdef PERL_OLD_COPY_ON_WRITE
3987 /* Need to do this *after* making the SV normal, as we need the buffer
3988    pointer to remain valid until after we've copied it.  If we let go too early,
3989    another thread could invalidate it by unsharing last of the same hash key
3990    (which it can do by means other than releasing copy-on-write Svs)
3991    or by changing the other copy-on-write SVs in the loop.  */
3992 STATIC void
3993 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
3994 {
3995     { /* this SV was SvIsCOW_normal(sv) */
3996          /* we need to find the SV pointing to us.  */
3997         SV *current = SV_COW_NEXT_SV(after);
3998
3999         if (current == sv) {
4000             /* The SV we point to points back to us (there were only two of us
4001                in the loop.)
4002                Hence other SV is no longer copy on write either.  */
4003             SvFAKE_off(after);
4004             SvREADONLY_off(after);
4005         } else {
4006             /* We need to follow the pointers around the loop.  */
4007             SV *next;
4008             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4009                 assert (next);
4010                 current = next;
4011                  /* don't loop forever if the structure is bust, and we have
4012                     a pointer into a closed loop.  */
4013                 assert (current != after);
4014                 assert (SvPVX_const(current) == pvx);
4015             }
4016             /* Make the SV before us point to the SV after us.  */
4017             SV_COW_NEXT_SV_SET(current, after);
4018         }
4019     }
4020 }
4021 #endif
4022 /*
4023 =for apidoc sv_force_normal_flags
4024
4025 Undo various types of fakery on an SV: if the PV is a shared string, make
4026 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4027 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4028 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4029 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4030 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4031 set to some other value.) In addition, the C<flags> parameter gets passed to
4032 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4033 with flags set to 0.
4034
4035 =cut
4036 */
4037
4038 void
4039 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
4040 {
4041     dVAR;
4042 #ifdef PERL_OLD_COPY_ON_WRITE
4043     if (SvREADONLY(sv)) {
4044         /* At this point I believe I should acquire a global SV mutex.  */
4045         if (SvFAKE(sv)) {
4046             const char * const pvx = SvPVX_const(sv);
4047             const STRLEN len = SvLEN(sv);
4048             const STRLEN cur = SvCUR(sv);
4049             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4050                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4051                we'll fail an assertion.  */
4052             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4053
4054             if (DEBUG_C_TEST) {
4055                 PerlIO_printf(Perl_debug_log,
4056                               "Copy on write: Force normal %ld\n",
4057                               (long) flags);
4058                 sv_dump(sv);
4059             }
4060             SvFAKE_off(sv);
4061             SvREADONLY_off(sv);
4062             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4063             SvPV_set(sv, NULL);
4064             SvLEN_set(sv, 0);
4065             if (flags & SV_COW_DROP_PV) {
4066                 /* OK, so we don't need to copy our buffer.  */
4067                 SvPOK_off(sv);
4068             } else {
4069                 SvGROW(sv, cur + 1);
4070                 Move(pvx,SvPVX(sv),cur,char);
4071                 SvCUR_set(sv, cur);
4072                 *SvEND(sv) = '\0';
4073             }
4074             if (len) {
4075                 sv_release_COW(sv, pvx, next);
4076             } else {
4077                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4078             }
4079             if (DEBUG_C_TEST) {
4080                 sv_dump(sv);
4081             }
4082         }
4083         else if (IN_PERL_RUNTIME)
4084             Perl_croak(aTHX_ PL_no_modify);
4085         /* At this point I believe that I can drop the global SV mutex.  */
4086     }
4087 #else
4088     if (SvREADONLY(sv)) {
4089         if (SvFAKE(sv)) {
4090             const char * const pvx = SvPVX_const(sv);
4091             const STRLEN len = SvCUR(sv);
4092             SvFAKE_off(sv);
4093             SvREADONLY_off(sv);
4094             SvPV_set(sv, NULL);
4095             SvLEN_set(sv, 0);
4096             SvGROW(sv, len + 1);
4097             Move(pvx,SvPVX(sv),len,char);
4098             *SvEND(sv) = '\0';
4099             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4100         }
4101         else if (IN_PERL_RUNTIME)
4102             Perl_croak(aTHX_ PL_no_modify);
4103     }
4104 #endif
4105     if (SvROK(sv))
4106         sv_unref_flags(sv, flags);
4107     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4108         sv_unglob(sv);
4109 }
4110
4111 /*
4112 =for apidoc sv_chop
4113
4114 Efficient removal of characters from the beginning of the string buffer.
4115 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4116 the string buffer.  The C<ptr> becomes the first character of the adjusted
4117 string. Uses the "OOK hack".
4118 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4119 refer to the same chunk of data.
4120
4121 =cut
4122 */
4123
4124 void
4125 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
4126 {
4127     register STRLEN delta;
4128     if (!ptr || !SvPOKp(sv))
4129         return;
4130     delta = ptr - SvPVX_const(sv);
4131     SV_CHECK_THINKFIRST(sv);
4132     if (SvTYPE(sv) < SVt_PVIV)
4133         sv_upgrade(sv,SVt_PVIV);
4134
4135     if (!SvOOK(sv)) {
4136         if (!SvLEN(sv)) { /* make copy of shared string */
4137             const char *pvx = SvPVX_const(sv);
4138             const STRLEN len = SvCUR(sv);
4139             SvGROW(sv, len + 1);
4140             Move(pvx,SvPVX(sv),len,char);
4141             *SvEND(sv) = '\0';
4142         }
4143         SvIV_set(sv, 0);
4144         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
4145            and we do that anyway inside the SvNIOK_off
4146         */
4147         SvFLAGS(sv) |= SVf_OOK;
4148     }
4149     SvNIOK_off(sv);
4150     SvLEN_set(sv, SvLEN(sv) - delta);
4151     SvCUR_set(sv, SvCUR(sv) - delta);
4152     SvPV_set(sv, SvPVX(sv) + delta);
4153     SvIV_set(sv, SvIVX(sv) + delta);
4154 }
4155
4156 /*
4157 =for apidoc sv_catpvn
4158
4159 Concatenates the string onto the end of the string which is in the SV.  The
4160 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4161 status set, then the bytes appended should be valid UTF-8.
4162 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4163
4164 =for apidoc sv_catpvn_flags
4165
4166 Concatenates the string onto the end of the string which is in the SV.  The
4167 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4168 status set, then the bytes appended should be valid UTF-8.
4169 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4170 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4171 in terms of this function.
4172
4173 =cut
4174 */
4175
4176 void
4177 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
4178 {
4179     dVAR;
4180     STRLEN dlen;
4181     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4182
4183     SvGROW(dsv, dlen + slen + 1);
4184     if (sstr == dstr)
4185         sstr = SvPVX_const(dsv);
4186     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4187     SvCUR_set(dsv, SvCUR(dsv) + slen);
4188     *SvEND(dsv) = '\0';
4189     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4190     SvTAINT(dsv);
4191     if (flags & SV_SMAGIC)
4192         SvSETMAGIC(dsv);
4193 }
4194
4195 /*
4196 =for apidoc sv_catsv
4197
4198 Concatenates the string from SV C<ssv> onto the end of the string in
4199 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4200 not 'set' magic.  See C<sv_catsv_mg>.
4201
4202 =for apidoc sv_catsv_flags
4203
4204 Concatenates the string from SV C<ssv> onto the end of the string in
4205 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4206 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4207 and C<sv_catsv_nomg> are implemented in terms of this function.
4208
4209 =cut */
4210
4211 void
4212 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
4213 {
4214     dVAR;
4215     if (ssv) {
4216         STRLEN slen;
4217         const char *spv = SvPV_const(ssv, slen);
4218         if (spv) {
4219             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4220                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4221                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4222                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4223                 dsv->sv_flags doesn't have that bit set.
4224                 Andy Dougherty  12 Oct 2001
4225             */
4226             const I32 sutf8 = DO_UTF8(ssv);
4227             I32 dutf8;
4228
4229             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4230                 mg_get(dsv);
4231             dutf8 = DO_UTF8(dsv);
4232
4233             if (dutf8 != sutf8) {
4234                 if (dutf8) {
4235                     /* Not modifying source SV, so taking a temporary copy. */
4236                     SV* const csv = sv_2mortal(newSVpvn(spv, slen));
4237
4238                     sv_utf8_upgrade(csv);
4239                     spv = SvPV_const(csv, slen);
4240                 }
4241                 else
4242                     sv_utf8_upgrade_nomg(dsv);
4243             }
4244             sv_catpvn_nomg(dsv, spv, slen);
4245         }
4246     }
4247     if (flags & SV_SMAGIC)
4248         SvSETMAGIC(dsv);
4249 }
4250
4251 /*
4252 =for apidoc sv_catpv
4253
4254 Concatenates the string onto the end of the string which is in the SV.
4255 If the SV has the UTF-8 status set, then the bytes appended should be
4256 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4257
4258 =cut */
4259
4260 void
4261 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
4262 {
4263     dVAR;
4264     register STRLEN len;
4265     STRLEN tlen;
4266     char *junk;
4267
4268     if (!ptr)
4269         return;
4270     junk = SvPV_force(sv, tlen);
4271     len = strlen(ptr);
4272     SvGROW(sv, tlen + len + 1);
4273     if (ptr == junk)
4274         ptr = SvPVX_const(sv);
4275     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4276     SvCUR_set(sv, SvCUR(sv) + len);
4277     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4278     SvTAINT(sv);
4279 }
4280
4281 /*
4282 =for apidoc sv_catpv_mg
4283
4284 Like C<sv_catpv>, but also handles 'set' magic.
4285
4286 =cut
4287 */
4288
4289 void
4290 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
4291 {
4292     sv_catpv(sv,ptr);
4293     SvSETMAGIC(sv);
4294 }
4295
4296 /*
4297 =for apidoc newSV
4298
4299 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4300 bytes of preallocated string space the SV should have.  An extra byte for a
4301 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4302 space is allocated.)  The reference count for the new SV is set to 1.
4303
4304 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4305 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4306 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4307 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4308 modules supporting older perls.
4309
4310 =cut
4311 */
4312
4313 SV *
4314 Perl_newSV(pTHX_ STRLEN len)
4315 {
4316     dVAR;
4317     register SV *sv;
4318
4319     new_SV(sv);
4320     if (len) {
4321         sv_upgrade(sv, SVt_PV);
4322         SvGROW(sv, len + 1);
4323     }
4324     return sv;
4325 }
4326 /*
4327 =for apidoc sv_magicext
4328
4329 Adds magic to an SV, upgrading it if necessary. Applies the
4330 supplied vtable and returns a pointer to the magic added.
4331
4332 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4333 In particular, you can add magic to SvREADONLY SVs, and add more than
4334 one instance of the same 'how'.
4335
4336 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4337 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4338 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4339 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4340
4341 (This is now used as a subroutine by C<sv_magic>.)
4342
4343 =cut
4344 */
4345 MAGIC * 
4346 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, const MGVTBL *vtable,
4347                  const char* name, I32 namlen)
4348 {
4349     dVAR;
4350     MAGIC* mg;
4351
4352     if (SvTYPE(sv) < SVt_PVMG) {
4353         SvUPGRADE(sv, SVt_PVMG);
4354     }
4355     Newxz(mg, 1, MAGIC);
4356     mg->mg_moremagic = SvMAGIC(sv);
4357     SvMAGIC_set(sv, mg);
4358
4359     /* Sometimes a magic contains a reference loop, where the sv and
4360        object refer to each other.  To prevent a reference loop that
4361        would prevent such objects being freed, we look for such loops
4362        and if we find one we avoid incrementing the object refcount.
4363
4364        Note we cannot do this to avoid self-tie loops as intervening RV must
4365        have its REFCNT incremented to keep it in existence.
4366
4367     */
4368     if (!obj || obj == sv ||
4369         how == PERL_MAGIC_arylen ||
4370         how == PERL_MAGIC_qr ||
4371         how == PERL_MAGIC_symtab ||
4372         (SvTYPE(obj) == SVt_PVGV &&
4373             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4374             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4375             GvFORM(obj) == (CV*)sv)))
4376     {
4377         mg->mg_obj = obj;
4378     }
4379     else {
4380         mg->mg_obj = SvREFCNT_inc_simple(obj);
4381         mg->mg_flags |= MGf_REFCOUNTED;
4382     }
4383
4384     /* Normal self-ties simply pass a null object, and instead of
4385        using mg_obj directly, use the SvTIED_obj macro to produce a
4386        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4387        with an RV obj pointing to the glob containing the PVIO.  In
4388        this case, to avoid a reference loop, we need to weaken the
4389        reference.
4390     */
4391
4392     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4393         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4394     {
4395       sv_rvweaken(obj);
4396     }
4397
4398     mg->mg_type = how;
4399     mg->mg_len = namlen;
4400     if (name) {
4401         if (namlen > 0)
4402             mg->mg_ptr = savepvn(name, namlen);
4403         else if (namlen == HEf_SVKEY)
4404             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV*)name);
4405         else
4406             mg->mg_ptr = (char *) name;
4407     }
4408     mg->mg_virtual = (MGVTBL *) vtable;
4409
4410     mg_magical(sv);
4411     if (SvGMAGICAL(sv))
4412         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4413     return mg;
4414 }
4415
4416 /*
4417 =for apidoc sv_magic
4418
4419 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4420 then adds a new magic item of type C<how> to the head of the magic list.
4421
4422 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4423 handling of the C<name> and C<namlen> arguments.
4424
4425 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4426 to add more than one instance of the same 'how'.
4427
4428 =cut
4429 */
4430
4431 void
4432 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4433 {
4434     dVAR;
4435     const MGVTBL *vtable;
4436     MAGIC* mg;
4437
4438 #ifdef PERL_OLD_COPY_ON_WRITE
4439     if (SvIsCOW(sv))
4440         sv_force_normal_flags(sv, 0);
4441 #endif
4442     if (SvREADONLY(sv)) {
4443         if (
4444             /* its okay to attach magic to shared strings; the subsequent
4445              * upgrade to PVMG will unshare the string */
4446             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4447
4448             && IN_PERL_RUNTIME
4449             && how != PERL_MAGIC_regex_global
4450             && how != PERL_MAGIC_bm
4451             && how != PERL_MAGIC_fm
4452             && how != PERL_MAGIC_sv
4453             && how != PERL_MAGIC_backref
4454            )
4455         {
4456             Perl_croak(aTHX_ PL_no_modify);
4457         }
4458     }
4459     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4460         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4461             /* sv_magic() refuses to add a magic of the same 'how' as an
4462                existing one
4463              */
4464             if (how == PERL_MAGIC_taint) {
4465                 mg->mg_len |= 1;
4466                 /* Any scalar which already had taint magic on which someone
4467                    (erroneously?) did SvIOK_on() or similar will now be
4468                    incorrectly sporting public "OK" flags.  */
4469                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4470             }
4471             return;
4472         }
4473     }
4474
4475     switch (how) {
4476     case PERL_MAGIC_sv:
4477         vtable = &PL_vtbl_sv;
4478         break;
4479     case PERL_MAGIC_overload:
4480         vtable = &PL_vtbl_amagic;
4481         break;
4482     case PERL_MAGIC_overload_elem:
4483         vtable = &PL_vtbl_amagicelem;
4484         break;
4485     case PERL_MAGIC_overload_table:
4486         vtable = &PL_vtbl_ovrld;
4487         break;
4488     case PERL_MAGIC_bm:
4489         vtable = &PL_vtbl_bm;
4490         break;
4491     case PERL_MAGIC_regdata:
4492         vtable = &PL_vtbl_regdata;
4493         break;
4494     case PERL_MAGIC_regdatum:
4495         vtable = &PL_vtbl_regdatum;
4496         break;
4497     case PERL_MAGIC_env:
4498         vtable = &PL_vtbl_env;
4499         break;
4500     case PERL_MAGIC_fm:
4501         vtable = &PL_vtbl_fm;
4502         break;
4503     case PERL_MAGIC_envelem:
4504         vtable = &PL_vtbl_envelem;
4505         break;
4506     case PERL_MAGIC_regex_global:
4507         vtable = &PL_vtbl_mglob;
4508         break;
4509     case PERL_MAGIC_isa:
4510         vtable = &PL_vtbl_isa;
4511         break;
4512     case PERL_MAGIC_isaelem:
4513         vtable = &PL_vtbl_isaelem;
4514         break;
4515     case PERL_MAGIC_nkeys:
4516         vtable = &PL_vtbl_nkeys;
4517         break;
4518     case PERL_MAGIC_dbfile:
4519         vtable = NULL;
4520         break;
4521     case PERL_MAGIC_dbline:
4522         vtable = &PL_vtbl_dbline;
4523         break;
4524 #ifdef USE_LOCALE_COLLATE
4525     case PERL_MAGIC_collxfrm:
4526         vtable = &PL_vtbl_collxfrm;
4527         break;
4528 #endif /* USE_LOCALE_COLLATE */
4529     case PERL_MAGIC_tied:
4530         vtable = &PL_vtbl_pack;
4531         break;
4532     case PERL_MAGIC_tiedelem:
4533     case PERL_MAGIC_tiedscalar:
4534         vtable = &PL_vtbl_packelem;
4535         break;
4536     case PERL_MAGIC_qr:
4537         vtable = &PL_vtbl_regexp;
4538         break;
4539     case PERL_MAGIC_hints:
4540         /* As this vtable is all NULL, we can reuse it.  */
4541     case PERL_MAGIC_sig:
4542         vtable = &PL_vtbl_sig;
4543         break;
4544     case PERL_MAGIC_sigelem:
4545         vtable = &PL_vtbl_sigelem;
4546         break;
4547     case PERL_MAGIC_taint:
4548         vtable = &PL_vtbl_taint;
4549         break;
4550     case PERL_MAGIC_uvar:
4551         vtable = &PL_vtbl_uvar;
4552         break;
4553     case PERL_MAGIC_vec:
4554         vtable = &PL_vtbl_vec;
4555         break;
4556     case PERL_MAGIC_arylen_p:
4557     case PERL_MAGIC_rhash:
4558     case PERL_MAGIC_symtab:
4559     case PERL_MAGIC_vstring:
4560         vtable = NULL;
4561         break;
4562     case PERL_MAGIC_utf8:
4563         vtable = &PL_vtbl_utf8;
4564         break;
4565     case PERL_MAGIC_substr:
4566         vtable = &PL_vtbl_substr;
4567         break;
4568     case PERL_MAGIC_defelem:
4569         vtable = &PL_vtbl_defelem;
4570         break;
4571     case PERL_MAGIC_arylen:
4572         vtable = &PL_vtbl_arylen;
4573         break;
4574     case PERL_MAGIC_pos:
4575         vtable = &PL_vtbl_pos;
4576         break;
4577     case PERL_MAGIC_backref:
4578         vtable = &PL_vtbl_backref;
4579         break;
4580     case PERL_MAGIC_hintselem:
4581         vtable = &PL_vtbl_hintselem;
4582         break;
4583     case PERL_MAGIC_ext:
4584         /* Reserved for use by extensions not perl internals.           */
4585         /* Useful for attaching extension internal data to perl vars.   */
4586         /* Note that multiple extensions may clash if magical scalars   */
4587         /* etc holding private data from one are passed to another.     */
4588         vtable = NULL;
4589         break;
4590     default:
4591         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4592     }
4593
4594     /* Rest of work is done else where */
4595     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4596
4597     switch (how) {
4598     case PERL_MAGIC_taint:
4599         mg->mg_len = 1;
4600         break;
4601     case PERL_MAGIC_ext:
4602     case PERL_MAGIC_dbfile:
4603         SvRMAGICAL_on(sv);
4604         break;
4605     }
4606 }
4607
4608 /*
4609 =for apidoc sv_unmagic
4610
4611 Removes all magic of type C<type> from an SV.
4612
4613 =cut
4614 */
4615
4616 int
4617 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4618 {
4619     MAGIC* mg;
4620     MAGIC** mgp;
4621     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4622         return 0;
4623     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
4624     for (mg = *mgp; mg; mg = *mgp) {
4625         if (mg->mg_type == type) {
4626             const MGVTBL* const vtbl = mg->mg_virtual;
4627             *mgp = mg->mg_moremagic;
4628             if (vtbl && vtbl->svt_free)
4629                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4630             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4631                 if (mg->mg_len > 0)
4632                     Safefree(mg->mg_ptr);
4633                 else if (mg->mg_len == HEf_SVKEY)
4634                     SvREFCNT_dec((SV*)mg->mg_ptr);
4635                 else if (mg->mg_type == PERL_MAGIC_utf8)
4636                     Safefree(mg->mg_ptr);
4637             }
4638             if (mg->mg_flags & MGf_REFCOUNTED)
4639                 SvREFCNT_dec(mg->mg_obj);
4640             Safefree(mg);
4641         }
4642         else
4643             mgp = &mg->mg_moremagic;
4644     }
4645     if (!SvMAGIC(sv)) {
4646         SvMAGICAL_off(sv);
4647         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4648         SvMAGIC_set(sv, NULL);
4649     }
4650
4651     return 0;
4652 }
4653
4654 /*
4655 =for apidoc sv_rvweaken
4656
4657 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4658 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4659 push a back-reference to this RV onto the array of backreferences
4660 associated with that magic. If the RV is magical, set magic will be
4661 called after the RV is cleared.
4662
4663 =cut
4664 */
4665
4666 SV *
4667 Perl_sv_rvweaken(pTHX_ SV *sv)
4668 {
4669     SV *tsv;
4670     if (!SvOK(sv))  /* let undefs pass */
4671         return sv;
4672     if (!SvROK(sv))
4673         Perl_croak(aTHX_ "Can't weaken a nonreference");
4674     else if (SvWEAKREF(sv)) {
4675         if (ckWARN(WARN_MISC))
4676             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4677         return sv;
4678     }
4679     tsv = SvRV(sv);
4680     Perl_sv_add_backref(aTHX_ tsv, sv);
4681     SvWEAKREF_on(sv);
4682     SvREFCNT_dec(tsv);
4683     return sv;
4684 }
4685
4686 /* Give tsv backref magic if it hasn't already got it, then push a
4687  * back-reference to sv onto the array associated with the backref magic.
4688  */
4689
4690 void
4691 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4692 {
4693     dVAR;
4694     AV *av;
4695
4696     if (SvTYPE(tsv) == SVt_PVHV) {
4697         AV **const avp = Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4698
4699         av = *avp;
4700         if (!av) {
4701             /* There is no AV in the offical place - try a fixup.  */
4702             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
4703
4704             if (mg) {
4705                 /* Aha. They've got it stowed in magic.  Bring it back.  */
4706                 av = (AV*)mg->mg_obj;
4707                 /* Stop mg_free decreasing the refernce count.  */
4708                 mg->mg_obj = NULL;
4709                 /* Stop mg_free even calling the destructor, given that
4710                    there's no AV to free up.  */
4711                 mg->mg_virtual = 0;
4712                 sv_unmagic(tsv, PERL_MAGIC_backref);
4713             } else {
4714                 av = newAV();
4715                 AvREAL_off(av);
4716                 SvREFCNT_inc_simple_void(av);
4717             }
4718             *avp = av;
4719         }
4720     } else {
4721         const MAGIC *const mg
4722             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4723         if (mg)
4724             av = (AV*)mg->mg_obj;
4725         else {
4726             av = newAV();
4727             AvREAL_off(av);
4728             sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4729             /* av now has a refcnt of 2, which avoids it getting freed
4730              * before us during global cleanup. The extra ref is removed
4731              * by magic_killbackrefs() when tsv is being freed */
4732         }
4733     }
4734     if (AvFILLp(av) >= AvMAX(av)) {
4735         av_extend(av, AvFILLp(av)+1);
4736     }
4737     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4738 }
4739
4740 /* delete a back-reference to ourselves from the backref magic associated
4741  * with the SV we point to.
4742  */
4743
4744 STATIC void
4745 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4746 {
4747     dVAR;
4748     AV *av = NULL;
4749     SV **svp;
4750     I32 i;
4751
4752     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
4753         av = *Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4754         /* We mustn't attempt to "fix up" the hash here by moving the
4755            backreference array back to the hv_aux structure, as that is stored
4756            in the main HvARRAY(), and hfreentries assumes that no-one
4757            reallocates HvARRAY() while it is running.  */
4758     }
4759     if (!av) {
4760         const MAGIC *const mg
4761             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4762         if (mg)
4763             av = (AV *)mg->mg_obj;
4764     }
4765     if (!av) {
4766         if (PL_in_clean_all)
4767             return;
4768         Perl_croak(aTHX_ "panic: del_backref");
4769     }
4770
4771     if (SvIS_FREED(av))
4772         return;
4773
4774     svp = AvARRAY(av);
4775     /* We shouldn't be in here more than once, but for paranoia reasons lets
4776        not assume this.  */
4777     for (i = AvFILLp(av); i >= 0; i--) {
4778         if (svp[i] == sv) {
4779             const SSize_t fill = AvFILLp(av);
4780             if (i != fill) {
4781                 /* We weren't the last entry.
4782                    An unordered list has this property that you can take the
4783                    last element off the end to fill the hole, and it's still
4784                    an unordered list :-)
4785                 */
4786                 svp[i] = svp[fill];
4787             }
4788             svp[fill] = NULL;
4789             AvFILLp(av) = fill - 1;
4790         }
4791     }
4792 }
4793
4794 int
4795 Perl_sv_kill_backrefs(pTHX_ SV *sv, AV *av)
4796 {
4797     SV **svp = AvARRAY(av);
4798
4799     PERL_UNUSED_ARG(sv);
4800
4801     /* Not sure why the av can get freed ahead of its sv, but somehow it does
4802        in ext/B/t/bytecode.t test 15 (involving print <DATA>)  */
4803     if (svp && !SvIS_FREED(av)) {
4804         SV *const *const last = svp + AvFILLp(av);
4805
4806         while (svp <= last) {
4807             if (*svp) {
4808                 SV *const referrer = *svp;
4809                 if (SvWEAKREF(referrer)) {
4810                     /* XXX Should we check that it hasn't changed? */
4811                     SvRV_set(referrer, 0);
4812                     SvOK_off(referrer);
4813                     SvWEAKREF_off(referrer);
4814                     SvSETMAGIC(referrer);
4815                 } else if (SvTYPE(referrer) == SVt_PVGV ||
4816                            SvTYPE(referrer) == SVt_PVLV) {
4817                     /* You lookin' at me?  */
4818                     assert(GvSTASH(referrer));
4819                     assert(GvSTASH(referrer) == (HV*)sv);
4820                     GvSTASH(referrer) = 0;
4821                 } else {
4822                     Perl_croak(aTHX_
4823                                "panic: magic_killbackrefs (flags=%"UVxf")",
4824                                (UV)SvFLAGS(referrer));
4825                 }
4826
4827                 *svp = NULL;
4828             }
4829             svp++;
4830         }
4831     }
4832     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
4833     return 0;
4834 }
4835
4836 /*
4837 =for apidoc sv_insert
4838
4839 Inserts a string at the specified offset/length within the SV. Similar to
4840 the Perl substr() function.
4841
4842 =cut
4843 */
4844
4845 void
4846 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4847 {
4848     dVAR;
4849     register char *big;
4850     register char *mid;
4851     register char *midend;
4852     register char *bigend;
4853     register I32 i;
4854     STRLEN curlen;
4855
4856
4857     if (!bigstr)
4858         Perl_croak(aTHX_ "Can't modify non-existent substring");
4859     SvPV_force(bigstr, curlen);
4860     (void)SvPOK_only_UTF8(bigstr);
4861     if (offset + len > curlen) {
4862         SvGROW(bigstr, offset+len+1);
4863         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4864         SvCUR_set(bigstr, offset+len);
4865     }
4866
4867     SvTAINT(bigstr);
4868     i = littlelen - len;
4869     if (i > 0) {                        /* string might grow */
4870         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4871         mid = big + offset + len;
4872         midend = bigend = big + SvCUR(bigstr);
4873         bigend += i;
4874         *bigend = '\0';
4875         while (midend > mid)            /* shove everything down */
4876             *--bigend = *--midend;
4877         Move(little,big+offset,littlelen,char);
4878         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4879         SvSETMAGIC(bigstr);
4880         return;
4881     }
4882     else if (i == 0) {
4883         Move(little,SvPVX(bigstr)+offset,len,char);
4884         SvSETMAGIC(bigstr);
4885         return;
4886     }
4887
4888     big = SvPVX(bigstr);
4889     mid = big + offset;
4890     midend = mid + len;
4891     bigend = big + SvCUR(bigstr);
4892
4893     if (midend > bigend)
4894         Perl_croak(aTHX_ "panic: sv_insert");
4895
4896     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4897         if (littlelen) {
4898             Move(little, mid, littlelen,char);
4899             mid += littlelen;
4900         }
4901         i = bigend - midend;
4902         if (i > 0) {
4903             Move(midend, mid, i,char);
4904             mid += i;
4905         }
4906         *mid = '\0';
4907         SvCUR_set(bigstr, mid - big);
4908     }
4909     else if ((i = mid - big)) { /* faster from front */
4910         midend -= littlelen;
4911         mid = midend;
4912         sv_chop(bigstr,midend-i);
4913         big += i;
4914         while (i--)
4915             *--midend = *--big;
4916         if (littlelen)
4917             Move(little, mid, littlelen,char);
4918     }
4919     else if (littlelen) {
4920         midend -= littlelen;
4921         sv_chop(bigstr,midend);
4922         Move(little,midend,littlelen,char);
4923     }
4924     else {
4925         sv_chop(bigstr,midend);
4926     }
4927     SvSETMAGIC(bigstr);
4928 }
4929
4930 /*
4931 =for apidoc sv_replace
4932
4933 Make the first argument a copy of the second, then delete the original.
4934 The target SV physically takes over ownership of the body of the source SV
4935 and inherits its flags; however, the target keeps any magic it owns,
4936 and any magic in the source is discarded.
4937 Note that this is a rather specialist SV copying operation; most of the
4938 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
4939
4940 =cut
4941 */
4942
4943 void
4944 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
4945 {
4946     dVAR;
4947     const U32 refcnt = SvREFCNT(sv);
4948     SV_CHECK_THINKFIRST_COW_DROP(sv);
4949     if (SvREFCNT(nsv) != 1) {
4950         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
4951                    UVuf " != 1)", (UV) SvREFCNT(nsv));
4952     }
4953     if (SvMAGICAL(sv)) {
4954         if (SvMAGICAL(nsv))
4955             mg_free(nsv);
4956         else
4957             sv_upgrade(nsv, SVt_PVMG);
4958         SvMAGIC_set(nsv, SvMAGIC(sv));
4959         SvFLAGS(nsv) |= SvMAGICAL(sv);
4960         SvMAGICAL_off(sv);
4961         SvMAGIC_set(sv, NULL);
4962     }
4963     SvREFCNT(sv) = 0;
4964     sv_clear(sv);
4965     assert(!SvREFCNT(sv));
4966 #ifdef DEBUG_LEAKING_SCALARS
4967     sv->sv_flags  = nsv->sv_flags;
4968     sv->sv_any    = nsv->sv_any;
4969     sv->sv_refcnt = nsv->sv_refcnt;
4970     sv->sv_u      = nsv->sv_u;
4971 #else
4972     StructCopy(nsv,sv,SV);
4973 #endif
4974     /* Currently could join these into one piece of pointer arithmetic, but
4975        it would be unclear.  */
4976     if(SvTYPE(sv) == SVt_IV)
4977         SvANY(sv)
4978             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
4979     else if (SvTYPE(sv) == SVt_RV) {
4980         SvANY(sv) = &sv->sv_u.svu_rv;
4981     }
4982         
4983
4984 #ifdef PERL_OLD_COPY_ON_WRITE
4985     if (SvIsCOW_normal(nsv)) {
4986         /* We need to follow the pointers around the loop to make the
4987            previous SV point to sv, rather than nsv.  */
4988         SV *next;
4989         SV *current = nsv;
4990         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
4991             assert(next);
4992             current = next;
4993             assert(SvPVX_const(current) == SvPVX_const(nsv));
4994         }
4995         /* Make the SV before us point to the SV after us.  */
4996         if (DEBUG_C_TEST) {
4997             PerlIO_printf(Perl_debug_log, "previous is\n");
4998             sv_dump(current);
4999             PerlIO_printf(Perl_debug_log,
5000                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5001                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5002         }
5003         SV_COW_NEXT_SV_SET(current, sv);
5004     }
5005 #endif
5006     SvREFCNT(sv) = refcnt;
5007     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5008     SvREFCNT(nsv) = 0;
5009     del_SV(nsv);
5010 }
5011
5012 /*
5013 =for apidoc sv_clear
5014
5015 Clear an SV: call any destructors, free up any memory used by the body,
5016 and free the body itself. The SV's head is I<not> freed, although
5017 its type is set to all 1's so that it won't inadvertently be assumed
5018 to be live during global destruction etc.
5019 This function should only be called when REFCNT is zero. Most of the time
5020 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5021 instead.
5022
5023 =cut
5024 */
5025
5026 void
5027 Perl_sv_clear(pTHX_ register SV *sv)
5028 {
5029     dVAR;
5030     const U32 type = SvTYPE(sv);
5031     const struct body_details *const sv_type_details
5032         = bodies_by_type + type;
5033
5034     assert(sv);
5035     assert(SvREFCNT(sv) == 0);
5036
5037     if (type <= SVt_IV) {
5038         /* See the comment in sv.h about the collusion between this early
5039            return and the overloading of the NULL and IV slots in the size
5040            table.  */
5041         return;
5042     }
5043
5044     if (SvOBJECT(sv)) {
5045         if (PL_defstash) {              /* Still have a symbol table? */
5046             dSP;
5047             HV* stash;
5048             do {        
5049                 CV* destructor;
5050                 stash = SvSTASH(sv);
5051                 destructor = StashHANDLER(stash,DESTROY);
5052                 if (destructor) {
5053                     SV* const tmpref = newRV(sv);
5054                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5055                     ENTER;
5056                     PUSHSTACKi(PERLSI_DESTROY);
5057                     EXTEND(SP, 2);
5058                     PUSHMARK(SP);
5059                     PUSHs(tmpref);
5060                     PUTBACK;
5061                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5062                 
5063                 
5064                     POPSTACK;
5065                     SPAGAIN;
5066                     LEAVE;
5067                     if(SvREFCNT(tmpref) < 2) {
5068                         /* tmpref is not kept alive! */
5069                         SvREFCNT(sv)--;
5070                         SvRV_set(tmpref, NULL);
5071                         SvROK_off(tmpref);
5072                     }
5073                     SvREFCNT_dec(tmpref);
5074                 }
5075             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5076
5077
5078             if (SvREFCNT(sv)) {
5079                 if (PL_in_clean_objs)
5080                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5081                           HvNAME_get(stash));
5082                 /* DESTROY gave object new lease on life */
5083                 return;
5084             }
5085         }
5086
5087         if (SvOBJECT(sv)) {
5088             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5089             SvOBJECT_off(sv);   /* Curse the object. */
5090             if (type != SVt_PVIO)
5091                 --PL_sv_objcount;       /* XXX Might want something more general */
5092         }
5093     }
5094     if (type >= SVt_PVMG) {
5095         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5096             SvREFCNT_dec(SvOURSTASH(sv));
5097         } else if (SvMAGIC(sv))
5098             mg_free(sv);
5099         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5100             SvREFCNT_dec(SvSTASH(sv));
5101     }
5102     switch (type) {
5103         /* case SVt_BIND: */
5104     case SVt_PVIO:
5105         if (IoIFP(sv) &&
5106             IoIFP(sv) != PerlIO_stdin() &&
5107             IoIFP(sv) != PerlIO_stdout() &&
5108             IoIFP(sv) != PerlIO_stderr())
5109         {
5110             io_close((IO*)sv, FALSE);
5111         }
5112         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5113             PerlDir_close(IoDIRP(sv));
5114         IoDIRP(sv) = (DIR*)NULL;
5115         Safefree(IoTOP_NAME(sv));
5116         Safefree(IoFMT_NAME(sv));
5117         Safefree(IoBOTTOM_NAME(sv));
5118         goto freescalar;
5119     case SVt_PVCV:
5120     case SVt_PVFM:
5121         cv_undef((CV*)sv);
5122         goto freescalar;
5123     case SVt_PVHV:
5124         Perl_hv_kill_backrefs(aTHX_ (HV*)sv);
5125         hv_undef((HV*)sv);
5126         break;
5127     case SVt_PVAV:
5128         av_undef((AV*)sv);
5129         break;
5130     case SVt_PVLV:
5131         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5132             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5133             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5134             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5135         }
5136         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5137             SvREFCNT_dec(LvTARG(sv));
5138     case SVt_PVGV:
5139         if (isGV_with_GP(sv)) {
5140             gp_free((GV*)sv);
5141             if (GvNAME_HEK(sv))
5142                 unshare_hek(GvNAME_HEK(sv));
5143         /* If we're in a stash, we don't own a reference to it. However it does
5144            have a back reference to us, which needs to be cleared.  */
5145         if (!SvVALID(sv) && GvSTASH(sv))
5146                 sv_del_backref((SV*)GvSTASH(sv), sv);
5147         }
5148     case SVt_PVMG:
5149     case SVt_PVNV:
5150     case SVt_PVIV:
5151       freescalar:
5152         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5153         if (SvOOK(sv)) {
5154             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
5155             /* Don't even bother with turning off the OOK flag.  */
5156         }
5157     case SVt_PV:
5158     case SVt_RV:
5159         if (SvROK(sv)) {
5160             SV * const target = SvRV(sv);
5161             if (SvWEAKREF(sv))
5162                 sv_del_backref(target, sv);
5163             else
5164                 SvREFCNT_dec(target);
5165         }
5166 #ifdef PERL_OLD_COPY_ON_WRITE
5167         else if (SvPVX_const(sv)) {
5168             if (SvIsCOW(sv)) {
5169                 /* I believe I need to grab the global SV mutex here and
5170                    then recheck the COW status.  */
5171                 if (DEBUG_C_TEST) {
5172                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5173                     sv_dump(sv);
5174                 }
5175                 if (SvLEN(sv)) {
5176                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5177                 } else {
5178                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5179                 }
5180
5181                 /* And drop it here.  */
5182                 SvFAKE_off(sv);
5183             } else if (SvLEN(sv)) {
5184                 Safefree(SvPVX_const(sv));
5185             }
5186         }
5187 #else
5188         else if (SvPVX_const(sv) && SvLEN(sv))
5189             Safefree(SvPVX_mutable(sv));
5190         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5191             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5192             SvFAKE_off(sv);
5193         }
5194 #endif
5195         break;
5196     case SVt_NV:
5197         break;
5198     }
5199
5200     SvFLAGS(sv) &= SVf_BREAK;
5201     SvFLAGS(sv) |= SVTYPEMASK;
5202
5203     if (sv_type_details->arena) {
5204         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5205                  &PL_body_roots[type]);
5206     }
5207     else if (sv_type_details->body_size) {
5208         my_safefree(SvANY(sv));
5209     }
5210 }
5211
5212 /*
5213 =for apidoc sv_newref
5214
5215 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5216 instead.
5217
5218 =cut
5219 */
5220
5221 SV *
5222 Perl_sv_newref(pTHX_ SV *sv)
5223 {
5224     PERL_UNUSED_CONTEXT;
5225     if (sv)
5226         (SvREFCNT(sv))++;
5227     return sv;
5228 }
5229
5230 /*
5231 =for apidoc sv_free
5232
5233 Decrement an SV's reference count, and if it drops to zero, call
5234 C<sv_clear> to invoke destructors and free up any memory used by
5235 the body; finally, deallocate the SV's head itself.
5236 Normally called via a wrapper macro C<SvREFCNT_dec>.
5237
5238 =cut
5239 */
5240
5241 void
5242 Perl_sv_free(pTHX_ SV *sv)
5243 {
5244     dVAR;
5245     if (!sv)
5246         return;
5247     if (SvREFCNT(sv) == 0) {
5248         if (SvFLAGS(sv) & SVf_BREAK)
5249             /* this SV's refcnt has been artificially decremented to
5250              * trigger cleanup */
5251             return;
5252         if (PL_in_clean_all) /* All is fair */
5253             return;
5254         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5255             /* make sure SvREFCNT(sv)==0 happens very seldom */
5256             SvREFCNT(sv) = (~(U32)0)/2;
5257             return;
5258         }
5259         if (ckWARN_d(WARN_INTERNAL)) {
5260             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5261                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5262                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5263 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5264             Perl_dump_sv_child(aTHX_ sv);
5265 #endif
5266         }
5267         return;
5268     }
5269     if (--(SvREFCNT(sv)) > 0)
5270         return;
5271     Perl_sv_free2(aTHX_ sv);
5272 }
5273
5274 void
5275 Perl_sv_free2(pTHX_ SV *sv)
5276 {
5277     dVAR;
5278 #ifdef DEBUGGING
5279     if (SvTEMP(sv)) {
5280         if (ckWARN_d(WARN_DEBUGGING))
5281             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5282                         "Attempt to free temp prematurely: SV 0x%"UVxf
5283                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5284         return;
5285     }
5286 #endif
5287     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5288         /* make sure SvREFCNT(sv)==0 happens very seldom */
5289         SvREFCNT(sv) = (~(U32)0)/2;
5290         return;
5291     }
5292     sv_clear(sv);
5293     if (! SvREFCNT(sv))
5294         del_SV(sv);
5295 }
5296
5297 /*
5298 =for apidoc sv_len
5299
5300 Returns the length of the string in the SV. Handles magic and type
5301 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5302
5303 =cut
5304 */
5305
5306 STRLEN
5307 Perl_sv_len(pTHX_ register SV *sv)
5308 {
5309     STRLEN len;
5310
5311     if (!sv)
5312         return 0;
5313
5314     if (SvGMAGICAL(sv))
5315         len = mg_length(sv);
5316     else
5317         (void)SvPV_const(sv, len);
5318     return len;
5319 }
5320
5321 /*
5322 =for apidoc sv_len_utf8
5323
5324 Returns the number of characters in the string in an SV, counting wide
5325 UTF-8 bytes as a single character. Handles magic and type coercion.
5326
5327 =cut
5328 */
5329
5330 /*
5331  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5332  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5333  * (Note that the mg_len is not the length of the mg_ptr field.
5334  * This allows the cache to store the character length of the string without
5335  * needing to malloc() extra storage to attach to the mg_ptr.)
5336  *
5337  */
5338
5339 STRLEN
5340 Perl_sv_len_utf8(pTHX_ register SV *sv)
5341 {
5342     if (!sv)
5343         return 0;
5344
5345     if (SvGMAGICAL(sv))
5346         return mg_length(sv);
5347     else
5348     {
5349         STRLEN len;
5350         const U8 *s = (U8*)SvPV_const(sv, len);
5351
5352         if (PL_utf8cache) {
5353             STRLEN ulen;
5354             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : 0;
5355
5356             if (mg && mg->mg_len != -1) {
5357                 ulen = mg->mg_len;
5358                 if (PL_utf8cache < 0) {
5359                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
5360                     if (real != ulen) {
5361                         /* Need to turn the assertions off otherwise we may
5362                            recurse infinitely while printing error messages.
5363                         */
5364                         SAVEI8(PL_utf8cache);
5365                         PL_utf8cache = 0;
5366                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
5367                                    " real %"UVuf" for %"SVf,
5368                                    (UV) ulen, (UV) real, SVfARG(sv));
5369                     }
5370                 }
5371             }
5372             else {
5373                 ulen = Perl_utf8_length(aTHX_ s, s + len);
5374                 if (!SvREADONLY(sv)) {
5375                     if (!mg) {
5376                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
5377                                          &PL_vtbl_utf8, 0, 0);
5378                     }
5379                     assert(mg);
5380                     mg->mg_len = ulen;
5381                 }
5382             }
5383             return ulen;
5384         }
5385         return Perl_utf8_length(aTHX_ s, s + len);
5386     }
5387 }
5388
5389 /* Walk forwards to find the byte corresponding to the passed in UTF-8
5390    offset.  */
5391 static STRLEN
5392 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
5393                       STRLEN uoffset)
5394 {
5395     const U8 *s = start;
5396
5397     while (s < send && uoffset--)
5398         s += UTF8SKIP(s);
5399     if (s > send) {
5400         /* This is the existing behaviour. Possibly it should be a croak, as
5401            it's actually a bounds error  */
5402         s = send;
5403     }
5404     return s - start;
5405 }
5406
5407 /* Given the length of the string in both bytes and UTF-8 characters, decide
5408    whether to walk forwards or backwards to find the byte corresponding to
5409    the passed in UTF-8 offset.  */
5410 static STRLEN
5411 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
5412                       STRLEN uoffset, STRLEN uend)
5413 {
5414     STRLEN backw = uend - uoffset;
5415     if (uoffset < 2 * backw) {
5416         /* The assumption is that going forwards is twice the speed of going
5417            forward (that's where the 2 * backw comes from).
5418            (The real figure of course depends on the UTF-8 data.)  */
5419         return sv_pos_u2b_forwards(start, send, uoffset);
5420     }
5421
5422     while (backw--) {
5423         send--;
5424         while (UTF8_IS_CONTINUATION(*send))
5425             send--;
5426     }
5427     return send - start;
5428 }
5429
5430 /* For the string representation of the given scalar, find the byte
5431    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
5432    give another position in the string, *before* the sought offset, which
5433    (which is always true, as 0, 0 is a valid pair of positions), which should
5434    help reduce the amount of linear searching.
5435    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
5436    will be used to reduce the amount of linear searching. The cache will be
5437    created if necessary, and the found value offered to it for update.  */
5438 static STRLEN
5439 S_sv_pos_u2b_cached(pTHX_ SV *sv, MAGIC **mgp, const U8 *const start,
5440                     const U8 *const send, STRLEN uoffset,
5441                     STRLEN uoffset0, STRLEN boffset0) {
5442     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
5443     bool found = FALSE;
5444
5445     assert (uoffset >= uoffset0);
5446
5447     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5448         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
5449         if ((*mgp)->mg_ptr) {
5450             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
5451             if (cache[0] == uoffset) {
5452                 /* An exact match. */
5453                 return cache[1];
5454             }
5455             if (cache[2] == uoffset) {
5456                 /* An exact match. */
5457                 return cache[3];
5458             }
5459
5460             if (cache[0] < uoffset) {
5461                 /* The cache already knows part of the way.   */
5462                 if (cache[0] > uoffset0) {
5463                     /* The cache knows more than the passed in pair  */
5464                     uoffset0 = cache[0];
5465                     boffset0 = cache[1];
5466                 }
5467                 if ((*mgp)->mg_len != -1) {
5468                     /* And we know the end too.  */
5469                     boffset = boffset0
5470                         + sv_pos_u2b_midway(start + boffset0, send,
5471                                               uoffset - uoffset0,
5472                                               (*mgp)->mg_len - uoffset0);
5473                 } else {
5474                     boffset = boffset0
5475                         + sv_pos_u2b_forwards(start + boffset0,
5476                                                 send, uoffset - uoffset0);
5477                 }
5478             }
5479             else if (cache[2] < uoffset) {
5480                 /* We're between the two cache entries.  */
5481                 if (cache[2] > uoffset0) {
5482                     /* and the cache knows more than the passed in pair  */
5483                     uoffset0 = cache[2];
5484                     boffset0 = cache[3];
5485                 }
5486
5487                 boffset = boffset0
5488                     + sv_pos_u2b_midway(start + boffset0,
5489                                           start + cache[1],
5490                                           uoffset - uoffset0,
5491                                           cache[0] - uoffset0);
5492             } else {
5493                 boffset = boffset0
5494                     + sv_pos_u2b_midway(start + boffset0,
5495                                           start + cache[3],
5496                                           uoffset - uoffset0,
5497                                           cache[2] - uoffset0);
5498             }
5499             found = TRUE;
5500         }
5501         else if ((*mgp)->mg_len != -1) {
5502             /* If we can take advantage of a passed in offset, do so.  */
5503             /* In fact, offset0 is either 0, or less than offset, so don't
5504                need to worry about the other possibility.  */
5505             boffset = boffset0
5506                 + sv_pos_u2b_midway(start + boffset0, send,
5507                                       uoffset - uoffset0,
5508                                       (*mgp)->mg_len - uoffset0);
5509             found = TRUE;
5510         }
5511     }
5512
5513     if (!found || PL_utf8cache < 0) {
5514         const STRLEN real_boffset
5515             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
5516                                                send, uoffset - uoffset0);
5517
5518         if (found && PL_utf8cache < 0) {
5519             if (real_boffset != boffset) {
5520                 /* Need to turn the assertions off otherwise we may recurse
5521                    infinitely while printing error messages.  */
5522                 SAVEI8(PL_utf8cache);
5523                 PL_utf8cache = 0;
5524                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
5525                            " real %"UVuf" for %"SVf,
5526                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
5527             }
5528         }
5529         boffset = real_boffset;
5530     }
5531
5532     S_utf8_mg_pos_cache_update(aTHX_ sv, mgp, boffset, uoffset, send - start);
5533     return boffset;
5534 }
5535
5536
5537 /*
5538 =for apidoc sv_pos_u2b
5539
5540 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5541 the start of the string, to a count of the equivalent number of bytes; if
5542 lenp is non-zero, it does the same to lenp, but this time starting from
5543 the offset, rather than from the start of the string. Handles magic and
5544 type coercion.
5545
5546 =cut
5547 */
5548
5549 /*
5550  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5551  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5552  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
5553  *
5554  */
5555
5556 void
5557 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5558 {
5559     const U8 *start;
5560     STRLEN len;
5561
5562     if (!sv)
5563         return;
5564
5565     start = (U8*)SvPV_const(sv, len);
5566     if (len) {
5567         STRLEN uoffset = (STRLEN) *offsetp;
5568         const U8 * const send = start + len;
5569         MAGIC *mg = NULL;
5570         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
5571                                              uoffset, 0, 0);
5572
5573         *offsetp = (I32) boffset;
5574
5575         if (lenp) {
5576             /* Convert the relative offset to absolute.  */
5577             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
5578             const STRLEN boffset2
5579                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
5580                                       uoffset, boffset) - boffset;
5581
5582             *lenp = boffset2;
5583         }
5584     }
5585     else {
5586          *offsetp = 0;
5587          if (lenp)
5588               *lenp = 0;
5589     }
5590
5591     return;
5592 }
5593
5594 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
5595    byte length pairing. The (byte) length of the total SV is passed in too,
5596    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
5597    may not have updated SvCUR, so we can't rely on reading it directly.
5598
5599    The proffered utf8/byte length pairing isn't used if the cache already has
5600    two pairs, and swapping either for the proffered pair would increase the
5601    RMS of the intervals between known byte offsets.
5602
5603    The cache itself consists of 4 STRLEN values
5604    0: larger UTF-8 offset
5605    1: corresponding byte offset
5606    2: smaller UTF-8 offset
5607    3: corresponding byte offset
5608
5609    Unused cache pairs have the value 0, 0.
5610    Keeping the cache "backwards" means that the invariant of
5611    cache[0] >= cache[2] is maintained even with empty slots, which means that
5612    the code that uses it doesn't need to worry if only 1 entry has actually
5613    been set to non-zero.  It also makes the "position beyond the end of the
5614    cache" logic much simpler, as the first slot is always the one to start
5615    from.   
5616 */
5617 static void
5618 S_utf8_mg_pos_cache_update(pTHX_ SV *sv, MAGIC **mgp, STRLEN byte, STRLEN utf8,
5619                            STRLEN blen)
5620 {
5621     STRLEN *cache;
5622     if (SvREADONLY(sv))
5623         return;
5624
5625     if (!*mgp) {
5626         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
5627                            0);
5628         (*mgp)->mg_len = -1;
5629     }
5630     assert(*mgp);
5631
5632     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
5633         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5634         (*mgp)->mg_ptr = (char *) cache;
5635     }
5636     assert(cache);
5637
5638     if (PL_utf8cache < 0) {
5639         const U8 *start = (const U8 *) SvPVX_const(sv);
5640         const STRLEN realutf8 = utf8_length(start, start + byte);
5641
5642         if (realutf8 != utf8) {
5643             /* Need to turn the assertions off otherwise we may recurse
5644                infinitely while printing error messages.  */
5645             SAVEI8(PL_utf8cache);
5646             PL_utf8cache = 0;
5647             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
5648                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
5649         }
5650     }
5651
5652     /* Cache is held with the later position first, to simplify the code
5653        that deals with unbounded ends.  */
5654        
5655     ASSERT_UTF8_CACHE(cache);
5656     if (cache[1] == 0) {
5657         /* Cache is totally empty  */
5658         cache[0] = utf8;
5659         cache[1] = byte;
5660     } else if (cache[3] == 0) {
5661         if (byte > cache[1]) {
5662             /* New one is larger, so goes first.  */
5663             cache[2] = cache[0];
5664             cache[3] = cache[1];
5665             cache[0] = utf8;
5666             cache[1] = byte;
5667         } else {
5668             cache[2] = utf8;
5669             cache[3] = byte;
5670         }
5671     } else {
5672 #define THREEWAY_SQUARE(a,b,c,d) \
5673             ((float)((d) - (c))) * ((float)((d) - (c))) \
5674             + ((float)((c) - (b))) * ((float)((c) - (b))) \
5675                + ((float)((b) - (a))) * ((float)((b) - (a)))
5676
5677         /* Cache has 2 slots in use, and we know three potential pairs.
5678            Keep the two that give the lowest RMS distance. Do the
5679            calcualation in bytes simply because we always know the byte
5680            length.  squareroot has the same ordering as the positive value,
5681            so don't bother with the actual square root.  */
5682         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
5683         if (byte > cache[1]) {
5684             /* New position is after the existing pair of pairs.  */
5685             const float keep_earlier
5686                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5687             const float keep_later
5688                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
5689
5690             if (keep_later < keep_earlier) {
5691                 if (keep_later < existing) {
5692                     cache[2] = cache[0];
5693                     cache[3] = cache[1];
5694                     cache[0] = utf8;
5695                     cache[1] = byte;
5696                 }
5697             }
5698             else {
5699                 if (keep_earlier < existing) {
5700                     cache[0] = utf8;
5701                     cache[1] = byte;
5702                 }
5703             }
5704         }
5705         else if (byte > cache[3]) {
5706             /* New position is between the existing pair of pairs.  */
5707             const float keep_earlier
5708                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5709             const float keep_later
5710                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5711
5712             if (keep_later < keep_earlier) {
5713                 if (keep_later < existing) {
5714                     cache[2] = utf8;
5715                     cache[3] = byte;
5716                 }
5717             }
5718             else {
5719                 if (keep_earlier < existing) {
5720                     cache[0] = utf8;
5721                     cache[1] = byte;
5722                 }
5723             }
5724         }
5725         else {
5726             /* New position is before the existing pair of pairs.  */
5727             const float keep_earlier
5728                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
5729             const float keep_later
5730                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5731
5732             if (keep_later < keep_earlier) {
5733                 if (keep_later < existing) {
5734                     cache[2] = utf8;
5735                     cache[3] = byte;
5736                 }
5737             }
5738             else {
5739                 if (keep_earlier < existing) {
5740                     cache[0] = cache[2];
5741                     cache[1] = cache[3];
5742                     cache[2] = utf8;
5743                     cache[3] = byte;
5744                 }
5745             }
5746         }
5747     }
5748     ASSERT_UTF8_CACHE(cache);
5749 }
5750
5751 /* We already know all of the way, now we may be able to walk back.  The same
5752    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
5753    backward is half the speed of walking forward. */
5754 static STRLEN
5755 S_sv_pos_b2u_midway(pTHX_ const U8 *s, const U8 *const target, const U8 *end,
5756                     STRLEN endu)
5757 {
5758     const STRLEN forw = target - s;
5759     STRLEN backw = end - target;
5760
5761     if (forw < 2 * backw) {
5762         return utf8_length(s, target);
5763     }
5764
5765     while (end > target) {
5766         end--;
5767         while (UTF8_IS_CONTINUATION(*end)) {
5768             end--;
5769         }
5770         endu--;
5771     }
5772     return endu;
5773 }
5774
5775 /*
5776 =for apidoc sv_pos_b2u
5777
5778 Converts the value pointed to by offsetp from a count of bytes from the
5779 start of the string, to a count of the equivalent number of UTF-8 chars.
5780 Handles magic and type coercion.
5781
5782 =cut
5783 */
5784
5785 /*
5786  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5787  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5788  * byte offsets.
5789  *
5790  */
5791 void
5792 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5793 {
5794     const U8* s;
5795     const STRLEN byte = *offsetp;
5796     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
5797     STRLEN blen;
5798     MAGIC* mg = NULL;
5799     const U8* send;
5800     bool found = FALSE;
5801
5802     if (!sv)
5803         return;
5804
5805     s = (const U8*)SvPV_const(sv, blen);
5806
5807     if (blen < byte)
5808         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5809
5810     send = s + byte;
5811
5812     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5813         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
5814         if (mg->mg_ptr) {
5815             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
5816             if (cache[1] == byte) {
5817                 /* An exact match. */
5818                 *offsetp = cache[0];
5819                 return;
5820             }
5821             if (cache[3] == byte) {
5822                 /* An exact match. */
5823                 *offsetp = cache[2];
5824                 return;
5825             }
5826
5827             if (cache[1] < byte) {
5828                 /* We already know part of the way. */
5829                 if (mg->mg_len != -1) {
5830                     /* Actually, we know the end too.  */
5831                     len = cache[0]
5832                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
5833                                               s + blen, mg->mg_len - cache[0]);
5834                 } else {
5835                     len = cache[0] + utf8_length(s + cache[1], send);
5836                 }
5837             }
5838             else if (cache[3] < byte) {
5839                 /* We're between the two cached pairs, so we do the calculation
5840                    offset by the byte/utf-8 positions for the earlier pair,
5841                    then add the utf-8 characters from the string start to
5842                    there.  */
5843                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
5844                                           s + cache[1], cache[0] - cache[2])
5845                     + cache[2];
5846
5847             }
5848             else { /* cache[3] > byte */
5849                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
5850                                           cache[2]);
5851
5852             }
5853             ASSERT_UTF8_CACHE(cache);
5854             found = TRUE;
5855         } else if (mg->mg_len != -1) {
5856             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
5857             found = TRUE;
5858         }
5859     }
5860     if (!found || PL_utf8cache < 0) {
5861         const STRLEN real_len = utf8_length(s, send);
5862
5863         if (found && PL_utf8cache < 0) {
5864             if (len != real_len) {
5865                 /* Need to turn the assertions off otherwise we may recurse
5866                    infinitely while printing error messages.  */
5867                 SAVEI8(PL_utf8cache);
5868                 PL_utf8cache = 0;
5869                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
5870                            " real %"UVuf" for %"SVf,
5871                            (UV) len, (UV) real_len, SVfARG(sv));
5872             }
5873         }
5874         len = real_len;
5875     }
5876     *offsetp = len;
5877
5878     S_utf8_mg_pos_cache_update(aTHX_ sv, &mg, byte, len, blen);
5879 }
5880
5881 /*
5882 =for apidoc sv_eq
5883
5884 Returns a boolean indicating whether the strings in the two SVs are
5885 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5886 coerce its args to strings if necessary.
5887
5888 =cut
5889 */
5890
5891 I32
5892 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
5893 {
5894     dVAR;
5895     const char *pv1;
5896     STRLEN cur1;
5897     const char *pv2;
5898     STRLEN cur2;
5899     I32  eq     = 0;
5900     char *tpv   = NULL;
5901     SV* svrecode = NULL;
5902
5903     if (!sv1) {
5904         pv1 = "";
5905         cur1 = 0;
5906     }
5907     else {
5908         /* if pv1 and pv2 are the same, second SvPV_const call may
5909          * invalidate pv1, so we may need to make a copy */
5910         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
5911             pv1 = SvPV_const(sv1, cur1);
5912             sv1 = sv_2mortal(newSVpvn(pv1, cur1));
5913             if (SvUTF8(sv2)) SvUTF8_on(sv1);
5914         }
5915         pv1 = SvPV_const(sv1, cur1);
5916     }
5917
5918     if (!sv2){
5919         pv2 = "";
5920         cur2 = 0;
5921     }
5922     else
5923         pv2 = SvPV_const(sv2, cur2);
5924
5925     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5926         /* Differing utf8ness.
5927          * Do not UTF8size the comparands as a side-effect. */
5928          if (PL_encoding) {
5929               if (SvUTF8(sv1)) {
5930                    svrecode = newSVpvn(pv2, cur2);
5931                    sv_recode_to_utf8(svrecode, PL_encoding);
5932                    pv2 = SvPV_const(svrecode, cur2);
5933               }
5934               else {
5935                    svrecode = newSVpvn(pv1, cur1);
5936                    sv_recode_to_utf8(svrecode, PL_encoding);
5937                    pv1 = SvPV_const(svrecode, cur1);
5938               }
5939               /* Now both are in UTF-8. */
5940               if (cur1 != cur2) {
5941                    SvREFCNT_dec(svrecode);
5942                    return FALSE;
5943               }
5944          }
5945          else {
5946               bool is_utf8 = TRUE;
5947
5948               if (SvUTF8(sv1)) {
5949                    /* sv1 is the UTF-8 one,
5950                     * if is equal it must be downgrade-able */
5951                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
5952                                                      &cur1, &is_utf8);
5953                    if (pv != pv1)
5954                         pv1 = tpv = pv;
5955               }
5956               else {
5957                    /* sv2 is the UTF-8 one,
5958                     * if is equal it must be downgrade-able */
5959                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
5960                                                       &cur2, &is_utf8);
5961                    if (pv != pv2)
5962                         pv2 = tpv = pv;
5963               }
5964               if (is_utf8) {
5965                    /* Downgrade not possible - cannot be eq */
5966                    assert (tpv == 0);
5967                    return FALSE;
5968               }
5969          }
5970     }
5971
5972     if (cur1 == cur2)
5973         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
5974         
5975     SvREFCNT_dec(svrecode);
5976     if (tpv)
5977         Safefree(tpv);
5978
5979     return eq;
5980 }
5981
5982 /*
5983 =for apidoc sv_cmp
5984
5985 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
5986 string in C<sv1> is less than, equal to, or greater than the string in
5987 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5988 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
5989
5990 =cut
5991 */
5992
5993 I32
5994 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
5995 {
5996     dVAR;
5997     STRLEN cur1, cur2;
5998     const char *pv1, *pv2;
5999     char *tpv = NULL;
6000     I32  cmp;
6001     SV *svrecode = NULL;
6002
6003     if (!sv1) {
6004         pv1 = "";
6005         cur1 = 0;
6006     }
6007     else
6008         pv1 = SvPV_const(sv1, cur1);
6009
6010     if (!sv2) {
6011         pv2 = "";
6012         cur2 = 0;
6013     }
6014     else
6015         pv2 = SvPV_const(sv2, cur2);
6016
6017     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6018         /* Differing utf8ness.
6019          * Do not UTF8size the comparands as a side-effect. */
6020         if (SvUTF8(sv1)) {
6021             if (PL_encoding) {
6022                  svrecode = newSVpvn(pv2, cur2);
6023                  sv_recode_to_utf8(svrecode, PL_encoding);
6024                  pv2 = SvPV_const(svrecode, cur2);
6025             }
6026             else {
6027                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6028             }
6029         }
6030         else {
6031             if (PL_encoding) {
6032                  svrecode = newSVpvn(pv1, cur1);
6033                  sv_recode_to_utf8(svrecode, PL_encoding);
6034                  pv1 = SvPV_const(svrecode, cur1);
6035             }
6036             else {
6037                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6038             }
6039         }
6040     }
6041
6042     if (!cur1) {
6043         cmp = cur2 ? -1 : 0;
6044     } else if (!cur2) {
6045         cmp = 1;
6046     } else {
6047         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6048
6049         if (retval) {
6050             cmp = retval < 0 ? -1 : 1;
6051         } else if (cur1 == cur2) {
6052             cmp = 0;
6053         } else {
6054             cmp = cur1 < cur2 ? -1 : 1;
6055         }
6056     }
6057
6058     SvREFCNT_dec(svrecode);
6059     if (tpv)
6060         Safefree(tpv);
6061
6062     return cmp;
6063 }
6064
6065 /*
6066 =for apidoc sv_cmp_locale
6067
6068 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6069 'use bytes' aware, handles get magic, and will coerce its args to strings
6070 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
6071
6072 =cut
6073 */
6074
6075 I32
6076 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
6077 {
6078     dVAR;
6079 #ifdef USE_LOCALE_COLLATE
6080
6081     char *pv1, *pv2;
6082     STRLEN len1, len2;
6083     I32 retval;
6084
6085     if (PL_collation_standard)
6086         goto raw_compare;
6087
6088     len1 = 0;
6089     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6090     len2 = 0;
6091     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6092
6093     if (!pv1 || !len1) {
6094         if (pv2 && len2)
6095             return -1;
6096         else
6097             goto raw_compare;
6098     }
6099     else {
6100         if (!pv2 || !len2)
6101             return 1;
6102     }
6103
6104     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6105
6106     if (retval)
6107         return retval < 0 ? -1 : 1;
6108
6109     /*
6110      * When the result of collation is equality, that doesn't mean
6111      * that there are no differences -- some locales exclude some
6112      * characters from consideration.  So to avoid false equalities,
6113      * we use the raw string as a tiebreaker.
6114      */
6115
6116   raw_compare:
6117     /*FALLTHROUGH*/
6118
6119 #endif /* USE_LOCALE_COLLATE */
6120
6121     return sv_cmp(sv1, sv2);
6122 }
6123
6124
6125 #ifdef USE_LOCALE_COLLATE
6126
6127 /*
6128 =for apidoc sv_collxfrm
6129
6130 Add Collate Transform magic to an SV if it doesn't already have it.
6131
6132 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6133 scalar data of the variable, but transformed to such a format that a normal
6134 memory comparison can be used to compare the data according to the locale
6135 settings.
6136
6137 =cut
6138 */
6139
6140 char *
6141 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
6142 {
6143     dVAR;
6144     MAGIC *mg;
6145
6146     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6147     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6148         const char *s;
6149         char *xf;
6150         STRLEN len, xlen;
6151
6152         if (mg)
6153             Safefree(mg->mg_ptr);
6154         s = SvPV_const(sv, len);
6155         if ((xf = mem_collxfrm(s, len, &xlen))) {
6156             if (SvREADONLY(sv)) {
6157                 SAVEFREEPV(xf);
6158                 *nxp = xlen;
6159                 return xf + sizeof(PL_collation_ix);
6160             }
6161             if (! mg) {
6162 #ifdef PERL_OLD_COPY_ON_WRITE
6163                 if (SvIsCOW(sv))
6164                     sv_force_normal_flags(sv, 0);
6165 #endif
6166                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6167                                  0, 0);
6168                 assert(mg);
6169             }
6170             mg->mg_ptr = xf;
6171             mg->mg_len = xlen;
6172         }
6173         else {
6174             if (mg) {
6175                 mg->mg_ptr = NULL;
6176                 mg->mg_len = -1;
6177             }
6178         }
6179     }
6180     if (mg && mg->mg_ptr) {
6181         *nxp = mg->mg_len;
6182         return mg->mg_ptr + sizeof(PL_collation_ix);
6183     }
6184     else {
6185         *nxp = 0;
6186         return NULL;
6187     }
6188 }
6189
6190 #endif /* USE_LOCALE_COLLATE */
6191
6192 /*
6193 =for apidoc sv_gets
6194
6195 Get a line from the filehandle and store it into the SV, optionally
6196 appending to the currently-stored string.
6197
6198 =cut
6199 */
6200
6201 char *
6202 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
6203 {
6204     dVAR;
6205     const char *rsptr;
6206     STRLEN rslen;
6207     register STDCHAR rslast;
6208     register STDCHAR *bp;
6209     register I32 cnt;
6210     I32 i = 0;
6211     I32 rspara = 0;
6212
6213     if (SvTHINKFIRST(sv))
6214         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6215     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6216        from <>.
6217        However, perlbench says it's slower, because the existing swipe code
6218        is faster than copy on write.
6219        Swings and roundabouts.  */
6220     SvUPGRADE(sv, SVt_PV);
6221
6222     SvSCREAM_off(sv);
6223
6224     if (append) {
6225         if (PerlIO_isutf8(fp)) {
6226             if (!SvUTF8(sv)) {
6227                 sv_utf8_upgrade_nomg(sv);
6228                 sv_pos_u2b(sv,&append,0);
6229             }
6230         } else if (SvUTF8(sv)) {
6231             SV * const tsv = newSV(0);
6232             sv_gets(tsv, fp, 0);
6233             sv_utf8_upgrade_nomg(tsv);
6234             SvCUR_set(sv,append);
6235             sv_catsv(sv,tsv);
6236             sv_free(tsv);
6237             goto return_string_or_null;
6238         }
6239     }
6240
6241     SvPOK_only(sv);
6242     if (PerlIO_isutf8(fp))
6243         SvUTF8_on(sv);
6244
6245     if (IN_PERL_COMPILETIME) {
6246         /* we always read code in line mode */
6247         rsptr = "\n";
6248         rslen = 1;
6249     }
6250     else if (RsSNARF(PL_rs)) {
6251         /* If it is a regular disk file use size from stat() as estimate
6252            of amount we are going to read -- may result in mallocing
6253            more memory than we really need if the layers below reduce
6254            the size we read (e.g. CRLF or a gzip layer).
6255          */
6256         Stat_t st;
6257         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6258             const Off_t offset = PerlIO_tell(fp);
6259             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6260                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6261             }
6262         }
6263         rsptr = NULL;
6264         rslen = 0;
6265     }
6266     else if (RsRECORD(PL_rs)) {
6267       I32 bytesread;
6268       char *buffer;
6269       U32 recsize;
6270
6271       /* Grab the size of the record we're getting */
6272       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6273       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6274       /* Go yank in */
6275 #ifdef VMS
6276       /* VMS wants read instead of fread, because fread doesn't respect */
6277       /* RMS record boundaries. This is not necessarily a good thing to be */
6278       /* doing, but we've got no other real choice - except avoid stdio
6279          as implementation - perhaps write a :vms layer ?
6280        */
6281       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
6282 #else
6283       bytesread = PerlIO_read(fp, buffer, recsize);
6284 #endif
6285       if (bytesread < 0)
6286           bytesread = 0;
6287       SvCUR_set(sv, bytesread += append);
6288       buffer[bytesread] = '\0';
6289       goto return_string_or_null;
6290     }
6291     else if (RsPARA(PL_rs)) {
6292         rsptr = "\n\n";
6293         rslen = 2;
6294         rspara = 1;
6295     }
6296     else {
6297         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6298         if (PerlIO_isutf8(fp)) {
6299             rsptr = SvPVutf8(PL_rs, rslen);
6300         }
6301         else {
6302             if (SvUTF8(PL_rs)) {
6303                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6304                     Perl_croak(aTHX_ "Wide character in $/");
6305                 }
6306             }
6307             rsptr = SvPV_const(PL_rs, rslen);
6308         }
6309     }
6310
6311     rslast = rslen ? rsptr[rslen - 1] : '\0';
6312
6313     if (rspara) {               /* have to do this both before and after */
6314         do {                    /* to make sure file boundaries work right */
6315             if (PerlIO_eof(fp))
6316                 return 0;
6317             i = PerlIO_getc(fp);
6318             if (i != '\n') {
6319                 if (i == -1)
6320                     return 0;
6321                 PerlIO_ungetc(fp,i);
6322                 break;
6323             }
6324         } while (i != EOF);
6325     }
6326
6327     /* See if we know enough about I/O mechanism to cheat it ! */
6328
6329     /* This used to be #ifdef test - it is made run-time test for ease
6330        of abstracting out stdio interface. One call should be cheap
6331        enough here - and may even be a macro allowing compile
6332        time optimization.
6333      */
6334
6335     if (PerlIO_fast_gets(fp)) {
6336
6337     /*
6338      * We're going to steal some values from the stdio struct
6339      * and put EVERYTHING in the innermost loop into registers.
6340      */
6341     register STDCHAR *ptr;
6342     STRLEN bpx;
6343     I32 shortbuffered;
6344
6345 #if defined(VMS) && defined(PERLIO_IS_STDIO)
6346     /* An ungetc()d char is handled separately from the regular
6347      * buffer, so we getc() it back out and stuff it in the buffer.
6348      */
6349     i = PerlIO_getc(fp);
6350     if (i == EOF) return 0;
6351     *(--((*fp)->_ptr)) = (unsigned char) i;
6352     (*fp)->_cnt++;
6353 #endif
6354
6355     /* Here is some breathtakingly efficient cheating */
6356
6357     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
6358     /* make sure we have the room */
6359     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
6360         /* Not room for all of it
6361            if we are looking for a separator and room for some
6362          */
6363         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
6364             /* just process what we have room for */
6365             shortbuffered = cnt - SvLEN(sv) + append + 1;
6366             cnt -= shortbuffered;
6367         }
6368         else {
6369             shortbuffered = 0;
6370             /* remember that cnt can be negative */
6371             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
6372         }
6373     }
6374     else
6375         shortbuffered = 0;
6376     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
6377     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
6378     DEBUG_P(PerlIO_printf(Perl_debug_log,
6379         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6380     DEBUG_P(PerlIO_printf(Perl_debug_log,
6381         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6382                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6383                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
6384     for (;;) {
6385       screamer:
6386         if (cnt > 0) {
6387             if (rslen) {
6388                 while (cnt > 0) {                    /* this     |  eat */
6389                     cnt--;
6390                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
6391                         goto thats_all_folks;        /* screams  |  sed :-) */
6392                 }
6393             }
6394             else {
6395                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
6396                 bp += cnt;                           /* screams  |  dust */
6397                 ptr += cnt;                          /* louder   |  sed :-) */
6398                 cnt = 0;
6399             }
6400         }
6401         
6402         if (shortbuffered) {            /* oh well, must extend */
6403             cnt = shortbuffered;
6404             shortbuffered = 0;
6405             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
6406             SvCUR_set(sv, bpx);
6407             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
6408             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
6409             continue;
6410         }
6411
6412         DEBUG_P(PerlIO_printf(Perl_debug_log,
6413                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
6414                               PTR2UV(ptr),(long)cnt));
6415         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
6416 #if 0
6417         DEBUG_P(PerlIO_printf(Perl_debug_log,
6418             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6419             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6420             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6421 #endif
6422         /* This used to call 'filbuf' in stdio form, but as that behaves like
6423            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
6424            another abstraction.  */
6425         i   = PerlIO_getc(fp);          /* get more characters */
6426 #if 0
6427         DEBUG_P(PerlIO_printf(Perl_debug_log,
6428             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6429             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6430             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6431 #endif
6432         cnt = PerlIO_get_cnt(fp);
6433         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
6434         DEBUG_P(PerlIO_printf(Perl_debug_log,
6435             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6436
6437         if (i == EOF)                   /* all done for ever? */
6438             goto thats_really_all_folks;
6439
6440         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
6441         SvCUR_set(sv, bpx);
6442         SvGROW(sv, bpx + cnt + 2);
6443         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
6444
6445         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
6446
6447         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
6448             goto thats_all_folks;
6449     }
6450
6451 thats_all_folks:
6452     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
6453           memNE((char*)bp - rslen, rsptr, rslen))
6454         goto screamer;                          /* go back to the fray */
6455 thats_really_all_folks:
6456     if (shortbuffered)
6457         cnt += shortbuffered;
6458         DEBUG_P(PerlIO_printf(Perl_debug_log,
6459             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6460     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6461     DEBUG_P(PerlIO_printf(Perl_debug_log,
6462         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6463         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6464         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6465     *bp = '\0';
6466     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6467     DEBUG_P(PerlIO_printf(Perl_debug_log,
6468         "Screamer: done, len=%ld, string=|%.*s|\n",
6469         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6470     }
6471    else
6472     {
6473        /*The big, slow, and stupid way. */
6474 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6475         STDCHAR *buf = NULL;
6476         Newx(buf, 8192, STDCHAR);
6477         assert(buf);
6478 #else
6479         STDCHAR buf[8192];
6480 #endif
6481
6482 screamer2:
6483         if (rslen) {
6484             register const STDCHAR * const bpe = buf + sizeof(buf);
6485             bp = buf;
6486             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6487                 ; /* keep reading */
6488             cnt = bp - buf;
6489         }
6490         else {
6491             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6492             /* Accomodate broken VAXC compiler, which applies U8 cast to
6493              * both args of ?: operator, causing EOF to change into 255
6494              */
6495             if (cnt > 0)
6496                  i = (U8)buf[cnt - 1];
6497             else
6498                  i = EOF;
6499         }
6500
6501         if (cnt < 0)
6502             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6503         if (append)
6504              sv_catpvn(sv, (char *) buf, cnt);
6505         else
6506              sv_setpvn(sv, (char *) buf, cnt);
6507
6508         if (i != EOF &&                 /* joy */
6509             (!rslen ||
6510              SvCUR(sv) < rslen ||
6511              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6512         {
6513             append = -1;
6514             /*
6515              * If we're reading from a TTY and we get a short read,
6516              * indicating that the user hit his EOF character, we need
6517              * to notice it now, because if we try to read from the TTY
6518              * again, the EOF condition will disappear.
6519              *
6520              * The comparison of cnt to sizeof(buf) is an optimization
6521              * that prevents unnecessary calls to feof().
6522              *
6523              * - jik 9/25/96
6524              */
6525             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
6526                 goto screamer2;
6527         }
6528
6529 #ifdef USE_HEAP_INSTEAD_OF_STACK
6530         Safefree(buf);
6531 #endif
6532     }
6533
6534     if (rspara) {               /* have to do this both before and after */
6535         while (i != EOF) {      /* to make sure file boundaries work right */
6536             i = PerlIO_getc(fp);
6537             if (i != '\n') {
6538                 PerlIO_ungetc(fp,i);
6539                 break;
6540             }
6541         }
6542     }
6543
6544 return_string_or_null:
6545     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
6546 }
6547
6548 /*
6549 =for apidoc sv_inc
6550
6551 Auto-increment of the value in the SV, doing string to numeric conversion
6552 if necessary. Handles 'get' magic.
6553
6554 =cut
6555 */
6556
6557 void
6558 Perl_sv_inc(pTHX_ register SV *sv)
6559 {
6560     dVAR;
6561     register char *d;
6562     int flags;
6563
6564     if (!sv)
6565         return;
6566     SvGETMAGIC(sv);
6567     if (SvTHINKFIRST(sv)) {
6568         if (SvIsCOW(sv))
6569             sv_force_normal_flags(sv, 0);
6570         if (SvREADONLY(sv)) {
6571             if (IN_PERL_RUNTIME)
6572                 Perl_croak(aTHX_ PL_no_modify);
6573         }
6574         if (SvROK(sv)) {
6575             IV i;
6576             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6577                 return;
6578             i = PTR2IV(SvRV(sv));
6579             sv_unref(sv);
6580             sv_setiv(sv, i);
6581         }
6582     }
6583     flags = SvFLAGS(sv);
6584     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6585         /* It's (privately or publicly) a float, but not tested as an
6586            integer, so test it to see. */
6587         (void) SvIV(sv);
6588         flags = SvFLAGS(sv);
6589     }
6590     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6591         /* It's publicly an integer, or privately an integer-not-float */
6592 #ifdef PERL_PRESERVE_IVUV
6593       oops_its_int:
6594 #endif
6595         if (SvIsUV(sv)) {
6596             if (SvUVX(sv) == UV_MAX)
6597                 sv_setnv(sv, UV_MAX_P1);
6598             else
6599                 (void)SvIOK_only_UV(sv);
6600                 SvUV_set(sv, SvUVX(sv) + 1);
6601         } else {
6602             if (SvIVX(sv) == IV_MAX)
6603                 sv_setuv(sv, (UV)IV_MAX + 1);
6604             else {
6605                 (void)SvIOK_only(sv);
6606                 SvIV_set(sv, SvIVX(sv) + 1);
6607             }   
6608         }
6609         return;
6610     }
6611     if (flags & SVp_NOK) {
6612         (void)SvNOK_only(sv);
6613         SvNV_set(sv, SvNVX(sv) + 1.0);
6614         return;
6615     }
6616
6617     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6618         if ((flags & SVTYPEMASK) < SVt_PVIV)
6619             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6620         (void)SvIOK_only(sv);
6621         SvIV_set(sv, 1);
6622         return;
6623     }
6624     d = SvPVX(sv);
6625     while (isALPHA(*d)) d++;
6626     while (isDIGIT(*d)) d++;
6627     if (*d) {
6628 #ifdef PERL_PRESERVE_IVUV
6629         /* Got to punt this as an integer if needs be, but we don't issue
6630            warnings. Probably ought to make the sv_iv_please() that does
6631            the conversion if possible, and silently.  */
6632         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6633         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6634             /* Need to try really hard to see if it's an integer.
6635                9.22337203685478e+18 is an integer.
6636                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6637                so $a="9.22337203685478e+18"; $a+0; $a++
6638                needs to be the same as $a="9.22337203685478e+18"; $a++
6639                or we go insane. */
6640         
6641             (void) sv_2iv(sv);
6642             if (SvIOK(sv))
6643                 goto oops_its_int;
6644
6645             /* sv_2iv *should* have made this an NV */
6646             if (flags & SVp_NOK) {
6647                 (void)SvNOK_only(sv);
6648                 SvNV_set(sv, SvNVX(sv) + 1.0);
6649                 return;
6650             }
6651             /* I don't think we can get here. Maybe I should assert this
6652                And if we do get here I suspect that sv_setnv will croak. NWC
6653                Fall through. */
6654 #if defined(USE_LONG_DOUBLE)
6655             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6656                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6657 #else
6658             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6659                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6660 #endif
6661         }
6662 #endif /* PERL_PRESERVE_IVUV */
6663         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6664         return;
6665     }
6666     d--;
6667     while (d >= SvPVX_const(sv)) {
6668         if (isDIGIT(*d)) {
6669             if (++*d <= '9')
6670                 return;
6671             *(d--) = '0';
6672         }
6673         else {
6674 #ifdef EBCDIC
6675             /* MKS: The original code here died if letters weren't consecutive.
6676              * at least it didn't have to worry about non-C locales.  The
6677              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6678              * arranged in order (although not consecutively) and that only
6679              * [A-Za-z] are accepted by isALPHA in the C locale.
6680              */
6681             if (*d != 'z' && *d != 'Z') {
6682                 do { ++*d; } while (!isALPHA(*d));
6683                 return;
6684             }
6685             *(d--) -= 'z' - 'a';
6686 #else
6687             ++*d;
6688             if (isALPHA(*d))
6689                 return;
6690             *(d--) -= 'z' - 'a' + 1;
6691 #endif
6692         }
6693     }
6694     /* oh,oh, the number grew */
6695     SvGROW(sv, SvCUR(sv) + 2);
6696     SvCUR_set(sv, SvCUR(sv) + 1);
6697     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6698         *d = d[-1];
6699     if (isDIGIT(d[1]))
6700         *d = '1';
6701     else
6702         *d = d[1];
6703 }
6704
6705 /*
6706 =for apidoc sv_dec
6707
6708 Auto-decrement of the value in the SV, doing string to numeric conversion
6709 if necessary. Handles 'get' magic.
6710
6711 =cut
6712 */
6713
6714 void
6715 Perl_sv_dec(pTHX_ register SV *sv)
6716 {
6717     dVAR;
6718     int flags;
6719
6720     if (!sv)
6721         return;
6722     SvGETMAGIC(sv);
6723     if (SvTHINKFIRST(sv)) {
6724         if (SvIsCOW(sv))
6725             sv_force_normal_flags(sv, 0);
6726         if (SvREADONLY(sv)) {
6727             if (IN_PERL_RUNTIME)
6728                 Perl_croak(aTHX_ PL_no_modify);
6729         }
6730         if (SvROK(sv)) {
6731             IV i;
6732             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6733                 return;
6734             i = PTR2IV(SvRV(sv));
6735             sv_unref(sv);
6736             sv_setiv(sv, i);
6737         }
6738     }
6739     /* Unlike sv_inc we don't have to worry about string-never-numbers
6740        and keeping them magic. But we mustn't warn on punting */
6741     flags = SvFLAGS(sv);
6742     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6743         /* It's publicly an integer, or privately an integer-not-float */
6744 #ifdef PERL_PRESERVE_IVUV
6745       oops_its_int:
6746 #endif
6747         if (SvIsUV(sv)) {
6748             if (SvUVX(sv) == 0) {
6749                 (void)SvIOK_only(sv);
6750                 SvIV_set(sv, -1);
6751             }
6752             else {
6753                 (void)SvIOK_only_UV(sv);
6754                 SvUV_set(sv, SvUVX(sv) - 1);
6755             }   
6756         } else {
6757             if (SvIVX(sv) == IV_MIN)
6758                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6759             else {
6760                 (void)SvIOK_only(sv);
6761                 SvIV_set(sv, SvIVX(sv) - 1);
6762             }   
6763         }
6764         return;
6765     }
6766     if (flags & SVp_NOK) {
6767         SvNV_set(sv, SvNVX(sv) - 1.0);
6768         (void)SvNOK_only(sv);
6769         return;
6770     }
6771     if (!(flags & SVp_POK)) {
6772         if ((flags & SVTYPEMASK) < SVt_PVIV)
6773             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6774         SvIV_set(sv, -1);
6775         (void)SvIOK_only(sv);
6776         return;
6777     }
6778 #ifdef PERL_PRESERVE_IVUV
6779     {
6780         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6781         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6782             /* Need to try really hard to see if it's an integer.
6783                9.22337203685478e+18 is an integer.
6784                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6785                so $a="9.22337203685478e+18"; $a+0; $a--
6786                needs to be the same as $a="9.22337203685478e+18"; $a--
6787                or we go insane. */
6788         
6789             (void) sv_2iv(sv);
6790             if (SvIOK(sv))
6791                 goto oops_its_int;
6792
6793             /* sv_2iv *should* have made this an NV */
6794             if (flags & SVp_NOK) {
6795                 (void)SvNOK_only(sv);
6796                 SvNV_set(sv, SvNVX(sv) - 1.0);
6797                 return;
6798             }
6799             /* I don't think we can get here. Maybe I should assert this
6800                And if we do get here I suspect that sv_setnv will croak. NWC
6801                Fall through. */
6802 #if defined(USE_LONG_DOUBLE)
6803             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6804                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6805 #else
6806             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6807                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6808 #endif
6809         }
6810     }
6811 #endif /* PERL_PRESERVE_IVUV */
6812     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6813 }
6814
6815 /*
6816 =for apidoc sv_mortalcopy
6817
6818 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6819 The new SV is marked as mortal. It will be destroyed "soon", either by an
6820 explicit call to FREETMPS, or by an implicit call at places such as
6821 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6822
6823 =cut
6824 */
6825
6826 /* Make a string that will exist for the duration of the expression
6827  * evaluation.  Actually, it may have to last longer than that, but
6828  * hopefully we won't free it until it has been assigned to a
6829  * permanent location. */
6830
6831 SV *
6832 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6833 {
6834     dVAR;
6835     register SV *sv;
6836
6837     new_SV(sv);
6838     sv_setsv(sv,oldstr);
6839     EXTEND_MORTAL(1);
6840     PL_tmps_stack[++PL_tmps_ix] = sv;
6841     SvTEMP_on(sv);
6842     return sv;
6843 }
6844
6845 /*
6846 =for apidoc sv_newmortal
6847
6848 Creates a new null SV which is mortal.  The reference count of the SV is
6849 set to 1. It will be destroyed "soon", either by an explicit call to
6850 FREETMPS, or by an implicit call at places such as statement boundaries.
6851 See also C<sv_mortalcopy> and C<sv_2mortal>.
6852
6853 =cut
6854 */
6855
6856 SV *
6857 Perl_sv_newmortal(pTHX)
6858 {
6859     dVAR;
6860     register SV *sv;
6861
6862     new_SV(sv);
6863     SvFLAGS(sv) = SVs_TEMP;
6864     EXTEND_MORTAL(1);
6865     PL_tmps_stack[++PL_tmps_ix] = sv;
6866     return sv;
6867 }
6868
6869 /*
6870 =for apidoc sv_2mortal
6871
6872 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6873 by an explicit call to FREETMPS, or by an implicit call at places such as
6874 statement boundaries.  SvTEMP() is turned on which means that the SV's
6875 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6876 and C<sv_mortalcopy>.
6877
6878 =cut
6879 */
6880
6881 SV *
6882 Perl_sv_2mortal(pTHX_ register SV *sv)
6883 {
6884     dVAR;
6885     if (!sv)
6886         return NULL;
6887     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6888         return sv;
6889     EXTEND_MORTAL(1);
6890     PL_tmps_stack[++PL_tmps_ix] = sv;
6891     SvTEMP_on(sv);
6892     return sv;
6893 }
6894
6895 /*
6896 =for apidoc newSVpv
6897
6898 Creates a new SV and copies a string into it.  The reference count for the
6899 SV is set to 1.  If C<len> is zero, Perl will compute the length using
6900 strlen().  For efficiency, consider using C<newSVpvn> instead.
6901
6902 =cut
6903 */
6904
6905 SV *
6906 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
6907 {
6908     dVAR;
6909     register SV *sv;
6910
6911     new_SV(sv);
6912     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
6913     return sv;
6914 }
6915
6916 /*
6917 =for apidoc newSVpvn
6918
6919 Creates a new SV and copies a string into it.  The reference count for the
6920 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
6921 string.  You are responsible for ensuring that the source string is at least
6922 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
6923
6924 =cut
6925 */
6926
6927 SV *
6928 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
6929 {
6930     dVAR;
6931     register SV *sv;
6932
6933     new_SV(sv);
6934     sv_setpvn(sv,s,len);
6935     return sv;
6936 }
6937
6938
6939 /*
6940 =for apidoc newSVhek
6941
6942 Creates a new SV from the hash key structure.  It will generate scalars that
6943 point to the shared string table where possible. Returns a new (undefined)
6944 SV if the hek is NULL.
6945
6946 =cut
6947 */
6948
6949 SV *
6950 Perl_newSVhek(pTHX_ const HEK *hek)
6951 {
6952     dVAR;
6953     if (!hek) {
6954         SV *sv;
6955
6956         new_SV(sv);
6957         return sv;
6958     }
6959
6960     if (HEK_LEN(hek) == HEf_SVKEY) {
6961         return newSVsv(*(SV**)HEK_KEY(hek));
6962     } else {
6963         const int flags = HEK_FLAGS(hek);
6964         if (flags & HVhek_WASUTF8) {
6965             /* Trouble :-)
6966                Andreas would like keys he put in as utf8 to come back as utf8
6967             */
6968             STRLEN utf8_len = HEK_LEN(hek);
6969             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
6970             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
6971
6972             SvUTF8_on (sv);
6973             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
6974             return sv;
6975         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
6976             /* We don't have a pointer to the hv, so we have to replicate the
6977                flag into every HEK. This hv is using custom a hasing
6978                algorithm. Hence we can't return a shared string scalar, as
6979                that would contain the (wrong) hash value, and might get passed
6980                into an hv routine with a regular hash.
6981                Similarly, a hash that isn't using shared hash keys has to have
6982                the flag in every key so that we know not to try to call
6983                share_hek_kek on it.  */
6984
6985             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
6986             if (HEK_UTF8(hek))
6987                 SvUTF8_on (sv);
6988             return sv;
6989         }
6990         /* This will be overwhelminly the most common case.  */
6991         {
6992             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
6993                more efficient than sharepvn().  */
6994             SV *sv;
6995
6996             new_SV(sv);
6997             sv_upgrade(sv, SVt_PV);
6998             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
6999             SvCUR_set(sv, HEK_LEN(hek));
7000             SvLEN_set(sv, 0);
7001             SvREADONLY_on(sv);
7002             SvFAKE_on(sv);
7003             SvPOK_on(sv);
7004             if (HEK_UTF8(hek))
7005                 SvUTF8_on(sv);
7006             return sv;
7007         }
7008     }
7009 }
7010
7011 /*
7012 =for apidoc newSVpvn_share
7013
7014 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7015 table. If the string does not already exist in the table, it is created
7016 first.  Turns on READONLY and FAKE.  The string's hash is stored in the UV
7017 slot of the SV; if the C<hash> parameter is non-zero, that value is used;
7018 otherwise the hash is computed.  The idea here is that as the string table
7019 is used for shared hash keys these strings will have SvPVX_const == HeKEY and
7020 hash lookup will avoid string compare.
7021
7022 =cut
7023 */
7024
7025 SV *
7026 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7027 {
7028     dVAR;
7029     register SV *sv;
7030     bool is_utf8 = FALSE;
7031     const char *const orig_src = src;
7032
7033     if (len < 0) {
7034         STRLEN tmplen = -len;
7035         is_utf8 = TRUE;
7036         /* See the note in hv.c:hv_fetch() --jhi */
7037         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7038         len = tmplen;
7039     }
7040     if (!hash)
7041         PERL_HASH(hash, src, len);
7042     new_SV(sv);
7043     sv_upgrade(sv, SVt_PV);
7044     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7045     SvCUR_set(sv, len);
7046     SvLEN_set(sv, 0);
7047     SvREADONLY_on(sv);
7048     SvFAKE_on(sv);
7049     SvPOK_on(sv);
7050     if (is_utf8)
7051         SvUTF8_on(sv);
7052     if (src != orig_src)
7053         Safefree(src);
7054     return sv;
7055 }
7056
7057
7058 #if defined(PERL_IMPLICIT_CONTEXT)
7059
7060 /* pTHX_ magic can't cope with varargs, so this is a no-context
7061  * version of the main function, (which may itself be aliased to us).
7062  * Don't access this version directly.
7063  */
7064
7065 SV *
7066 Perl_newSVpvf_nocontext(const char* pat, ...)
7067 {
7068     dTHX;
7069     register SV *sv;
7070     va_list args;
7071     va_start(args, pat);
7072     sv = vnewSVpvf(pat, &args);
7073     va_end(args);
7074     return sv;
7075 }
7076 #endif
7077
7078 /*
7079 =for apidoc newSVpvf
7080
7081 Creates a new SV and initializes it with the string formatted like
7082 C<sprintf>.
7083
7084 =cut
7085 */
7086
7087 SV *
7088 Perl_newSVpvf(pTHX_ const char* pat, ...)
7089 {
7090     register SV *sv;
7091     va_list args;
7092     va_start(args, pat);
7093     sv = vnewSVpvf(pat, &args);
7094     va_end(args);
7095     return sv;
7096 }
7097
7098 /* backend for newSVpvf() and newSVpvf_nocontext() */
7099
7100 SV *
7101 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
7102 {
7103     dVAR;
7104     register SV *sv;
7105     new_SV(sv);
7106     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7107     return sv;
7108 }
7109
7110 /*
7111 =for apidoc newSVnv
7112
7113 Creates a new SV and copies a floating point value into it.
7114 The reference count for the SV is set to 1.
7115
7116 =cut
7117 */
7118
7119 SV *
7120 Perl_newSVnv(pTHX_ NV n)
7121 {
7122     dVAR;
7123     register SV *sv;
7124
7125     new_SV(sv);
7126     sv_setnv(sv,n);
7127     return sv;
7128 }
7129
7130 /*
7131 =for apidoc newSViv
7132
7133 Creates a new SV and copies an integer into it.  The reference count for the
7134 SV is set to 1.
7135
7136 =cut
7137 */
7138
7139 SV *
7140 Perl_newSViv(pTHX_ IV i)
7141 {
7142     dVAR;
7143     register SV *sv;
7144
7145     new_SV(sv);
7146     sv_setiv(sv,i);
7147     return sv;
7148 }
7149
7150 /*
7151 =for apidoc newSVuv
7152
7153 Creates a new SV and copies an unsigned integer into it.
7154 The reference count for the SV is set to 1.
7155
7156 =cut
7157 */
7158
7159 SV *
7160 Perl_newSVuv(pTHX_ UV u)
7161 {
7162     dVAR;
7163     register SV *sv;
7164
7165     new_SV(sv);
7166     sv_setuv(sv,u);
7167     return sv;
7168 }
7169
7170 /*
7171 =for apidoc newRV_noinc
7172
7173 Creates an RV wrapper for an SV.  The reference count for the original
7174 SV is B<not> incremented.
7175
7176 =cut
7177 */
7178
7179 SV *
7180 Perl_newRV_noinc(pTHX_ SV *tmpRef)
7181 {
7182     dVAR;
7183     register SV *sv;
7184
7185     new_SV(sv);
7186     sv_upgrade(sv, SVt_RV);
7187     SvTEMP_off(tmpRef);
7188     SvRV_set(sv, tmpRef);
7189     SvROK_on(sv);
7190     return sv;
7191 }
7192
7193 /* newRV_inc is the official function name to use now.
7194  * newRV_inc is in fact #defined to newRV in sv.h
7195  */
7196
7197 SV *
7198 Perl_newRV(pTHX_ SV *sv)
7199 {
7200     dVAR;
7201     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7202 }
7203
7204 /*
7205 =for apidoc newSVsv
7206
7207 Creates a new SV which is an exact duplicate of the original SV.
7208 (Uses C<sv_setsv>).
7209
7210 =cut
7211 */
7212
7213 SV *
7214 Perl_newSVsv(pTHX_ register SV *old)
7215 {
7216     dVAR;
7217     register SV *sv;
7218
7219     if (!old)
7220         return NULL;
7221     if (SvTYPE(old) == SVTYPEMASK) {
7222         if (ckWARN_d(WARN_INTERNAL))
7223             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7224         return NULL;
7225     }
7226     new_SV(sv);
7227     /* SV_GMAGIC is the default for sv_setv()
7228        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7229        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
7230     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
7231     return sv;
7232 }
7233
7234 /*
7235 =for apidoc sv_reset
7236
7237 Underlying implementation for the C<reset> Perl function.
7238 Note that the perl-level function is vaguely deprecated.
7239
7240 =cut
7241 */
7242
7243 void
7244 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
7245 {
7246     dVAR;
7247     char todo[PERL_UCHAR_MAX+1];
7248
7249     if (!stash)
7250         return;
7251
7252     if (!*s) {          /* reset ?? searches */
7253         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
7254         if (mg) {
7255             PMOP *pm = (PMOP *) mg->mg_obj;
7256             while (pm) {
7257                 pm->op_pmdynflags &= ~PMdf_USED;
7258                 pm = pm->op_pmnext;
7259             }
7260         }
7261         return;
7262     }
7263
7264     /* reset variables */
7265
7266     if (!HvARRAY(stash))
7267         return;
7268
7269     Zero(todo, 256, char);
7270     while (*s) {
7271         I32 max;
7272         I32 i = (unsigned char)*s;
7273         if (s[1] == '-') {
7274             s += 2;
7275         }
7276         max = (unsigned char)*s++;
7277         for ( ; i <= max; i++) {
7278             todo[i] = 1;
7279         }
7280         for (i = 0; i <= (I32) HvMAX(stash); i++) {
7281             HE *entry;
7282             for (entry = HvARRAY(stash)[i];
7283                  entry;
7284                  entry = HeNEXT(entry))
7285             {
7286                 register GV *gv;
7287                 register SV *sv;
7288
7289                 if (!todo[(U8)*HeKEY(entry)])
7290                     continue;
7291                 gv = (GV*)HeVAL(entry);
7292                 sv = GvSV(gv);
7293                 if (sv) {
7294                     if (SvTHINKFIRST(sv)) {
7295                         if (!SvREADONLY(sv) && SvROK(sv))
7296                             sv_unref(sv);
7297                         /* XXX Is this continue a bug? Why should THINKFIRST
7298                            exempt us from resetting arrays and hashes?  */
7299                         continue;
7300                     }
7301                     SvOK_off(sv);
7302                     if (SvTYPE(sv) >= SVt_PV) {
7303                         SvCUR_set(sv, 0);
7304                         if (SvPVX_const(sv) != NULL)
7305                             *SvPVX(sv) = '\0';
7306                         SvTAINT(sv);
7307                     }
7308                 }
7309                 if (GvAV(gv)) {
7310                     av_clear(GvAV(gv));
7311                 }
7312                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
7313 #if defined(VMS)
7314                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
7315 #else /* ! VMS */
7316                     hv_clear(GvHV(gv));
7317 #  if defined(USE_ENVIRON_ARRAY)
7318                     if (gv == PL_envgv)
7319                         my_clearenv();
7320 #  endif /* USE_ENVIRON_ARRAY */
7321 #endif /* VMS */
7322                 }
7323             }
7324         }
7325     }
7326 }
7327
7328 /*
7329 =for apidoc sv_2io
7330
7331 Using various gambits, try to get an IO from an SV: the IO slot if its a
7332 GV; or the recursive result if we're an RV; or the IO slot of the symbol
7333 named after the PV if we're a string.
7334
7335 =cut
7336 */
7337
7338 IO*
7339 Perl_sv_2io(pTHX_ SV *sv)
7340 {
7341     IO* io;
7342     GV* gv;
7343
7344     switch (SvTYPE(sv)) {
7345     case SVt_PVIO:
7346         io = (IO*)sv;
7347         break;
7348     case SVt_PVGV:
7349         gv = (GV*)sv;
7350         io = GvIO(gv);
7351         if (!io)
7352             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
7353         break;
7354     default:
7355         if (!SvOK(sv))
7356             Perl_croak(aTHX_ PL_no_usym, "filehandle");
7357         if (SvROK(sv))
7358             return sv_2io(SvRV(sv));
7359         gv = gv_fetchsv(sv, 0, SVt_PVIO);
7360         if (gv)
7361             io = GvIO(gv);
7362         else
7363             io = 0;
7364         if (!io)
7365             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
7366         break;
7367     }
7368     return io;
7369 }
7370
7371 /*
7372 =for apidoc sv_2cv
7373
7374 Using various gambits, try to get a CV from an SV; in addition, try if
7375 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
7376 The flags in C<lref> are passed to sv_fetchsv.
7377
7378 =cut
7379 */
7380
7381 CV *
7382 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
7383 {
7384     dVAR;
7385     GV *gv = NULL;
7386     CV *cv = NULL;
7387
7388     if (!sv) {
7389         *st = NULL;
7390         *gvp = NULL;
7391         return NULL;
7392     }
7393     switch (SvTYPE(sv)) {
7394     case SVt_PVCV:
7395         *st = CvSTASH(sv);
7396         *gvp = NULL;
7397         return (CV*)sv;
7398     case SVt_PVHV:
7399     case SVt_PVAV:
7400         *st = NULL;
7401         *gvp = NULL;
7402         return NULL;
7403     case SVt_PVGV:
7404         gv = (GV*)sv;
7405         *gvp = gv;
7406         *st = GvESTASH(gv);
7407         goto fix_gv;
7408
7409     default:
7410         SvGETMAGIC(sv);
7411         if (SvROK(sv)) {
7412             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
7413             tryAMAGICunDEREF(to_cv);
7414
7415             sv = SvRV(sv);
7416             if (SvTYPE(sv) == SVt_PVCV) {
7417                 cv = (CV*)sv;
7418                 *gvp = NULL;
7419                 *st = CvSTASH(cv);
7420                 return cv;
7421             }
7422             else if(isGV(sv))
7423                 gv = (GV*)sv;
7424             else
7425                 Perl_croak(aTHX_ "Not a subroutine reference");
7426         }
7427         else if (isGV(sv))
7428             gv = (GV*)sv;
7429         else
7430             gv = gv_fetchsv(sv, lref, SVt_PVCV);
7431         *gvp = gv;
7432         if (!gv) {
7433             *st = NULL;
7434             return NULL;
7435         }
7436         /* Some flags to gv_fetchsv mean don't really create the GV  */
7437         if (SvTYPE(gv) != SVt_PVGV) {
7438             *st = NULL;
7439             return NULL;
7440         }
7441         *st = GvESTASH(gv);
7442     fix_gv:
7443         if (lref && !GvCVu(gv)) {
7444             SV *tmpsv;
7445             ENTER;
7446             tmpsv = newSV(0);
7447             gv_efullname3(tmpsv, gv, NULL);
7448             /* XXX this is probably not what they think they're getting.
7449              * It has the same effect as "sub name;", i.e. just a forward
7450              * declaration! */
7451             newSUB(start_subparse(FALSE, 0),
7452                    newSVOP(OP_CONST, 0, tmpsv),
7453                    NULL, NULL);
7454             LEAVE;
7455             if (!GvCVu(gv))
7456                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
7457                            SVfARG(sv));
7458         }
7459         return GvCVu(gv);
7460     }
7461 }
7462
7463 /*
7464 =for apidoc sv_true
7465
7466 Returns true if the SV has a true value by Perl's rules.
7467 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
7468 instead use an in-line version.
7469
7470 =cut
7471 */
7472
7473 I32
7474 Perl_sv_true(pTHX_ register SV *sv)
7475 {
7476     if (!sv)
7477         return 0;
7478     if (SvPOK(sv)) {
7479         register const XPV* const tXpv = (XPV*)SvANY(sv);
7480         if (tXpv &&
7481                 (tXpv->xpv_cur > 1 ||
7482                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
7483             return 1;
7484         else
7485             return 0;
7486     }
7487     else {
7488         if (SvIOK(sv))
7489             return SvIVX(sv) != 0;
7490         else {
7491             if (SvNOK(sv))
7492                 return SvNVX(sv) != 0.0;
7493             else
7494                 return sv_2bool(sv);
7495         }
7496     }
7497 }
7498
7499 /*
7500 =for apidoc sv_pvn_force
7501
7502 Get a sensible string out of the SV somehow.
7503 A private implementation of the C<SvPV_force> macro for compilers which
7504 can't cope with complex macro expressions. Always use the macro instead.
7505
7506 =for apidoc sv_pvn_force_flags
7507
7508 Get a sensible string out of the SV somehow.
7509 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7510 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7511 implemented in terms of this function.
7512 You normally want to use the various wrapper macros instead: see
7513 C<SvPV_force> and C<SvPV_force_nomg>
7514
7515 =cut
7516 */
7517
7518 char *
7519 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7520 {
7521     dVAR;
7522     if (SvTHINKFIRST(sv) && !SvROK(sv))
7523         sv_force_normal_flags(sv, 0);
7524
7525     if (SvPOK(sv)) {
7526         if (lp)
7527             *lp = SvCUR(sv);
7528     }
7529     else {
7530         char *s;
7531         STRLEN len;
7532  
7533         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7534             const char * const ref = sv_reftype(sv,0);
7535             if (PL_op)
7536                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7537                            ref, OP_NAME(PL_op));
7538             else
7539                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7540         }
7541         if (SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7542             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7543                 OP_NAME(PL_op));
7544         s = sv_2pv_flags(sv, &len, flags);
7545         if (lp)
7546             *lp = len;
7547
7548         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7549             if (SvROK(sv))
7550                 sv_unref(sv);
7551             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7552             SvGROW(sv, len + 1);
7553             Move(s,SvPVX(sv),len,char);
7554             SvCUR_set(sv, len);
7555             *SvEND(sv) = '\0';
7556         }
7557         if (!SvPOK(sv)) {
7558             SvPOK_on(sv);               /* validate pointer */
7559             SvTAINT(sv);
7560             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7561                                   PTR2UV(sv),SvPVX_const(sv)));
7562         }
7563     }
7564     return SvPVX_mutable(sv);
7565 }
7566
7567 /*
7568 =for apidoc sv_pvbyten_force
7569
7570 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7571
7572 =cut
7573 */
7574
7575 char *
7576 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7577 {
7578     sv_pvn_force(sv,lp);
7579     sv_utf8_downgrade(sv,0);
7580     *lp = SvCUR(sv);
7581     return SvPVX(sv);
7582 }
7583
7584 /*
7585 =for apidoc sv_pvutf8n_force
7586
7587 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7588
7589 =cut
7590 */
7591
7592 char *
7593 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7594 {
7595     sv_pvn_force(sv,lp);
7596     sv_utf8_upgrade(sv);
7597     *lp = SvCUR(sv);
7598     return SvPVX(sv);
7599 }
7600
7601 /*
7602 =for apidoc sv_reftype
7603
7604 Returns a string describing what the SV is a reference to.
7605
7606 =cut
7607 */
7608
7609 const char *
7610 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7611 {
7612     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7613        inside return suggests a const propagation bug in g++.  */
7614     if (ob && SvOBJECT(sv)) {
7615         char * const name = HvNAME_get(SvSTASH(sv));
7616         return name ? name : (char *) "__ANON__";
7617     }
7618     else {
7619         switch (SvTYPE(sv)) {
7620         case SVt_NULL:
7621         case SVt_IV:
7622         case SVt_NV:
7623         case SVt_RV:
7624         case SVt_PV:
7625         case SVt_PVIV:
7626         case SVt_PVNV:
7627         case SVt_PVMG:
7628                                 if (SvVOK(sv))
7629                                     return "VSTRING";
7630                                 if (SvROK(sv))
7631                                     return "REF";
7632                                 else
7633                                     return "SCALAR";
7634
7635         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7636                                 /* tied lvalues should appear to be
7637                                  * scalars for backwards compatitbility */
7638                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7639                                     ? "SCALAR" : "LVALUE");
7640         case SVt_PVAV:          return "ARRAY";
7641         case SVt_PVHV:          return "HASH";
7642         case SVt_PVCV:          return "CODE";
7643         case SVt_PVGV:          return "GLOB";
7644         case SVt_PVFM:          return "FORMAT";
7645         case SVt_PVIO:          return "IO";
7646         case SVt_BIND:          return "BIND";
7647         default:                return "UNKNOWN";
7648         }
7649     }
7650 }
7651
7652 /*
7653 =for apidoc sv_isobject
7654
7655 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7656 object.  If the SV is not an RV, or if the object is not blessed, then this
7657 will return false.
7658
7659 =cut
7660 */
7661
7662 int
7663 Perl_sv_isobject(pTHX_ SV *sv)
7664 {
7665     if (!sv)
7666         return 0;
7667     SvGETMAGIC(sv);
7668     if (!SvROK(sv))
7669         return 0;
7670     sv = (SV*)SvRV(sv);
7671     if (!SvOBJECT(sv))
7672         return 0;
7673     return 1;
7674 }
7675
7676 /*
7677 =for apidoc sv_isa
7678
7679 Returns a boolean indicating whether the SV is blessed into the specified
7680 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7681 an inheritance relationship.
7682
7683 =cut
7684 */
7685
7686 int
7687 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7688 {
7689     const char *hvname;
7690     if (!sv)
7691         return 0;
7692     SvGETMAGIC(sv);
7693     if (!SvROK(sv))
7694         return 0;
7695     sv = (SV*)SvRV(sv);
7696     if (!SvOBJECT(sv))
7697         return 0;
7698     hvname = HvNAME_get(SvSTASH(sv));
7699     if (!hvname)
7700         return 0;
7701
7702     return strEQ(hvname, name);
7703 }
7704
7705 /*
7706 =for apidoc newSVrv
7707
7708 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7709 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7710 be blessed in the specified package.  The new SV is returned and its
7711 reference count is 1.
7712
7713 =cut
7714 */
7715
7716 SV*
7717 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7718 {
7719     dVAR;
7720     SV *sv;
7721
7722     new_SV(sv);
7723
7724     SV_CHECK_THINKFIRST_COW_DROP(rv);
7725     (void)SvAMAGIC_off(rv);
7726
7727     if (SvTYPE(rv) >= SVt_PVMG) {
7728         const U32 refcnt = SvREFCNT(rv);
7729         SvREFCNT(rv) = 0;
7730         sv_clear(rv);
7731         SvFLAGS(rv) = 0;
7732         SvREFCNT(rv) = refcnt;
7733
7734         sv_upgrade(rv, SVt_RV);
7735     } else if (SvROK(rv)) {
7736         SvREFCNT_dec(SvRV(rv));
7737     } else if (SvTYPE(rv) < SVt_RV)
7738         sv_upgrade(rv, SVt_RV);
7739     else if (SvTYPE(rv) > SVt_RV) {
7740         SvPV_free(rv);
7741         SvCUR_set(rv, 0);
7742         SvLEN_set(rv, 0);
7743     }
7744
7745     SvOK_off(rv);
7746     SvRV_set(rv, sv);
7747     SvROK_on(rv);
7748
7749     if (classname) {
7750         HV* const stash = gv_stashpv(classname, GV_ADD);
7751         (void)sv_bless(rv, stash);
7752     }
7753     return sv;
7754 }
7755
7756 /*
7757 =for apidoc sv_setref_pv
7758
7759 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7760 argument will be upgraded to an RV.  That RV will be modified to point to
7761 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7762 into the SV.  The C<classname> argument indicates the package for the
7763 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7764 will have a reference count of 1, and the RV will be returned.
7765
7766 Do not use with other Perl types such as HV, AV, SV, CV, because those
7767 objects will become corrupted by the pointer copy process.
7768
7769 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7770
7771 =cut
7772 */
7773
7774 SV*
7775 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7776 {
7777     dVAR;
7778     if (!pv) {
7779         sv_setsv(rv, &PL_sv_undef);
7780         SvSETMAGIC(rv);
7781     }
7782     else
7783         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7784     return rv;
7785 }
7786
7787 /*
7788 =for apidoc sv_setref_iv
7789
7790 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7791 argument will be upgraded to an RV.  That RV will be modified to point to
7792 the new SV.  The C<classname> argument indicates the package for the
7793 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7794 will have a reference count of 1, and the RV will be returned.
7795
7796 =cut
7797 */
7798
7799 SV*
7800 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7801 {
7802     sv_setiv(newSVrv(rv,classname), iv);
7803     return rv;
7804 }
7805
7806 /*
7807 =for apidoc sv_setref_uv
7808
7809 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7810 argument will be upgraded to an RV.  That RV will be modified to point to
7811 the new SV.  The C<classname> argument indicates the package for the
7812 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7813 will have a reference count of 1, and the RV will be returned.
7814
7815 =cut
7816 */
7817
7818 SV*
7819 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7820 {
7821     sv_setuv(newSVrv(rv,classname), uv);
7822     return rv;
7823 }
7824
7825 /*
7826 =for apidoc sv_setref_nv
7827
7828 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7829 argument will be upgraded to an RV.  That RV will be modified to point to
7830 the new SV.  The C<classname> argument indicates the package for the
7831 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7832 will have a reference count of 1, and the RV will be returned.
7833
7834 =cut
7835 */
7836
7837 SV*
7838 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7839 {
7840     sv_setnv(newSVrv(rv,classname), nv);
7841     return rv;
7842 }
7843
7844 /*
7845 =for apidoc sv_setref_pvn
7846
7847 Copies a string into a new SV, optionally blessing the SV.  The length of the
7848 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7849 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7850 argument indicates the package for the blessing.  Set C<classname> to
7851 C<NULL> to avoid the blessing.  The new SV will have a reference count
7852 of 1, and the RV will be returned.
7853
7854 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7855
7856 =cut
7857 */
7858
7859 SV*
7860 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7861 {
7862     sv_setpvn(newSVrv(rv,classname), pv, n);
7863     return rv;
7864 }
7865
7866 /*
7867 =for apidoc sv_bless
7868
7869 Blesses an SV into a specified package.  The SV must be an RV.  The package
7870 must be designated by its stash (see C<gv_stashpv()>).  The reference count
7871 of the SV is unaffected.
7872
7873 =cut
7874 */
7875
7876 SV*
7877 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
7878 {
7879     dVAR;
7880     SV *tmpRef;
7881     if (!SvROK(sv))
7882         Perl_croak(aTHX_ "Can't bless non-reference value");
7883     tmpRef = SvRV(sv);
7884     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
7885         if (SvREADONLY(tmpRef))
7886             Perl_croak(aTHX_ PL_no_modify);
7887         if (SvOBJECT(tmpRef)) {
7888             if (SvTYPE(tmpRef) != SVt_PVIO)
7889                 --PL_sv_objcount;
7890             SvREFCNT_dec(SvSTASH(tmpRef));
7891         }
7892     }
7893     SvOBJECT_on(tmpRef);
7894     if (SvTYPE(tmpRef) != SVt_PVIO)
7895         ++PL_sv_objcount;
7896     SvUPGRADE(tmpRef, SVt_PVMG);
7897     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc_simple(stash));
7898
7899     if (Gv_AMG(stash))
7900         SvAMAGIC_on(sv);
7901     else
7902         (void)SvAMAGIC_off(sv);
7903
7904     if(SvSMAGICAL(tmpRef))
7905         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
7906             mg_set(tmpRef);
7907
7908
7909
7910     return sv;
7911 }
7912
7913 /* Downgrades a PVGV to a PVMG.
7914  */
7915
7916 STATIC void
7917 S_sv_unglob(pTHX_ SV *sv)
7918 {
7919     dVAR;
7920     void *xpvmg;
7921     SV * const temp = sv_newmortal();
7922
7923     assert(SvTYPE(sv) == SVt_PVGV);
7924     SvFAKE_off(sv);
7925     gv_efullname3(temp, (GV *) sv, "*");
7926
7927     if (GvGP(sv)) {
7928         gp_free((GV*)sv);
7929     }
7930     if (GvSTASH(sv)) {
7931         sv_del_backref((SV*)GvSTASH(sv), sv);
7932         GvSTASH(sv) = NULL;
7933     }
7934     GvMULTI_off(sv);
7935     if (GvNAME_HEK(sv)) {
7936         unshare_hek(GvNAME_HEK(sv));
7937     }
7938     isGV_with_GP_off(sv);
7939
7940     /* need to keep SvANY(sv) in the right arena */
7941     xpvmg = new_XPVMG();
7942     StructCopy(SvANY(sv), xpvmg, XPVMG);
7943     del_XPVGV(SvANY(sv));
7944     SvANY(sv) = xpvmg;
7945
7946     SvFLAGS(sv) &= ~SVTYPEMASK;
7947     SvFLAGS(sv) |= SVt_PVMG;
7948
7949     /* Intentionally not calling any local SET magic, as this isn't so much a
7950        set operation as merely an internal storage change.  */
7951     sv_setsv_flags(sv, temp, 0);
7952 }
7953
7954 /*
7955 =for apidoc sv_unref_flags
7956
7957 Unsets the RV status of the SV, and decrements the reference count of
7958 whatever was being referenced by the RV.  This can almost be thought of
7959 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
7960 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
7961 (otherwise the decrementing is conditional on the reference count being
7962 different from one or the reference being a readonly SV).
7963 See C<SvROK_off>.
7964
7965 =cut
7966 */
7967
7968 void
7969 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
7970 {
7971     SV* const target = SvRV(ref);
7972
7973     if (SvWEAKREF(ref)) {
7974         sv_del_backref(target, ref);
7975         SvWEAKREF_off(ref);
7976         SvRV_set(ref, NULL);
7977         return;
7978     }
7979     SvRV_set(ref, NULL);
7980     SvROK_off(ref);
7981     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
7982        assigned to as BEGIN {$a = \"Foo"} will fail.  */
7983     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
7984         SvREFCNT_dec(target);
7985     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
7986         sv_2mortal(target);     /* Schedule for freeing later */
7987 }
7988
7989 /*
7990 =for apidoc sv_untaint
7991
7992 Untaint an SV. Use C<SvTAINTED_off> instead.
7993 =cut
7994 */
7995
7996 void
7997 Perl_sv_untaint(pTHX_ SV *sv)
7998 {
7999     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8000         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8001         if (mg)
8002             mg->mg_len &= ~1;
8003     }
8004 }
8005
8006 /*
8007 =for apidoc sv_tainted
8008
8009 Test an SV for taintedness. Use C<SvTAINTED> instead.
8010 =cut
8011 */
8012
8013 bool
8014 Perl_sv_tainted(pTHX_ SV *sv)
8015 {
8016     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8017         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8018         if (mg && (mg->mg_len & 1) )
8019             return TRUE;
8020     }
8021     return FALSE;
8022 }
8023
8024 /*
8025 =for apidoc sv_setpviv
8026
8027 Copies an integer into the given SV, also updating its string value.
8028 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8029
8030 =cut
8031 */
8032
8033 void
8034 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
8035 {
8036     char buf[TYPE_CHARS(UV)];
8037     char *ebuf;
8038     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8039
8040     sv_setpvn(sv, ptr, ebuf - ptr);
8041 }
8042
8043 /*
8044 =for apidoc sv_setpviv_mg
8045
8046 Like C<sv_setpviv>, but also handles 'set' magic.
8047
8048 =cut
8049 */
8050
8051 void
8052 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
8053 {
8054     sv_setpviv(sv, iv);
8055     SvSETMAGIC(sv);
8056 }
8057
8058 #if defined(PERL_IMPLICIT_CONTEXT)
8059
8060 /* pTHX_ magic can't cope with varargs, so this is a no-context
8061  * version of the main function, (which may itself be aliased to us).
8062  * Don't access this version directly.
8063  */
8064
8065 void
8066 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
8067 {
8068     dTHX;
8069     va_list args;
8070     va_start(args, pat);
8071     sv_vsetpvf(sv, pat, &args);
8072     va_end(args);
8073 }
8074
8075 /* pTHX_ magic can't cope with varargs, so this is a no-context
8076  * version of the main function, (which may itself be aliased to us).
8077  * Don't access this version directly.
8078  */
8079
8080 void
8081 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
8082 {
8083     dTHX;
8084     va_list args;
8085     va_start(args, pat);
8086     sv_vsetpvf_mg(sv, pat, &args);
8087     va_end(args);
8088 }
8089 #endif
8090
8091 /*
8092 =for apidoc sv_setpvf
8093
8094 Works like C<sv_catpvf> but copies the text into the SV instead of
8095 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8096
8097 =cut
8098 */
8099
8100 void
8101 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
8102 {
8103     va_list args;
8104     va_start(args, pat);
8105     sv_vsetpvf(sv, pat, &args);
8106     va_end(args);
8107 }
8108
8109 /*
8110 =for apidoc sv_vsetpvf
8111
8112 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8113 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8114
8115 Usually used via its frontend C<sv_setpvf>.
8116
8117 =cut
8118 */
8119
8120 void
8121 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8122 {
8123     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8124 }
8125
8126 /*
8127 =for apidoc sv_setpvf_mg
8128
8129 Like C<sv_setpvf>, but also handles 'set' magic.
8130
8131 =cut
8132 */
8133
8134 void
8135 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8136 {
8137     va_list args;
8138     va_start(args, pat);
8139     sv_vsetpvf_mg(sv, pat, &args);
8140     va_end(args);
8141 }
8142
8143 /*
8144 =for apidoc sv_vsetpvf_mg
8145
8146 Like C<sv_vsetpvf>, but also handles 'set' magic.
8147
8148 Usually used via its frontend C<sv_setpvf_mg>.
8149
8150 =cut
8151 */
8152
8153 void
8154 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8155 {
8156     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8157     SvSETMAGIC(sv);
8158 }
8159
8160 #if defined(PERL_IMPLICIT_CONTEXT)
8161
8162 /* pTHX_ magic can't cope with varargs, so this is a no-context
8163  * version of the main function, (which may itself be aliased to us).
8164  * Don't access this version directly.
8165  */
8166
8167 void
8168 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
8169 {
8170     dTHX;
8171     va_list args;
8172     va_start(args, pat);
8173     sv_vcatpvf(sv, pat, &args);
8174     va_end(args);
8175 }
8176
8177 /* pTHX_ magic can't cope with varargs, so this is a no-context
8178  * version of the main function, (which may itself be aliased to us).
8179  * Don't access this version directly.
8180  */
8181
8182 void
8183 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
8184 {
8185     dTHX;
8186     va_list args;
8187     va_start(args, pat);
8188     sv_vcatpvf_mg(sv, pat, &args);
8189     va_end(args);
8190 }
8191 #endif
8192
8193 /*
8194 =for apidoc sv_catpvf
8195
8196 Processes its arguments like C<sprintf> and appends the formatted
8197 output to an SV.  If the appended data contains "wide" characters
8198 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
8199 and characters >255 formatted with %c), the original SV might get
8200 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
8201 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
8202 valid UTF-8; if the original SV was bytes, the pattern should be too.
8203
8204 =cut */
8205
8206 void
8207 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
8208 {
8209     va_list args;
8210     va_start(args, pat);
8211     sv_vcatpvf(sv, pat, &args);
8212     va_end(args);
8213 }
8214
8215 /*
8216 =for apidoc sv_vcatpvf
8217
8218 Processes its arguments like C<vsprintf> and appends the formatted output
8219 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
8220
8221 Usually used via its frontend C<sv_catpvf>.
8222
8223 =cut
8224 */
8225
8226 void
8227 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8228 {
8229     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8230 }
8231
8232 /*
8233 =for apidoc sv_catpvf_mg
8234
8235 Like C<sv_catpvf>, but also handles 'set' magic.
8236
8237 =cut
8238 */
8239
8240 void
8241 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8242 {
8243     va_list args;
8244     va_start(args, pat);
8245     sv_vcatpvf_mg(sv, pat, &args);
8246     va_end(args);
8247 }
8248
8249 /*
8250 =for apidoc sv_vcatpvf_mg
8251
8252 Like C<sv_vcatpvf>, but also handles 'set' magic.
8253
8254 Usually used via its frontend C<sv_catpvf_mg>.
8255
8256 =cut
8257 */
8258
8259 void
8260 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8261 {
8262     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8263     SvSETMAGIC(sv);
8264 }
8265
8266 /*
8267 =for apidoc sv_vsetpvfn
8268
8269 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
8270 appending it.
8271
8272 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
8273
8274 =cut
8275 */
8276
8277 void
8278 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8279 {
8280     sv_setpvn(sv, "", 0);
8281     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
8282 }
8283
8284 STATIC I32
8285 S_expect_number(pTHX_ char** pattern)
8286 {
8287     dVAR;
8288     I32 var = 0;
8289     switch (**pattern) {
8290     case '1': case '2': case '3':
8291     case '4': case '5': case '6':
8292     case '7': case '8': case '9':
8293         var = *(*pattern)++ - '0';
8294         while (isDIGIT(**pattern)) {
8295             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
8296             if (tmp < var)
8297                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
8298             var = tmp;
8299         }
8300     }
8301     return var;
8302 }
8303
8304 STATIC char *
8305 S_F0convert(NV nv, char *endbuf, STRLEN *len)
8306 {
8307     const int neg = nv < 0;
8308     UV uv;
8309
8310     if (neg)
8311         nv = -nv;
8312     if (nv < UV_MAX) {
8313         char *p = endbuf;
8314         nv += 0.5;
8315         uv = (UV)nv;
8316         if (uv & 1 && uv == nv)
8317             uv--;                       /* Round to even */
8318         do {
8319             const unsigned dig = uv % 10;
8320             *--p = '0' + dig;
8321         } while (uv /= 10);
8322         if (neg)
8323             *--p = '-';
8324         *len = endbuf - p;
8325         return p;
8326     }
8327     return NULL;
8328 }
8329
8330
8331 /*
8332 =for apidoc sv_vcatpvfn
8333
8334 Processes its arguments like C<vsprintf> and appends the formatted output
8335 to an SV.  Uses an array of SVs if the C style variable argument list is
8336 missing (NULL).  When running with taint checks enabled, indicates via
8337 C<maybe_tainted> if results are untrustworthy (often due to the use of
8338 locales).
8339
8340 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
8341
8342 =cut
8343 */
8344
8345
8346 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
8347                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
8348                         vec_utf8 = DO_UTF8(vecsv);
8349
8350 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
8351
8352 void
8353 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8354 {
8355     dVAR;
8356     char *p;
8357     char *q;
8358     const char *patend;
8359     STRLEN origlen;
8360     I32 svix = 0;
8361     static const char nullstr[] = "(null)";
8362     SV *argsv = NULL;
8363     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
8364     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
8365     SV *nsv = NULL;
8366     /* Times 4: a decimal digit takes more than 3 binary digits.
8367      * NV_DIG: mantissa takes than many decimal digits.
8368      * Plus 32: Playing safe. */
8369     char ebuf[IV_DIG * 4 + NV_DIG + 32];
8370     /* large enough for "%#.#f" --chip */
8371     /* what about long double NVs? --jhi */
8372
8373     PERL_UNUSED_ARG(maybe_tainted);
8374
8375     /* no matter what, this is a string now */
8376     (void)SvPV_force(sv, origlen);
8377
8378     /* special-case "", "%s", and "%-p" (SVf - see below) */
8379     if (patlen == 0)
8380         return;
8381     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
8382         if (args) {
8383             const char * const s = va_arg(*args, char*);
8384             sv_catpv(sv, s ? s : nullstr);
8385         }
8386         else if (svix < svmax) {
8387             sv_catsv(sv, *svargs);
8388         }
8389         return;
8390     }
8391     if (args && patlen == 3 && pat[0] == '%' &&
8392                 pat[1] == '-' && pat[2] == 'p') {
8393         argsv = (SV*)va_arg(*args, void*);
8394         sv_catsv(sv, argsv);
8395         return;
8396     }
8397
8398 #ifndef USE_LONG_DOUBLE
8399     /* special-case "%.<number>[gf]" */
8400     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
8401          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
8402         unsigned digits = 0;
8403         const char *pp;
8404
8405         pp = pat + 2;
8406         while (*pp >= '0' && *pp <= '9')
8407             digits = 10 * digits + (*pp++ - '0');
8408         if (pp - pat == (int)patlen - 1) {
8409             NV nv;
8410
8411             if (svix < svmax)
8412                 nv = SvNV(*svargs);
8413             else
8414                 return;
8415             if (*pp == 'g') {
8416                 /* Add check for digits != 0 because it seems that some
8417                    gconverts are buggy in this case, and we don't yet have
8418                    a Configure test for this.  */
8419                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
8420                      /* 0, point, slack */
8421                     Gconvert(nv, (int)digits, 0, ebuf);
8422                     sv_catpv(sv, ebuf);
8423                     if (*ebuf)  /* May return an empty string for digits==0 */
8424                         return;
8425                 }
8426             } else if (!digits) {
8427                 STRLEN l;
8428
8429                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
8430                     sv_catpvn(sv, p, l);
8431                     return;
8432                 }
8433             }
8434         }
8435     }
8436 #endif /* !USE_LONG_DOUBLE */
8437
8438     if (!args && svix < svmax && DO_UTF8(*svargs))
8439         has_utf8 = TRUE;
8440
8441     patend = (char*)pat + patlen;
8442     for (p = (char*)pat; p < patend; p = q) {
8443         bool alt = FALSE;
8444         bool left = FALSE;
8445         bool vectorize = FALSE;
8446         bool vectorarg = FALSE;
8447         bool vec_utf8 = FALSE;
8448         char fill = ' ';
8449         char plus = 0;
8450         char intsize = 0;
8451         STRLEN width = 0;
8452         STRLEN zeros = 0;
8453         bool has_precis = FALSE;
8454         STRLEN precis = 0;
8455         const I32 osvix = svix;
8456         bool is_utf8 = FALSE;  /* is this item utf8?   */
8457 #ifdef HAS_LDBL_SPRINTF_BUG
8458         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8459            with sfio - Allen <allens@cpan.org> */
8460         bool fix_ldbl_sprintf_bug = FALSE;
8461 #endif
8462
8463         char esignbuf[4];
8464         U8 utf8buf[UTF8_MAXBYTES+1];
8465         STRLEN esignlen = 0;
8466
8467         const char *eptr = NULL;
8468         STRLEN elen = 0;
8469         SV *vecsv = NULL;
8470         const U8 *vecstr = NULL;
8471         STRLEN veclen = 0;
8472         char c = 0;
8473         int i;
8474         unsigned base = 0;
8475         IV iv = 0;
8476         UV uv = 0;
8477         /* we need a long double target in case HAS_LONG_DOUBLE but
8478            not USE_LONG_DOUBLE
8479         */
8480 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
8481         long double nv;
8482 #else
8483         NV nv;
8484 #endif
8485         STRLEN have;
8486         STRLEN need;
8487         STRLEN gap;
8488         const char *dotstr = ".";
8489         STRLEN dotstrlen = 1;
8490         I32 efix = 0; /* explicit format parameter index */
8491         I32 ewix = 0; /* explicit width index */
8492         I32 epix = 0; /* explicit precision index */
8493         I32 evix = 0; /* explicit vector index */
8494         bool asterisk = FALSE;
8495
8496         /* echo everything up to the next format specification */
8497         for (q = p; q < patend && *q != '%'; ++q) ;
8498         if (q > p) {
8499             if (has_utf8 && !pat_utf8)
8500                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
8501             else
8502                 sv_catpvn(sv, p, q - p);
8503             p = q;
8504         }
8505         if (q++ >= patend)
8506             break;
8507
8508 /*
8509     We allow format specification elements in this order:
8510         \d+\$              explicit format parameter index
8511         [-+ 0#]+           flags
8512         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8513         0                  flag (as above): repeated to allow "v02"     
8514         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8515         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8516         [hlqLV]            size
8517     [%bcdefginopsuxDFOUX] format (mandatory)
8518 */
8519
8520         if (args) {
8521 /*  
8522         As of perl5.9.3, printf format checking is on by default.
8523         Internally, perl uses %p formats to provide an escape to
8524         some extended formatting.  This block deals with those
8525         extensions: if it does not match, (char*)q is reset and
8526         the normal format processing code is used.
8527
8528         Currently defined extensions are:
8529                 %p              include pointer address (standard)      
8530                 %-p     (SVf)   include an SV (previously %_)
8531                 %-<num>p        include an SV with precision <num>      
8532                 %1p     (VDf)   include a v-string (as %vd)
8533                 %<num>p         reserved for future extensions
8534
8535         Robin Barker 2005-07-14
8536 */
8537             char* r = q; 
8538             bool sv = FALSE;    
8539             STRLEN n = 0;
8540             if (*q == '-')
8541                 sv = *q++;
8542             n = expect_number(&q);
8543             if (*q++ == 'p') {
8544                 if (sv) {                       /* SVf */
8545                     if (n) {
8546                         precis = n;
8547                         has_precis = TRUE;
8548                     }
8549                     argsv = (SV*)va_arg(*args, void*);
8550                     eptr = SvPVx_const(argsv, elen);
8551                     if (DO_UTF8(argsv))
8552                         is_utf8 = TRUE;
8553                     goto string;
8554                 }
8555 #if vdNUMBER
8556                 else if (n == vdNUMBER) {       /* VDf */
8557                     vectorize = TRUE;
8558                     VECTORIZE_ARGS
8559                     goto format_vd;
8560                 }
8561 #endif
8562                 else if (n) {
8563                     if (ckWARN_d(WARN_INTERNAL))
8564                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8565                         "internal %%<num>p might conflict with future printf extensions");
8566                 }
8567             }
8568             q = r; 
8569         }
8570
8571         if ( (width = expect_number(&q)) ) {
8572             if (*q == '$') {
8573                 ++q;
8574                 efix = width;
8575             } else {
8576                 goto gotwidth;
8577             }
8578         }
8579
8580         /* FLAGS */
8581
8582         while (*q) {
8583             switch (*q) {
8584             case ' ':
8585             case '+':
8586                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
8587                     q++;
8588                 else
8589                     plus = *q++;
8590                 continue;
8591
8592             case '-':
8593                 left = TRUE;
8594                 q++;
8595                 continue;
8596
8597             case '0':
8598                 fill = *q++;
8599                 continue;
8600
8601             case '#':
8602                 alt = TRUE;
8603                 q++;
8604                 continue;
8605
8606             default:
8607                 break;
8608             }
8609             break;
8610         }
8611
8612       tryasterisk:
8613         if (*q == '*') {
8614             q++;
8615             if ( (ewix = expect_number(&q)) )
8616                 if (*q++ != '$')
8617                     goto unknown;
8618             asterisk = TRUE;
8619         }
8620         if (*q == 'v') {
8621             q++;
8622             if (vectorize)
8623                 goto unknown;
8624             if ((vectorarg = asterisk)) {
8625                 evix = ewix;
8626                 ewix = 0;
8627                 asterisk = FALSE;
8628             }
8629             vectorize = TRUE;
8630             goto tryasterisk;
8631         }
8632
8633         if (!asterisk)
8634         {
8635             if( *q == '0' )
8636                 fill = *q++;
8637             width = expect_number(&q);
8638         }
8639
8640         if (vectorize) {
8641             if (vectorarg) {
8642                 if (args)
8643                     vecsv = va_arg(*args, SV*);
8644                 else if (evix) {
8645                     vecsv = (evix > 0 && evix <= svmax)
8646                         ? svargs[evix-1] : &PL_sv_undef;
8647                 } else {
8648                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
8649                 }
8650                 dotstr = SvPV_const(vecsv, dotstrlen);
8651                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
8652                    bad with tied or overloaded values that return UTF8.  */
8653                 if (DO_UTF8(vecsv))
8654                     is_utf8 = TRUE;
8655                 else if (has_utf8) {
8656                     vecsv = sv_mortalcopy(vecsv);
8657                     sv_utf8_upgrade(vecsv);
8658                     dotstr = SvPV_const(vecsv, dotstrlen);
8659                     is_utf8 = TRUE;
8660                 }                   
8661             }
8662             if (args) {
8663                 VECTORIZE_ARGS
8664             }
8665             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
8666                 vecsv = svargs[efix ? efix-1 : svix++];
8667                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8668                 vec_utf8 = DO_UTF8(vecsv);
8669
8670                 /* if this is a version object, we need to convert
8671                  * back into v-string notation and then let the
8672                  * vectorize happen normally
8673                  */
8674                 if (sv_derived_from(vecsv, "version")) {
8675                     char *version = savesvpv(vecsv);
8676                     if ( hv_exists((HV*)SvRV(vecsv), "alpha", 5 ) ) {
8677                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8678                         "vector argument not supported with alpha versions");
8679                         goto unknown;
8680                     }
8681                     vecsv = sv_newmortal();
8682                     /* scan_vstring is expected to be called during
8683                      * tokenization, so we need to fake up the end
8684                      * of the buffer for it
8685                      */
8686                     PL_bufend = version + veclen;
8687                     scan_vstring(version, vecsv);
8688                     vecstr = (U8*)SvPV_const(vecsv, veclen);
8689                     vec_utf8 = DO_UTF8(vecsv);
8690                     Safefree(version);
8691                 }
8692             }
8693             else {
8694                 vecstr = (U8*)"";
8695                 veclen = 0;
8696             }
8697         }
8698
8699         if (asterisk) {
8700             if (args)
8701                 i = va_arg(*args, int);
8702             else
8703                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8704                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8705             left |= (i < 0);
8706             width = (i < 0) ? -i : i;
8707         }
8708       gotwidth:
8709
8710         /* PRECISION */
8711
8712         if (*q == '.') {
8713             q++;
8714             if (*q == '*') {
8715                 q++;
8716                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
8717                     goto unknown;
8718                 /* XXX: todo, support specified precision parameter */
8719                 if (epix)
8720                     goto unknown;
8721                 if (args)
8722                     i = va_arg(*args, int);
8723                 else
8724                     i = (ewix ? ewix <= svmax : svix < svmax)
8725                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8726                 precis = i;
8727                 has_precis = !(i < 0);
8728             }
8729             else {
8730                 precis = 0;
8731                 while (isDIGIT(*q))
8732                     precis = precis * 10 + (*q++ - '0');
8733                 has_precis = TRUE;
8734             }
8735         }
8736
8737         /* SIZE */
8738
8739         switch (*q) {
8740 #ifdef WIN32
8741         case 'I':                       /* Ix, I32x, and I64x */
8742 #  ifdef WIN64
8743             if (q[1] == '6' && q[2] == '4') {
8744                 q += 3;
8745                 intsize = 'q';
8746                 break;
8747             }
8748 #  endif
8749             if (q[1] == '3' && q[2] == '2') {
8750                 q += 3;
8751                 break;
8752             }
8753 #  ifdef WIN64
8754             intsize = 'q';
8755 #  endif
8756             q++;
8757             break;
8758 #endif
8759 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8760         case 'L':                       /* Ld */
8761             /*FALLTHROUGH*/
8762 #ifdef HAS_QUAD
8763         case 'q':                       /* qd */
8764 #endif
8765             intsize = 'q';
8766             q++;
8767             break;
8768 #endif
8769         case 'l':
8770 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8771             if (*(q + 1) == 'l') {      /* lld, llf */
8772                 intsize = 'q';
8773                 q += 2;
8774                 break;
8775              }
8776 #endif
8777             /*FALLTHROUGH*/
8778         case 'h':
8779             /*FALLTHROUGH*/
8780         case 'V':
8781             intsize = *q++;
8782             break;
8783         }
8784
8785         /* CONVERSION */
8786
8787         if (*q == '%') {
8788             eptr = q++;
8789             elen = 1;
8790             if (vectorize) {
8791                 c = '%';
8792                 goto unknown;
8793             }
8794             goto string;
8795         }
8796
8797         if (!vectorize && !args) {
8798             if (efix) {
8799                 const I32 i = efix-1;
8800                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8801             } else {
8802                 argsv = (svix >= 0 && svix < svmax)
8803                     ? svargs[svix++] : &PL_sv_undef;
8804             }
8805         }
8806
8807         switch (c = *q++) {
8808
8809             /* STRINGS */
8810
8811         case 'c':
8812             if (vectorize)
8813                 goto unknown;
8814             uv = (args) ? va_arg(*args, int) : SvIVx(argsv);
8815             if ((uv > 255 ||
8816                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8817                 && !IN_BYTES) {
8818                 eptr = (char*)utf8buf;
8819                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8820                 is_utf8 = TRUE;
8821             }
8822             else {
8823                 c = (char)uv;
8824                 eptr = &c;
8825                 elen = 1;
8826             }
8827             goto string;
8828
8829         case 's':
8830             if (vectorize)
8831                 goto unknown;
8832             if (args) {
8833                 eptr = va_arg(*args, char*);
8834                 if (eptr)
8835 #ifdef MACOS_TRADITIONAL
8836                   /* On MacOS, %#s format is used for Pascal strings */
8837                   if (alt)
8838                     elen = *eptr++;
8839                   else
8840 #endif
8841                     elen = strlen(eptr);
8842                 else {
8843                     eptr = (char *)nullstr;
8844                     elen = sizeof nullstr - 1;
8845                 }
8846             }
8847             else {
8848                 eptr = SvPVx_const(argsv, elen);
8849                 if (DO_UTF8(argsv)) {
8850                     I32 old_precis = precis;
8851                     if (has_precis && precis < elen) {
8852                         I32 p = precis;
8853                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8854                         precis = p;
8855                     }
8856                     if (width) { /* fudge width (can't fudge elen) */
8857                         if (has_precis && precis < elen)
8858                             width += precis - old_precis;
8859                         else
8860                             width += elen - sv_len_utf8(argsv);
8861                     }
8862                     is_utf8 = TRUE;
8863                 }
8864             }
8865
8866         string:
8867             if (has_precis && elen > precis)
8868                 elen = precis;
8869             break;
8870
8871             /* INTEGERS */
8872
8873         case 'p':
8874             if (alt || vectorize)
8875                 goto unknown;
8876             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
8877             base = 16;
8878             goto integer;
8879
8880         case 'D':
8881 #ifdef IV_IS_QUAD
8882             intsize = 'q';
8883 #else
8884             intsize = 'l';
8885 #endif
8886             /*FALLTHROUGH*/
8887         case 'd':
8888         case 'i':
8889 #if vdNUMBER
8890         format_vd:
8891 #endif
8892             if (vectorize) {
8893                 STRLEN ulen;
8894                 if (!veclen)
8895                     continue;
8896                 if (vec_utf8)
8897                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8898                                         UTF8_ALLOW_ANYUV);
8899                 else {
8900                     uv = *vecstr;
8901                     ulen = 1;
8902                 }
8903                 vecstr += ulen;
8904                 veclen -= ulen;
8905                 if (plus)
8906                      esignbuf[esignlen++] = plus;
8907             }
8908             else if (args) {
8909                 switch (intsize) {
8910                 case 'h':       iv = (short)va_arg(*args, int); break;
8911                 case 'l':       iv = va_arg(*args, long); break;
8912                 case 'V':       iv = va_arg(*args, IV); break;
8913                 default:        iv = va_arg(*args, int); break;
8914 #ifdef HAS_QUAD
8915                 case 'q':       iv = va_arg(*args, Quad_t); break;
8916 #endif
8917                 }
8918             }
8919             else {
8920                 IV tiv = SvIVx(argsv); /* work around GCC bug #13488 */
8921                 switch (intsize) {
8922                 case 'h':       iv = (short)tiv; break;
8923                 case 'l':       iv = (long)tiv; break;
8924                 case 'V':
8925                 default:        iv = tiv; break;
8926 #ifdef HAS_QUAD
8927                 case 'q':       iv = (Quad_t)tiv; break;
8928 #endif
8929                 }
8930             }
8931             if ( !vectorize )   /* we already set uv above */
8932             {
8933                 if (iv >= 0) {
8934                     uv = iv;
8935                     if (plus)
8936                         esignbuf[esignlen++] = plus;
8937                 }
8938                 else {
8939                     uv = -iv;
8940                     esignbuf[esignlen++] = '-';
8941                 }
8942             }
8943             base = 10;
8944             goto integer;
8945
8946         case 'U':
8947 #ifdef IV_IS_QUAD
8948             intsize = 'q';
8949 #else
8950             intsize = 'l';
8951 #endif
8952             /*FALLTHROUGH*/
8953         case 'u':
8954             base = 10;
8955             goto uns_integer;
8956
8957         case 'B':
8958         case 'b':
8959             base = 2;
8960             goto uns_integer;
8961
8962         case 'O':
8963 #ifdef IV_IS_QUAD
8964             intsize = 'q';
8965 #else
8966             intsize = 'l';
8967 #endif
8968             /*FALLTHROUGH*/
8969         case 'o':
8970             base = 8;
8971             goto uns_integer;
8972
8973         case 'X':
8974         case 'x':
8975             base = 16;
8976
8977         uns_integer:
8978             if (vectorize) {
8979                 STRLEN ulen;
8980         vector:
8981                 if (!veclen)
8982                     continue;
8983                 if (vec_utf8)
8984                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8985                                         UTF8_ALLOW_ANYUV);
8986                 else {
8987                     uv = *vecstr;
8988                     ulen = 1;
8989                 }
8990                 vecstr += ulen;
8991                 veclen -= ulen;
8992             }
8993             else if (args) {
8994                 switch (intsize) {
8995                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
8996                 case 'l':  uv = va_arg(*args, unsigned long); break;
8997                 case 'V':  uv = va_arg(*args, UV); break;
8998                 default:   uv = va_arg(*args, unsigned); break;
8999 #ifdef HAS_QUAD
9000                 case 'q':  uv = va_arg(*args, Uquad_t); break;
9001 #endif
9002                 }
9003             }
9004             else {
9005                 UV tuv = SvUVx(argsv); /* work around GCC bug #13488 */
9006                 switch (intsize) {
9007                 case 'h':       uv = (unsigned short)tuv; break;
9008                 case 'l':       uv = (unsigned long)tuv; break;
9009                 case 'V':
9010                 default:        uv = tuv; break;
9011 #ifdef HAS_QUAD
9012                 case 'q':       uv = (Uquad_t)tuv; break;
9013 #endif
9014                 }
9015             }
9016
9017         integer:
9018             {
9019                 char *ptr = ebuf + sizeof ebuf;
9020                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9021                 zeros = 0;
9022
9023                 switch (base) {
9024                     unsigned dig;
9025                 case 16:
9026                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9027                     do {
9028                         dig = uv & 15;
9029                         *--ptr = p[dig];
9030                     } while (uv >>= 4);
9031                     if (tempalt) {
9032                         esignbuf[esignlen++] = '0';
9033                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9034                     }
9035                     break;
9036                 case 8:
9037                     do {
9038                         dig = uv & 7;
9039                         *--ptr = '0' + dig;
9040                     } while (uv >>= 3);
9041                     if (alt && *ptr != '0')
9042                         *--ptr = '0';
9043                     break;
9044                 case 2:
9045                     do {
9046                         dig = uv & 1;
9047                         *--ptr = '0' + dig;
9048                     } while (uv >>= 1);
9049                     if (tempalt) {
9050                         esignbuf[esignlen++] = '0';
9051                         esignbuf[esignlen++] = c;
9052                     }
9053                     break;
9054                 default:                /* it had better be ten or less */
9055                     do {
9056                         dig = uv % base;
9057                         *--ptr = '0' + dig;
9058                     } while (uv /= base);
9059                     break;
9060                 }
9061                 elen = (ebuf + sizeof ebuf) - ptr;
9062                 eptr = ptr;
9063                 if (has_precis) {
9064                     if (precis > elen)
9065                         zeros = precis - elen;
9066                     else if (precis == 0 && elen == 1 && *eptr == '0'
9067                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9068                         elen = 0;
9069
9070                 /* a precision nullifies the 0 flag. */
9071                     if (fill == '0')
9072                         fill = ' ';
9073                 }
9074             }
9075             break;
9076
9077             /* FLOATING POINT */
9078
9079         case 'F':
9080             c = 'f';            /* maybe %F isn't supported here */
9081             /*FALLTHROUGH*/
9082         case 'e': case 'E':
9083         case 'f':
9084         case 'g': case 'G':
9085             if (vectorize)
9086                 goto unknown;
9087
9088             /* This is evil, but floating point is even more evil */
9089
9090             /* for SV-style calling, we can only get NV
9091                for C-style calling, we assume %f is double;
9092                for simplicity we allow any of %Lf, %llf, %qf for long double
9093             */
9094             switch (intsize) {
9095             case 'V':
9096 #if defined(USE_LONG_DOUBLE)
9097                 intsize = 'q';
9098 #endif
9099                 break;
9100 /* [perl #20339] - we should accept and ignore %lf rather than die */
9101             case 'l':
9102                 /*FALLTHROUGH*/
9103             default:
9104 #if defined(USE_LONG_DOUBLE)
9105                 intsize = args ? 0 : 'q';
9106 #endif
9107                 break;
9108             case 'q':
9109 #if defined(HAS_LONG_DOUBLE)
9110                 break;
9111 #else
9112                 /*FALLTHROUGH*/
9113 #endif
9114             case 'h':
9115                 goto unknown;
9116             }
9117
9118             /* now we need (long double) if intsize == 'q', else (double) */
9119             nv = (args) ?
9120 #if LONG_DOUBLESIZE > DOUBLESIZE
9121                 intsize == 'q' ?
9122                     va_arg(*args, long double) :
9123                     va_arg(*args, double)
9124 #else
9125                     va_arg(*args, double)
9126 #endif
9127                 : SvNVx(argsv);
9128
9129             need = 0;
9130             if (c != 'e' && c != 'E') {
9131                 i = PERL_INT_MIN;
9132                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
9133                    will cast our (long double) to (double) */
9134                 (void)Perl_frexp(nv, &i);
9135                 if (i == PERL_INT_MIN)
9136                     Perl_die(aTHX_ "panic: frexp");
9137                 if (i > 0)
9138                     need = BIT_DIGITS(i);
9139             }
9140             need += has_precis ? precis : 6; /* known default */
9141
9142             if (need < width)
9143                 need = width;
9144
9145 #ifdef HAS_LDBL_SPRINTF_BUG
9146             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9147                with sfio - Allen <allens@cpan.org> */
9148
9149 #  ifdef DBL_MAX
9150 #    define MY_DBL_MAX DBL_MAX
9151 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
9152 #    if DOUBLESIZE >= 8
9153 #      define MY_DBL_MAX 1.7976931348623157E+308L
9154 #    else
9155 #      define MY_DBL_MAX 3.40282347E+38L
9156 #    endif
9157 #  endif
9158
9159 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
9160 #    define MY_DBL_MAX_BUG 1L
9161 #  else
9162 #    define MY_DBL_MAX_BUG MY_DBL_MAX
9163 #  endif
9164
9165 #  ifdef DBL_MIN
9166 #    define MY_DBL_MIN DBL_MIN
9167 #  else  /* XXX guessing! -Allen */
9168 #    if DOUBLESIZE >= 8
9169 #      define MY_DBL_MIN 2.2250738585072014E-308L
9170 #    else
9171 #      define MY_DBL_MIN 1.17549435E-38L
9172 #    endif
9173 #  endif
9174
9175             if ((intsize == 'q') && (c == 'f') &&
9176                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
9177                 (need < DBL_DIG)) {
9178                 /* it's going to be short enough that
9179                  * long double precision is not needed */
9180
9181                 if ((nv <= 0L) && (nv >= -0L))
9182                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
9183                 else {
9184                     /* would use Perl_fp_class as a double-check but not
9185                      * functional on IRIX - see perl.h comments */
9186
9187                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
9188                         /* It's within the range that a double can represent */
9189 #if defined(DBL_MAX) && !defined(DBL_MIN)
9190                         if ((nv >= ((long double)1/DBL_MAX)) ||
9191                             (nv <= (-(long double)1/DBL_MAX)))
9192 #endif
9193                         fix_ldbl_sprintf_bug = TRUE;
9194                     }
9195                 }
9196                 if (fix_ldbl_sprintf_bug == TRUE) {
9197                     double temp;
9198
9199                     intsize = 0;
9200                     temp = (double)nv;
9201                     nv = (NV)temp;
9202                 }
9203             }
9204
9205 #  undef MY_DBL_MAX
9206 #  undef MY_DBL_MAX_BUG
9207 #  undef MY_DBL_MIN
9208
9209 #endif /* HAS_LDBL_SPRINTF_BUG */
9210
9211             need += 20; /* fudge factor */
9212             if (PL_efloatsize < need) {
9213                 Safefree(PL_efloatbuf);
9214                 PL_efloatsize = need + 20; /* more fudge */
9215                 Newx(PL_efloatbuf, PL_efloatsize, char);
9216                 PL_efloatbuf[0] = '\0';
9217             }
9218
9219             if ( !(width || left || plus || alt) && fill != '0'
9220                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
9221                 /* See earlier comment about buggy Gconvert when digits,
9222                    aka precis is 0  */
9223                 if ( c == 'g' && precis) {
9224                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
9225                     /* May return an empty string for digits==0 */
9226                     if (*PL_efloatbuf) {
9227                         elen = strlen(PL_efloatbuf);
9228                         goto float_converted;
9229                     }
9230                 } else if ( c == 'f' && !precis) {
9231                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
9232                         break;
9233                 }
9234             }
9235             {
9236                 char *ptr = ebuf + sizeof ebuf;
9237                 *--ptr = '\0';
9238                 *--ptr = c;
9239                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
9240 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
9241                 if (intsize == 'q') {
9242                     /* Copy the one or more characters in a long double
9243                      * format before the 'base' ([efgEFG]) character to
9244                      * the format string. */
9245                     static char const prifldbl[] = PERL_PRIfldbl;
9246                     char const *p = prifldbl + sizeof(prifldbl) - 3;
9247                     while (p >= prifldbl) { *--ptr = *p--; }
9248                 }
9249 #endif
9250                 if (has_precis) {
9251                     base = precis;
9252                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9253                     *--ptr = '.';
9254                 }
9255                 if (width) {
9256                     base = width;
9257                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9258                 }
9259                 if (fill == '0')
9260                     *--ptr = fill;
9261                 if (left)
9262                     *--ptr = '-';
9263                 if (plus)
9264                     *--ptr = plus;
9265                 if (alt)
9266                     *--ptr = '#';
9267                 *--ptr = '%';
9268
9269                 /* No taint.  Otherwise we are in the strange situation
9270                  * where printf() taints but print($float) doesn't.
9271                  * --jhi */
9272 #if defined(HAS_LONG_DOUBLE)
9273                 elen = ((intsize == 'q')
9274                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
9275                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
9276 #else
9277                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
9278 #endif
9279             }
9280         float_converted:
9281             eptr = PL_efloatbuf;
9282             break;
9283
9284             /* SPECIAL */
9285
9286         case 'n':
9287             if (vectorize)
9288                 goto unknown;
9289             i = SvCUR(sv) - origlen;
9290             if (args) {
9291                 switch (intsize) {
9292                 case 'h':       *(va_arg(*args, short*)) = i; break;
9293                 default:        *(va_arg(*args, int*)) = i; break;
9294                 case 'l':       *(va_arg(*args, long*)) = i; break;
9295                 case 'V':       *(va_arg(*args, IV*)) = i; break;
9296 #ifdef HAS_QUAD
9297                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
9298 #endif
9299                 }
9300             }
9301             else
9302                 sv_setuv_mg(argsv, (UV)i);
9303             continue;   /* not "break" */
9304
9305             /* UNKNOWN */
9306
9307         default:
9308       unknown:
9309             if (!args
9310                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
9311                 && ckWARN(WARN_PRINTF))
9312             {
9313                 SV * const msg = sv_newmortal();
9314                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
9315                           (PL_op->op_type == OP_PRTF) ? "" : "s");
9316                 if (c) {
9317                     if (isPRINT(c))
9318                         Perl_sv_catpvf(aTHX_ msg,
9319                                        "\"%%%c\"", c & 0xFF);
9320                     else
9321                         Perl_sv_catpvf(aTHX_ msg,
9322                                        "\"%%\\%03"UVof"\"",
9323                                        (UV)c & 0xFF);
9324                 } else
9325                     sv_catpvs(msg, "end of string");
9326                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
9327             }
9328
9329             /* output mangled stuff ... */
9330             if (c == '\0')
9331                 --q;
9332             eptr = p;
9333             elen = q - p;
9334
9335             /* ... right here, because formatting flags should not apply */
9336             SvGROW(sv, SvCUR(sv) + elen + 1);
9337             p = SvEND(sv);
9338             Copy(eptr, p, elen, char);
9339             p += elen;
9340             *p = '\0';
9341             SvCUR_set(sv, p - SvPVX_const(sv));
9342             svix = osvix;
9343             continue;   /* not "break" */
9344         }
9345
9346         if (is_utf8 != has_utf8) {
9347             if (is_utf8) {
9348                 if (SvCUR(sv))
9349                     sv_utf8_upgrade(sv);
9350             }
9351             else {
9352                 const STRLEN old_elen = elen;
9353                 SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
9354                 sv_utf8_upgrade(nsv);
9355                 eptr = SvPVX_const(nsv);
9356                 elen = SvCUR(nsv);
9357
9358                 if (width) { /* fudge width (can't fudge elen) */
9359                     width += elen - old_elen;
9360                 }
9361                 is_utf8 = TRUE;
9362             }
9363         }
9364
9365         have = esignlen + zeros + elen;
9366         if (have < zeros)
9367             Perl_croak_nocontext(PL_memory_wrap);
9368
9369         need = (have > width ? have : width);
9370         gap = need - have;
9371
9372         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
9373             Perl_croak_nocontext(PL_memory_wrap);
9374         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
9375         p = SvEND(sv);
9376         if (esignlen && fill == '0') {
9377             int i;
9378             for (i = 0; i < (int)esignlen; i++)
9379                 *p++ = esignbuf[i];
9380         }
9381         if (gap && !left) {
9382             memset(p, fill, gap);
9383             p += gap;
9384         }
9385         if (esignlen && fill != '0') {
9386             int i;
9387             for (i = 0; i < (int)esignlen; i++)
9388                 *p++ = esignbuf[i];
9389         }
9390         if (zeros) {
9391             int i;
9392             for (i = zeros; i; i--)
9393                 *p++ = '0';
9394         }
9395         if (elen) {
9396             Copy(eptr, p, elen, char);
9397             p += elen;
9398         }
9399         if (gap && left) {
9400             memset(p, ' ', gap);
9401             p += gap;
9402         }
9403         if (vectorize) {
9404             if (veclen) {
9405                 Copy(dotstr, p, dotstrlen, char);
9406                 p += dotstrlen;
9407             }
9408             else
9409                 vectorize = FALSE;              /* done iterating over vecstr */
9410         }
9411         if (is_utf8)
9412             has_utf8 = TRUE;
9413         if (has_utf8)
9414             SvUTF8_on(sv);
9415         *p = '\0';
9416         SvCUR_set(sv, p - SvPVX_const(sv));
9417         if (vectorize) {
9418             esignlen = 0;
9419             goto vector;
9420         }
9421     }
9422 }
9423
9424 /* =========================================================================
9425
9426 =head1 Cloning an interpreter
9427
9428 All the macros and functions in this section are for the private use of
9429 the main function, perl_clone().
9430
9431 The foo_dup() functions make an exact copy of an existing foo thinngy.
9432 During the course of a cloning, a hash table is used to map old addresses
9433 to new addresses. The table is created and manipulated with the
9434 ptr_table_* functions.
9435
9436 =cut
9437
9438 ============================================================================*/
9439
9440
9441 #if defined(USE_ITHREADS)
9442
9443 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
9444 #ifndef GpREFCNT_inc
9445 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
9446 #endif
9447
9448
9449 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
9450    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
9451    If this changes, please unmerge ss_dup.  */
9452 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
9453 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
9454 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
9455 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9456 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
9457 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9458 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
9459 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9460 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
9461 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
9462 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
9463 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9464 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
9465 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
9466
9467 /* clone a parser */
9468
9469 yy_parser *
9470 Perl_parser_dup(pTHX_ const yy_parser *proto, CLONE_PARAMS* param)
9471 {
9472     yy_parser *parser;
9473
9474     if (!proto)
9475         return NULL;
9476
9477     /* look for it in the table first */
9478     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
9479     if (parser)
9480         return parser;
9481
9482     /* create anew and remember what it is */
9483     Newxz(parser, 1, yy_parser);
9484     ptr_table_store(PL_ptr_table, proto, parser);
9485
9486     parser->yyerrstatus = 0;
9487     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
9488
9489     /* XXX these not yet duped */
9490     parser->old_parser = NULL;
9491     parser->stack = NULL;
9492     parser->ps = NULL;
9493     parser->stack_size = 0;
9494     /* XXX parser->stack->state = 0; */
9495
9496     /* XXX eventually, just Copy() most of the parser struct ? */
9497
9498     parser->lex_brackets = proto->lex_brackets;
9499     parser->lex_casemods = proto->lex_casemods;
9500     parser->lex_brackstack = savepvn(proto->lex_brackstack,
9501                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
9502     parser->lex_casestack = savepvn(proto->lex_casestack,
9503                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
9504     parser->lex_defer   = proto->lex_defer;
9505     parser->lex_dojoin  = proto->lex_dojoin;
9506     parser->lex_expect  = proto->lex_expect;
9507     parser->lex_formbrack = proto->lex_formbrack;
9508     parser->lex_inpat   = proto->lex_inpat;
9509     parser->lex_inwhat  = proto->lex_inwhat;
9510     parser->lex_op      = proto->lex_op;
9511     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
9512     parser->lex_starts  = proto->lex_starts;
9513     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
9514     parser->multi_close = proto->multi_close;
9515     parser->multi_open  = proto->multi_open;
9516     parser->multi_start = proto->multi_start;
9517     parser->pending_ident = proto->pending_ident;
9518     parser->preambled   = proto->preambled;
9519     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
9520
9521 #ifdef PERL_MAD
9522     parser->endwhite    = proto->endwhite;
9523     parser->faketokens  = proto->faketokens;
9524     parser->lasttoke    = proto->lasttoke;
9525     parser->nextwhite   = proto->nextwhite;
9526     parser->realtokenstart = proto->realtokenstart;
9527     parser->skipwhite   = proto->skipwhite;
9528     parser->thisclose   = proto->thisclose;
9529     parser->thismad     = proto->thismad;
9530     parser->thisopen    = proto->thisopen;
9531     parser->thisstuff   = proto->thisstuff;
9532     parser->thistoken   = proto->thistoken;
9533     parser->thiswhite   = proto->thiswhite;
9534 #endif
9535     return parser;
9536 }
9537
9538
9539 /* duplicate a file handle */
9540
9541 PerlIO *
9542 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9543 {
9544     PerlIO *ret;
9545
9546     PERL_UNUSED_ARG(type);
9547
9548     if (!fp)
9549         return (PerlIO*)NULL;
9550
9551     /* look for it in the table first */
9552     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9553     if (ret)
9554         return ret;
9555
9556     /* create anew and remember what it is */
9557     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9558     ptr_table_store(PL_ptr_table, fp, ret);
9559     return ret;
9560 }
9561
9562 /* duplicate a directory handle */
9563
9564 DIR *
9565 Perl_dirp_dup(pTHX_ DIR *dp)
9566 {
9567     PERL_UNUSED_CONTEXT;
9568     if (!dp)
9569         return (DIR*)NULL;
9570     /* XXX TODO */
9571     return dp;
9572 }
9573
9574 /* duplicate a typeglob */
9575
9576 GP *
9577 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9578 {
9579     GP *ret;
9580
9581     if (!gp)
9582         return (GP*)NULL;
9583     /* look for it in the table first */
9584     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9585     if (ret)
9586         return ret;
9587
9588     /* create anew and remember what it is */
9589     Newxz(ret, 1, GP);
9590     ptr_table_store(PL_ptr_table, gp, ret);
9591
9592     /* clone */
9593     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9594     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9595     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9596     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9597     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9598     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9599     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9600     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9601     ret->gp_cvgen       = gp->gp_cvgen;
9602     ret->gp_line        = gp->gp_line;
9603     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
9604     return ret;
9605 }
9606
9607 /* duplicate a chain of magic */
9608
9609 MAGIC *
9610 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9611 {
9612     MAGIC *mgprev = (MAGIC*)NULL;
9613     MAGIC *mgret;
9614     if (!mg)
9615         return (MAGIC*)NULL;
9616     /* look for it in the table first */
9617     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9618     if (mgret)
9619         return mgret;
9620
9621     for (; mg; mg = mg->mg_moremagic) {
9622         MAGIC *nmg;
9623         Newxz(nmg, 1, MAGIC);
9624         if (mgprev)
9625             mgprev->mg_moremagic = nmg;
9626         else
9627             mgret = nmg;
9628         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9629         nmg->mg_private = mg->mg_private;
9630         nmg->mg_type    = mg->mg_type;
9631         nmg->mg_flags   = mg->mg_flags;
9632         if (mg->mg_type == PERL_MAGIC_qr) {
9633             nmg->mg_obj = (SV*)CALLREGDUPE((REGEXP*)mg->mg_obj, param);
9634         }
9635         else if(mg->mg_type == PERL_MAGIC_backref) {
9636             /* The backref AV has its reference count deliberately bumped by
9637                1.  */
9638             nmg->mg_obj = SvREFCNT_inc(av_dup_inc((AV*) mg->mg_obj, param));
9639         }
9640         else if (mg->mg_type == PERL_MAGIC_symtab) {
9641             nmg->mg_obj = mg->mg_obj;
9642         }
9643         else {
9644             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9645                               ? sv_dup_inc(mg->mg_obj, param)
9646                               : sv_dup(mg->mg_obj, param);
9647         }
9648         nmg->mg_len     = mg->mg_len;
9649         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9650         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9651             if (mg->mg_len > 0) {
9652                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9653                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9654                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9655                 {
9656                     const AMT * const amtp = (AMT*)mg->mg_ptr;
9657                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9658                     I32 i;
9659                     for (i = 1; i < NofAMmeth; i++) {
9660                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9661                     }
9662                 }
9663             }
9664             else if (mg->mg_len == HEf_SVKEY)
9665                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9666         }
9667         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9668             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9669         }
9670         mgprev = nmg;
9671     }
9672     return mgret;
9673 }
9674
9675 #endif /* USE_ITHREADS */
9676
9677 /* create a new pointer-mapping table */
9678
9679 PTR_TBL_t *
9680 Perl_ptr_table_new(pTHX)
9681 {
9682     PTR_TBL_t *tbl;
9683     PERL_UNUSED_CONTEXT;
9684
9685     Newxz(tbl, 1, PTR_TBL_t);
9686     tbl->tbl_max        = 511;
9687     tbl->tbl_items      = 0;
9688     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9689     return tbl;
9690 }
9691
9692 #define PTR_TABLE_HASH(ptr) \
9693   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
9694
9695 /* 
9696    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9697    following define) and at call to new_body_inline made below in 
9698    Perl_ptr_table_store()
9699  */
9700
9701 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9702
9703 /* map an existing pointer using a table */
9704
9705 STATIC PTR_TBL_ENT_t *
9706 S_ptr_table_find(PTR_TBL_t *tbl, const void *sv) {
9707     PTR_TBL_ENT_t *tblent;
9708     const UV hash = PTR_TABLE_HASH(sv);
9709     assert(tbl);
9710     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9711     for (; tblent; tblent = tblent->next) {
9712         if (tblent->oldval == sv)
9713             return tblent;
9714     }
9715     return NULL;
9716 }
9717
9718 void *
9719 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9720 {
9721     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
9722     PERL_UNUSED_CONTEXT;
9723     return tblent ? tblent->newval : NULL;
9724 }
9725
9726 /* add a new entry to a pointer-mapping table */
9727
9728 void
9729 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9730 {
9731     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
9732     PERL_UNUSED_CONTEXT;
9733
9734     if (tblent) {
9735         tblent->newval = newsv;
9736     } else {
9737         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
9738
9739         new_body_inline(tblent, PTE_SVSLOT);
9740
9741         tblent->oldval = oldsv;
9742         tblent->newval = newsv;
9743         tblent->next = tbl->tbl_ary[entry];
9744         tbl->tbl_ary[entry] = tblent;
9745         tbl->tbl_items++;
9746         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
9747             ptr_table_split(tbl);
9748     }
9749 }
9750
9751 /* double the hash bucket size of an existing ptr table */
9752
9753 void
9754 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9755 {
9756     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9757     const UV oldsize = tbl->tbl_max + 1;
9758     UV newsize = oldsize * 2;
9759     UV i;
9760     PERL_UNUSED_CONTEXT;
9761
9762     Renew(ary, newsize, PTR_TBL_ENT_t*);
9763     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9764     tbl->tbl_max = --newsize;
9765     tbl->tbl_ary = ary;
9766     for (i=0; i < oldsize; i++, ary++) {
9767         PTR_TBL_ENT_t **curentp, **entp, *ent;
9768         if (!*ary)
9769             continue;
9770         curentp = ary + oldsize;
9771         for (entp = ary, ent = *ary; ent; ent = *entp) {
9772             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9773                 *entp = ent->next;
9774                 ent->next = *curentp;
9775                 *curentp = ent;
9776                 continue;
9777             }
9778             else
9779                 entp = &ent->next;
9780         }
9781     }
9782 }
9783
9784 /* remove all the entries from a ptr table */
9785
9786 void
9787 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9788 {
9789     if (tbl && tbl->tbl_items) {
9790         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
9791         UV riter = tbl->tbl_max;
9792
9793         do {
9794             PTR_TBL_ENT_t *entry = array[riter];
9795
9796             while (entry) {
9797                 PTR_TBL_ENT_t * const oentry = entry;
9798                 entry = entry->next;
9799                 del_pte(oentry);
9800             }
9801         } while (riter--);
9802
9803         tbl->tbl_items = 0;
9804     }
9805 }
9806
9807 /* clear and free a ptr table */
9808
9809 void
9810 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9811 {
9812     if (!tbl) {
9813         return;
9814     }
9815     ptr_table_clear(tbl);
9816     Safefree(tbl->tbl_ary);
9817     Safefree(tbl);
9818 }
9819
9820 #if defined(USE_ITHREADS)
9821
9822 void
9823 Perl_rvpv_dup(pTHX_ SV *dstr, const SV *sstr, CLONE_PARAMS* param)
9824 {
9825     if (SvROK(sstr)) {
9826         SvRV_set(dstr, SvWEAKREF(sstr)
9827                        ? sv_dup(SvRV(sstr), param)
9828                        : sv_dup_inc(SvRV(sstr), param));
9829
9830     }
9831     else if (SvPVX_const(sstr)) {
9832         /* Has something there */
9833         if (SvLEN(sstr)) {
9834             /* Normal PV - clone whole allocated space */
9835             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
9836             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
9837                 /* Not that normal - actually sstr is copy on write.
9838                    But we are a true, independant SV, so:  */
9839                 SvREADONLY_off(dstr);
9840                 SvFAKE_off(dstr);
9841             }
9842         }
9843         else {
9844             /* Special case - not normally malloced for some reason */
9845             if (isGV_with_GP(sstr)) {
9846                 /* Don't need to do anything here.  */
9847             }
9848             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
9849                 /* A "shared" PV - clone it as "shared" PV */
9850                 SvPV_set(dstr,
9851                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
9852                                          param)));
9853             }
9854             else {
9855                 /* Some other special case - random pointer */
9856                 SvPV_set(dstr, SvPVX(sstr));            
9857             }
9858         }
9859     }
9860     else {
9861         /* Copy the NULL */
9862         if (SvTYPE(dstr) == SVt_RV)
9863             SvRV_set(dstr, NULL);
9864         else
9865             SvPV_set(dstr, NULL);
9866     }
9867 }
9868
9869 /* duplicate an SV of any type (including AV, HV etc) */
9870
9871 SV *
9872 Perl_sv_dup(pTHX_ const SV *sstr, CLONE_PARAMS* param)
9873 {
9874     dVAR;
9875     SV *dstr;
9876
9877     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
9878         return NULL;
9879     /* look for it in the table first */
9880     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
9881     if (dstr)
9882         return dstr;
9883
9884     if(param->flags & CLONEf_JOIN_IN) {
9885         /** We are joining here so we don't want do clone
9886             something that is bad **/
9887         if (SvTYPE(sstr) == SVt_PVHV) {
9888             const char * const hvname = HvNAME_get(sstr);
9889             if (hvname)
9890                 /** don't clone stashes if they already exist **/
9891                 return (SV*)gv_stashpv(hvname,0);
9892         }
9893     }
9894
9895     /* create anew and remember what it is */
9896     new_SV(dstr);
9897
9898 #ifdef DEBUG_LEAKING_SCALARS
9899     dstr->sv_debug_optype = sstr->sv_debug_optype;
9900     dstr->sv_debug_line = sstr->sv_debug_line;
9901     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
9902     dstr->sv_debug_cloned = 1;
9903     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
9904 #endif
9905
9906     ptr_table_store(PL_ptr_table, sstr, dstr);
9907
9908     /* clone */
9909     SvFLAGS(dstr)       = SvFLAGS(sstr);
9910     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
9911     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
9912
9913 #ifdef DEBUGGING
9914     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
9915         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
9916                       (void*)PL_watch_pvx, SvPVX_const(sstr));
9917 #endif
9918
9919     /* don't clone objects whose class has asked us not to */
9920     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
9921         SvFLAGS(dstr) &= ~SVTYPEMASK;
9922         SvOBJECT_off(dstr);
9923         return dstr;
9924     }
9925
9926     switch (SvTYPE(sstr)) {
9927     case SVt_NULL:
9928         SvANY(dstr)     = NULL;
9929         break;
9930     case SVt_IV:
9931         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
9932         SvIV_set(dstr, SvIVX(sstr));
9933         break;
9934     case SVt_NV:
9935         SvANY(dstr)     = new_XNV();
9936         SvNV_set(dstr, SvNVX(sstr));
9937         break;
9938     case SVt_RV:
9939         SvANY(dstr)     = &(dstr->sv_u.svu_rv);
9940         Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9941         break;
9942         /* case SVt_BIND: */
9943     default:
9944         {
9945             /* These are all the types that need complex bodies allocating.  */
9946             void *new_body;
9947             const svtype sv_type = SvTYPE(sstr);
9948             const struct body_details *const sv_type_details
9949                 = bodies_by_type + sv_type;
9950
9951             switch (sv_type) {
9952             default:
9953                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
9954                 break;
9955
9956             case SVt_PVGV:
9957                 if (GvUNIQUE((GV*)sstr)) {
9958                     NOOP;   /* Do sharing here, and fall through */
9959                 }
9960             case SVt_PVIO:
9961             case SVt_PVFM:
9962             case SVt_PVHV:
9963             case SVt_PVAV:
9964             case SVt_PVCV:
9965             case SVt_PVLV:
9966             case SVt_PVMG:
9967             case SVt_PVNV:
9968             case SVt_PVIV:
9969             case SVt_PV:
9970                 assert(sv_type_details->body_size);
9971                 if (sv_type_details->arena) {
9972                     new_body_inline(new_body, sv_type);
9973                     new_body
9974                         = (void*)((char*)new_body - sv_type_details->offset);
9975                 } else {
9976                     new_body = new_NOARENA(sv_type_details);
9977                 }
9978             }
9979             assert(new_body);
9980             SvANY(dstr) = new_body;
9981
9982 #ifndef PURIFY
9983             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
9984                  ((char*)SvANY(dstr)) + sv_type_details->offset,
9985                  sv_type_details->copy, char);
9986 #else
9987             Copy(((char*)SvANY(sstr)),
9988                  ((char*)SvANY(dstr)),
9989                  sv_type_details->body_size + sv_type_details->offset, char);
9990 #endif
9991
9992             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
9993                 && !isGV_with_GP(dstr))
9994                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9995
9996             /* The Copy above means that all the source (unduplicated) pointers
9997                are now in the destination.  We can check the flags and the
9998                pointers in either, but it's possible that there's less cache
9999                missing by always going for the destination.
10000                FIXME - instrument and check that assumption  */
10001             if (sv_type >= SVt_PVMG) {
10002                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10003                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10004                 } else if (SvMAGIC(dstr))
10005                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10006                 if (SvSTASH(dstr))
10007                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10008             }
10009
10010             /* The cast silences a GCC warning about unhandled types.  */
10011             switch ((int)sv_type) {
10012             case SVt_PV:
10013                 break;
10014             case SVt_PVIV:
10015                 break;
10016             case SVt_PVNV:
10017                 break;
10018             case SVt_PVMG:
10019                 break;
10020             case SVt_PVLV:
10021                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
10022                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
10023                     LvTARG(dstr) = dstr;
10024                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
10025                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
10026                 else
10027                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
10028             case SVt_PVGV:
10029                 if(isGV_with_GP(sstr)) {
10030                     if (GvNAME_HEK(dstr))
10031                         GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
10032                     /* Don't call sv_add_backref here as it's going to be
10033                        created as part of the magic cloning of the symbol
10034                        table.  */
10035                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
10036                        at the point of this comment.  */
10037                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
10038                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
10039                     (void)GpREFCNT_inc(GvGP(dstr));
10040                 } else
10041                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10042                 break;
10043             case SVt_PVIO:
10044                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
10045                 if (IoOFP(dstr) == IoIFP(sstr))
10046                     IoOFP(dstr) = IoIFP(dstr);
10047                 else
10048                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
10049                 /* PL_rsfp_filters entries have fake IoDIRP() */
10050                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
10051                     /* I have no idea why fake dirp (rsfps)
10052                        should be treated differently but otherwise
10053                        we end up with leaks -- sky*/
10054                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
10055                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
10056                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
10057                 } else {
10058                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
10059                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
10060                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
10061                     if (IoDIRP(dstr)) {
10062                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
10063                     } else {
10064                         NOOP;
10065                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
10066                     }
10067                 }
10068                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
10069                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
10070                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
10071                 break;
10072             case SVt_PVAV:
10073                 if (AvARRAY((AV*)sstr)) {
10074                     SV **dst_ary, **src_ary;
10075                     SSize_t items = AvFILLp((AV*)sstr) + 1;
10076
10077                     src_ary = AvARRAY((AV*)sstr);
10078                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
10079                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
10080                     AvARRAY((AV*)dstr) = dst_ary;
10081                     AvALLOC((AV*)dstr) = dst_ary;
10082                     if (AvREAL((AV*)sstr)) {
10083                         while (items-- > 0)
10084                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
10085                     }
10086                     else {
10087                         while (items-- > 0)
10088                             *dst_ary++ = sv_dup(*src_ary++, param);
10089                     }
10090                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
10091                     while (items-- > 0) {
10092                         *dst_ary++ = &PL_sv_undef;
10093                     }
10094                 }
10095                 else {
10096                     AvARRAY((AV*)dstr)  = NULL;
10097                     AvALLOC((AV*)dstr)  = (SV**)NULL;
10098                 }
10099                 break;
10100             case SVt_PVHV:
10101                 if (HvARRAY((HV*)sstr)) {
10102                     STRLEN i = 0;
10103                     const bool sharekeys = !!HvSHAREKEYS(sstr);
10104                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
10105                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
10106                     char *darray;
10107                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
10108                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
10109                         char);
10110                     HvARRAY(dstr) = (HE**)darray;
10111                     while (i <= sxhv->xhv_max) {
10112                         const HE * const source = HvARRAY(sstr)[i];
10113                         HvARRAY(dstr)[i] = source
10114                             ? he_dup(source, sharekeys, param) : 0;
10115                         ++i;
10116                     }
10117                     if (SvOOK(sstr)) {
10118                         HEK *hvname;
10119                         const struct xpvhv_aux * const saux = HvAUX(sstr);
10120                         struct xpvhv_aux * const daux = HvAUX(dstr);
10121                         /* This flag isn't copied.  */
10122                         /* SvOOK_on(hv) attacks the IV flags.  */
10123                         SvFLAGS(dstr) |= SVf_OOK;
10124
10125                         hvname = saux->xhv_name;
10126                         daux->xhv_name = hvname ? hek_dup(hvname, param) : hvname;
10127
10128                         daux->xhv_riter = saux->xhv_riter;
10129                         daux->xhv_eiter = saux->xhv_eiter
10130                             ? he_dup(saux->xhv_eiter,
10131                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
10132                         daux->xhv_backreferences =
10133                             saux->xhv_backreferences
10134                                 ? (AV*) SvREFCNT_inc(
10135                                         sv_dup((SV*)saux->xhv_backreferences, param))
10136                                 : 0;
10137                         /* Record stashes for possible cloning in Perl_clone(). */
10138                         if (hvname)
10139                             av_push(param->stashes, dstr);
10140                     }
10141                 }
10142                 else
10143                     HvARRAY((HV*)dstr) = NULL;
10144                 break;
10145             case SVt_PVCV:
10146                 if (!(param->flags & CLONEf_COPY_STACKS)) {
10147                     CvDEPTH(dstr) = 0;
10148                 }
10149             case SVt_PVFM:
10150                 /* NOTE: not refcounted */
10151                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
10152                 OP_REFCNT_LOCK;
10153                 if (!CvISXSUB(dstr))
10154                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
10155                 OP_REFCNT_UNLOCK;
10156                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
10157                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
10158                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
10159                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
10160                 }
10161                 /* don't dup if copying back - CvGV isn't refcounted, so the
10162                  * duped GV may never be freed. A bit of a hack! DAPM */
10163                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
10164                     NULL : gv_dup(CvGV(dstr), param) ;
10165                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
10166                 CvOUTSIDE(dstr) =
10167                     CvWEAKOUTSIDE(sstr)
10168                     ? cv_dup(    CvOUTSIDE(dstr), param)
10169                     : cv_dup_inc(CvOUTSIDE(dstr), param);
10170                 if (!CvISXSUB(dstr))
10171                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
10172                 break;
10173             }
10174         }
10175     }
10176
10177     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
10178         ++PL_sv_objcount;
10179
10180     return dstr;
10181  }
10182
10183 /* duplicate a context */
10184
10185 PERL_CONTEXT *
10186 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
10187 {
10188     PERL_CONTEXT *ncxs;
10189
10190     if (!cxs)
10191         return (PERL_CONTEXT*)NULL;
10192
10193     /* look for it in the table first */
10194     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
10195     if (ncxs)
10196         return ncxs;
10197
10198     /* create anew and remember what it is */
10199     Newxz(ncxs, max + 1, PERL_CONTEXT);
10200     ptr_table_store(PL_ptr_table, cxs, ncxs);
10201
10202     while (ix >= 0) {
10203         PERL_CONTEXT * const cx = &cxs[ix];
10204         PERL_CONTEXT * const ncx = &ncxs[ix];
10205         ncx->cx_type    = cx->cx_type;
10206         if (CxTYPE(cx) == CXt_SUBST) {
10207             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
10208         }
10209         else {
10210             ncx->blk_oldsp      = cx->blk_oldsp;
10211             ncx->blk_oldcop     = cx->blk_oldcop;
10212             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
10213             ncx->blk_oldscopesp = cx->blk_oldscopesp;
10214             ncx->blk_oldpm      = cx->blk_oldpm;
10215             ncx->blk_gimme      = cx->blk_gimme;
10216             switch (CxTYPE(cx)) {
10217             case CXt_SUB:
10218                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
10219                                            ? cv_dup_inc(cx->blk_sub.cv, param)
10220                                            : cv_dup(cx->blk_sub.cv,param));
10221                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
10222                                            ? av_dup_inc(cx->blk_sub.argarray, param)
10223                                            : NULL);
10224                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
10225                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
10226                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10227                 ncx->blk_sub.lval       = cx->blk_sub.lval;
10228                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10229                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
10230                                            cx->blk_sub.oldcomppad);
10231                 break;
10232             case CXt_EVAL:
10233                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
10234                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
10235                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
10236                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
10237                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
10238                 ncx->blk_eval.retop = cx->blk_eval.retop;
10239                 break;
10240             case CXt_LOOP:
10241                 ncx->blk_loop.label     = cx->blk_loop.label;
10242                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
10243                 ncx->blk_loop.my_op     = cx->blk_loop.my_op;
10244                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
10245                                            ? cx->blk_loop.iterdata
10246                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
10247                 ncx->blk_loop.oldcomppad
10248                     = (PAD*)ptr_table_fetch(PL_ptr_table,
10249                                             cx->blk_loop.oldcomppad);
10250                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
10251                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
10252                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
10253                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
10254                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
10255                 break;
10256             case CXt_FORMAT:
10257                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
10258                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
10259                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
10260                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10261                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10262                 break;
10263             case CXt_BLOCK:
10264             case CXt_NULL:
10265                 break;
10266             }
10267         }
10268         --ix;
10269     }
10270     return ncxs;
10271 }
10272
10273 /* duplicate a stack info structure */
10274
10275 PERL_SI *
10276 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
10277 {
10278     PERL_SI *nsi;
10279
10280     if (!si)
10281         return (PERL_SI*)NULL;
10282
10283     /* look for it in the table first */
10284     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
10285     if (nsi)
10286         return nsi;
10287
10288     /* create anew and remember what it is */
10289     Newxz(nsi, 1, PERL_SI);
10290     ptr_table_store(PL_ptr_table, si, nsi);
10291
10292     nsi->si_stack       = av_dup_inc(si->si_stack, param);
10293     nsi->si_cxix        = si->si_cxix;
10294     nsi->si_cxmax       = si->si_cxmax;
10295     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
10296     nsi->si_type        = si->si_type;
10297     nsi->si_prev        = si_dup(si->si_prev, param);
10298     nsi->si_next        = si_dup(si->si_next, param);
10299     nsi->si_markoff     = si->si_markoff;
10300
10301     return nsi;
10302 }
10303
10304 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
10305 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
10306 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
10307 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
10308 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
10309 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
10310 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
10311 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
10312 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
10313 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
10314 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
10315 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
10316 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
10317 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
10318
10319 /* XXXXX todo */
10320 #define pv_dup_inc(p)   SAVEPV(p)
10321 #define pv_dup(p)       SAVEPV(p)
10322 #define svp_dup_inc(p,pp)       any_dup(p,pp)
10323
10324 /* map any object to the new equivent - either something in the
10325  * ptr table, or something in the interpreter structure
10326  */
10327
10328 void *
10329 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
10330 {
10331     void *ret;
10332
10333     if (!v)
10334         return (void*)NULL;
10335
10336     /* look for it in the table first */
10337     ret = ptr_table_fetch(PL_ptr_table, v);
10338     if (ret)
10339         return ret;
10340
10341     /* see if it is part of the interpreter structure */
10342     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
10343         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
10344     else {
10345         ret = v;
10346     }
10347
10348     return ret;
10349 }
10350
10351 /* duplicate the save stack */
10352
10353 ANY *
10354 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
10355 {
10356     dVAR;
10357     ANY * const ss      = proto_perl->Tsavestack;
10358     const I32 max       = proto_perl->Tsavestack_max;
10359     I32 ix              = proto_perl->Tsavestack_ix;
10360     ANY *nss;
10361     SV *sv;
10362     GV *gv;
10363     AV *av;
10364     HV *hv;
10365     void* ptr;
10366     int intval;
10367     long longval;
10368     GP *gp;
10369     IV iv;
10370     I32 i;
10371     char *c = NULL;
10372     void (*dptr) (void*);
10373     void (*dxptr) (pTHX_ void*);
10374
10375     Newxz(nss, max, ANY);
10376
10377     while (ix > 0) {
10378         const I32 type = POPINT(ss,ix);
10379         TOPINT(nss,ix) = type;
10380         switch (type) {
10381         case SAVEt_HELEM:               /* hash element */
10382             sv = (SV*)POPPTR(ss,ix);
10383             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10384             /* fall through */
10385         case SAVEt_ITEM:                        /* normal string */
10386         case SAVEt_SV:                          /* scalar reference */
10387             sv = (SV*)POPPTR(ss,ix);
10388             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10389             /* fall through */
10390         case SAVEt_FREESV:
10391         case SAVEt_MORTALIZESV:
10392             sv = (SV*)POPPTR(ss,ix);
10393             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10394             break;
10395         case SAVEt_SHARED_PVREF:                /* char* in shared space */
10396             c = (char*)POPPTR(ss,ix);
10397             TOPPTR(nss,ix) = savesharedpv(c);
10398             ptr = POPPTR(ss,ix);
10399             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10400             break;
10401         case SAVEt_GENERIC_SVREF:               /* generic sv */
10402         case SAVEt_SVREF:                       /* scalar reference */
10403             sv = (SV*)POPPTR(ss,ix);
10404             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10405             ptr = POPPTR(ss,ix);
10406             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
10407             break;
10408         case SAVEt_HV:                          /* hash reference */
10409         case SAVEt_AV:                          /* array reference */
10410             sv = (SV*) POPPTR(ss,ix);
10411             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10412             /* fall through */
10413         case SAVEt_COMPPAD:
10414         case SAVEt_NSTAB:
10415             sv = (SV*) POPPTR(ss,ix);
10416             TOPPTR(nss,ix) = sv_dup(sv, param);
10417             break;
10418         case SAVEt_INT:                         /* int reference */
10419             ptr = POPPTR(ss,ix);
10420             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10421             intval = (int)POPINT(ss,ix);
10422             TOPINT(nss,ix) = intval;
10423             break;
10424         case SAVEt_LONG:                        /* long reference */
10425             ptr = POPPTR(ss,ix);
10426             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10427             /* fall through */
10428         case SAVEt_CLEARSV:
10429             longval = (long)POPLONG(ss,ix);
10430             TOPLONG(nss,ix) = longval;
10431             break;
10432         case SAVEt_I32:                         /* I32 reference */
10433         case SAVEt_I16:                         /* I16 reference */
10434         case SAVEt_I8:                          /* I8 reference */
10435         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
10436             ptr = POPPTR(ss,ix);
10437             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10438             i = POPINT(ss,ix);
10439             TOPINT(nss,ix) = i;
10440             break;
10441         case SAVEt_IV:                          /* IV reference */
10442             ptr = POPPTR(ss,ix);
10443             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10444             iv = POPIV(ss,ix);
10445             TOPIV(nss,ix) = iv;
10446             break;
10447         case SAVEt_HPTR:                        /* HV* reference */
10448         case SAVEt_APTR:                        /* AV* reference */
10449         case SAVEt_SPTR:                        /* SV* reference */
10450             ptr = POPPTR(ss,ix);
10451             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10452             sv = (SV*)POPPTR(ss,ix);
10453             TOPPTR(nss,ix) = sv_dup(sv, param);
10454             break;
10455         case SAVEt_VPTR:                        /* random* reference */
10456             ptr = POPPTR(ss,ix);
10457             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10458             ptr = POPPTR(ss,ix);
10459             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10460             break;
10461         case SAVEt_GENERIC_PVREF:               /* generic char* */
10462         case SAVEt_PPTR:                        /* char* reference */
10463             ptr = POPPTR(ss,ix);
10464             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10465             c = (char*)POPPTR(ss,ix);
10466             TOPPTR(nss,ix) = pv_dup(c);
10467             break;
10468         case SAVEt_GP:                          /* scalar reference */
10469             gp = (GP*)POPPTR(ss,ix);
10470             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
10471             (void)GpREFCNT_inc(gp);
10472             gv = (GV*)POPPTR(ss,ix);
10473             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
10474             break;
10475         case SAVEt_FREEOP:
10476             ptr = POPPTR(ss,ix);
10477             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10478                 /* these are assumed to be refcounted properly */
10479                 OP *o;
10480                 switch (((OP*)ptr)->op_type) {
10481                 case OP_LEAVESUB:
10482                 case OP_LEAVESUBLV:
10483                 case OP_LEAVEEVAL:
10484                 case OP_LEAVE:
10485                 case OP_SCOPE:
10486                 case OP_LEAVEWRITE:
10487                     TOPPTR(nss,ix) = ptr;
10488                     o = (OP*)ptr;
10489                     OP_REFCNT_LOCK;
10490                     OpREFCNT_inc(o);
10491                     OP_REFCNT_UNLOCK;
10492                     break;
10493                 default:
10494                     TOPPTR(nss,ix) = NULL;
10495                     break;
10496                 }
10497             }
10498             else
10499                 TOPPTR(nss,ix) = NULL;
10500             break;
10501         case SAVEt_FREEPV:
10502             c = (char*)POPPTR(ss,ix);
10503             TOPPTR(nss,ix) = pv_dup_inc(c);
10504             break;
10505         case SAVEt_DELETE:
10506             hv = (HV*)POPPTR(ss,ix);
10507             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10508             c = (char*)POPPTR(ss,ix);
10509             TOPPTR(nss,ix) = pv_dup_inc(c);
10510             /* fall through */
10511         case SAVEt_STACK_POS:           /* Position on Perl stack */
10512             i = POPINT(ss,ix);
10513             TOPINT(nss,ix) = i;
10514             break;
10515         case SAVEt_DESTRUCTOR:
10516             ptr = POPPTR(ss,ix);
10517             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10518             dptr = POPDPTR(ss,ix);
10519             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10520                                         any_dup(FPTR2DPTR(void *, dptr),
10521                                                 proto_perl));
10522             break;
10523         case SAVEt_DESTRUCTOR_X:
10524             ptr = POPPTR(ss,ix);
10525             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10526             dxptr = POPDXPTR(ss,ix);
10527             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10528                                          any_dup(FPTR2DPTR(void *, dxptr),
10529                                                  proto_perl));
10530             break;
10531         case SAVEt_REGCONTEXT:
10532         case SAVEt_ALLOC:
10533             i = POPINT(ss,ix);
10534             TOPINT(nss,ix) = i;
10535             ix -= i;
10536             break;
10537         case SAVEt_AELEM:               /* array element */
10538             sv = (SV*)POPPTR(ss,ix);
10539             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10540             i = POPINT(ss,ix);
10541             TOPINT(nss,ix) = i;
10542             av = (AV*)POPPTR(ss,ix);
10543             TOPPTR(nss,ix) = av_dup_inc(av, param);
10544             break;
10545         case SAVEt_OP:
10546             ptr = POPPTR(ss,ix);
10547             TOPPTR(nss,ix) = ptr;
10548             break;
10549         case SAVEt_HINTS:
10550             i = POPINT(ss,ix);
10551             TOPINT(nss,ix) = i;
10552             ptr = POPPTR(ss,ix);
10553             if (ptr) {
10554                 HINTS_REFCNT_LOCK;
10555                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
10556                 HINTS_REFCNT_UNLOCK;
10557             }
10558             TOPPTR(nss,ix) = ptr;
10559             if (i & HINT_LOCALIZE_HH) {
10560                 hv = (HV*)POPPTR(ss,ix);
10561                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10562             }
10563             break;
10564         case SAVEt_PADSV:
10565             longval = (long)POPLONG(ss,ix);
10566             TOPLONG(nss,ix) = longval;
10567             ptr = POPPTR(ss,ix);
10568             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10569             sv = (SV*)POPPTR(ss,ix);
10570             TOPPTR(nss,ix) = sv_dup(sv, param);
10571             break;
10572         case SAVEt_BOOL:
10573             ptr = POPPTR(ss,ix);
10574             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10575             longval = (long)POPBOOL(ss,ix);
10576             TOPBOOL(nss,ix) = (bool)longval;
10577             break;
10578         case SAVEt_SET_SVFLAGS:
10579             i = POPINT(ss,ix);
10580             TOPINT(nss,ix) = i;
10581             i = POPINT(ss,ix);
10582             TOPINT(nss,ix) = i;
10583             sv = (SV*)POPPTR(ss,ix);
10584             TOPPTR(nss,ix) = sv_dup(sv, param);
10585             break;
10586         case SAVEt_RE_STATE:
10587             {
10588                 const struct re_save_state *const old_state
10589                     = (struct re_save_state *)
10590                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10591                 struct re_save_state *const new_state
10592                     = (struct re_save_state *)
10593                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10594
10595                 Copy(old_state, new_state, 1, struct re_save_state);
10596                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
10597
10598                 new_state->re_state_bostr
10599                     = pv_dup(old_state->re_state_bostr);
10600                 new_state->re_state_reginput
10601                     = pv_dup(old_state->re_state_reginput);
10602                 new_state->re_state_regeol
10603                     = pv_dup(old_state->re_state_regeol);
10604                 new_state->re_state_regstartp
10605                     = (I32*) any_dup(old_state->re_state_regstartp, proto_perl);
10606                 new_state->re_state_regendp
10607                     = (I32*) any_dup(old_state->re_state_regendp, proto_perl);
10608                 new_state->re_state_reglastparen
10609                     = (U32*) any_dup(old_state->re_state_reglastparen, 
10610                               proto_perl);
10611                 new_state->re_state_reglastcloseparen
10612                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
10613                               proto_perl);
10614                 /* XXX This just has to be broken. The old save_re_context
10615                    code did SAVEGENERICPV(PL_reg_start_tmp);
10616                    PL_reg_start_tmp is char **.
10617                    Look above to what the dup code does for
10618                    SAVEt_GENERIC_PVREF
10619                    It can never have worked.
10620                    So this is merely a faithful copy of the exiting bug:  */
10621                 new_state->re_state_reg_start_tmp
10622                     = (char **) pv_dup((char *)
10623                                       old_state->re_state_reg_start_tmp);
10624                 /* I assume that it only ever "worked" because no-one called
10625                    (pseudo)fork while the regexp engine had re-entered itself.
10626                 */
10627 #ifdef PERL_OLD_COPY_ON_WRITE
10628                 new_state->re_state_nrs
10629                     = sv_dup(old_state->re_state_nrs, param);
10630 #endif
10631                 new_state->re_state_reg_magic
10632                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
10633                                proto_perl);
10634                 new_state->re_state_reg_oldcurpm
10635                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
10636                               proto_perl);
10637                 new_state->re_state_reg_curpm
10638                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
10639                                proto_perl);
10640                 new_state->re_state_reg_oldsaved
10641                     = pv_dup(old_state->re_state_reg_oldsaved);
10642                 new_state->re_state_reg_poscache
10643                     = pv_dup(old_state->re_state_reg_poscache);
10644                 new_state->re_state_reg_starttry
10645                     = pv_dup(old_state->re_state_reg_starttry);
10646                 break;
10647             }
10648         case SAVEt_COMPILE_WARNINGS:
10649             ptr = POPPTR(ss,ix);
10650             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
10651             break;
10652         case SAVEt_PARSER:
10653             ptr = POPPTR(ss,ix);
10654             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
10655             break;
10656         default:
10657             Perl_croak(aTHX_
10658                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
10659         }
10660     }
10661
10662     return nss;
10663 }
10664
10665
10666 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10667  * flag to the result. This is done for each stash before cloning starts,
10668  * so we know which stashes want their objects cloned */
10669
10670 static void
10671 do_mark_cloneable_stash(pTHX_ SV *sv)
10672 {
10673     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10674     if (hvname) {
10675         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10676         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10677         if (cloner && GvCV(cloner)) {
10678             dSP;
10679             UV status;
10680
10681             ENTER;
10682             SAVETMPS;
10683             PUSHMARK(SP);
10684             XPUSHs(sv_2mortal(newSVhek(hvname)));
10685             PUTBACK;
10686             call_sv((SV*)GvCV(cloner), G_SCALAR);
10687             SPAGAIN;
10688             status = POPu;
10689             PUTBACK;
10690             FREETMPS;
10691             LEAVE;
10692             if (status)
10693                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10694         }
10695     }
10696 }
10697
10698
10699
10700 /*
10701 =for apidoc perl_clone
10702
10703 Create and return a new interpreter by cloning the current one.
10704
10705 perl_clone takes these flags as parameters:
10706
10707 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10708 without it we only clone the data and zero the stacks,
10709 with it we copy the stacks and the new perl interpreter is
10710 ready to run at the exact same point as the previous one.
10711 The pseudo-fork code uses COPY_STACKS while the
10712 threads->new doesn't.
10713
10714 CLONEf_KEEP_PTR_TABLE
10715 perl_clone keeps a ptr_table with the pointer of the old
10716 variable as a key and the new variable as a value,
10717 this allows it to check if something has been cloned and not
10718 clone it again but rather just use the value and increase the
10719 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10720 the ptr_table using the function
10721 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10722 reason to keep it around is if you want to dup some of your own
10723 variable who are outside the graph perl scans, example of this
10724 code is in threads.xs create
10725
10726 CLONEf_CLONE_HOST
10727 This is a win32 thing, it is ignored on unix, it tells perls
10728 win32host code (which is c++) to clone itself, this is needed on
10729 win32 if you want to run two threads at the same time,
10730 if you just want to do some stuff in a separate perl interpreter
10731 and then throw it away and return to the original one,
10732 you don't need to do anything.
10733
10734 =cut
10735 */
10736
10737 /* XXX the above needs expanding by someone who actually understands it ! */
10738 EXTERN_C PerlInterpreter *
10739 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10740
10741 PerlInterpreter *
10742 perl_clone(PerlInterpreter *proto_perl, UV flags)
10743 {
10744    dVAR;
10745 #ifdef PERL_IMPLICIT_SYS
10746
10747    /* perlhost.h so we need to call into it
10748    to clone the host, CPerlHost should have a c interface, sky */
10749
10750    if (flags & CLONEf_CLONE_HOST) {
10751        return perl_clone_host(proto_perl,flags);
10752    }
10753    return perl_clone_using(proto_perl, flags,
10754                             proto_perl->IMem,
10755                             proto_perl->IMemShared,
10756                             proto_perl->IMemParse,
10757                             proto_perl->IEnv,
10758                             proto_perl->IStdIO,
10759                             proto_perl->ILIO,
10760                             proto_perl->IDir,
10761                             proto_perl->ISock,
10762                             proto_perl->IProc);
10763 }
10764
10765 PerlInterpreter *
10766 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10767                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10768                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10769                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10770                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10771                  struct IPerlProc* ipP)
10772 {
10773     /* XXX many of the string copies here can be optimized if they're
10774      * constants; they need to be allocated as common memory and just
10775      * their pointers copied. */
10776
10777     IV i;
10778     CLONE_PARAMS clone_params;
10779     CLONE_PARAMS* const param = &clone_params;
10780
10781     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10782     /* for each stash, determine whether its objects should be cloned */
10783     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10784     PERL_SET_THX(my_perl);
10785
10786 #  ifdef DEBUGGING
10787     PoisonNew(my_perl, 1, PerlInterpreter);
10788     PL_op = NULL;
10789     PL_curcop = NULL;
10790     PL_markstack = 0;
10791     PL_scopestack = 0;
10792     PL_savestack = 0;
10793     PL_savestack_ix = 0;
10794     PL_savestack_max = -1;
10795     PL_sig_pending = 0;
10796     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10797 #  else /* !DEBUGGING */
10798     Zero(my_perl, 1, PerlInterpreter);
10799 #  endif        /* DEBUGGING */
10800
10801     /* host pointers */
10802     PL_Mem              = ipM;
10803     PL_MemShared        = ipMS;
10804     PL_MemParse         = ipMP;
10805     PL_Env              = ipE;
10806     PL_StdIO            = ipStd;
10807     PL_LIO              = ipLIO;
10808     PL_Dir              = ipD;
10809     PL_Sock             = ipS;
10810     PL_Proc             = ipP;
10811 #else           /* !PERL_IMPLICIT_SYS */
10812     IV i;
10813     CLONE_PARAMS clone_params;
10814     CLONE_PARAMS* param = &clone_params;
10815     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10816     /* for each stash, determine whether its objects should be cloned */
10817     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10818     PERL_SET_THX(my_perl);
10819
10820 #    ifdef DEBUGGING
10821     PoisonNew(my_perl, 1, PerlInterpreter);
10822     PL_op = NULL;
10823     PL_curcop = NULL;
10824     PL_markstack = 0;
10825     PL_scopestack = 0;
10826     PL_savestack = 0;
10827     PL_savestack_ix = 0;
10828     PL_savestack_max = -1;
10829     PL_sig_pending = 0;
10830     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10831 #    else       /* !DEBUGGING */
10832     Zero(my_perl, 1, PerlInterpreter);
10833 #    endif      /* DEBUGGING */
10834 #endif          /* PERL_IMPLICIT_SYS */
10835     param->flags = flags;
10836     param->proto_perl = proto_perl;
10837
10838     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
10839
10840     PL_body_arenas = NULL;
10841     Zero(&PL_body_roots, 1, PL_body_roots);
10842     
10843     PL_nice_chunk       = NULL;
10844     PL_nice_chunk_size  = 0;
10845     PL_sv_count         = 0;
10846     PL_sv_objcount      = 0;
10847     PL_sv_root          = NULL;
10848     PL_sv_arenaroot     = NULL;
10849
10850     PL_debug            = proto_perl->Idebug;
10851
10852     PL_hash_seed        = proto_perl->Ihash_seed;
10853     PL_rehash_seed      = proto_perl->Irehash_seed;
10854
10855 #ifdef USE_REENTRANT_API
10856     /* XXX: things like -Dm will segfault here in perlio, but doing
10857      *  PERL_SET_CONTEXT(proto_perl);
10858      * breaks too many other things
10859      */
10860     Perl_reentrant_init(aTHX);
10861 #endif
10862
10863     /* create SV map for pointer relocation */
10864     PL_ptr_table = ptr_table_new();
10865
10866     /* initialize these special pointers as early as possible */
10867     SvANY(&PL_sv_undef)         = NULL;
10868     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
10869     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
10870     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
10871
10872     SvANY(&PL_sv_no)            = new_XPVNV();
10873     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
10874     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10875                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10876     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
10877     SvCUR_set(&PL_sv_no, 0);
10878     SvLEN_set(&PL_sv_no, 1);
10879     SvIV_set(&PL_sv_no, 0);
10880     SvNV_set(&PL_sv_no, 0);
10881     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
10882
10883     SvANY(&PL_sv_yes)           = new_XPVNV();
10884     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
10885     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10886                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10887     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
10888     SvCUR_set(&PL_sv_yes, 1);
10889     SvLEN_set(&PL_sv_yes, 2);
10890     SvIV_set(&PL_sv_yes, 1);
10891     SvNV_set(&PL_sv_yes, 1);
10892     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
10893
10894     /* create (a non-shared!) shared string table */
10895     PL_strtab           = newHV();
10896     HvSHAREKEYS_off(PL_strtab);
10897     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
10898     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
10899
10900     PL_compiling = proto_perl->Icompiling;
10901
10902     /* These two PVs will be free'd special way so must set them same way op.c does */
10903     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
10904     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
10905
10906     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
10907     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
10908
10909     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
10910     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
10911     if (PL_compiling.cop_hints_hash) {
10912         HINTS_REFCNT_LOCK;
10913         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
10914         HINTS_REFCNT_UNLOCK;
10915     }
10916     PL_curcop           = (COP*)any_dup(proto_perl->Tcurcop, proto_perl);
10917
10918     /* pseudo environmental stuff */
10919     PL_origargc         = proto_perl->Iorigargc;
10920     PL_origargv         = proto_perl->Iorigargv;
10921
10922     param->stashes      = newAV();  /* Setup array of objects to call clone on */
10923
10924     /* Set tainting stuff before PerlIO_debug can possibly get called */
10925     PL_tainting         = proto_perl->Itainting;
10926     PL_taint_warn       = proto_perl->Itaint_warn;
10927
10928 #ifdef PERLIO_LAYERS
10929     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
10930     PerlIO_clone(aTHX_ proto_perl, param);
10931 #endif
10932
10933     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
10934     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
10935     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
10936     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
10937     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
10938     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
10939
10940     /* switches */
10941     PL_minus_c          = proto_perl->Iminus_c;
10942     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
10943     PL_localpatches     = proto_perl->Ilocalpatches;
10944     PL_splitstr         = proto_perl->Isplitstr;
10945     PL_preprocess       = proto_perl->Ipreprocess;
10946     PL_minus_n          = proto_perl->Iminus_n;
10947     PL_minus_p          = proto_perl->Iminus_p;
10948     PL_minus_l          = proto_perl->Iminus_l;
10949     PL_minus_a          = proto_perl->Iminus_a;
10950     PL_minus_E          = proto_perl->Iminus_E;
10951     PL_minus_F          = proto_perl->Iminus_F;
10952     PL_doswitches       = proto_perl->Idoswitches;
10953     PL_dowarn           = proto_perl->Idowarn;
10954     PL_doextract        = proto_perl->Idoextract;
10955     PL_sawampersand     = proto_perl->Isawampersand;
10956     PL_unsafe           = proto_perl->Iunsafe;
10957     PL_inplace          = SAVEPV(proto_perl->Iinplace);
10958     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
10959     PL_perldb           = proto_perl->Iperldb;
10960     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
10961     PL_exit_flags       = proto_perl->Iexit_flags;
10962
10963     /* magical thingies */
10964     /* XXX time(&PL_basetime) when asked for? */
10965     PL_basetime         = proto_perl->Ibasetime;
10966     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
10967
10968     PL_maxsysfd         = proto_perl->Imaxsysfd;
10969     PL_statusvalue      = proto_perl->Istatusvalue;
10970 #ifdef VMS
10971     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
10972 #else
10973     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
10974 #endif
10975     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
10976
10977     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
10978     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
10979     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
10980
10981    
10982     /* RE engine related */
10983     Zero(&PL_reg_state, 1, struct re_save_state);
10984     PL_reginterp_cnt    = 0;
10985     PL_regmatch_slab    = NULL;
10986     
10987     /* Clone the regex array */
10988     PL_regex_padav = newAV();
10989     {
10990         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
10991         SV* const * const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
10992         IV i;
10993         av_push(PL_regex_padav, sv_dup_inc_NN(regexen[0],param));
10994         for(i = 1; i <= len; i++) {
10995             const SV * const regex = regexen[i];
10996             SV * const sv =
10997                 SvREPADTMP(regex)
10998                     ? sv_dup_inc(regex, param)
10999                     : SvREFCNT_inc(
11000                         newSViv(PTR2IV(CALLREGDUPE(
11001                                 INT2PTR(REGEXP *, SvIVX(regex)), param))))
11002                 ;
11003             if (SvFLAGS(regex) & SVf_BREAK)
11004                 SvFLAGS(sv) |= SVf_BREAK; /* unrefcnted PL_curpm */
11005             av_push(PL_regex_padav, sv);
11006         }
11007     }
11008     PL_regex_pad = AvARRAY(PL_regex_padav);
11009
11010     /* shortcuts to various I/O objects */
11011     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
11012     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
11013     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
11014     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
11015     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
11016     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
11017
11018     /* shortcuts to regexp stuff */
11019     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
11020
11021     /* shortcuts to misc objects */
11022     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
11023
11024     /* shortcuts to debugging objects */
11025     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
11026     PL_DBline           = gv_dup(proto_perl->IDBline, param);
11027     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
11028     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
11029     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
11030     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
11031     PL_DBassertion      = sv_dup(proto_perl->IDBassertion, param);
11032     PL_lineary          = av_dup(proto_perl->Ilineary, param);
11033     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
11034
11035     /* symbol tables */
11036     PL_defstash         = hv_dup_inc(proto_perl->Tdefstash, param);
11037     PL_curstash         = hv_dup(proto_perl->Tcurstash, param);
11038     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
11039     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
11040     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
11041
11042     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
11043     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
11044     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
11045     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
11046     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
11047     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
11048     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
11049     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
11050
11051     PL_sub_generation   = proto_perl->Isub_generation;
11052
11053     /* funky return mechanisms */
11054     PL_forkprocess      = proto_perl->Iforkprocess;
11055
11056     /* subprocess state */
11057     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
11058
11059     /* internal state */
11060     PL_maxo             = proto_perl->Imaxo;
11061     if (proto_perl->Iop_mask)
11062         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
11063     else
11064         PL_op_mask      = NULL;
11065     /* PL_asserting        = proto_perl->Iasserting; */
11066
11067     /* current interpreter roots */
11068     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
11069     OP_REFCNT_LOCK;
11070     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
11071     OP_REFCNT_UNLOCK;
11072     PL_main_start       = proto_perl->Imain_start;
11073     PL_eval_root        = proto_perl->Ieval_root;
11074     PL_eval_start       = proto_perl->Ieval_start;
11075
11076     /* runtime control stuff */
11077     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
11078     PL_copline          = proto_perl->Icopline;
11079
11080     PL_filemode         = proto_perl->Ifilemode;
11081     PL_lastfd           = proto_perl->Ilastfd;
11082     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
11083     PL_Argv             = NULL;
11084     PL_Cmd              = NULL;
11085     PL_gensym           = proto_perl->Igensym;
11086     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
11087     PL_laststatval      = proto_perl->Ilaststatval;
11088     PL_laststype        = proto_perl->Ilaststype;
11089     PL_mess_sv          = NULL;
11090
11091     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
11092
11093     /* interpreter atexit processing */
11094     PL_exitlistlen      = proto_perl->Iexitlistlen;
11095     if (PL_exitlistlen) {
11096         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11097         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11098     }
11099     else
11100         PL_exitlist     = (PerlExitListEntry*)NULL;
11101
11102     PL_my_cxt_size = proto_perl->Imy_cxt_size;
11103     if (PL_my_cxt_size) {
11104         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
11105         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
11106 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11107         Newx(PL_my_cxt_keys, PL_my_cxt_size, char *);
11108         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
11109 #endif
11110     }
11111     else {
11112         PL_my_cxt_list  = (void**)NULL;
11113 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11114         PL_my_cxt_keys  = (void**)NULL;
11115 #endif
11116     }
11117     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
11118     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
11119     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
11120
11121     PL_profiledata      = NULL;
11122     PL_rsfp             = fp_dup(proto_perl->Irsfp, '<', param);
11123     /* PL_rsfp_filters entries have fake IoDIRP() */
11124     PL_rsfp_filters     = av_dup_inc(proto_perl->Irsfp_filters, param);
11125
11126     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
11127
11128     PAD_CLONE_VARS(proto_perl, param);
11129
11130 #ifdef HAVE_INTERP_INTERN
11131     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
11132 #endif
11133
11134     /* more statics moved here */
11135     PL_generation       = proto_perl->Igeneration;
11136     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
11137
11138     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
11139     PL_in_clean_all     = proto_perl->Iin_clean_all;
11140
11141     PL_uid              = proto_perl->Iuid;
11142     PL_euid             = proto_perl->Ieuid;
11143     PL_gid              = proto_perl->Igid;
11144     PL_egid             = proto_perl->Iegid;
11145     PL_nomemok          = proto_perl->Inomemok;
11146     PL_an               = proto_perl->Ian;
11147     PL_evalseq          = proto_perl->Ievalseq;
11148     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
11149     PL_origalen         = proto_perl->Iorigalen;
11150 #ifdef PERL_USES_PL_PIDSTATUS
11151     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
11152 #endif
11153     PL_osname           = SAVEPV(proto_perl->Iosname);
11154     PL_sighandlerp      = proto_perl->Isighandlerp;
11155
11156     PL_runops           = proto_perl->Irunops;
11157
11158     Copy(proto_perl->Itokenbuf, PL_tokenbuf, 256, char);
11159
11160 #ifdef CSH
11161     PL_cshlen           = proto_perl->Icshlen;
11162     PL_cshname          = proto_perl->Icshname; /* XXX never deallocated */
11163 #endif
11164
11165     PL_parser           = parser_dup(proto_perl->Iparser, param);
11166
11167     PL_lex_state        = proto_perl->Ilex_state;
11168
11169 #ifdef PERL_MAD
11170     Copy(proto_perl->Inexttoke, PL_nexttoke, 5, NEXTTOKE);
11171     PL_curforce         = proto_perl->Icurforce;
11172 #else
11173     Copy(proto_perl->Inextval, PL_nextval, 5, YYSTYPE);
11174     Copy(proto_perl->Inexttype, PL_nexttype, 5, I32);
11175     PL_nexttoke         = proto_perl->Inexttoke;
11176 #endif
11177
11178     PL_linestr          = sv_dup_inc(proto_perl->Ilinestr, param);
11179     i = proto_perl->Ibufptr - SvPVX_const(proto_perl->Ilinestr);
11180     PL_bufptr           = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11181     i = proto_perl->Ioldbufptr - SvPVX_const(proto_perl->Ilinestr);
11182     PL_oldbufptr        = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11183     i = proto_perl->Ioldoldbufptr - SvPVX_const(proto_perl->Ilinestr);
11184     PL_oldoldbufptr     = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11185     i = proto_perl->Ilinestart - SvPVX_const(proto_perl->Ilinestr);
11186     PL_linestart        = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11187     PL_bufend           = SvPVX(PL_linestr) + SvCUR(PL_linestr);
11188
11189     PL_expect           = proto_perl->Iexpect;
11190
11191     PL_multi_end        = proto_perl->Imulti_end;
11192
11193     PL_error_count      = proto_perl->Ierror_count;
11194     PL_subline          = proto_perl->Isubline;
11195     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
11196
11197     i = proto_perl->Ilast_uni - SvPVX_const(proto_perl->Ilinestr);
11198     PL_last_uni         = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11199     i = proto_perl->Ilast_lop - SvPVX_const(proto_perl->Ilinestr);
11200     PL_last_lop         = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11201     PL_last_lop_op      = proto_perl->Ilast_lop_op;
11202     PL_in_my            = proto_perl->Iin_my;
11203     PL_in_my_stash      = hv_dup(proto_perl->Iin_my_stash, param);
11204 #ifdef FCRYPT
11205     PL_cryptseen        = proto_perl->Icryptseen;
11206 #endif
11207
11208     PL_hints            = proto_perl->Ihints;
11209
11210     PL_amagic_generation        = proto_perl->Iamagic_generation;
11211
11212 #ifdef USE_LOCALE_COLLATE
11213     PL_collation_ix     = proto_perl->Icollation_ix;
11214     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
11215     PL_collation_standard       = proto_perl->Icollation_standard;
11216     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
11217     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
11218 #endif /* USE_LOCALE_COLLATE */
11219
11220 #ifdef USE_LOCALE_NUMERIC
11221     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
11222     PL_numeric_standard = proto_perl->Inumeric_standard;
11223     PL_numeric_local    = proto_perl->Inumeric_local;
11224     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
11225 #endif /* !USE_LOCALE_NUMERIC */
11226
11227     /* utf8 character classes */
11228     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
11229     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
11230     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
11231     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
11232     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
11233     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
11234     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
11235     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
11236     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
11237     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
11238     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
11239     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
11240     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
11241     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
11242     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
11243     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
11244     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
11245     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
11246     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
11247     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
11248
11249     /* Did the locale setup indicate UTF-8? */
11250     PL_utf8locale       = proto_perl->Iutf8locale;
11251     /* Unicode features (see perlrun/-C) */
11252     PL_unicode          = proto_perl->Iunicode;
11253
11254     /* Pre-5.8 signals control */
11255     PL_signals          = proto_perl->Isignals;
11256
11257     /* times() ticks per second */
11258     PL_clocktick        = proto_perl->Iclocktick;
11259
11260     /* Recursion stopper for PerlIO_find_layer */
11261     PL_in_load_module   = proto_perl->Iin_load_module;
11262
11263     /* sort() routine */
11264     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
11265
11266     /* Not really needed/useful since the reenrant_retint is "volatile",
11267      * but do it for consistency's sake. */
11268     PL_reentrant_retint = proto_perl->Ireentrant_retint;
11269
11270     /* Hooks to shared SVs and locks. */
11271     PL_sharehook        = proto_perl->Isharehook;
11272     PL_lockhook         = proto_perl->Ilockhook;
11273     PL_unlockhook       = proto_perl->Iunlockhook;
11274     PL_threadhook       = proto_perl->Ithreadhook;
11275
11276     PL_runops_std       = proto_perl->Irunops_std;
11277     PL_runops_dbg       = proto_perl->Irunops_dbg;
11278
11279 #ifdef THREADS_HAVE_PIDS
11280     PL_ppid             = proto_perl->Ippid;
11281 #endif
11282
11283     /* swatch cache */
11284     PL_last_swash_hv    = NULL; /* reinits on demand */
11285     PL_last_swash_klen  = 0;
11286     PL_last_swash_key[0]= '\0';
11287     PL_last_swash_tmps  = (U8*)NULL;
11288     PL_last_swash_slen  = 0;
11289
11290     PL_glob_index       = proto_perl->Iglob_index;
11291     PL_srand_called     = proto_perl->Isrand_called;
11292     PL_uudmap[(U32) 'M']        = 0;    /* reinits on demand */
11293     PL_bitcount         = NULL; /* reinits on demand */
11294
11295     if (proto_perl->Ipsig_pend) {
11296         Newxz(PL_psig_pend, SIG_SIZE, int);
11297     }
11298     else {
11299         PL_psig_pend    = (int*)NULL;
11300     }
11301
11302     if (proto_perl->Ipsig_ptr) {
11303         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
11304         Newxz(PL_psig_name, SIG_SIZE, SV*);
11305         for (i = 1; i < SIG_SIZE; i++) {
11306             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
11307             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
11308         }
11309     }
11310     else {
11311         PL_psig_ptr     = (SV**)NULL;
11312         PL_psig_name    = (SV**)NULL;
11313     }
11314
11315     /* thrdvar.h stuff */
11316
11317     if (flags & CLONEf_COPY_STACKS) {
11318         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
11319         PL_tmps_ix              = proto_perl->Ttmps_ix;
11320         PL_tmps_max             = proto_perl->Ttmps_max;
11321         PL_tmps_floor           = proto_perl->Ttmps_floor;
11322         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
11323         i = 0;
11324         while (i <= PL_tmps_ix) {
11325             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Ttmps_stack[i], param);
11326             ++i;
11327         }
11328
11329         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
11330         i = proto_perl->Tmarkstack_max - proto_perl->Tmarkstack;
11331         Newxz(PL_markstack, i, I32);
11332         PL_markstack_max        = PL_markstack + (proto_perl->Tmarkstack_max
11333                                                   - proto_perl->Tmarkstack);
11334         PL_markstack_ptr        = PL_markstack + (proto_perl->Tmarkstack_ptr
11335                                                   - proto_perl->Tmarkstack);
11336         Copy(proto_perl->Tmarkstack, PL_markstack,
11337              PL_markstack_ptr - PL_markstack + 1, I32);
11338
11339         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
11340          * NOTE: unlike the others! */
11341         PL_scopestack_ix        = proto_perl->Tscopestack_ix;
11342         PL_scopestack_max       = proto_perl->Tscopestack_max;
11343         Newxz(PL_scopestack, PL_scopestack_max, I32);
11344         Copy(proto_perl->Tscopestack, PL_scopestack, PL_scopestack_ix, I32);
11345
11346         /* NOTE: si_dup() looks at PL_markstack */
11347         PL_curstackinfo         = si_dup(proto_perl->Tcurstackinfo, param);
11348
11349         /* PL_curstack          = PL_curstackinfo->si_stack; */
11350         PL_curstack             = av_dup(proto_perl->Tcurstack, param);
11351         PL_mainstack            = av_dup(proto_perl->Tmainstack, param);
11352
11353         /* next PUSHs() etc. set *(PL_stack_sp+1) */
11354         PL_stack_base           = AvARRAY(PL_curstack);
11355         PL_stack_sp             = PL_stack_base + (proto_perl->Tstack_sp
11356                                                    - proto_perl->Tstack_base);
11357         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
11358
11359         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
11360          * NOTE: unlike the others! */
11361         PL_savestack_ix         = proto_perl->Tsavestack_ix;
11362         PL_savestack_max        = proto_perl->Tsavestack_max;
11363         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
11364         PL_savestack            = ss_dup(proto_perl, param);
11365     }
11366     else {
11367         init_stacks();
11368         ENTER;                  /* perl_destruct() wants to LEAVE; */
11369
11370         /* although we're not duplicating the tmps stack, we should still
11371          * add entries for any SVs on the tmps stack that got cloned by a
11372          * non-refcount means (eg a temp in @_); otherwise they will be
11373          * orphaned
11374          */
11375         for (i = 0; i<= proto_perl->Ttmps_ix; i++) {
11376             SV * const nsv = (SV*)ptr_table_fetch(PL_ptr_table,
11377                     proto_perl->Ttmps_stack[i]);
11378             if (nsv && !SvREFCNT(nsv)) {
11379                 EXTEND_MORTAL(1);
11380                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
11381             }
11382         }
11383     }
11384
11385     PL_start_env        = proto_perl->Tstart_env;       /* XXXXXX */
11386     PL_top_env          = &PL_start_env;
11387
11388     PL_op               = proto_perl->Top;
11389
11390     PL_Sv               = NULL;
11391     PL_Xpv              = (XPV*)NULL;
11392     PL_na               = proto_perl->Tna;
11393
11394     PL_statbuf          = proto_perl->Tstatbuf;
11395     PL_statcache        = proto_perl->Tstatcache;
11396     PL_statgv           = gv_dup(proto_perl->Tstatgv, param);
11397     PL_statname         = sv_dup_inc(proto_perl->Tstatname, param);
11398 #ifdef HAS_TIMES
11399     PL_timesbuf         = proto_perl->Ttimesbuf;
11400 #endif
11401
11402     PL_tainted          = proto_perl->Ttainted;
11403     PL_curpm            = proto_perl->Tcurpm;   /* XXX No PMOP ref count */
11404     PL_rs               = sv_dup_inc(proto_perl->Trs, param);
11405     PL_last_in_gv       = gv_dup(proto_perl->Tlast_in_gv, param);
11406     PL_ofs_sv           = sv_dup_inc(proto_perl->Tofs_sv, param);
11407     PL_defoutgv         = gv_dup_inc(proto_perl->Tdefoutgv, param);
11408     PL_chopset          = proto_perl->Tchopset; /* XXX never deallocated */
11409     PL_toptarget        = sv_dup_inc(proto_perl->Ttoptarget, param);
11410     PL_bodytarget       = sv_dup_inc(proto_perl->Tbodytarget, param);
11411     PL_formtarget       = sv_dup(proto_perl->Tformtarget, param);
11412
11413     PL_restartop        = proto_perl->Trestartop;
11414     PL_in_eval          = proto_perl->Tin_eval;
11415     PL_delaymagic       = proto_perl->Tdelaymagic;
11416     PL_dirty            = proto_perl->Tdirty;
11417     PL_localizing       = proto_perl->Tlocalizing;
11418
11419     PL_errors           = sv_dup_inc(proto_perl->Terrors, param);
11420     PL_hv_fetch_ent_mh  = NULL;
11421     PL_modcount         = proto_perl->Tmodcount;
11422     PL_lastgotoprobe    = NULL;
11423     PL_dumpindent       = proto_perl->Tdumpindent;
11424
11425     PL_sortcop          = (OP*)any_dup(proto_perl->Tsortcop, proto_perl);
11426     PL_sortstash        = hv_dup(proto_perl->Tsortstash, param);
11427     PL_firstgv          = gv_dup(proto_perl->Tfirstgv, param);
11428     PL_secondgv         = gv_dup(proto_perl->Tsecondgv, param);
11429     PL_efloatbuf        = NULL;         /* reinits on demand */
11430     PL_efloatsize       = 0;                    /* reinits on demand */
11431
11432     /* regex stuff */
11433
11434     PL_screamfirst      = NULL;
11435     PL_screamnext       = NULL;
11436     PL_maxscream        = -1;                   /* reinits on demand */
11437     PL_lastscream       = NULL;
11438
11439     PL_watchaddr        = NULL;
11440     PL_watchok          = NULL;
11441
11442     PL_regdummy         = proto_perl->Tregdummy;
11443     PL_colorset         = 0;            /* reinits PL_colors[] */
11444     /*PL_colors[6]      = {0,0,0,0,0,0};*/
11445
11446
11447
11448     /* Pluggable optimizer */
11449     PL_peepp            = proto_perl->Tpeepp;
11450
11451     PL_stashcache       = newHV();
11452
11453     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
11454         ptr_table_free(PL_ptr_table);
11455         PL_ptr_table = NULL;
11456     }
11457
11458     /* Call the ->CLONE method, if it exists, for each of the stashes
11459        identified by sv_dup() above.
11460     */
11461     while(av_len(param->stashes) != -1) {
11462         HV* const stash = (HV*) av_shift(param->stashes);
11463         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
11464         if (cloner && GvCV(cloner)) {
11465             dSP;
11466             ENTER;
11467             SAVETMPS;
11468             PUSHMARK(SP);
11469             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
11470             PUTBACK;
11471             call_sv((SV*)GvCV(cloner), G_DISCARD);
11472             FREETMPS;
11473             LEAVE;
11474         }
11475     }
11476
11477     SvREFCNT_dec(param->stashes);
11478
11479     /* orphaned? eg threads->new inside BEGIN or use */
11480     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11481         SvREFCNT_inc_simple_void(PL_compcv);
11482         SAVEFREESV(PL_compcv);
11483     }
11484
11485     return my_perl;
11486 }
11487
11488 #endif /* USE_ITHREADS */
11489
11490 /*
11491 =head1 Unicode Support
11492
11493 =for apidoc sv_recode_to_utf8
11494
11495 The encoding is assumed to be an Encode object, on entry the PV
11496 of the sv is assumed to be octets in that encoding, and the sv
11497 will be converted into Unicode (and UTF-8).
11498
11499 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11500 is not a reference, nothing is done to the sv.  If the encoding is not
11501 an C<Encode::XS> Encoding object, bad things will happen.
11502 (See F<lib/encoding.pm> and L<Encode>).
11503
11504 The PV of the sv is returned.
11505
11506 =cut */
11507
11508 char *
11509 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11510 {
11511     dVAR;
11512     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11513         SV *uni;
11514         STRLEN len;
11515         const char *s;
11516         dSP;
11517         ENTER;
11518         SAVETMPS;
11519         save_re_context();
11520         PUSHMARK(sp);
11521         EXTEND(SP, 3);
11522         XPUSHs(encoding);
11523         XPUSHs(sv);
11524 /*
11525   NI-S 2002/07/09
11526   Passing sv_yes is wrong - it needs to be or'ed set of constants
11527   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11528   remove converted chars from source.
11529
11530   Both will default the value - let them.
11531
11532         XPUSHs(&PL_sv_yes);
11533 */
11534         PUTBACK;
11535         call_method("decode", G_SCALAR);
11536         SPAGAIN;
11537         uni = POPs;
11538         PUTBACK;
11539         s = SvPV_const(uni, len);
11540         if (s != SvPVX_const(sv)) {
11541             SvGROW(sv, len + 1);
11542             Move(s, SvPVX(sv), len + 1, char);
11543             SvCUR_set(sv, len);
11544         }
11545         FREETMPS;
11546         LEAVE;
11547         SvUTF8_on(sv);
11548         return SvPVX(sv);
11549     }
11550     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11551 }
11552
11553 /*
11554 =for apidoc sv_cat_decode
11555
11556 The encoding is assumed to be an Encode object, the PV of the ssv is
11557 assumed to be octets in that encoding and decoding the input starts
11558 from the position which (PV + *offset) pointed to.  The dsv will be
11559 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11560 when the string tstr appears in decoding output or the input ends on
11561 the PV of the ssv. The value which the offset points will be modified
11562 to the last input position on the ssv.
11563
11564 Returns TRUE if the terminator was found, else returns FALSE.
11565
11566 =cut */
11567
11568 bool
11569 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11570                    SV *ssv, int *offset, char *tstr, int tlen)
11571 {
11572     dVAR;
11573     bool ret = FALSE;
11574     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11575         SV *offsv;
11576         dSP;
11577         ENTER;
11578         SAVETMPS;
11579         save_re_context();
11580         PUSHMARK(sp);
11581         EXTEND(SP, 6);
11582         XPUSHs(encoding);
11583         XPUSHs(dsv);
11584         XPUSHs(ssv);
11585         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11586         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11587         PUTBACK;
11588         call_method("cat_decode", G_SCALAR);
11589         SPAGAIN;
11590         ret = SvTRUE(TOPs);
11591         *offset = SvIV(offsv);
11592         PUTBACK;
11593         FREETMPS;
11594         LEAVE;
11595     }
11596     else
11597         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11598     return ret;
11599
11600 }
11601
11602 /* ---------------------------------------------------------------------
11603  *
11604  * support functions for report_uninit()
11605  */
11606
11607 /* the maxiumum size of array or hash where we will scan looking
11608  * for the undefined element that triggered the warning */
11609
11610 #define FUV_MAX_SEARCH_SIZE 1000
11611
11612 /* Look for an entry in the hash whose value has the same SV as val;
11613  * If so, return a mortal copy of the key. */
11614
11615 STATIC SV*
11616 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11617 {
11618     dVAR;
11619     register HE **array;
11620     I32 i;
11621
11622     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11623                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11624         return NULL;
11625
11626     array = HvARRAY(hv);
11627
11628     for (i=HvMAX(hv); i>0; i--) {
11629         register HE *entry;
11630         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11631             if (HeVAL(entry) != val)
11632                 continue;
11633             if (    HeVAL(entry) == &PL_sv_undef ||
11634                     HeVAL(entry) == &PL_sv_placeholder)
11635                 continue;
11636             if (!HeKEY(entry))
11637                 return NULL;
11638             if (HeKLEN(entry) == HEf_SVKEY)
11639                 return sv_mortalcopy(HeKEY_sv(entry));
11640             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11641         }
11642     }
11643     return NULL;
11644 }
11645
11646 /* Look for an entry in the array whose value has the same SV as val;
11647  * If so, return the index, otherwise return -1. */
11648
11649 STATIC I32
11650 S_find_array_subscript(pTHX_ AV *av, SV* val)
11651 {
11652     dVAR;
11653     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11654                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11655         return -1;
11656
11657     if (val != &PL_sv_undef) {
11658         SV ** const svp = AvARRAY(av);
11659         I32 i;
11660
11661         for (i=AvFILLp(av); i>=0; i--)
11662             if (svp[i] == val)
11663                 return i;
11664     }
11665     return -1;
11666 }
11667
11668 /* S_varname(): return the name of a variable, optionally with a subscript.
11669  * If gv is non-zero, use the name of that global, along with gvtype (one
11670  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11671  * targ.  Depending on the value of the subscript_type flag, return:
11672  */
11673
11674 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11675 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11676 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11677 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11678
11679 STATIC SV*
11680 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11681         SV* keyname, I32 aindex, int subscript_type)
11682 {
11683
11684     SV * const name = sv_newmortal();
11685     if (gv) {
11686         char buffer[2];
11687         buffer[0] = gvtype;
11688         buffer[1] = 0;
11689
11690         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11691
11692         gv_fullname4(name, gv, buffer, 0);
11693
11694         if ((unsigned int)SvPVX(name)[1] <= 26) {
11695             buffer[0] = '^';
11696             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11697
11698             /* Swap the 1 unprintable control character for the 2 byte pretty
11699                version - ie substr($name, 1, 1) = $buffer; */
11700             sv_insert(name, 1, 1, buffer, 2);
11701         }
11702     }
11703     else {
11704         U32 unused;
11705         CV * const cv = find_runcv(&unused);
11706         SV *sv;
11707         AV *av;
11708
11709         if (!cv || !CvPADLIST(cv))
11710             return NULL;
11711         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11712         sv = *av_fetch(av, targ, FALSE);
11713         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
11714     }
11715
11716     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11717         SV * const sv = newSV(0);
11718         *SvPVX(name) = '$';
11719         Perl_sv_catpvf(aTHX_ name, "{%s}",
11720             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11721         SvREFCNT_dec(sv);
11722     }
11723     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11724         *SvPVX(name) = '$';
11725         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11726     }
11727     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11728         Perl_sv_insert(aTHX_ name, 0, 0,  STR_WITH_LEN("within "));
11729
11730     return name;
11731 }
11732
11733
11734 /*
11735 =for apidoc find_uninit_var
11736
11737 Find the name of the undefined variable (if any) that caused the operator o
11738 to issue a "Use of uninitialized value" warning.
11739 If match is true, only return a name if it's value matches uninit_sv.
11740 So roughly speaking, if a unary operator (such as OP_COS) generates a
11741 warning, then following the direct child of the op may yield an
11742 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11743 other hand, with OP_ADD there are two branches to follow, so we only print
11744 the variable name if we get an exact match.
11745
11746 The name is returned as a mortal SV.
11747
11748 Assumes that PL_op is the op that originally triggered the error, and that
11749 PL_comppad/PL_curpad points to the currently executing pad.
11750
11751 =cut
11752 */
11753
11754 STATIC SV *
11755 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11756 {
11757     dVAR;
11758     SV *sv;
11759     AV *av;
11760     GV *gv;
11761     OP *o, *o2, *kid;
11762
11763     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11764                             uninit_sv == &PL_sv_placeholder)))
11765         return NULL;
11766
11767     switch (obase->op_type) {
11768
11769     case OP_RV2AV:
11770     case OP_RV2HV:
11771     case OP_PADAV:
11772     case OP_PADHV:
11773       {
11774         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11775         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11776         I32 index = 0;
11777         SV *keysv = NULL;
11778         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11779
11780         if (pad) { /* @lex, %lex */
11781             sv = PAD_SVl(obase->op_targ);
11782             gv = NULL;
11783         }
11784         else {
11785             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11786             /* @global, %global */
11787                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11788                 if (!gv)
11789                     break;
11790                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11791             }
11792             else /* @{expr}, %{expr} */
11793                 return find_uninit_var(cUNOPx(obase)->op_first,
11794                                                     uninit_sv, match);
11795         }
11796
11797         /* attempt to find a match within the aggregate */
11798         if (hash) {
11799             keysv = find_hash_subscript((HV*)sv, uninit_sv);
11800             if (keysv)
11801                 subscript_type = FUV_SUBSCRIPT_HASH;
11802         }
11803         else {
11804             index = find_array_subscript((AV*)sv, uninit_sv);
11805             if (index >= 0)
11806                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11807         }
11808
11809         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11810             break;
11811
11812         return varname(gv, hash ? '%' : '@', obase->op_targ,
11813                                     keysv, index, subscript_type);
11814       }
11815
11816     case OP_PADSV:
11817         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11818             break;
11819         return varname(NULL, '$', obase->op_targ,
11820                                     NULL, 0, FUV_SUBSCRIPT_NONE);
11821
11822     case OP_GVSV:
11823         gv = cGVOPx_gv(obase);
11824         if (!gv || (match && GvSV(gv) != uninit_sv))
11825             break;
11826         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
11827
11828     case OP_AELEMFAST:
11829         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11830             if (match) {
11831                 SV **svp;
11832                 av = (AV*)PAD_SV(obase->op_targ);
11833                 if (!av || SvRMAGICAL(av))
11834                     break;
11835                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11836                 if (!svp || *svp != uninit_sv)
11837                     break;
11838             }
11839             return varname(NULL, '$', obase->op_targ,
11840                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11841         }
11842         else {
11843             gv = cGVOPx_gv(obase);
11844             if (!gv)
11845                 break;
11846             if (match) {
11847                 SV **svp;
11848                 av = GvAV(gv);
11849                 if (!av || SvRMAGICAL(av))
11850                     break;
11851                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11852                 if (!svp || *svp != uninit_sv)
11853                     break;
11854             }
11855             return varname(gv, '$', 0,
11856                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11857         }
11858         break;
11859
11860     case OP_EXISTS:
11861         o = cUNOPx(obase)->op_first;
11862         if (!o || o->op_type != OP_NULL ||
11863                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
11864             break;
11865         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
11866
11867     case OP_AELEM:
11868     case OP_HELEM:
11869         if (PL_op == obase)
11870             /* $a[uninit_expr] or $h{uninit_expr} */
11871             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
11872
11873         gv = NULL;
11874         o = cBINOPx(obase)->op_first;
11875         kid = cBINOPx(obase)->op_last;
11876
11877         /* get the av or hv, and optionally the gv */
11878         sv = NULL;
11879         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
11880             sv = PAD_SV(o->op_targ);
11881         }
11882         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
11883                 && cUNOPo->op_first->op_type == OP_GV)
11884         {
11885             gv = cGVOPx_gv(cUNOPo->op_first);
11886             if (!gv)
11887                 break;
11888             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
11889         }
11890         if (!sv)
11891             break;
11892
11893         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
11894             /* index is constant */
11895             if (match) {
11896                 if (SvMAGICAL(sv))
11897                     break;
11898                 if (obase->op_type == OP_HELEM) {
11899                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
11900                     if (!he || HeVAL(he) != uninit_sv)
11901                         break;
11902                 }
11903                 else {
11904                     SV * const * const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
11905                     if (!svp || *svp != uninit_sv)
11906                         break;
11907                 }
11908             }
11909             if (obase->op_type == OP_HELEM)
11910                 return varname(gv, '%', o->op_targ,
11911                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
11912             else
11913                 return varname(gv, '@', o->op_targ, NULL,
11914                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
11915         }
11916         else  {
11917             /* index is an expression;
11918              * attempt to find a match within the aggregate */
11919             if (obase->op_type == OP_HELEM) {
11920                 SV * const keysv = find_hash_subscript((HV*)sv, uninit_sv);
11921                 if (keysv)
11922                     return varname(gv, '%', o->op_targ,
11923                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
11924             }
11925             else {
11926                 const I32 index = find_array_subscript((AV*)sv, uninit_sv);
11927                 if (index >= 0)
11928                     return varname(gv, '@', o->op_targ,
11929                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
11930             }
11931             if (match)
11932                 break;
11933             return varname(gv,
11934                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
11935                 ? '@' : '%',
11936                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
11937         }
11938         break;
11939
11940     case OP_AASSIGN:
11941         /* only examine RHS */
11942         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
11943
11944     case OP_OPEN:
11945         o = cUNOPx(obase)->op_first;
11946         if (o->op_type == OP_PUSHMARK)
11947             o = o->op_sibling;
11948
11949         if (!o->op_sibling) {
11950             /* one-arg version of open is highly magical */
11951
11952             if (o->op_type == OP_GV) { /* open FOO; */
11953                 gv = cGVOPx_gv(o);
11954                 if (match && GvSV(gv) != uninit_sv)
11955                     break;
11956                 return varname(gv, '$', 0,
11957                             NULL, 0, FUV_SUBSCRIPT_NONE);
11958             }
11959             /* other possibilities not handled are:
11960              * open $x; or open my $x;  should return '${*$x}'
11961              * open expr;               should return '$'.expr ideally
11962              */
11963              break;
11964         }
11965         goto do_op;
11966
11967     /* ops where $_ may be an implicit arg */
11968     case OP_TRANS:
11969     case OP_SUBST:
11970     case OP_MATCH:
11971         if ( !(obase->op_flags & OPf_STACKED)) {
11972             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
11973                                  ? PAD_SVl(obase->op_targ)
11974                                  : DEFSV))
11975             {
11976                 sv = sv_newmortal();
11977                 sv_setpvn(sv, "$_", 2);
11978                 return sv;
11979             }
11980         }
11981         goto do_op;
11982
11983     case OP_PRTF:
11984     case OP_PRINT:
11985         /* skip filehandle as it can't produce 'undef' warning  */
11986         o = cUNOPx(obase)->op_first;
11987         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
11988             o = o->op_sibling->op_sibling;
11989         goto do_op2;
11990
11991
11992     case OP_RV2SV:
11993     case OP_CUSTOM:
11994     case OP_ENTERSUB:
11995         match = 1; /* XS or custom code could trigger random warnings */
11996         goto do_op;
11997
11998     case OP_SCHOMP:
11999     case OP_CHOMP:
12000         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
12001             return sv_2mortal(newSVpvs("${$/}"));
12002         /*FALLTHROUGH*/
12003
12004     default:
12005     do_op:
12006         if (!(obase->op_flags & OPf_KIDS))
12007             break;
12008         o = cUNOPx(obase)->op_first;
12009         
12010     do_op2:
12011         if (!o)
12012             break;
12013
12014         /* if all except one arg are constant, or have no side-effects,
12015          * or are optimized away, then it's unambiguous */
12016         o2 = NULL;
12017         for (kid=o; kid; kid = kid->op_sibling) {
12018             if (kid) {
12019                 const OPCODE type = kid->op_type;
12020                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
12021                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
12022                   || (type == OP_PUSHMARK)
12023                 )
12024                 continue;
12025             }
12026             if (o2) { /* more than one found */
12027                 o2 = NULL;
12028                 break;
12029             }
12030             o2 = kid;
12031         }
12032         if (o2)
12033             return find_uninit_var(o2, uninit_sv, match);
12034
12035         /* scan all args */
12036         while (o) {
12037             sv = find_uninit_var(o, uninit_sv, 1);
12038             if (sv)
12039                 return sv;
12040             o = o->op_sibling;
12041         }
12042         break;
12043     }
12044     return NULL;
12045 }
12046
12047
12048 /*
12049 =for apidoc report_uninit
12050
12051 Print appropriate "Use of uninitialized variable" warning
12052
12053 =cut
12054 */
12055
12056 void
12057 Perl_report_uninit(pTHX_ SV* uninit_sv)
12058 {
12059     dVAR;
12060     if (PL_op) {
12061         SV* varname = NULL;
12062         if (uninit_sv) {
12063             varname = find_uninit_var(PL_op, uninit_sv,0);
12064             if (varname)
12065                 sv_insert(varname, 0, 0, " ", 1);
12066         }
12067         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12068                 varname ? SvPV_nolen_const(varname) : "",
12069                 " in ", OP_DESC(PL_op));
12070     }
12071     else
12072         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12073                     "", "", "");
12074 }
12075
12076 /*
12077  * Local variables:
12078  * c-indentation-style: bsd
12079  * c-basic-offset: 4
12080  * indent-tabs-mode: t
12081  * End:
12082  *
12083  * ex: set ts=8 sts=4 sw=4 noet:
12084  */