17cc2811280c2002fb24b93945ebfb2219d8baa3
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* if adding more checks watch out for the following tests:
34  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
35  *   lib/utf8.t lib/Unicode/Collate/t/index.t
36  * --jhi
37  */
38 #   define ASSERT_UTF8_CACHE(cache) \
39     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
40                               assert((cache)[2] <= (cache)[3]); \
41                               assert((cache)[3] <= (cache)[1]);} \
42                               } STMT_END
43 #else
44 #   define ASSERT_UTF8_CACHE(cache) NOOP
45 #endif
46
47 #ifdef PERL_OLD_COPY_ON_WRITE
48 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
49 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
50 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
51    on-write.  */
52 #endif
53
54 /* ============================================================================
55
56 =head1 Allocation and deallocation of SVs.
57
58 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
59 sv, av, hv...) contains type and reference count information, and for
60 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
61 contains fields specific to each type.  Some types store all they need
62 in the head, so don't have a body.
63
64 In all but the most memory-paranoid configuations (ex: PURIFY), heads
65 and bodies are allocated out of arenas, which by default are
66 approximately 4K chunks of memory parcelled up into N heads or bodies.
67 Sv-bodies are allocated by their sv-type, guaranteeing size
68 consistency needed to allocate safely from arrays.
69
70 For SV-heads, the first slot in each arena is reserved, and holds a
71 link to the next arena, some flags, and a note of the number of slots.
72 Snaked through each arena chain is a linked list of free items; when
73 this becomes empty, an extra arena is allocated and divided up into N
74 items which are threaded into the free list.
75
76 SV-bodies are similar, but they use arena-sets by default, which
77 separate the link and info from the arena itself, and reclaim the 1st
78 slot in the arena.  SV-bodies are further described later.
79
80 The following global variables are associated with arenas:
81
82     PL_sv_arenaroot     pointer to list of SV arenas
83     PL_sv_root          pointer to list of free SV structures
84
85     PL_body_arenas      head of linked-list of body arenas
86     PL_body_roots[]     array of pointers to list of free bodies of svtype
87                         arrays are indexed by the svtype needed
88
89 A few special SV heads are not allocated from an arena, but are
90 instead directly created in the interpreter structure, eg PL_sv_undef.
91 The size of arenas can be changed from the default by setting
92 PERL_ARENA_SIZE appropriately at compile time.
93
94 The SV arena serves the secondary purpose of allowing still-live SVs
95 to be located and destroyed during final cleanup.
96
97 At the lowest level, the macros new_SV() and del_SV() grab and free
98 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
99 to return the SV to the free list with error checking.) new_SV() calls
100 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
101 SVs in the free list have their SvTYPE field set to all ones.
102
103 At the time of very final cleanup, sv_free_arenas() is called from
104 perl_destruct() to physically free all the arenas allocated since the
105 start of the interpreter.
106
107 The function visit() scans the SV arenas list, and calls a specified
108 function for each SV it finds which is still live - ie which has an SvTYPE
109 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
110 following functions (specified as [function that calls visit()] / [function
111 called by visit() for each SV]):
112
113     sv_report_used() / do_report_used()
114                         dump all remaining SVs (debugging aid)
115
116     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
117                         Attempt to free all objects pointed to by RVs,
118                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
119                         try to do the same for all objects indirectly
120                         referenced by typeglobs too.  Called once from
121                         perl_destruct(), prior to calling sv_clean_all()
122                         below.
123
124     sv_clean_all() / do_clean_all()
125                         SvREFCNT_dec(sv) each remaining SV, possibly
126                         triggering an sv_free(). It also sets the
127                         SVf_BREAK flag on the SV to indicate that the
128                         refcnt has been artificially lowered, and thus
129                         stopping sv_free() from giving spurious warnings
130                         about SVs which unexpectedly have a refcnt
131                         of zero.  called repeatedly from perl_destruct()
132                         until there are no SVs left.
133
134 =head2 Arena allocator API Summary
135
136 Private API to rest of sv.c
137
138     new_SV(),  del_SV(),
139
140     new_XIV(), del_XIV(),
141     new_XNV(), del_XNV(),
142     etc
143
144 Public API:
145
146     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
147
148 =cut
149
150 ============================================================================ */
151
152 /*
153  * "A time to plant, and a time to uproot what was planted..."
154  */
155
156 void
157 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
158 {
159     dVAR;
160     void *new_chunk;
161     U32 new_chunk_size;
162     new_chunk = (void *)(chunk);
163     new_chunk_size = (chunk_size);
164     if (new_chunk_size > PL_nice_chunk_size) {
165         Safefree(PL_nice_chunk);
166         PL_nice_chunk = (char *) new_chunk;
167         PL_nice_chunk_size = new_chunk_size;
168     } else {
169         Safefree(chunk);
170     }
171 }
172
173 #ifdef DEBUG_LEAKING_SCALARS
174 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
175 #else
176 #  define FREE_SV_DEBUG_FILE(sv)
177 #endif
178
179 #ifdef PERL_POISON
180 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
181 /* Whilst I'd love to do this, it seems that things like to check on
182    unreferenced scalars
183 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
184 */
185 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
186                                 PoisonNew(&SvREFCNT(sv), 1, U32)
187 #else
188 #  define SvARENA_CHAIN(sv)     SvANY(sv)
189 #  define POSION_SV_HEAD(sv)
190 #endif
191
192 #define plant_SV(p) \
193     STMT_START {                                        \
194         FREE_SV_DEBUG_FILE(p);                          \
195         POSION_SV_HEAD(p);                              \
196         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
197         SvFLAGS(p) = SVTYPEMASK;                        \
198         PL_sv_root = (p);                               \
199         --PL_sv_count;                                  \
200     } STMT_END
201
202 #define uproot_SV(p) \
203     STMT_START {                                        \
204         (p) = PL_sv_root;                               \
205         PL_sv_root = (SV*)SvARENA_CHAIN(p);             \
206         ++PL_sv_count;                                  \
207     } STMT_END
208
209
210 /* make some more SVs by adding another arena */
211
212 STATIC SV*
213 S_more_sv(pTHX)
214 {
215     dVAR;
216     SV* sv;
217
218     if (PL_nice_chunk) {
219         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
220         PL_nice_chunk = NULL;
221         PL_nice_chunk_size = 0;
222     }
223     else {
224         char *chunk;                /* must use New here to match call to */
225         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
226         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
227     }
228     uproot_SV(sv);
229     return sv;
230 }
231
232 /* new_SV(): return a new, empty SV head */
233
234 #ifdef DEBUG_LEAKING_SCALARS
235 /* provide a real function for a debugger to play with */
236 STATIC SV*
237 S_new_SV(pTHX)
238 {
239     SV* sv;
240
241     if (PL_sv_root)
242         uproot_SV(sv);
243     else
244         sv = S_more_sv(aTHX);
245     SvANY(sv) = 0;
246     SvREFCNT(sv) = 1;
247     SvFLAGS(sv) = 0;
248     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
249     sv->sv_debug_line = (U16) (PL_parser
250             ?  PL_parser->copline == NOLINE
251                 ?  PL_curcop
252                     ? CopLINE(PL_curcop)
253                     : 0
254                 : PL_parser->copline
255             : 0);
256     sv->sv_debug_inpad = 0;
257     sv->sv_debug_cloned = 0;
258     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
259     
260     return sv;
261 }
262 #  define new_SV(p) (p)=S_new_SV(aTHX)
263
264 #else
265 #  define new_SV(p) \
266     STMT_START {                                        \
267         if (PL_sv_root)                                 \
268             uproot_SV(p);                               \
269         else                                            \
270             (p) = S_more_sv(aTHX);                      \
271         SvANY(p) = 0;                                   \
272         SvREFCNT(p) = 1;                                \
273         SvFLAGS(p) = 0;                                 \
274     } STMT_END
275 #endif
276
277
278 /* del_SV(): return an empty SV head to the free list */
279
280 #ifdef DEBUGGING
281
282 #define del_SV(p) \
283     STMT_START {                                        \
284         if (DEBUG_D_TEST)                               \
285             del_sv(p);                                  \
286         else                                            \
287             plant_SV(p);                                \
288     } STMT_END
289
290 STATIC void
291 S_del_sv(pTHX_ SV *p)
292 {
293     dVAR;
294     if (DEBUG_D_TEST) {
295         SV* sva;
296         bool ok = 0;
297         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
298             const SV * const sv = sva + 1;
299             const SV * const svend = &sva[SvREFCNT(sva)];
300             if (p >= sv && p < svend) {
301                 ok = 1;
302                 break;
303             }
304         }
305         if (!ok) {
306             if (ckWARN_d(WARN_INTERNAL))        
307                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
308                             "Attempt to free non-arena SV: 0x%"UVxf
309                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
310             return;
311         }
312     }
313     plant_SV(p);
314 }
315
316 #else /* ! DEBUGGING */
317
318 #define del_SV(p)   plant_SV(p)
319
320 #endif /* DEBUGGING */
321
322
323 /*
324 =head1 SV Manipulation Functions
325
326 =for apidoc sv_add_arena
327
328 Given a chunk of memory, link it to the head of the list of arenas,
329 and split it into a list of free SVs.
330
331 =cut
332 */
333
334 void
335 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
336 {
337     dVAR;
338     SV* const sva = (SV*)ptr;
339     register SV* sv;
340     register SV* svend;
341
342     /* The first SV in an arena isn't an SV. */
343     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
344     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
345     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
346
347     PL_sv_arenaroot = sva;
348     PL_sv_root = sva + 1;
349
350     svend = &sva[SvREFCNT(sva) - 1];
351     sv = sva + 1;
352     while (sv < svend) {
353         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
354 #ifdef DEBUGGING
355         SvREFCNT(sv) = 0;
356 #endif
357         /* Must always set typemask because it's always checked in on cleanup
358            when the arenas are walked looking for objects.  */
359         SvFLAGS(sv) = SVTYPEMASK;
360         sv++;
361     }
362     SvARENA_CHAIN(sv) = 0;
363 #ifdef DEBUGGING
364     SvREFCNT(sv) = 0;
365 #endif
366     SvFLAGS(sv) = SVTYPEMASK;
367 }
368
369 /* visit(): call the named function for each non-free SV in the arenas
370  * whose flags field matches the flags/mask args. */
371
372 STATIC I32
373 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
374 {
375     dVAR;
376     SV* sva;
377     I32 visited = 0;
378
379     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
380         register const SV * const svend = &sva[SvREFCNT(sva)];
381         register SV* sv;
382         for (sv = sva + 1; sv < svend; ++sv) {
383             if (SvTYPE(sv) != SVTYPEMASK
384                     && (sv->sv_flags & mask) == flags
385                     && SvREFCNT(sv))
386             {
387                 (FCALL)(aTHX_ sv);
388                 ++visited;
389             }
390         }
391     }
392     return visited;
393 }
394
395 #ifdef DEBUGGING
396
397 /* called by sv_report_used() for each live SV */
398
399 static void
400 do_report_used(pTHX_ SV *sv)
401 {
402     if (SvTYPE(sv) != SVTYPEMASK) {
403         PerlIO_printf(Perl_debug_log, "****\n");
404         sv_dump(sv);
405     }
406 }
407 #endif
408
409 /*
410 =for apidoc sv_report_used
411
412 Dump the contents of all SVs not yet freed. (Debugging aid).
413
414 =cut
415 */
416
417 void
418 Perl_sv_report_used(pTHX)
419 {
420 #ifdef DEBUGGING
421     visit(do_report_used, 0, 0);
422 #else
423     PERL_UNUSED_CONTEXT;
424 #endif
425 }
426
427 /* called by sv_clean_objs() for each live SV */
428
429 static void
430 do_clean_objs(pTHX_ SV *ref)
431 {
432     dVAR;
433     assert (SvROK(ref));
434     {
435         SV * const target = SvRV(ref);
436         if (SvOBJECT(target)) {
437             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
438             if (SvWEAKREF(ref)) {
439                 sv_del_backref(target, ref);
440                 SvWEAKREF_off(ref);
441                 SvRV_set(ref, NULL);
442             } else {
443                 SvROK_off(ref);
444                 SvRV_set(ref, NULL);
445                 SvREFCNT_dec(target);
446             }
447         }
448     }
449
450     /* XXX Might want to check arrays, etc. */
451 }
452
453 /* called by sv_clean_objs() for each live SV */
454
455 #ifndef DISABLE_DESTRUCTOR_KLUDGE
456 static void
457 do_clean_named_objs(pTHX_ SV *sv)
458 {
459     dVAR;
460     assert(SvTYPE(sv) == SVt_PVGV);
461     assert(isGV_with_GP(sv));
462     if (GvGP(sv)) {
463         if ((
464 #ifdef PERL_DONT_CREATE_GVSV
465              GvSV(sv) &&
466 #endif
467              SvOBJECT(GvSV(sv))) ||
468              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
469              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
470              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
471              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
472              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
473         {
474             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
475             SvFLAGS(sv) |= SVf_BREAK;
476             SvREFCNT_dec(sv);
477         }
478     }
479 }
480 #endif
481
482 /*
483 =for apidoc sv_clean_objs
484
485 Attempt to destroy all objects not yet freed
486
487 =cut
488 */
489
490 void
491 Perl_sv_clean_objs(pTHX)
492 {
493     dVAR;
494     PL_in_clean_objs = TRUE;
495     visit(do_clean_objs, SVf_ROK, SVf_ROK);
496 #ifndef DISABLE_DESTRUCTOR_KLUDGE
497     /* some barnacles may yet remain, clinging to typeglobs */
498     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
499 #endif
500     PL_in_clean_objs = FALSE;
501 }
502
503 /* called by sv_clean_all() for each live SV */
504
505 static void
506 do_clean_all(pTHX_ SV *sv)
507 {
508     dVAR;
509     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
510     SvFLAGS(sv) |= SVf_BREAK;
511     SvREFCNT_dec(sv);
512 }
513
514 /*
515 =for apidoc sv_clean_all
516
517 Decrement the refcnt of each remaining SV, possibly triggering a
518 cleanup. This function may have to be called multiple times to free
519 SVs which are in complex self-referential hierarchies.
520
521 =cut
522 */
523
524 I32
525 Perl_sv_clean_all(pTHX)
526 {
527     dVAR;
528     I32 cleaned;
529     PL_in_clean_all = TRUE;
530     cleaned = visit(do_clean_all, 0,0);
531     PL_in_clean_all = FALSE;
532     return cleaned;
533 }
534
535 /*
536   ARENASETS: a meta-arena implementation which separates arena-info
537   into struct arena_set, which contains an array of struct
538   arena_descs, each holding info for a single arena.  By separating
539   the meta-info from the arena, we recover the 1st slot, formerly
540   borrowed for list management.  The arena_set is about the size of an
541   arena, avoiding the needless malloc overhead of a naive linked-list.
542
543   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
544   memory in the last arena-set (1/2 on average).  In trade, we get
545   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
546   smaller types).  The recovery of the wasted space allows use of
547   small arenas for large, rare body types, by changing array* fields
548   in body_details_by_type[] below.
549 */
550 struct arena_desc {
551     char       *arena;          /* the raw storage, allocated aligned */
552     size_t      size;           /* its size ~4k typ */
553     U32         misc;           /* type, and in future other things. */
554 };
555
556 struct arena_set;
557
558 /* Get the maximum number of elements in set[] such that struct arena_set
559    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
560    therefore likely to be 1 aligned memory page.  */
561
562 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
563                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
564
565 struct arena_set {
566     struct arena_set* next;
567     unsigned int   set_size;    /* ie ARENAS_PER_SET */
568     unsigned int   curr;        /* index of next available arena-desc */
569     struct arena_desc set[ARENAS_PER_SET];
570 };
571
572 /*
573 =for apidoc sv_free_arenas
574
575 Deallocate the memory used by all arenas. Note that all the individual SV
576 heads and bodies within the arenas must already have been freed.
577
578 =cut
579 */
580 void
581 Perl_sv_free_arenas(pTHX)
582 {
583     dVAR;
584     SV* sva;
585     SV* svanext;
586     unsigned int i;
587
588     /* Free arenas here, but be careful about fake ones.  (We assume
589        contiguity of the fake ones with the corresponding real ones.) */
590
591     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
592         svanext = (SV*) SvANY(sva);
593         while (svanext && SvFAKE(svanext))
594             svanext = (SV*) SvANY(svanext);
595
596         if (!SvFAKE(sva))
597             Safefree(sva);
598     }
599
600     {
601         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
602
603         while (aroot) {
604             struct arena_set *current = aroot;
605             i = aroot->curr;
606             while (i--) {
607                 assert(aroot->set[i].arena);
608                 Safefree(aroot->set[i].arena);
609             }
610             aroot = aroot->next;
611             Safefree(current);
612         }
613     }
614     PL_body_arenas = 0;
615
616     i = PERL_ARENA_ROOTS_SIZE;
617     while (i--)
618         PL_body_roots[i] = 0;
619
620     Safefree(PL_nice_chunk);
621     PL_nice_chunk = NULL;
622     PL_nice_chunk_size = 0;
623     PL_sv_arenaroot = 0;
624     PL_sv_root = 0;
625 }
626
627 /*
628   Here are mid-level routines that manage the allocation of bodies out
629   of the various arenas.  There are 5 kinds of arenas:
630
631   1. SV-head arenas, which are discussed and handled above
632   2. regular body arenas
633   3. arenas for reduced-size bodies
634   4. Hash-Entry arenas
635   5. pte arenas (thread related)
636
637   Arena types 2 & 3 are chained by body-type off an array of
638   arena-root pointers, which is indexed by svtype.  Some of the
639   larger/less used body types are malloced singly, since a large
640   unused block of them is wasteful.  Also, several svtypes dont have
641   bodies; the data fits into the sv-head itself.  The arena-root
642   pointer thus has a few unused root-pointers (which may be hijacked
643   later for arena types 4,5)
644
645   3 differs from 2 as an optimization; some body types have several
646   unused fields in the front of the structure (which are kept in-place
647   for consistency).  These bodies can be allocated in smaller chunks,
648   because the leading fields arent accessed.  Pointers to such bodies
649   are decremented to point at the unused 'ghost' memory, knowing that
650   the pointers are used with offsets to the real memory.
651
652   HE, HEK arenas are managed separately, with separate code, but may
653   be merge-able later..
654
655   PTE arenas are not sv-bodies, but they share these mid-level
656   mechanics, so are considered here.  The new mid-level mechanics rely
657   on the sv_type of the body being allocated, so we just reserve one
658   of the unused body-slots for PTEs, then use it in those (2) PTE
659   contexts below (line ~10k)
660 */
661
662 /* get_arena(size): this creates custom-sized arenas
663    TBD: export properly for hv.c: S_more_he().
664 */
665 void*
666 Perl_get_arena(pTHX_ size_t arena_size, U32 misc)
667 {
668     dVAR;
669     struct arena_desc* adesc;
670     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
671     unsigned int curr;
672
673     /* shouldnt need this
674     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
675     */
676
677     /* may need new arena-set to hold new arena */
678     if (!aroot || aroot->curr >= aroot->set_size) {
679         struct arena_set *newroot;
680         Newxz(newroot, 1, struct arena_set);
681         newroot->set_size = ARENAS_PER_SET;
682         newroot->next = aroot;
683         aroot = newroot;
684         PL_body_arenas = (void *) newroot;
685         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
686     }
687
688     /* ok, now have arena-set with at least 1 empty/available arena-desc */
689     curr = aroot->curr++;
690     adesc = &(aroot->set[curr]);
691     assert(!adesc->arena);
692     
693     Newx(adesc->arena, arena_size, char);
694     adesc->size = arena_size;
695     adesc->misc = misc;
696     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
697                           curr, (void*)adesc->arena, (UV)arena_size));
698
699     return adesc->arena;
700 }
701
702
703 /* return a thing to the free list */
704
705 #define del_body(thing, root)                   \
706     STMT_START {                                \
707         void ** const thing_copy = (void **)thing;\
708         *thing_copy = *root;                    \
709         *root = (void*)thing_copy;              \
710     } STMT_END
711
712 /* 
713
714 =head1 SV-Body Allocation
715
716 Allocation of SV-bodies is similar to SV-heads, differing as follows;
717 the allocation mechanism is used for many body types, so is somewhat
718 more complicated, it uses arena-sets, and has no need for still-live
719 SV detection.
720
721 At the outermost level, (new|del)_X*V macros return bodies of the
722 appropriate type.  These macros call either (new|del)_body_type or
723 (new|del)_body_allocated macro pairs, depending on specifics of the
724 type.  Most body types use the former pair, the latter pair is used to
725 allocate body types with "ghost fields".
726
727 "ghost fields" are fields that are unused in certain types, and
728 consequently dont need to actually exist.  They are declared because
729 they're part of a "base type", which allows use of functions as
730 methods.  The simplest examples are AVs and HVs, 2 aggregate types
731 which don't use the fields which support SCALAR semantics.
732
733 For these types, the arenas are carved up into *_allocated size
734 chunks, we thus avoid wasted memory for those unaccessed members.
735 When bodies are allocated, we adjust the pointer back in memory by the
736 size of the bit not allocated, so it's as if we allocated the full
737 structure.  (But things will all go boom if you write to the part that
738 is "not there", because you'll be overwriting the last members of the
739 preceding structure in memory.)
740
741 We calculate the correction using the STRUCT_OFFSET macro. For
742 example, if xpv_allocated is the same structure as XPV then the two
743 OFFSETs sum to zero, and the pointer is unchanged. If the allocated
744 structure is smaller (no initial NV actually allocated) then the net
745 effect is to subtract the size of the NV from the pointer, to return a
746 new pointer as if an initial NV were actually allocated.
747
748 This is the same trick as was used for NV and IV bodies. Ironically it
749 doesn't need to be used for NV bodies any more, because NV is now at
750 the start of the structure. IV bodies don't need it either, because
751 they are no longer allocated.
752
753 In turn, the new_body_* allocators call S_new_body(), which invokes
754 new_body_inline macro, which takes a lock, and takes a body off the
755 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
756 necessary to refresh an empty list.  Then the lock is released, and
757 the body is returned.
758
759 S_more_bodies calls get_arena(), and carves it up into an array of N
760 bodies, which it strings into a linked list.  It looks up arena-size
761 and body-size from the body_details table described below, thus
762 supporting the multiple body-types.
763
764 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
765 the (new|del)_X*V macros are mapped directly to malloc/free.
766
767 */
768
769 /* 
770
771 For each sv-type, struct body_details bodies_by_type[] carries
772 parameters which control these aspects of SV handling:
773
774 Arena_size determines whether arenas are used for this body type, and if
775 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
776 zero, forcing individual mallocs and frees.
777
778 Body_size determines how big a body is, and therefore how many fit into
779 each arena.  Offset carries the body-pointer adjustment needed for
780 *_allocated body types, and is used in *_allocated macros.
781
782 But its main purpose is to parameterize info needed in
783 Perl_sv_upgrade().  The info here dramatically simplifies the function
784 vs the implementation in 5.8.7, making it table-driven.  All fields
785 are used for this, except for arena_size.
786
787 For the sv-types that have no bodies, arenas are not used, so those
788 PL_body_roots[sv_type] are unused, and can be overloaded.  In
789 something of a special case, SVt_NULL is borrowed for HE arenas;
790 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
791 bodies_by_type[SVt_NULL] slot is not used, as the table is not
792 available in hv.c.
793
794 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
795 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
796 just use the same allocation semantics.  At first, PTEs were also
797 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
798 bugs, so was simplified by claiming a new slot.  This choice has no
799 consequence at this time.
800
801 */
802
803 struct body_details {
804     U8 body_size;       /* Size to allocate  */
805     U8 copy;            /* Size of structure to copy (may be shorter)  */
806     U8 offset;
807     unsigned int type : 4;          /* We have space for a sanity check.  */
808     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
809     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
810     unsigned int arena : 1;         /* Allocated from an arena */
811     size_t arena_size;              /* Size of arena to allocate */
812 };
813
814 #define HADNV FALSE
815 #define NONV TRUE
816
817
818 #ifdef PURIFY
819 /* With -DPURFIY we allocate everything directly, and don't use arenas.
820    This seems a rather elegant way to simplify some of the code below.  */
821 #define HASARENA FALSE
822 #else
823 #define HASARENA TRUE
824 #endif
825 #define NOARENA FALSE
826
827 /* Size the arenas to exactly fit a given number of bodies.  A count
828    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
829    simplifying the default.  If count > 0, the arena is sized to fit
830    only that many bodies, allowing arenas to be used for large, rare
831    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
832    limited by PERL_ARENA_SIZE, so we can safely oversize the
833    declarations.
834  */
835 #define FIT_ARENA0(body_size)                           \
836     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
837 #define FIT_ARENAn(count,body_size)                     \
838     ( count * body_size <= PERL_ARENA_SIZE)             \
839     ? count * body_size                                 \
840     : FIT_ARENA0 (body_size)
841 #define FIT_ARENA(count,body_size)                      \
842     count                                               \
843     ? FIT_ARENAn (count, body_size)                     \
844     : FIT_ARENA0 (body_size)
845
846 /* A macro to work out the offset needed to subtract from a pointer to (say)
847
848 typedef struct {
849     STRLEN      xpv_cur;
850     STRLEN      xpv_len;
851 } xpv_allocated;
852
853 to make its members accessible via a pointer to (say)
854
855 struct xpv {
856     NV          xnv_nv;
857     STRLEN      xpv_cur;
858     STRLEN      xpv_len;
859 };
860
861 */
862
863 #define relative_STRUCT_OFFSET(longer, shorter, member) \
864     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
865
866 /* Calculate the length to copy. Specifically work out the length less any
867    final padding the compiler needed to add.  See the comment in sv_upgrade
868    for why copying the padding proved to be a bug.  */
869
870 #define copy_length(type, last_member) \
871         STRUCT_OFFSET(type, last_member) \
872         + sizeof (((type*)SvANY((SV*)0))->last_member)
873
874 static const struct body_details bodies_by_type[] = {
875     { sizeof(HE), 0, 0, SVt_NULL,
876       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
877
878     /* The bind placeholder pretends to be an RV for now.
879        Also it's marked as "can't upgrade" to stop anyone using it before it's
880        implemented.  */
881     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
882
883     /* IVs are in the head, so the allocation size is 0.
884        However, the slot is overloaded for PTEs.  */
885     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
886       sizeof(IV), /* This is used to copy out the IV body.  */
887       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
888       NOARENA /* IVS don't need an arena  */,
889       /* But PTEs need to know the size of their arena  */
890       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
891     },
892
893     /* 8 bytes on most ILP32 with IEEE doubles */
894     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
895       FIT_ARENA(0, sizeof(NV)) },
896
897     /* 8 bytes on most ILP32 with IEEE doubles */
898     { sizeof(xpv_allocated),
899       copy_length(XPV, xpv_len)
900       - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
901       + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
902       SVt_PV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpv_allocated)) },
903
904     /* 12 */
905     { sizeof(xpviv_allocated),
906       copy_length(XPVIV, xiv_u)
907       - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
908       + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
909       SVt_PVIV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpviv_allocated)) },
910
911     /* 20 */
912     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
913       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
914
915     /* 28 */
916     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
917       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
918
919     /* There are plans for this  */
920     { 0, 0, 0, SVt_ORANGE, FALSE, NONV, NOARENA, 0 },
921
922     /* 48 */
923     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
924       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
925     
926     /* 64 */
927     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
928       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
929
930     { sizeof(xpvav_allocated),
931       copy_length(XPVAV, xmg_stash)
932       - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
933       + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
934       SVt_PVAV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvav_allocated)) },
935
936     { sizeof(xpvhv_allocated),
937       copy_length(XPVHV, xmg_stash)
938       - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
939       + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
940       SVt_PVHV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvhv_allocated)) },
941
942     /* 56 */
943     { sizeof(xpvcv_allocated), sizeof(xpvcv_allocated),
944       + relative_STRUCT_OFFSET(xpvcv_allocated, XPVCV, xpv_cur),
945       SVt_PVCV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvcv_allocated)) },
946
947     { sizeof(xpvfm_allocated), sizeof(xpvfm_allocated),
948       + relative_STRUCT_OFFSET(xpvfm_allocated, XPVFM, xpv_cur),
949       SVt_PVFM, TRUE, NONV, NOARENA, FIT_ARENA(20, sizeof(xpvfm_allocated)) },
950
951     /* XPVIO is 84 bytes, fits 48x */
952     { sizeof(XPVIO), sizeof(XPVIO), 0, SVt_PVIO, TRUE, HADNV,
953       HASARENA, FIT_ARENA(24, sizeof(XPVIO)) },
954 };
955
956 #define new_body_type(sv_type)          \
957     (void *)((char *)S_new_body(aTHX_ sv_type))
958
959 #define del_body_type(p, sv_type)       \
960     del_body(p, &PL_body_roots[sv_type])
961
962
963 #define new_body_allocated(sv_type)             \
964     (void *)((char *)S_new_body(aTHX_ sv_type)  \
965              - bodies_by_type[sv_type].offset)
966
967 #define del_body_allocated(p, sv_type)          \
968     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
969
970
971 #define my_safemalloc(s)        (void*)safemalloc(s)
972 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
973 #define my_safefree(p)  safefree((char*)p)
974
975 #ifdef PURIFY
976
977 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
978 #define del_XNV(p)      my_safefree(p)
979
980 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
981 #define del_XPVNV(p)    my_safefree(p)
982
983 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
984 #define del_XPVAV(p)    my_safefree(p)
985
986 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
987 #define del_XPVHV(p)    my_safefree(p)
988
989 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
990 #define del_XPVMG(p)    my_safefree(p)
991
992 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
993 #define del_XPVGV(p)    my_safefree(p)
994
995 #else /* !PURIFY */
996
997 #define new_XNV()       new_body_type(SVt_NV)
998 #define del_XNV(p)      del_body_type(p, SVt_NV)
999
1000 #define new_XPVNV()     new_body_type(SVt_PVNV)
1001 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1002
1003 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1004 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1005
1006 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1007 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1008
1009 #define new_XPVMG()     new_body_type(SVt_PVMG)
1010 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1011
1012 #define new_XPVGV()     new_body_type(SVt_PVGV)
1013 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1014
1015 #endif /* PURIFY */
1016
1017 /* no arena for you! */
1018
1019 #define new_NOARENA(details) \
1020         my_safemalloc((details)->body_size + (details)->offset)
1021 #define new_NOARENAZ(details) \
1022         my_safecalloc((details)->body_size + (details)->offset)
1023
1024 STATIC void *
1025 S_more_bodies (pTHX_ svtype sv_type)
1026 {
1027     dVAR;
1028     void ** const root = &PL_body_roots[sv_type];
1029     const struct body_details * const bdp = &bodies_by_type[sv_type];
1030     const size_t body_size = bdp->body_size;
1031     char *start;
1032     const char *end;
1033 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1034     static bool done_sanity_check;
1035
1036     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1037      * variables like done_sanity_check. */
1038     if (!done_sanity_check) {
1039         unsigned int i = SVt_LAST;
1040
1041         done_sanity_check = TRUE;
1042
1043         while (i--)
1044             assert (bodies_by_type[i].type == i);
1045     }
1046 #endif
1047
1048     assert(bdp->arena_size);
1049
1050     start = (char*) Perl_get_arena(aTHX_ bdp->arena_size, sv_type);
1051
1052     end = start + bdp->arena_size - body_size;
1053
1054     /* computed count doesnt reflect the 1st slot reservation */
1055     DEBUG_m(PerlIO_printf(Perl_debug_log,
1056                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1057                           (void*)start, (void*)end,
1058                           (int)bdp->arena_size, sv_type, (int)body_size,
1059                           (int)bdp->arena_size / (int)body_size));
1060
1061     *root = (void *)start;
1062
1063     while (start < end) {
1064         char * const next = start + body_size;
1065         *(void**) start = (void *)next;
1066         start = next;
1067     }
1068     *(void **)start = 0;
1069
1070     return *root;
1071 }
1072
1073 /* grab a new thing from the free list, allocating more if necessary.
1074    The inline version is used for speed in hot routines, and the
1075    function using it serves the rest (unless PURIFY).
1076 */
1077 #define new_body_inline(xpv, sv_type) \
1078     STMT_START { \
1079         void ** const r3wt = &PL_body_roots[sv_type]; \
1080         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1081           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1082         *(r3wt) = *(void**)(xpv); \
1083     } STMT_END
1084
1085 #ifndef PURIFY
1086
1087 STATIC void *
1088 S_new_body(pTHX_ svtype sv_type)
1089 {
1090     dVAR;
1091     void *xpv;
1092     new_body_inline(xpv, sv_type);
1093     return xpv;
1094 }
1095
1096 #endif
1097
1098 static const struct body_details fake_rv =
1099     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1100
1101 /*
1102 =for apidoc sv_upgrade
1103
1104 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1105 SV, then copies across as much information as possible from the old body.
1106 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1107
1108 =cut
1109 */
1110
1111 void
1112 Perl_sv_upgrade(pTHX_ register SV *sv, svtype new_type)
1113 {
1114     dVAR;
1115     void*       old_body;
1116     void*       new_body;
1117     const svtype old_type = SvTYPE(sv);
1118     const struct body_details *new_type_details;
1119     const struct body_details *old_type_details
1120         = bodies_by_type + old_type;
1121     SV *referant = NULL;
1122
1123     if (new_type != SVt_PV && SvIsCOW(sv)) {
1124         sv_force_normal_flags(sv, 0);
1125     }
1126
1127     if (old_type == new_type)
1128         return;
1129
1130     old_body = SvANY(sv);
1131
1132     /* Copying structures onto other structures that have been neatly zeroed
1133        has a subtle gotcha. Consider XPVMG
1134
1135        +------+------+------+------+------+-------+-------+
1136        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1137        +------+------+------+------+------+-------+-------+
1138        0      4      8     12     16     20      24      28
1139
1140        where NVs are aligned to 8 bytes, so that sizeof that structure is
1141        actually 32 bytes long, with 4 bytes of padding at the end:
1142
1143        +------+------+------+------+------+-------+-------+------+
1144        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1145        +------+------+------+------+------+-------+-------+------+
1146        0      4      8     12     16     20      24      28     32
1147
1148        so what happens if you allocate memory for this structure:
1149
1150        +------+------+------+------+------+-------+-------+------+------+...
1151        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1152        +------+------+------+------+------+-------+-------+------+------+...
1153        0      4      8     12     16     20      24      28     32     36
1154
1155        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1156        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1157        started out as zero once, but it's quite possible that it isn't. So now,
1158        rather than a nicely zeroed GP, you have it pointing somewhere random.
1159        Bugs ensue.
1160
1161        (In fact, GP ends up pointing at a previous GP structure, because the
1162        principle cause of the padding in XPVMG getting garbage is a copy of
1163        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1164        this happens to be moot because XPVGV has been re-ordered, with GP
1165        no longer after STASH)
1166
1167        So we are careful and work out the size of used parts of all the
1168        structures.  */
1169
1170     switch (old_type) {
1171     case SVt_NULL:
1172         break;
1173     case SVt_IV:
1174         if (SvROK(sv)) {
1175             referant = SvRV(sv);
1176             old_type_details = &fake_rv;
1177             if (new_type == SVt_NV)
1178                 new_type = SVt_PVNV;
1179         } else {
1180             if (new_type < SVt_PVIV) {
1181                 new_type = (new_type == SVt_NV)
1182                     ? SVt_PVNV : SVt_PVIV;
1183             }
1184         }
1185         break;
1186     case SVt_NV:
1187         if (new_type < SVt_PVNV) {
1188             new_type = SVt_PVNV;
1189         }
1190         break;
1191     case SVt_PV:
1192         assert(new_type > SVt_PV);
1193         assert(SVt_IV < SVt_PV);
1194         assert(SVt_NV < SVt_PV);
1195         break;
1196     case SVt_PVIV:
1197         break;
1198     case SVt_PVNV:
1199         break;
1200     case SVt_PVMG:
1201         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1202            there's no way that it can be safely upgraded, because perl.c
1203            expects to Safefree(SvANY(PL_mess_sv))  */
1204         assert(sv != PL_mess_sv);
1205         /* This flag bit is used to mean other things in other scalar types.
1206            Given that it only has meaning inside the pad, it shouldn't be set
1207            on anything that can get upgraded.  */
1208         assert(!SvPAD_TYPED(sv));
1209         break;
1210     default:
1211         if (old_type_details->cant_upgrade)
1212             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1213                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1214     }
1215
1216     if (old_type > new_type)
1217         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1218                 (int)old_type, (int)new_type);
1219
1220     new_type_details = bodies_by_type + new_type;
1221
1222     SvFLAGS(sv) &= ~SVTYPEMASK;
1223     SvFLAGS(sv) |= new_type;
1224
1225     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1226        the return statements above will have triggered.  */
1227     assert (new_type != SVt_NULL);
1228     switch (new_type) {
1229     case SVt_IV:
1230         assert(old_type == SVt_NULL);
1231         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1232         SvIV_set(sv, 0);
1233         return;
1234     case SVt_NV:
1235         assert(old_type == SVt_NULL);
1236         SvANY(sv) = new_XNV();
1237         SvNV_set(sv, 0);
1238         return;
1239     case SVt_PVHV:
1240     case SVt_PVAV:
1241         assert(new_type_details->body_size);
1242
1243 #ifndef PURIFY  
1244         assert(new_type_details->arena);
1245         assert(new_type_details->arena_size);
1246         /* This points to the start of the allocated area.  */
1247         new_body_inline(new_body, new_type);
1248         Zero(new_body, new_type_details->body_size, char);
1249         new_body = ((char *)new_body) - new_type_details->offset;
1250 #else
1251         /* We always allocated the full length item with PURIFY. To do this
1252            we fake things so that arena is false for all 16 types..  */
1253         new_body = new_NOARENAZ(new_type_details);
1254 #endif
1255         SvANY(sv) = new_body;
1256         if (new_type == SVt_PVAV) {
1257             AvMAX(sv)   = -1;
1258             AvFILLp(sv) = -1;
1259             AvREAL_only(sv);
1260             if (old_type_details->body_size) {
1261                 AvALLOC(sv) = 0;
1262             } else {
1263                 /* It will have been zeroed when the new body was allocated.
1264                    Lets not write to it, in case it confuses a write-back
1265                    cache.  */
1266             }
1267         } else {
1268             assert(!SvOK(sv));
1269             SvOK_off(sv);
1270 #ifndef NODEFAULT_SHAREKEYS
1271             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1272 #endif
1273             HvMAX(sv) = 7; /* (start with 8 buckets) */
1274             if (old_type_details->body_size) {
1275                 HvFILL(sv) = 0;
1276             } else {
1277                 /* It will have been zeroed when the new body was allocated.
1278                    Lets not write to it, in case it confuses a write-back
1279                    cache.  */
1280             }
1281         }
1282
1283         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1284            The target created by newSVrv also is, and it can have magic.
1285            However, it never has SvPVX set.
1286         */
1287         if (old_type == SVt_IV) {
1288             assert(!SvROK(sv));
1289         } else if (old_type >= SVt_PV) {
1290             assert(SvPVX_const(sv) == 0);
1291         }
1292
1293         if (old_type >= SVt_PVMG) {
1294             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1295             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1296         } else {
1297             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1298         }
1299         break;
1300
1301
1302     case SVt_PVIV:
1303         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1304            no route from NV to PVIV, NOK can never be true  */
1305         assert(!SvNOKp(sv));
1306         assert(!SvNOK(sv));
1307     case SVt_PVIO:
1308     case SVt_PVFM:
1309     case SVt_PVGV:
1310     case SVt_PVCV:
1311     case SVt_PVLV:
1312     case SVt_PVMG:
1313     case SVt_PVNV:
1314     case SVt_PV:
1315
1316         assert(new_type_details->body_size);
1317         /* We always allocated the full length item with PURIFY. To do this
1318            we fake things so that arena is false for all 16 types..  */
1319         if(new_type_details->arena) {
1320             /* This points to the start of the allocated area.  */
1321             new_body_inline(new_body, new_type);
1322             Zero(new_body, new_type_details->body_size, char);
1323             new_body = ((char *)new_body) - new_type_details->offset;
1324         } else {
1325             new_body = new_NOARENAZ(new_type_details);
1326         }
1327         SvANY(sv) = new_body;
1328
1329         if (old_type_details->copy) {
1330             /* There is now the potential for an upgrade from something without
1331                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1332             int offset = old_type_details->offset;
1333             int length = old_type_details->copy;
1334
1335             if (new_type_details->offset > old_type_details->offset) {
1336                 const int difference
1337                     = new_type_details->offset - old_type_details->offset;
1338                 offset += difference;
1339                 length -= difference;
1340             }
1341             assert (length >= 0);
1342                 
1343             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1344                  char);
1345         }
1346
1347 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1348         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1349          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1350          * NV slot, but the new one does, then we need to initialise the
1351          * freshly created NV slot with whatever the correct bit pattern is
1352          * for 0.0  */
1353         if (old_type_details->zero_nv && !new_type_details->zero_nv
1354             && !isGV_with_GP(sv))
1355             SvNV_set(sv, 0);
1356 #endif
1357
1358         if (new_type == SVt_PVIO)
1359             IoPAGE_LEN(sv) = 60;
1360         if (old_type < SVt_PV) {
1361             /* referant will be NULL unless the old type was SVt_IV emulating
1362                SVt_RV */
1363             sv->sv_u.svu_rv = referant;
1364         }
1365         break;
1366     default:
1367         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1368                    (unsigned long)new_type);
1369     }
1370
1371     if (old_type_details->arena) {
1372         /* If there was an old body, then we need to free it.
1373            Note that there is an assumption that all bodies of types that
1374            can be upgraded came from arenas. Only the more complex non-
1375            upgradable types are allowed to be directly malloc()ed.  */
1376 #ifdef PURIFY
1377         my_safefree(old_body);
1378 #else
1379         del_body((void*)((char*)old_body + old_type_details->offset),
1380                  &PL_body_roots[old_type]);
1381 #endif
1382     }
1383 }
1384
1385 /*
1386 =for apidoc sv_backoff
1387
1388 Remove any string offset. You should normally use the C<SvOOK_off> macro
1389 wrapper instead.
1390
1391 =cut
1392 */
1393
1394 int
1395 Perl_sv_backoff(pTHX_ register SV *sv)
1396 {
1397     PERL_UNUSED_CONTEXT;
1398     assert(SvOOK(sv));
1399     assert(SvTYPE(sv) != SVt_PVHV);
1400     assert(SvTYPE(sv) != SVt_PVAV);
1401     if (SvIVX(sv)) {
1402         const char * const s = SvPVX_const(sv);
1403         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1404         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1405         SvIV_set(sv, 0);
1406         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1407     }
1408     SvFLAGS(sv) &= ~SVf_OOK;
1409     return 0;
1410 }
1411
1412 /*
1413 =for apidoc sv_grow
1414
1415 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1416 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1417 Use the C<SvGROW> wrapper instead.
1418
1419 =cut
1420 */
1421
1422 char *
1423 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1424 {
1425     register char *s;
1426
1427     if (PL_madskills && newlen >= 0x100000) {
1428         PerlIO_printf(Perl_debug_log,
1429                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1430     }
1431 #ifdef HAS_64K_LIMIT
1432     if (newlen >= 0x10000) {
1433         PerlIO_printf(Perl_debug_log,
1434                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1435         my_exit(1);
1436     }
1437 #endif /* HAS_64K_LIMIT */
1438     if (SvROK(sv))
1439         sv_unref(sv);
1440     if (SvTYPE(sv) < SVt_PV) {
1441         sv_upgrade(sv, SVt_PV);
1442         s = SvPVX_mutable(sv);
1443     }
1444     else if (SvOOK(sv)) {       /* pv is offset? */
1445         sv_backoff(sv);
1446         s = SvPVX_mutable(sv);
1447         if (newlen > SvLEN(sv))
1448             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1449 #ifdef HAS_64K_LIMIT
1450         if (newlen >= 0x10000)
1451             newlen = 0xFFFF;
1452 #endif
1453     }
1454     else
1455         s = SvPVX_mutable(sv);
1456
1457     if (newlen > SvLEN(sv)) {           /* need more room? */
1458         newlen = PERL_STRLEN_ROUNDUP(newlen);
1459         if (SvLEN(sv) && s) {
1460 #ifdef MYMALLOC
1461             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1462             if (newlen <= l) {
1463                 SvLEN_set(sv, l);
1464                 return s;
1465             } else
1466 #endif
1467             s = (char*)saferealloc(s, newlen);
1468         }
1469         else {
1470             s = (char*)safemalloc(newlen);
1471             if (SvPVX_const(sv) && SvCUR(sv)) {
1472                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1473             }
1474         }
1475         SvPV_set(sv, s);
1476         SvLEN_set(sv, newlen);
1477     }
1478     return s;
1479 }
1480
1481 /*
1482 =for apidoc sv_setiv
1483
1484 Copies an integer into the given SV, upgrading first if necessary.
1485 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1486
1487 =cut
1488 */
1489
1490 void
1491 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1492 {
1493     dVAR;
1494     SV_CHECK_THINKFIRST_COW_DROP(sv);
1495     switch (SvTYPE(sv)) {
1496     case SVt_NULL:
1497     case SVt_NV:
1498         sv_upgrade(sv, SVt_IV);
1499         break;
1500     case SVt_PV:
1501         sv_upgrade(sv, SVt_PVIV);
1502         break;
1503
1504     case SVt_PVGV:
1505     case SVt_PVAV:
1506     case SVt_PVHV:
1507     case SVt_PVCV:
1508     case SVt_PVFM:
1509     case SVt_PVIO:
1510         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1511                    OP_DESC(PL_op));
1512     default: NOOP;
1513     }
1514     (void)SvIOK_only(sv);                       /* validate number */
1515     SvIV_set(sv, i);
1516     SvTAINT(sv);
1517 }
1518
1519 /*
1520 =for apidoc sv_setiv_mg
1521
1522 Like C<sv_setiv>, but also handles 'set' magic.
1523
1524 =cut
1525 */
1526
1527 void
1528 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1529 {
1530     sv_setiv(sv,i);
1531     SvSETMAGIC(sv);
1532 }
1533
1534 /*
1535 =for apidoc sv_setuv
1536
1537 Copies an unsigned integer into the given SV, upgrading first if necessary.
1538 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1539
1540 =cut
1541 */
1542
1543 void
1544 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1545 {
1546     /* With these two if statements:
1547        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1548
1549        without
1550        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1551
1552        If you wish to remove them, please benchmark to see what the effect is
1553     */
1554     if (u <= (UV)IV_MAX) {
1555        sv_setiv(sv, (IV)u);
1556        return;
1557     }
1558     sv_setiv(sv, 0);
1559     SvIsUV_on(sv);
1560     SvUV_set(sv, u);
1561 }
1562
1563 /*
1564 =for apidoc sv_setuv_mg
1565
1566 Like C<sv_setuv>, but also handles 'set' magic.
1567
1568 =cut
1569 */
1570
1571 void
1572 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1573 {
1574     sv_setuv(sv,u);
1575     SvSETMAGIC(sv);
1576 }
1577
1578 /*
1579 =for apidoc sv_setnv
1580
1581 Copies a double into the given SV, upgrading first if necessary.
1582 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1583
1584 =cut
1585 */
1586
1587 void
1588 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1589 {
1590     dVAR;
1591     SV_CHECK_THINKFIRST_COW_DROP(sv);
1592     switch (SvTYPE(sv)) {
1593     case SVt_NULL:
1594     case SVt_IV:
1595         sv_upgrade(sv, SVt_NV);
1596         break;
1597     case SVt_PV:
1598     case SVt_PVIV:
1599         sv_upgrade(sv, SVt_PVNV);
1600         break;
1601
1602     case SVt_PVGV:
1603     case SVt_PVAV:
1604     case SVt_PVHV:
1605     case SVt_PVCV:
1606     case SVt_PVFM:
1607     case SVt_PVIO:
1608         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1609                    OP_NAME(PL_op));
1610     default: NOOP;
1611     }
1612     SvNV_set(sv, num);
1613     (void)SvNOK_only(sv);                       /* validate number */
1614     SvTAINT(sv);
1615 }
1616
1617 /*
1618 =for apidoc sv_setnv_mg
1619
1620 Like C<sv_setnv>, but also handles 'set' magic.
1621
1622 =cut
1623 */
1624
1625 void
1626 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1627 {
1628     sv_setnv(sv,num);
1629     SvSETMAGIC(sv);
1630 }
1631
1632 /* Print an "isn't numeric" warning, using a cleaned-up,
1633  * printable version of the offending string
1634  */
1635
1636 STATIC void
1637 S_not_a_number(pTHX_ SV *sv)
1638 {
1639      dVAR;
1640      SV *dsv;
1641      char tmpbuf[64];
1642      const char *pv;
1643
1644      if (DO_UTF8(sv)) {
1645           dsv = sv_2mortal(newSVpvs(""));
1646           pv = sv_uni_display(dsv, sv, 10, 0);
1647      } else {
1648           char *d = tmpbuf;
1649           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1650           /* each *s can expand to 4 chars + "...\0",
1651              i.e. need room for 8 chars */
1652         
1653           const char *s = SvPVX_const(sv);
1654           const char * const end = s + SvCUR(sv);
1655           for ( ; s < end && d < limit; s++ ) {
1656                int ch = *s & 0xFF;
1657                if (ch & 128 && !isPRINT_LC(ch)) {
1658                     *d++ = 'M';
1659                     *d++ = '-';
1660                     ch &= 127;
1661                }
1662                if (ch == '\n') {
1663                     *d++ = '\\';
1664                     *d++ = 'n';
1665                }
1666                else if (ch == '\r') {
1667                     *d++ = '\\';
1668                     *d++ = 'r';
1669                }
1670                else if (ch == '\f') {
1671                     *d++ = '\\';
1672                     *d++ = 'f';
1673                }
1674                else if (ch == '\\') {
1675                     *d++ = '\\';
1676                     *d++ = '\\';
1677                }
1678                else if (ch == '\0') {
1679                     *d++ = '\\';
1680                     *d++ = '0';
1681                }
1682                else if (isPRINT_LC(ch))
1683                     *d++ = ch;
1684                else {
1685                     *d++ = '^';
1686                     *d++ = toCTRL(ch);
1687                }
1688           }
1689           if (s < end) {
1690                *d++ = '.';
1691                *d++ = '.';
1692                *d++ = '.';
1693           }
1694           *d = '\0';
1695           pv = tmpbuf;
1696     }
1697
1698     if (PL_op)
1699         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1700                     "Argument \"%s\" isn't numeric in %s", pv,
1701                     OP_DESC(PL_op));
1702     else
1703         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1704                     "Argument \"%s\" isn't numeric", pv);
1705 }
1706
1707 /*
1708 =for apidoc looks_like_number
1709
1710 Test if the content of an SV looks like a number (or is a number).
1711 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1712 non-numeric warning), even if your atof() doesn't grok them.
1713
1714 =cut
1715 */
1716
1717 I32
1718 Perl_looks_like_number(pTHX_ SV *sv)
1719 {
1720     register const char *sbegin;
1721     STRLEN len;
1722
1723     if (SvPOK(sv)) {
1724         sbegin = SvPVX_const(sv);
1725         len = SvCUR(sv);
1726     }
1727     else if (SvPOKp(sv))
1728         sbegin = SvPV_const(sv, len);
1729     else
1730         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1731     return grok_number(sbegin, len, NULL);
1732 }
1733
1734 STATIC bool
1735 S_glob_2number(pTHX_ GV * const gv)
1736 {
1737     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1738     SV *const buffer = sv_newmortal();
1739
1740     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1741        is on.  */
1742     SvFAKE_off(gv);
1743     gv_efullname3(buffer, gv, "*");
1744     SvFLAGS(gv) |= wasfake;
1745
1746     /* We know that all GVs stringify to something that is not-a-number,
1747         so no need to test that.  */
1748     if (ckWARN(WARN_NUMERIC))
1749         not_a_number(buffer);
1750     /* We just want something true to return, so that S_sv_2iuv_common
1751         can tail call us and return true.  */
1752     return TRUE;
1753 }
1754
1755 STATIC char *
1756 S_glob_2pv(pTHX_ GV * const gv, STRLEN * const len)
1757 {
1758     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1759     SV *const buffer = sv_newmortal();
1760
1761     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1762        is on.  */
1763     SvFAKE_off(gv);
1764     gv_efullname3(buffer, gv, "*");
1765     SvFLAGS(gv) |= wasfake;
1766
1767     assert(SvPOK(buffer));
1768     if (len) {
1769         *len = SvCUR(buffer);
1770     }
1771     return SvPVX(buffer);
1772 }
1773
1774 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1775    until proven guilty, assume that things are not that bad... */
1776
1777 /*
1778    NV_PRESERVES_UV:
1779
1780    As 64 bit platforms often have an NV that doesn't preserve all bits of
1781    an IV (an assumption perl has been based on to date) it becomes necessary
1782    to remove the assumption that the NV always carries enough precision to
1783    recreate the IV whenever needed, and that the NV is the canonical form.
1784    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1785    precision as a side effect of conversion (which would lead to insanity
1786    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1787    1) to distinguish between IV/UV/NV slots that have cached a valid
1788       conversion where precision was lost and IV/UV/NV slots that have a
1789       valid conversion which has lost no precision
1790    2) to ensure that if a numeric conversion to one form is requested that
1791       would lose precision, the precise conversion (or differently
1792       imprecise conversion) is also performed and cached, to prevent
1793       requests for different numeric formats on the same SV causing
1794       lossy conversion chains. (lossless conversion chains are perfectly
1795       acceptable (still))
1796
1797
1798    flags are used:
1799    SvIOKp is true if the IV slot contains a valid value
1800    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1801    SvNOKp is true if the NV slot contains a valid value
1802    SvNOK  is true only if the NV value is accurate
1803
1804    so
1805    while converting from PV to NV, check to see if converting that NV to an
1806    IV(or UV) would lose accuracy over a direct conversion from PV to
1807    IV(or UV). If it would, cache both conversions, return NV, but mark
1808    SV as IOK NOKp (ie not NOK).
1809
1810    While converting from PV to IV, check to see if converting that IV to an
1811    NV would lose accuracy over a direct conversion from PV to NV. If it
1812    would, cache both conversions, flag similarly.
1813
1814    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1815    correctly because if IV & NV were set NV *always* overruled.
1816    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1817    changes - now IV and NV together means that the two are interchangeable:
1818    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1819
1820    The benefit of this is that operations such as pp_add know that if
1821    SvIOK is true for both left and right operands, then integer addition
1822    can be used instead of floating point (for cases where the result won't
1823    overflow). Before, floating point was always used, which could lead to
1824    loss of precision compared with integer addition.
1825
1826    * making IV and NV equal status should make maths accurate on 64 bit
1827      platforms
1828    * may speed up maths somewhat if pp_add and friends start to use
1829      integers when possible instead of fp. (Hopefully the overhead in
1830      looking for SvIOK and checking for overflow will not outweigh the
1831      fp to integer speedup)
1832    * will slow down integer operations (callers of SvIV) on "inaccurate"
1833      values, as the change from SvIOK to SvIOKp will cause a call into
1834      sv_2iv each time rather than a macro access direct to the IV slot
1835    * should speed up number->string conversion on integers as IV is
1836      favoured when IV and NV are equally accurate
1837
1838    ####################################################################
1839    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1840    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1841    On the other hand, SvUOK is true iff UV.
1842    ####################################################################
1843
1844    Your mileage will vary depending your CPU's relative fp to integer
1845    performance ratio.
1846 */
1847
1848 #ifndef NV_PRESERVES_UV
1849 #  define IS_NUMBER_UNDERFLOW_IV 1
1850 #  define IS_NUMBER_UNDERFLOW_UV 2
1851 #  define IS_NUMBER_IV_AND_UV    2
1852 #  define IS_NUMBER_OVERFLOW_IV  4
1853 #  define IS_NUMBER_OVERFLOW_UV  5
1854
1855 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1856
1857 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1858 STATIC int
1859 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1860 {
1861     dVAR;
1862     PERL_UNUSED_ARG(numtype); /* Used only under DEBUGGING? */
1863     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1864     if (SvNVX(sv) < (NV)IV_MIN) {
1865         (void)SvIOKp_on(sv);
1866         (void)SvNOK_on(sv);
1867         SvIV_set(sv, IV_MIN);
1868         return IS_NUMBER_UNDERFLOW_IV;
1869     }
1870     if (SvNVX(sv) > (NV)UV_MAX) {
1871         (void)SvIOKp_on(sv);
1872         (void)SvNOK_on(sv);
1873         SvIsUV_on(sv);
1874         SvUV_set(sv, UV_MAX);
1875         return IS_NUMBER_OVERFLOW_UV;
1876     }
1877     (void)SvIOKp_on(sv);
1878     (void)SvNOK_on(sv);
1879     /* Can't use strtol etc to convert this string.  (See truth table in
1880        sv_2iv  */
1881     if (SvNVX(sv) <= (UV)IV_MAX) {
1882         SvIV_set(sv, I_V(SvNVX(sv)));
1883         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1884             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1885         } else {
1886             /* Integer is imprecise. NOK, IOKp */
1887         }
1888         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1889     }
1890     SvIsUV_on(sv);
1891     SvUV_set(sv, U_V(SvNVX(sv)));
1892     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1893         if (SvUVX(sv) == UV_MAX) {
1894             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1895                possibly be preserved by NV. Hence, it must be overflow.
1896                NOK, IOKp */
1897             return IS_NUMBER_OVERFLOW_UV;
1898         }
1899         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1900     } else {
1901         /* Integer is imprecise. NOK, IOKp */
1902     }
1903     return IS_NUMBER_OVERFLOW_IV;
1904 }
1905 #endif /* !NV_PRESERVES_UV*/
1906
1907 STATIC bool
1908 S_sv_2iuv_common(pTHX_ SV *sv) {
1909     dVAR;
1910     if (SvNOKp(sv)) {
1911         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1912          * without also getting a cached IV/UV from it at the same time
1913          * (ie PV->NV conversion should detect loss of accuracy and cache
1914          * IV or UV at same time to avoid this. */
1915         /* IV-over-UV optimisation - choose to cache IV if possible */
1916
1917         if (SvTYPE(sv) == SVt_NV)
1918             sv_upgrade(sv, SVt_PVNV);
1919
1920         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1921         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1922            certainly cast into the IV range at IV_MAX, whereas the correct
1923            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1924            cases go to UV */
1925 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
1926         if (Perl_isnan(SvNVX(sv))) {
1927             SvUV_set(sv, 0);
1928             SvIsUV_on(sv);
1929             return FALSE;
1930         }
1931 #endif
1932         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1933             SvIV_set(sv, I_V(SvNVX(sv)));
1934             if (SvNVX(sv) == (NV) SvIVX(sv)
1935 #ifndef NV_PRESERVES_UV
1936                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1937                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1938                 /* Don't flag it as "accurately an integer" if the number
1939                    came from a (by definition imprecise) NV operation, and
1940                    we're outside the range of NV integer precision */
1941 #endif
1942                 ) {
1943                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1944                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1945                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1946                                       PTR2UV(sv),
1947                                       SvNVX(sv),
1948                                       SvIVX(sv)));
1949
1950             } else {
1951                 /* IV not precise.  No need to convert from PV, as NV
1952                    conversion would already have cached IV if it detected
1953                    that PV->IV would be better than PV->NV->IV
1954                    flags already correct - don't set public IOK.  */
1955                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1956                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1957                                       PTR2UV(sv),
1958                                       SvNVX(sv),
1959                                       SvIVX(sv)));
1960             }
1961             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1962                but the cast (NV)IV_MIN rounds to a the value less (more
1963                negative) than IV_MIN which happens to be equal to SvNVX ??
1964                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1965                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1966                (NV)UVX == NVX are both true, but the values differ. :-(
1967                Hopefully for 2s complement IV_MIN is something like
1968                0x8000000000000000 which will be exact. NWC */
1969         }
1970         else {
1971             SvUV_set(sv, U_V(SvNVX(sv)));
1972             if (
1973                 (SvNVX(sv) == (NV) SvUVX(sv))
1974 #ifndef  NV_PRESERVES_UV
1975                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1976                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1977                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1978                 /* Don't flag it as "accurately an integer" if the number
1979                    came from a (by definition imprecise) NV operation, and
1980                    we're outside the range of NV integer precision */
1981 #endif
1982                 )
1983                 SvIOK_on(sv);
1984             SvIsUV_on(sv);
1985             DEBUG_c(PerlIO_printf(Perl_debug_log,
1986                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1987                                   PTR2UV(sv),
1988                                   SvUVX(sv),
1989                                   SvUVX(sv)));
1990         }
1991     }
1992     else if (SvPOKp(sv) && SvLEN(sv)) {
1993         UV value;
1994         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1995         /* We want to avoid a possible problem when we cache an IV/ a UV which
1996            may be later translated to an NV, and the resulting NV is not
1997            the same as the direct translation of the initial string
1998            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1999            be careful to ensure that the value with the .456 is around if the
2000            NV value is requested in the future).
2001         
2002            This means that if we cache such an IV/a UV, we need to cache the
2003            NV as well.  Moreover, we trade speed for space, and do not
2004            cache the NV if we are sure it's not needed.
2005          */
2006
2007         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2008         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2009              == IS_NUMBER_IN_UV) {
2010             /* It's definitely an integer, only upgrade to PVIV */
2011             if (SvTYPE(sv) < SVt_PVIV)
2012                 sv_upgrade(sv, SVt_PVIV);
2013             (void)SvIOK_on(sv);
2014         } else if (SvTYPE(sv) < SVt_PVNV)
2015             sv_upgrade(sv, SVt_PVNV);
2016
2017         /* If NVs preserve UVs then we only use the UV value if we know that
2018            we aren't going to call atof() below. If NVs don't preserve UVs
2019            then the value returned may have more precision than atof() will
2020            return, even though value isn't perfectly accurate.  */
2021         if ((numtype & (IS_NUMBER_IN_UV
2022 #ifdef NV_PRESERVES_UV
2023                         | IS_NUMBER_NOT_INT
2024 #endif
2025             )) == IS_NUMBER_IN_UV) {
2026             /* This won't turn off the public IOK flag if it was set above  */
2027             (void)SvIOKp_on(sv);
2028
2029             if (!(numtype & IS_NUMBER_NEG)) {
2030                 /* positive */;
2031                 if (value <= (UV)IV_MAX) {
2032                     SvIV_set(sv, (IV)value);
2033                 } else {
2034                     /* it didn't overflow, and it was positive. */
2035                     SvUV_set(sv, value);
2036                     SvIsUV_on(sv);
2037                 }
2038             } else {
2039                 /* 2s complement assumption  */
2040                 if (value <= (UV)IV_MIN) {
2041                     SvIV_set(sv, -(IV)value);
2042                 } else {
2043                     /* Too negative for an IV.  This is a double upgrade, but
2044                        I'm assuming it will be rare.  */
2045                     if (SvTYPE(sv) < SVt_PVNV)
2046                         sv_upgrade(sv, SVt_PVNV);
2047                     SvNOK_on(sv);
2048                     SvIOK_off(sv);
2049                     SvIOKp_on(sv);
2050                     SvNV_set(sv, -(NV)value);
2051                     SvIV_set(sv, IV_MIN);
2052                 }
2053             }
2054         }
2055         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2056            will be in the previous block to set the IV slot, and the next
2057            block to set the NV slot.  So no else here.  */
2058         
2059         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2060             != IS_NUMBER_IN_UV) {
2061             /* It wasn't an (integer that doesn't overflow the UV). */
2062             SvNV_set(sv, Atof(SvPVX_const(sv)));
2063
2064             if (! numtype && ckWARN(WARN_NUMERIC))
2065                 not_a_number(sv);
2066
2067 #if defined(USE_LONG_DOUBLE)
2068             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2069                                   PTR2UV(sv), SvNVX(sv)));
2070 #else
2071             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2072                                   PTR2UV(sv), SvNVX(sv)));
2073 #endif
2074
2075 #ifdef NV_PRESERVES_UV
2076             (void)SvIOKp_on(sv);
2077             (void)SvNOK_on(sv);
2078             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2079                 SvIV_set(sv, I_V(SvNVX(sv)));
2080                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2081                     SvIOK_on(sv);
2082                 } else {
2083                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2084                 }
2085                 /* UV will not work better than IV */
2086             } else {
2087                 if (SvNVX(sv) > (NV)UV_MAX) {
2088                     SvIsUV_on(sv);
2089                     /* Integer is inaccurate. NOK, IOKp, is UV */
2090                     SvUV_set(sv, UV_MAX);
2091                 } else {
2092                     SvUV_set(sv, U_V(SvNVX(sv)));
2093                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2094                        NV preservse UV so can do correct comparison.  */
2095                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2096                         SvIOK_on(sv);
2097                     } else {
2098                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2099                     }
2100                 }
2101                 SvIsUV_on(sv);
2102             }
2103 #else /* NV_PRESERVES_UV */
2104             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2105                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2106                 /* The IV/UV slot will have been set from value returned by
2107                    grok_number above.  The NV slot has just been set using
2108                    Atof.  */
2109                 SvNOK_on(sv);
2110                 assert (SvIOKp(sv));
2111             } else {
2112                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2113                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2114                     /* Small enough to preserve all bits. */
2115                     (void)SvIOKp_on(sv);
2116                     SvNOK_on(sv);
2117                     SvIV_set(sv, I_V(SvNVX(sv)));
2118                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2119                         SvIOK_on(sv);
2120                     /* Assumption: first non-preserved integer is < IV_MAX,
2121                        this NV is in the preserved range, therefore: */
2122                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2123                           < (UV)IV_MAX)) {
2124                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2125                     }
2126                 } else {
2127                     /* IN_UV NOT_INT
2128                          0      0       already failed to read UV.
2129                          0      1       already failed to read UV.
2130                          1      0       you won't get here in this case. IV/UV
2131                                         slot set, public IOK, Atof() unneeded.
2132                          1      1       already read UV.
2133                        so there's no point in sv_2iuv_non_preserve() attempting
2134                        to use atol, strtol, strtoul etc.  */
2135                     sv_2iuv_non_preserve (sv, numtype);
2136                 }
2137             }
2138 #endif /* NV_PRESERVES_UV */
2139         }
2140     }
2141     else  {
2142         if (isGV_with_GP(sv))
2143             return glob_2number((GV *)sv);
2144
2145         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2146             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2147                 report_uninit(sv);
2148         }
2149         if (SvTYPE(sv) < SVt_IV)
2150             /* Typically the caller expects that sv_any is not NULL now.  */
2151             sv_upgrade(sv, SVt_IV);
2152         /* Return 0 from the caller.  */
2153         return TRUE;
2154     }
2155     return FALSE;
2156 }
2157
2158 /*
2159 =for apidoc sv_2iv_flags
2160
2161 Return the integer value of an SV, doing any necessary string
2162 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2163 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2164
2165 =cut
2166 */
2167
2168 IV
2169 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
2170 {
2171     dVAR;
2172     if (!sv)
2173         return 0;
2174     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2175         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2176            cache IVs just in case. In practice it seems that they never
2177            actually anywhere accessible by user Perl code, let alone get used
2178            in anything other than a string context.  */
2179         if (flags & SV_GMAGIC)
2180             mg_get(sv);
2181         if (SvIOKp(sv))
2182             return SvIVX(sv);
2183         if (SvNOKp(sv)) {
2184             return I_V(SvNVX(sv));
2185         }
2186         if (SvPOKp(sv) && SvLEN(sv)) {
2187             UV value;
2188             const int numtype
2189                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2190
2191             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2192                 == IS_NUMBER_IN_UV) {
2193                 /* It's definitely an integer */
2194                 if (numtype & IS_NUMBER_NEG) {
2195                     if (value < (UV)IV_MIN)
2196                         return -(IV)value;
2197                 } else {
2198                     if (value < (UV)IV_MAX)
2199                         return (IV)value;
2200                 }
2201             }
2202             if (!numtype) {
2203                 if (ckWARN(WARN_NUMERIC))
2204                     not_a_number(sv);
2205             }
2206             return I_V(Atof(SvPVX_const(sv)));
2207         }
2208         if (SvROK(sv)) {
2209             goto return_rok;
2210         }
2211         assert(SvTYPE(sv) >= SVt_PVMG);
2212         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2213     } else if (SvTHINKFIRST(sv)) {
2214         if (SvROK(sv)) {
2215         return_rok:
2216             if (SvAMAGIC(sv)) {
2217                 SV * const tmpstr=AMG_CALLun(sv,numer);
2218                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2219                     return SvIV(tmpstr);
2220                 }
2221             }
2222             return PTR2IV(SvRV(sv));
2223         }
2224         if (SvIsCOW(sv)) {
2225             sv_force_normal_flags(sv, 0);
2226         }
2227         if (SvREADONLY(sv) && !SvOK(sv)) {
2228             if (ckWARN(WARN_UNINITIALIZED))
2229                 report_uninit(sv);
2230             return 0;
2231         }
2232     }
2233     if (!SvIOKp(sv)) {
2234         if (S_sv_2iuv_common(aTHX_ sv))
2235             return 0;
2236     }
2237     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2238         PTR2UV(sv),SvIVX(sv)));
2239     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2240 }
2241
2242 /*
2243 =for apidoc sv_2uv_flags
2244
2245 Return the unsigned integer value of an SV, doing any necessary string
2246 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2247 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2248
2249 =cut
2250 */
2251
2252 UV
2253 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
2254 {
2255     dVAR;
2256     if (!sv)
2257         return 0;
2258     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2259         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2260            cache IVs just in case.  */
2261         if (flags & SV_GMAGIC)
2262             mg_get(sv);
2263         if (SvIOKp(sv))
2264             return SvUVX(sv);
2265         if (SvNOKp(sv))
2266             return U_V(SvNVX(sv));
2267         if (SvPOKp(sv) && SvLEN(sv)) {
2268             UV value;
2269             const int numtype
2270                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2271
2272             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2273                 == IS_NUMBER_IN_UV) {
2274                 /* It's definitely an integer */
2275                 if (!(numtype & IS_NUMBER_NEG))
2276                     return value;
2277             }
2278             if (!numtype) {
2279                 if (ckWARN(WARN_NUMERIC))
2280                     not_a_number(sv);
2281             }
2282             return U_V(Atof(SvPVX_const(sv)));
2283         }
2284         if (SvROK(sv)) {
2285             goto return_rok;
2286         }
2287         assert(SvTYPE(sv) >= SVt_PVMG);
2288         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2289     } else if (SvTHINKFIRST(sv)) {
2290         if (SvROK(sv)) {
2291         return_rok:
2292             if (SvAMAGIC(sv)) {
2293                 SV *const tmpstr = AMG_CALLun(sv,numer);
2294                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2295                     return SvUV(tmpstr);
2296                 }
2297             }
2298             return PTR2UV(SvRV(sv));
2299         }
2300         if (SvIsCOW(sv)) {
2301             sv_force_normal_flags(sv, 0);
2302         }
2303         if (SvREADONLY(sv) && !SvOK(sv)) {
2304             if (ckWARN(WARN_UNINITIALIZED))
2305                 report_uninit(sv);
2306             return 0;
2307         }
2308     }
2309     if (!SvIOKp(sv)) {
2310         if (S_sv_2iuv_common(aTHX_ sv))
2311             return 0;
2312     }
2313
2314     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2315                           PTR2UV(sv),SvUVX(sv)));
2316     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2317 }
2318
2319 /*
2320 =for apidoc sv_2nv
2321
2322 Return the num value of an SV, doing any necessary string or integer
2323 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2324 macros.
2325
2326 =cut
2327 */
2328
2329 NV
2330 Perl_sv_2nv(pTHX_ register SV *sv)
2331 {
2332     dVAR;
2333     if (!sv)
2334         return 0.0;
2335     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2336         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2337            cache IVs just in case.  */
2338         mg_get(sv);
2339         if (SvNOKp(sv))
2340             return SvNVX(sv);
2341         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2342             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2343                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2344                 not_a_number(sv);
2345             return Atof(SvPVX_const(sv));
2346         }
2347         if (SvIOKp(sv)) {
2348             if (SvIsUV(sv))
2349                 return (NV)SvUVX(sv);
2350             else
2351                 return (NV)SvIVX(sv);
2352         }
2353         if (SvROK(sv)) {
2354             goto return_rok;
2355         }
2356         assert(SvTYPE(sv) >= SVt_PVMG);
2357         /* This falls through to the report_uninit near the end of the
2358            function. */
2359     } else if (SvTHINKFIRST(sv)) {
2360         if (SvROK(sv)) {
2361         return_rok:
2362             if (SvAMAGIC(sv)) {
2363                 SV *const tmpstr = AMG_CALLun(sv,numer);
2364                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2365                     return SvNV(tmpstr);
2366                 }
2367             }
2368             return PTR2NV(SvRV(sv));
2369         }
2370         if (SvIsCOW(sv)) {
2371             sv_force_normal_flags(sv, 0);
2372         }
2373         if (SvREADONLY(sv) && !SvOK(sv)) {
2374             if (ckWARN(WARN_UNINITIALIZED))
2375                 report_uninit(sv);
2376             return 0.0;
2377         }
2378     }
2379     if (SvTYPE(sv) < SVt_NV) {
2380         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2381         sv_upgrade(sv, SVt_NV);
2382 #ifdef USE_LONG_DOUBLE
2383         DEBUG_c({
2384             STORE_NUMERIC_LOCAL_SET_STANDARD();
2385             PerlIO_printf(Perl_debug_log,
2386                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2387                           PTR2UV(sv), SvNVX(sv));
2388             RESTORE_NUMERIC_LOCAL();
2389         });
2390 #else
2391         DEBUG_c({
2392             STORE_NUMERIC_LOCAL_SET_STANDARD();
2393             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2394                           PTR2UV(sv), SvNVX(sv));
2395             RESTORE_NUMERIC_LOCAL();
2396         });
2397 #endif
2398     }
2399     else if (SvTYPE(sv) < SVt_PVNV)
2400         sv_upgrade(sv, SVt_PVNV);
2401     if (SvNOKp(sv)) {
2402         return SvNVX(sv);
2403     }
2404     if (SvIOKp(sv)) {
2405         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2406 #ifdef NV_PRESERVES_UV
2407         SvNOK_on(sv);
2408 #else
2409         /* Only set the public NV OK flag if this NV preserves the IV  */
2410         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2411         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2412                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2413             SvNOK_on(sv);
2414         else
2415             SvNOKp_on(sv);
2416 #endif
2417     }
2418     else if (SvPOKp(sv) && SvLEN(sv)) {
2419         UV value;
2420         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2421         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2422             not_a_number(sv);
2423 #ifdef NV_PRESERVES_UV
2424         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2425             == IS_NUMBER_IN_UV) {
2426             /* It's definitely an integer */
2427             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2428         } else
2429             SvNV_set(sv, Atof(SvPVX_const(sv)));
2430         SvNOK_on(sv);
2431 #else
2432         SvNV_set(sv, Atof(SvPVX_const(sv)));
2433         /* Only set the public NV OK flag if this NV preserves the value in
2434            the PV at least as well as an IV/UV would.
2435            Not sure how to do this 100% reliably. */
2436         /* if that shift count is out of range then Configure's test is
2437            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2438            UV_BITS */
2439         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2440             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2441             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2442         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2443             /* Can't use strtol etc to convert this string, so don't try.
2444                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2445             SvNOK_on(sv);
2446         } else {
2447             /* value has been set.  It may not be precise.  */
2448             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2449                 /* 2s complement assumption for (UV)IV_MIN  */
2450                 SvNOK_on(sv); /* Integer is too negative.  */
2451             } else {
2452                 SvNOKp_on(sv);
2453                 SvIOKp_on(sv);
2454
2455                 if (numtype & IS_NUMBER_NEG) {
2456                     SvIV_set(sv, -(IV)value);
2457                 } else if (value <= (UV)IV_MAX) {
2458                     SvIV_set(sv, (IV)value);
2459                 } else {
2460                     SvUV_set(sv, value);
2461                     SvIsUV_on(sv);
2462                 }
2463
2464                 if (numtype & IS_NUMBER_NOT_INT) {
2465                     /* I believe that even if the original PV had decimals,
2466                        they are lost beyond the limit of the FP precision.
2467                        However, neither is canonical, so both only get p
2468                        flags.  NWC, 2000/11/25 */
2469                     /* Both already have p flags, so do nothing */
2470                 } else {
2471                     const NV nv = SvNVX(sv);
2472                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2473                         if (SvIVX(sv) == I_V(nv)) {
2474                             SvNOK_on(sv);
2475                         } else {
2476                             /* It had no "." so it must be integer.  */
2477                         }
2478                         SvIOK_on(sv);
2479                     } else {
2480                         /* between IV_MAX and NV(UV_MAX).
2481                            Could be slightly > UV_MAX */
2482
2483                         if (numtype & IS_NUMBER_NOT_INT) {
2484                             /* UV and NV both imprecise.  */
2485                         } else {
2486                             const UV nv_as_uv = U_V(nv);
2487
2488                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2489                                 SvNOK_on(sv);
2490                             }
2491                             SvIOK_on(sv);
2492                         }
2493                     }
2494                 }
2495             }
2496         }
2497 #endif /* NV_PRESERVES_UV */
2498     }
2499     else  {
2500         if (isGV_with_GP(sv)) {
2501             glob_2number((GV *)sv);
2502             return 0.0;
2503         }
2504
2505         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2506             report_uninit(sv);
2507         assert (SvTYPE(sv) >= SVt_NV);
2508         /* Typically the caller expects that sv_any is not NULL now.  */
2509         /* XXX Ilya implies that this is a bug in callers that assume this
2510            and ideally should be fixed.  */
2511         return 0.0;
2512     }
2513 #if defined(USE_LONG_DOUBLE)
2514     DEBUG_c({
2515         STORE_NUMERIC_LOCAL_SET_STANDARD();
2516         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2517                       PTR2UV(sv), SvNVX(sv));
2518         RESTORE_NUMERIC_LOCAL();
2519     });
2520 #else
2521     DEBUG_c({
2522         STORE_NUMERIC_LOCAL_SET_STANDARD();
2523         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2524                       PTR2UV(sv), SvNVX(sv));
2525         RESTORE_NUMERIC_LOCAL();
2526     });
2527 #endif
2528     return SvNVX(sv);
2529 }
2530
2531 /*
2532 =for apidoc sv_2num
2533
2534 Return an SV with the numeric value of the source SV, doing any necessary
2535 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2536 access this function.
2537
2538 =cut
2539 */
2540
2541 SV *
2542 Perl_sv_2num(pTHX_ register SV *sv)
2543 {
2544     if (!SvROK(sv))
2545         return sv;
2546     if (SvAMAGIC(sv)) {
2547         SV * const tmpsv = AMG_CALLun(sv,numer);
2548         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2549             return sv_2num(tmpsv);
2550     }
2551     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2552 }
2553
2554 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2555  * UV as a string towards the end of buf, and return pointers to start and
2556  * end of it.
2557  *
2558  * We assume that buf is at least TYPE_CHARS(UV) long.
2559  */
2560
2561 static char *
2562 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2563 {
2564     char *ptr = buf + TYPE_CHARS(UV);
2565     char * const ebuf = ptr;
2566     int sign;
2567
2568     if (is_uv)
2569         sign = 0;
2570     else if (iv >= 0) {
2571         uv = iv;
2572         sign = 0;
2573     } else {
2574         uv = -iv;
2575         sign = 1;
2576     }
2577     do {
2578         *--ptr = '0' + (char)(uv % 10);
2579     } while (uv /= 10);
2580     if (sign)
2581         *--ptr = '-';
2582     *peob = ebuf;
2583     return ptr;
2584 }
2585
2586 /*
2587 =for apidoc sv_2pv_flags
2588
2589 Returns a pointer to the string value of an SV, and sets *lp to its length.
2590 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2591 if necessary.
2592 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2593 usually end up here too.
2594
2595 =cut
2596 */
2597
2598 char *
2599 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2600 {
2601     dVAR;
2602     register char *s;
2603
2604     if (!sv) {
2605         if (lp)
2606             *lp = 0;
2607         return (char *)"";
2608     }
2609     if (SvGMAGICAL(sv)) {
2610         if (flags & SV_GMAGIC)
2611             mg_get(sv);
2612         if (SvPOKp(sv)) {
2613             if (lp)
2614                 *lp = SvCUR(sv);
2615             if (flags & SV_MUTABLE_RETURN)
2616                 return SvPVX_mutable(sv);
2617             if (flags & SV_CONST_RETURN)
2618                 return (char *)SvPVX_const(sv);
2619             return SvPVX(sv);
2620         }
2621         if (SvIOKp(sv) || SvNOKp(sv)) {
2622             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2623             STRLEN len;
2624
2625             if (SvIOKp(sv)) {
2626                 len = SvIsUV(sv)
2627                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2628                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2629             } else {
2630                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2631                 len = strlen(tbuf);
2632             }
2633             assert(!SvROK(sv));
2634             {
2635                 dVAR;
2636
2637 #ifdef FIXNEGATIVEZERO
2638                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2639                     tbuf[0] = '0';
2640                     tbuf[1] = 0;
2641                     len = 1;
2642                 }
2643 #endif
2644                 SvUPGRADE(sv, SVt_PV);
2645                 if (lp)
2646                     *lp = len;
2647                 s = SvGROW_mutable(sv, len + 1);
2648                 SvCUR_set(sv, len);
2649                 SvPOKp_on(sv);
2650                 return (char*)memcpy(s, tbuf, len + 1);
2651             }
2652         }
2653         if (SvROK(sv)) {
2654             goto return_rok;
2655         }
2656         assert(SvTYPE(sv) >= SVt_PVMG);
2657         /* This falls through to the report_uninit near the end of the
2658            function. */
2659     } else if (SvTHINKFIRST(sv)) {
2660         if (SvROK(sv)) {
2661         return_rok:
2662             if (SvAMAGIC(sv)) {
2663                 SV *const tmpstr = AMG_CALLun(sv,string);
2664                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2665                     /* Unwrap this:  */
2666                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2667                      */
2668
2669                     char *pv;
2670                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2671                         if (flags & SV_CONST_RETURN) {
2672                             pv = (char *) SvPVX_const(tmpstr);
2673                         } else {
2674                             pv = (flags & SV_MUTABLE_RETURN)
2675                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2676                         }
2677                         if (lp)
2678                             *lp = SvCUR(tmpstr);
2679                     } else {
2680                         pv = sv_2pv_flags(tmpstr, lp, flags);
2681                     }
2682                     if (SvUTF8(tmpstr))
2683                         SvUTF8_on(sv);
2684                     else
2685                         SvUTF8_off(sv);
2686                     return pv;
2687                 }
2688             }
2689             {
2690                 STRLEN len;
2691                 char *retval;
2692                 char *buffer;
2693                 MAGIC *mg;
2694                 const SV *const referent = (SV*)SvRV(sv);
2695
2696                 if (!referent) {
2697                     len = 7;
2698                     retval = buffer = savepvn("NULLREF", len);
2699                 } else if (SvTYPE(referent) == SVt_PVMG
2700                            && ((SvFLAGS(referent) &
2701                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2702                                == (SVs_OBJECT|SVs_SMG))
2703                            && (mg = mg_find(referent, PERL_MAGIC_qr)))
2704                 {
2705                     char *str = NULL;
2706                     I32 haseval = 0;
2707                     U32 flags = 0;
2708                     (str) = CALLREG_AS_STR(mg,lp,&flags,&haseval);
2709                     if (flags & 1)
2710                         SvUTF8_on(sv);
2711                     else
2712                         SvUTF8_off(sv);
2713                     PL_reginterp_cnt += haseval;
2714                     return str;
2715                 } else {
2716                     const char *const typestr = sv_reftype(referent, 0);
2717                     const STRLEN typelen = strlen(typestr);
2718                     UV addr = PTR2UV(referent);
2719                     const char *stashname = NULL;
2720                     STRLEN stashnamelen = 0; /* hush, gcc */
2721                     const char *buffer_end;
2722
2723                     if (SvOBJECT(referent)) {
2724                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2725
2726                         if (name) {
2727                             stashname = HEK_KEY(name);
2728                             stashnamelen = HEK_LEN(name);
2729
2730                             if (HEK_UTF8(name)) {
2731                                 SvUTF8_on(sv);
2732                             } else {
2733                                 SvUTF8_off(sv);
2734                             }
2735                         } else {
2736                             stashname = "__ANON__";
2737                             stashnamelen = 8;
2738                         }
2739                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2740                             + 2 * sizeof(UV) + 2 /* )\0 */;
2741                     } else {
2742                         len = typelen + 3 /* (0x */
2743                             + 2 * sizeof(UV) + 2 /* )\0 */;
2744                     }
2745
2746                     Newx(buffer, len, char);
2747                     buffer_end = retval = buffer + len;
2748
2749                     /* Working backwards  */
2750                     *--retval = '\0';
2751                     *--retval = ')';
2752                     do {
2753                         *--retval = PL_hexdigit[addr & 15];
2754                     } while (addr >>= 4);
2755                     *--retval = 'x';
2756                     *--retval = '0';
2757                     *--retval = '(';
2758
2759                     retval -= typelen;
2760                     memcpy(retval, typestr, typelen);
2761
2762                     if (stashname) {
2763                         *--retval = '=';
2764                         retval -= stashnamelen;
2765                         memcpy(retval, stashname, stashnamelen);
2766                     }
2767                     /* retval may not neccesarily have reached the start of the
2768                        buffer here.  */
2769                     assert (retval >= buffer);
2770
2771                     len = buffer_end - retval - 1; /* -1 for that \0  */
2772                 }
2773                 if (lp)
2774                     *lp = len;
2775                 SAVEFREEPV(buffer);
2776                 return retval;
2777             }
2778         }
2779         if (SvREADONLY(sv) && !SvOK(sv)) {
2780             if (ckWARN(WARN_UNINITIALIZED))
2781                 report_uninit(sv);
2782             if (lp)
2783                 *lp = 0;
2784             return (char *)"";
2785         }
2786     }
2787     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2788         /* I'm assuming that if both IV and NV are equally valid then
2789            converting the IV is going to be more efficient */
2790         const U32 isUIOK = SvIsUV(sv);
2791         char buf[TYPE_CHARS(UV)];
2792         char *ebuf, *ptr;
2793         STRLEN len;
2794
2795         if (SvTYPE(sv) < SVt_PVIV)
2796             sv_upgrade(sv, SVt_PVIV);
2797         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2798         len = ebuf - ptr;
2799         /* inlined from sv_setpvn */
2800         s = SvGROW_mutable(sv, len + 1);
2801         Move(ptr, s, len, char);
2802         s += len;
2803         *s = '\0';
2804     }
2805     else if (SvNOKp(sv)) {
2806         const int olderrno = errno;
2807         if (SvTYPE(sv) < SVt_PVNV)
2808             sv_upgrade(sv, SVt_PVNV);
2809         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2810         s = SvGROW_mutable(sv, NV_DIG + 20);
2811         /* some Xenix systems wipe out errno here */
2812 #ifdef apollo
2813         if (SvNVX(sv) == 0.0)
2814             my_strlcpy(s, "0", SvLEN(sv));
2815         else
2816 #endif /*apollo*/
2817         {
2818             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2819         }
2820         errno = olderrno;
2821 #ifdef FIXNEGATIVEZERO
2822         if (*s == '-' && s[1] == '0' && !s[2]) {
2823             s[0] = '0';
2824             s[1] = 0;
2825         }
2826 #endif
2827         while (*s) s++;
2828 #ifdef hcx
2829         if (s[-1] == '.')
2830             *--s = '\0';
2831 #endif
2832     }
2833     else {
2834         if (isGV_with_GP(sv))
2835             return glob_2pv((GV *)sv, lp);
2836
2837         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2838             report_uninit(sv);
2839         if (lp)
2840             *lp = 0;
2841         if (SvTYPE(sv) < SVt_PV)
2842             /* Typically the caller expects that sv_any is not NULL now.  */
2843             sv_upgrade(sv, SVt_PV);
2844         return (char *)"";
2845     }
2846     {
2847         const STRLEN len = s - SvPVX_const(sv);
2848         if (lp) 
2849             *lp = len;
2850         SvCUR_set(sv, len);
2851     }
2852     SvPOK_on(sv);
2853     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2854                           PTR2UV(sv),SvPVX_const(sv)));
2855     if (flags & SV_CONST_RETURN)
2856         return (char *)SvPVX_const(sv);
2857     if (flags & SV_MUTABLE_RETURN)
2858         return SvPVX_mutable(sv);
2859     return SvPVX(sv);
2860 }
2861
2862 /*
2863 =for apidoc sv_copypv
2864
2865 Copies a stringified representation of the source SV into the
2866 destination SV.  Automatically performs any necessary mg_get and
2867 coercion of numeric values into strings.  Guaranteed to preserve
2868 UTF8 flag even from overloaded objects.  Similar in nature to
2869 sv_2pv[_flags] but operates directly on an SV instead of just the
2870 string.  Mostly uses sv_2pv_flags to do its work, except when that
2871 would lose the UTF-8'ness of the PV.
2872
2873 =cut
2874 */
2875
2876 void
2877 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2878 {
2879     STRLEN len;
2880     const char * const s = SvPV_const(ssv,len);
2881     sv_setpvn(dsv,s,len);
2882     if (SvUTF8(ssv))
2883         SvUTF8_on(dsv);
2884     else
2885         SvUTF8_off(dsv);
2886 }
2887
2888 /*
2889 =for apidoc sv_2pvbyte
2890
2891 Return a pointer to the byte-encoded representation of the SV, and set *lp
2892 to its length.  May cause the SV to be downgraded from UTF-8 as a
2893 side-effect.
2894
2895 Usually accessed via the C<SvPVbyte> macro.
2896
2897 =cut
2898 */
2899
2900 char *
2901 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2902 {
2903     sv_utf8_downgrade(sv,0);
2904     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2905 }
2906
2907 /*
2908 =for apidoc sv_2pvutf8
2909
2910 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2911 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2912
2913 Usually accessed via the C<SvPVutf8> macro.
2914
2915 =cut
2916 */
2917
2918 char *
2919 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2920 {
2921     sv_utf8_upgrade(sv);
2922     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2923 }
2924
2925
2926 /*
2927 =for apidoc sv_2bool
2928
2929 This function is only called on magical items, and is only used by
2930 sv_true() or its macro equivalent.
2931
2932 =cut
2933 */
2934
2935 bool
2936 Perl_sv_2bool(pTHX_ register SV *sv)
2937 {
2938     dVAR;
2939     SvGETMAGIC(sv);
2940
2941     if (!SvOK(sv))
2942         return 0;
2943     if (SvROK(sv)) {
2944         if (SvAMAGIC(sv)) {
2945             SV * const tmpsv = AMG_CALLun(sv,bool_);
2946             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2947                 return (bool)SvTRUE(tmpsv);
2948         }
2949         return SvRV(sv) != 0;
2950     }
2951     if (SvPOKp(sv)) {
2952         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2953         if (Xpvtmp &&
2954                 (*sv->sv_u.svu_pv > '0' ||
2955                 Xpvtmp->xpv_cur > 1 ||
2956                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2957             return 1;
2958         else
2959             return 0;
2960     }
2961     else {
2962         if (SvIOKp(sv))
2963             return SvIVX(sv) != 0;
2964         else {
2965             if (SvNOKp(sv))
2966                 return SvNVX(sv) != 0.0;
2967             else {
2968                 if (isGV_with_GP(sv))
2969                     return TRUE;
2970                 else
2971                     return FALSE;
2972             }
2973         }
2974     }
2975 }
2976
2977 /*
2978 =for apidoc sv_utf8_upgrade
2979
2980 Converts the PV of an SV to its UTF-8-encoded form.
2981 Forces the SV to string form if it is not already.
2982 Always sets the SvUTF8 flag to avoid future validity checks even
2983 if all the bytes have hibit clear.
2984
2985 This is not as a general purpose byte encoding to Unicode interface:
2986 use the Encode extension for that.
2987
2988 =for apidoc sv_utf8_upgrade_flags
2989
2990 Converts the PV of an SV to its UTF-8-encoded form.
2991 Forces the SV to string form if it is not already.
2992 Always sets the SvUTF8 flag to avoid future validity checks even
2993 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2994 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2995 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2996
2997 This is not as a general purpose byte encoding to Unicode interface:
2998 use the Encode extension for that.
2999
3000 =cut
3001 */
3002
3003 STRLEN
3004 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
3005 {
3006     dVAR;
3007     if (sv == &PL_sv_undef)
3008         return 0;
3009     if (!SvPOK(sv)) {
3010         STRLEN len = 0;
3011         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3012             (void) sv_2pv_flags(sv,&len, flags);
3013             if (SvUTF8(sv))
3014                 return len;
3015         } else {
3016             (void) SvPV_force(sv,len);
3017         }
3018     }
3019
3020     if (SvUTF8(sv)) {
3021         return SvCUR(sv);
3022     }
3023
3024     if (SvIsCOW(sv)) {
3025         sv_force_normal_flags(sv, 0);
3026     }
3027
3028     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
3029         sv_recode_to_utf8(sv, PL_encoding);
3030     else { /* Assume Latin-1/EBCDIC */
3031         /* This function could be much more efficient if we
3032          * had a FLAG in SVs to signal if there are any hibit
3033          * chars in the PV.  Given that there isn't such a flag
3034          * make the loop as fast as possible. */
3035         const U8 * const s = (U8 *) SvPVX_const(sv);
3036         const U8 * const e = (U8 *) SvEND(sv);
3037         const U8 *t = s;
3038         
3039         while (t < e) {
3040             const U8 ch = *t++;
3041             /* Check for hi bit */
3042             if (!NATIVE_IS_INVARIANT(ch)) {
3043                 STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
3044                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
3045
3046                 SvPV_free(sv); /* No longer using what was there before. */
3047                 SvPV_set(sv, (char*)recoded);
3048                 SvCUR_set(sv, len - 1);
3049                 SvLEN_set(sv, len); /* No longer know the real size. */
3050                 break;
3051             }
3052         }
3053         /* Mark as UTF-8 even if no hibit - saves scanning loop */
3054         SvUTF8_on(sv);
3055     }
3056     return SvCUR(sv);
3057 }
3058
3059 /*
3060 =for apidoc sv_utf8_downgrade
3061
3062 Attempts to convert the PV of an SV from characters to bytes.
3063 If the PV contains a character beyond byte, this conversion will fail;
3064 in this case, either returns false or, if C<fail_ok> is not
3065 true, croaks.
3066
3067 This is not as a general purpose Unicode to byte encoding interface:
3068 use the Encode extension for that.
3069
3070 =cut
3071 */
3072
3073 bool
3074 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
3075 {
3076     dVAR;
3077     if (SvPOKp(sv) && SvUTF8(sv)) {
3078         if (SvCUR(sv)) {
3079             U8 *s;
3080             STRLEN len;
3081
3082             if (SvIsCOW(sv)) {
3083                 sv_force_normal_flags(sv, 0);
3084             }
3085             s = (U8 *) SvPV(sv, len);
3086             if (!utf8_to_bytes(s, &len)) {
3087                 if (fail_ok)
3088                     return FALSE;
3089                 else {
3090                     if (PL_op)
3091                         Perl_croak(aTHX_ "Wide character in %s",
3092                                    OP_DESC(PL_op));
3093                     else
3094                         Perl_croak(aTHX_ "Wide character");
3095                 }
3096             }
3097             SvCUR_set(sv, len);
3098         }
3099     }
3100     SvUTF8_off(sv);
3101     return TRUE;
3102 }
3103
3104 /*
3105 =for apidoc sv_utf8_encode
3106
3107 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3108 flag off so that it looks like octets again.
3109
3110 =cut
3111 */
3112
3113 void
3114 Perl_sv_utf8_encode(pTHX_ register SV *sv)
3115 {
3116     if (SvIsCOW(sv)) {
3117         sv_force_normal_flags(sv, 0);
3118     }
3119     if (SvREADONLY(sv)) {
3120         Perl_croak(aTHX_ PL_no_modify);
3121     }
3122     (void) sv_utf8_upgrade(sv);
3123     SvUTF8_off(sv);
3124 }
3125
3126 /*
3127 =for apidoc sv_utf8_decode
3128
3129 If the PV of the SV is an octet sequence in UTF-8
3130 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3131 so that it looks like a character. If the PV contains only single-byte
3132 characters, the C<SvUTF8> flag stays being off.
3133 Scans PV for validity and returns false if the PV is invalid UTF-8.
3134
3135 =cut
3136 */
3137
3138 bool
3139 Perl_sv_utf8_decode(pTHX_ register SV *sv)
3140 {
3141     if (SvPOKp(sv)) {
3142         const U8 *c;
3143         const U8 *e;
3144
3145         /* The octets may have got themselves encoded - get them back as
3146          * bytes
3147          */
3148         if (!sv_utf8_downgrade(sv, TRUE))
3149             return FALSE;
3150
3151         /* it is actually just a matter of turning the utf8 flag on, but
3152          * we want to make sure everything inside is valid utf8 first.
3153          */
3154         c = (const U8 *) SvPVX_const(sv);
3155         if (!is_utf8_string(c, SvCUR(sv)+1))
3156             return FALSE;
3157         e = (const U8 *) SvEND(sv);
3158         while (c < e) {
3159             const U8 ch = *c++;
3160             if (!UTF8_IS_INVARIANT(ch)) {
3161                 SvUTF8_on(sv);
3162                 break;
3163             }
3164         }
3165     }
3166     return TRUE;
3167 }
3168
3169 /*
3170 =for apidoc sv_setsv
3171
3172 Copies the contents of the source SV C<ssv> into the destination SV
3173 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3174 function if the source SV needs to be reused. Does not handle 'set' magic.
3175 Loosely speaking, it performs a copy-by-value, obliterating any previous
3176 content of the destination.
3177
3178 You probably want to use one of the assortment of wrappers, such as
3179 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3180 C<SvSetMagicSV_nosteal>.
3181
3182 =for apidoc sv_setsv_flags
3183
3184 Copies the contents of the source SV C<ssv> into the destination SV
3185 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3186 function if the source SV needs to be reused. Does not handle 'set' magic.
3187 Loosely speaking, it performs a copy-by-value, obliterating any previous
3188 content of the destination.
3189 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3190 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3191 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3192 and C<sv_setsv_nomg> are implemented in terms of this function.
3193
3194 You probably want to use one of the assortment of wrappers, such as
3195 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3196 C<SvSetMagicSV_nosteal>.
3197
3198 This is the primary function for copying scalars, and most other
3199 copy-ish functions and macros use this underneath.
3200
3201 =cut
3202 */
3203
3204 static void
3205 S_glob_assign_glob(pTHX_ SV *dstr, SV *sstr, const int dtype)
3206 {
3207     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3208
3209     if (dtype != SVt_PVGV) {
3210         const char * const name = GvNAME(sstr);
3211         const STRLEN len = GvNAMELEN(sstr);
3212         {
3213             if (dtype >= SVt_PV) {
3214                 SvPV_free(dstr);
3215                 SvPV_set(dstr, 0);
3216                 SvLEN_set(dstr, 0);
3217                 SvCUR_set(dstr, 0);
3218             }
3219             SvUPGRADE(dstr, SVt_PVGV);
3220             (void)SvOK_off(dstr);
3221             /* FIXME - why are we doing this, then turning it off and on again
3222                below?  */
3223             isGV_with_GP_on(dstr);
3224         }
3225         GvSTASH(dstr) = GvSTASH(sstr);
3226         if (GvSTASH(dstr))
3227             Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
3228         gv_name_set((GV *)dstr, name, len, GV_ADD);
3229         SvFAKE_on(dstr);        /* can coerce to non-glob */
3230     }
3231
3232 #ifdef GV_UNIQUE_CHECK
3233     if (GvUNIQUE((GV*)dstr)) {
3234         Perl_croak(aTHX_ PL_no_modify);
3235     }
3236 #endif
3237
3238     if(GvGP((GV*)sstr)) {
3239         /* If source has method cache entry, clear it */
3240         if(GvCVGEN(sstr)) {
3241             SvREFCNT_dec(GvCV(sstr));
3242             GvCV(sstr) = NULL;
3243             GvCVGEN(sstr) = 0;
3244         }
3245         /* If source has a real method, then a method is
3246            going to change */
3247         else if(GvCV((GV*)sstr)) {
3248             mro_changes = 1;
3249         }
3250     }
3251
3252     /* If dest already had a real method, that's a change as well */
3253     if(!mro_changes && GvGP((GV*)dstr) && GvCVu((GV*)dstr)) {
3254         mro_changes = 1;
3255     }
3256
3257     if(strEQ(GvNAME((GV*)dstr),"ISA"))
3258         mro_changes = 2;
3259
3260     gp_free((GV*)dstr);
3261     isGV_with_GP_off(dstr);
3262     (void)SvOK_off(dstr);
3263     isGV_with_GP_on(dstr);
3264     GvINTRO_off(dstr);          /* one-shot flag */
3265     GvGP(dstr) = gp_ref(GvGP(sstr));
3266     if (SvTAINTED(sstr))
3267         SvTAINT(dstr);
3268     if (GvIMPORTED(dstr) != GVf_IMPORTED
3269         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3270         {
3271             GvIMPORTED_on(dstr);
3272         }
3273     GvMULTI_on(dstr);
3274     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3275     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3276     return;
3277 }
3278
3279 static void
3280 S_glob_assign_ref(pTHX_ SV *dstr, SV *sstr) {
3281     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3282     SV *dref = NULL;
3283     const int intro = GvINTRO(dstr);
3284     SV **location;
3285     U8 import_flag = 0;
3286     const U32 stype = SvTYPE(sref);
3287
3288
3289 #ifdef GV_UNIQUE_CHECK
3290     if (GvUNIQUE((GV*)dstr)) {
3291         Perl_croak(aTHX_ PL_no_modify);
3292     }
3293 #endif
3294
3295     if (intro) {
3296         GvINTRO_off(dstr);      /* one-shot flag */
3297         GvLINE(dstr) = CopLINE(PL_curcop);
3298         GvEGV(dstr) = (GV*)dstr;
3299     }
3300     GvMULTI_on(dstr);
3301     switch (stype) {
3302     case SVt_PVCV:
3303         location = (SV **) &GvCV(dstr);
3304         import_flag = GVf_IMPORTED_CV;
3305         goto common;
3306     case SVt_PVHV:
3307         location = (SV **) &GvHV(dstr);
3308         import_flag = GVf_IMPORTED_HV;
3309         goto common;
3310     case SVt_PVAV:
3311         location = (SV **) &GvAV(dstr);
3312         import_flag = GVf_IMPORTED_AV;
3313         goto common;
3314     case SVt_PVIO:
3315         location = (SV **) &GvIOp(dstr);
3316         goto common;
3317     case SVt_PVFM:
3318         location = (SV **) &GvFORM(dstr);
3319     default:
3320         location = &GvSV(dstr);
3321         import_flag = GVf_IMPORTED_SV;
3322     common:
3323         if (intro) {
3324             if (stype == SVt_PVCV) {
3325                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (CV*)sref || GvCVGEN(dstr))) {*/
3326                 if (GvCVGEN(dstr)) {
3327                     SvREFCNT_dec(GvCV(dstr));
3328                     GvCV(dstr) = NULL;
3329                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3330                 }
3331             }
3332             SAVEGENERICSV(*location);
3333         }
3334         else
3335             dref = *location;
3336         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3337             CV* const cv = (CV*)*location;
3338             if (cv) {
3339                 if (!GvCVGEN((GV*)dstr) &&
3340                     (CvROOT(cv) || CvXSUB(cv)))
3341                     {
3342                         /* Redefining a sub - warning is mandatory if
3343                            it was a const and its value changed. */
3344                         if (CvCONST(cv) && CvCONST((CV*)sref)
3345                             && cv_const_sv(cv) == cv_const_sv((CV*)sref)) {
3346                             NOOP;
3347                             /* They are 2 constant subroutines generated from
3348                                the same constant. This probably means that
3349                                they are really the "same" proxy subroutine
3350                                instantiated in 2 places. Most likely this is
3351                                when a constant is exported twice.  Don't warn.
3352                             */
3353                         }
3354                         else if (ckWARN(WARN_REDEFINE)
3355                                  || (CvCONST(cv)
3356                                      && (!CvCONST((CV*)sref)
3357                                          || sv_cmp(cv_const_sv(cv),
3358                                                    cv_const_sv((CV*)sref))))) {
3359                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3360                                         (const char *)
3361                                         (CvCONST(cv)
3362                                          ? "Constant subroutine %s::%s redefined"
3363                                          : "Subroutine %s::%s redefined"),
3364                                         HvNAME_get(GvSTASH((GV*)dstr)),
3365                                         GvENAME((GV*)dstr));
3366                         }
3367                     }
3368                 if (!intro)
3369                     cv_ckproto_len(cv, (GV*)dstr,
3370                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3371                                    SvPOK(sref) ? SvCUR(sref) : 0);
3372             }
3373             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3374             GvASSUMECV_on(dstr);
3375             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3376         }
3377         *location = sref;
3378         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3379             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3380             GvFLAGS(dstr) |= import_flag;
3381         }
3382         break;
3383     }
3384     SvREFCNT_dec(dref);
3385     if (SvTAINTED(sstr))
3386         SvTAINT(dstr);
3387     return;
3388 }
3389
3390 void
3391 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
3392 {
3393     dVAR;
3394     register U32 sflags;
3395     register int dtype;
3396     register svtype stype;
3397
3398     if (sstr == dstr)
3399         return;
3400
3401     if (SvIS_FREED(dstr)) {
3402         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3403                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3404     }
3405     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3406     if (!sstr)
3407         sstr = &PL_sv_undef;
3408     if (SvIS_FREED(sstr)) {
3409         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3410                    (void*)sstr, (void*)dstr);
3411     }
3412     stype = SvTYPE(sstr);
3413     dtype = SvTYPE(dstr);
3414
3415     (void)SvAMAGIC_off(dstr);
3416     if ( SvVOK(dstr) )
3417     {
3418         /* need to nuke the magic */
3419         mg_free(dstr);
3420         SvRMAGICAL_off(dstr);
3421     }
3422
3423     /* There's a lot of redundancy below but we're going for speed here */
3424
3425     switch (stype) {
3426     case SVt_NULL:
3427       undef_sstr:
3428         if (dtype != SVt_PVGV) {
3429             (void)SvOK_off(dstr);
3430             return;
3431         }
3432         break;
3433     case SVt_IV:
3434         if (SvIOK(sstr)) {
3435             switch (dtype) {
3436             case SVt_NULL:
3437                 sv_upgrade(dstr, SVt_IV);
3438                 break;
3439             case SVt_NV:
3440             case SVt_PV:
3441                 sv_upgrade(dstr, SVt_PVIV);
3442                 break;
3443             case SVt_PVGV:
3444                 goto end_of_first_switch;
3445             }
3446             (void)SvIOK_only(dstr);
3447             SvIV_set(dstr,  SvIVX(sstr));
3448             if (SvIsUV(sstr))
3449                 SvIsUV_on(dstr);
3450             /* SvTAINTED can only be true if the SV has taint magic, which in
3451                turn means that the SV type is PVMG (or greater). This is the
3452                case statement for SVt_IV, so this cannot be true (whatever gcov
3453                may say).  */
3454             assert(!SvTAINTED(sstr));
3455             return;
3456         }
3457         if (!SvROK(sstr))
3458             goto undef_sstr;
3459         if (dtype < SVt_PV && dtype != SVt_IV)
3460             sv_upgrade(dstr, SVt_IV);
3461         break;
3462
3463     case SVt_NV:
3464         if (SvNOK(sstr)) {
3465             switch (dtype) {
3466             case SVt_NULL:
3467             case SVt_IV:
3468                 sv_upgrade(dstr, SVt_NV);
3469                 break;
3470             case SVt_PV:
3471             case SVt_PVIV:
3472                 sv_upgrade(dstr, SVt_PVNV);
3473                 break;
3474             case SVt_PVGV:
3475                 goto end_of_first_switch;
3476             }
3477             SvNV_set(dstr, SvNVX(sstr));
3478             (void)SvNOK_only(dstr);
3479             /* SvTAINTED can only be true if the SV has taint magic, which in
3480                turn means that the SV type is PVMG (or greater). This is the
3481                case statement for SVt_NV, so this cannot be true (whatever gcov
3482                may say).  */
3483             assert(!SvTAINTED(sstr));
3484             return;
3485         }
3486         goto undef_sstr;
3487
3488     case SVt_PVFM:
3489 #ifdef PERL_OLD_COPY_ON_WRITE
3490         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3491             if (dtype < SVt_PVIV)
3492                 sv_upgrade(dstr, SVt_PVIV);
3493             break;
3494         }
3495         /* Fall through */
3496 #endif
3497     case SVt_PV:
3498         if (dtype < SVt_PV)
3499             sv_upgrade(dstr, SVt_PV);
3500         break;
3501     case SVt_PVIV:
3502         if (dtype < SVt_PVIV)
3503             sv_upgrade(dstr, SVt_PVIV);
3504         break;
3505     case SVt_PVNV:
3506         if (dtype < SVt_PVNV)
3507             sv_upgrade(dstr, SVt_PVNV);
3508         break;
3509     default:
3510         {
3511         const char * const type = sv_reftype(sstr,0);
3512         if (PL_op)
3513             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3514         else
3515             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3516         }
3517         break;
3518
3519         /* case SVt_BIND: */
3520     case SVt_PVLV:
3521     case SVt_PVGV:
3522         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3523             glob_assign_glob(dstr, sstr, dtype);
3524             return;
3525         }
3526         /* SvVALID means that this PVGV is playing at being an FBM.  */
3527         /*FALLTHROUGH*/
3528
3529     case SVt_PVMG:
3530         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3531             mg_get(sstr);
3532             if (SvTYPE(sstr) != stype) {
3533                 stype = SvTYPE(sstr);
3534                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3535                     glob_assign_glob(dstr, sstr, dtype);
3536                     return;
3537                 }
3538             }
3539         }
3540         if (stype == SVt_PVLV)
3541             SvUPGRADE(dstr, SVt_PVNV);
3542         else
3543             SvUPGRADE(dstr, (svtype)stype);
3544     }
3545  end_of_first_switch:
3546
3547     /* dstr may have been upgraded.  */
3548     dtype = SvTYPE(dstr);
3549     sflags = SvFLAGS(sstr);
3550
3551     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3552         /* Assigning to a subroutine sets the prototype.  */
3553         if (SvOK(sstr)) {
3554             STRLEN len;
3555             const char *const ptr = SvPV_const(sstr, len);
3556
3557             SvGROW(dstr, len + 1);
3558             Copy(ptr, SvPVX(dstr), len + 1, char);
3559             SvCUR_set(dstr, len);
3560             SvPOK_only(dstr);
3561             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3562         } else {
3563             SvOK_off(dstr);
3564         }
3565     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3566         const char * const type = sv_reftype(dstr,0);
3567         if (PL_op)
3568             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3569         else
3570             Perl_croak(aTHX_ "Cannot copy to %s", type);
3571     } else if (sflags & SVf_ROK) {
3572         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3573             && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3574             sstr = SvRV(sstr);
3575             if (sstr == dstr) {
3576                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3577                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3578                 {
3579                     GvIMPORTED_on(dstr);
3580                 }
3581                 GvMULTI_on(dstr);
3582                 return;
3583             }
3584             glob_assign_glob(dstr, sstr, dtype);
3585             return;
3586         }
3587
3588         if (dtype >= SVt_PV) {
3589             if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3590                 glob_assign_ref(dstr, sstr);
3591                 return;
3592             }
3593             if (SvPVX_const(dstr)) {
3594                 SvPV_free(dstr);
3595                 SvLEN_set(dstr, 0);
3596                 SvCUR_set(dstr, 0);
3597             }
3598         }
3599         (void)SvOK_off(dstr);
3600         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3601         SvFLAGS(dstr) |= sflags & SVf_ROK;
3602         assert(!(sflags & SVp_NOK));
3603         assert(!(sflags & SVp_IOK));
3604         assert(!(sflags & SVf_NOK));
3605         assert(!(sflags & SVf_IOK));
3606     }
3607     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3608         if (!(sflags & SVf_OK)) {
3609             if (ckWARN(WARN_MISC))
3610                 Perl_warner(aTHX_ packWARN(WARN_MISC),
3611                             "Undefined value assigned to typeglob");
3612         }
3613         else {
3614             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
3615             if (dstr != (SV*)gv) {
3616                 if (GvGP(dstr))
3617                     gp_free((GV*)dstr);
3618                 GvGP(dstr) = gp_ref(GvGP(gv));
3619             }
3620         }
3621     }
3622     else if (sflags & SVp_POK) {
3623         bool isSwipe = 0;
3624
3625         /*
3626          * Check to see if we can just swipe the string.  If so, it's a
3627          * possible small lose on short strings, but a big win on long ones.
3628          * It might even be a win on short strings if SvPVX_const(dstr)
3629          * has to be allocated and SvPVX_const(sstr) has to be freed.
3630          * Likewise if we can set up COW rather than doing an actual copy, we
3631          * drop to the else clause, as the swipe code and the COW setup code
3632          * have much in common.
3633          */
3634
3635         /* Whichever path we take through the next code, we want this true,
3636            and doing it now facilitates the COW check.  */
3637         (void)SvPOK_only(dstr);
3638
3639         if (
3640             /* If we're already COW then this clause is not true, and if COW
3641                is allowed then we drop down to the else and make dest COW 
3642                with us.  If caller hasn't said that we're allowed to COW
3643                shared hash keys then we don't do the COW setup, even if the
3644                source scalar is a shared hash key scalar.  */
3645             (((flags & SV_COW_SHARED_HASH_KEYS)
3646                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
3647                : 1 /* If making a COW copy is forbidden then the behaviour we
3648                        desire is as if the source SV isn't actually already
3649                        COW, even if it is.  So we act as if the source flags
3650                        are not COW, rather than actually testing them.  */
3651               )
3652 #ifndef PERL_OLD_COPY_ON_WRITE
3653              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
3654                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
3655                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
3656                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
3657                 but in turn, it's somewhat dead code, never expected to go
3658                 live, but more kept as a placeholder on how to do it better
3659                 in a newer implementation.  */
3660              /* If we are COW and dstr is a suitable target then we drop down
3661                 into the else and make dest a COW of us.  */
3662              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3663 #endif
3664              )
3665             &&
3666             !(isSwipe =
3667                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3668                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3669                  (!(flags & SV_NOSTEAL)) &&
3670                                         /* and we're allowed to steal temps */
3671                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3672                  SvLEN(sstr)    &&        /* and really is a string */
3673                                 /* and won't be needed again, potentially */
3674               !(PL_op && PL_op->op_type == OP_AASSIGN))
3675 #ifdef PERL_OLD_COPY_ON_WRITE
3676             && ((flags & SV_COW_SHARED_HASH_KEYS)
3677                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3678                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3679                      && SvTYPE(sstr) >= SVt_PVIV))
3680                 : 1)
3681 #endif
3682             ) {
3683             /* Failed the swipe test, and it's not a shared hash key either.
3684                Have to copy the string.  */
3685             STRLEN len = SvCUR(sstr);
3686             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3687             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3688             SvCUR_set(dstr, len);
3689             *SvEND(dstr) = '\0';
3690         } else {
3691             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3692                be true in here.  */
3693             /* Either it's a shared hash key, or it's suitable for
3694                copy-on-write or we can swipe the string.  */
3695             if (DEBUG_C_TEST) {
3696                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3697                 sv_dump(sstr);
3698                 sv_dump(dstr);
3699             }
3700 #ifdef PERL_OLD_COPY_ON_WRITE
3701             if (!isSwipe) {
3702                 /* I believe I should acquire a global SV mutex if
3703                    it's a COW sv (not a shared hash key) to stop
3704                    it going un copy-on-write.
3705                    If the source SV has gone un copy on write between up there
3706                    and down here, then (assert() that) it is of the correct
3707                    form to make it copy on write again */
3708                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3709                     != (SVf_FAKE | SVf_READONLY)) {
3710                     SvREADONLY_on(sstr);
3711                     SvFAKE_on(sstr);
3712                     /* Make the source SV into a loop of 1.
3713                        (about to become 2) */
3714                     SV_COW_NEXT_SV_SET(sstr, sstr);
3715                 }
3716             }
3717 #endif
3718             /* Initial code is common.  */
3719             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3720                 SvPV_free(dstr);
3721             }
3722
3723             if (!isSwipe) {
3724                 /* making another shared SV.  */
3725                 STRLEN cur = SvCUR(sstr);
3726                 STRLEN len = SvLEN(sstr);
3727 #ifdef PERL_OLD_COPY_ON_WRITE
3728                 if (len) {
3729                     assert (SvTYPE(dstr) >= SVt_PVIV);
3730                     /* SvIsCOW_normal */
3731                     /* splice us in between source and next-after-source.  */
3732                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3733                     SV_COW_NEXT_SV_SET(sstr, dstr);
3734                     SvPV_set(dstr, SvPVX_mutable(sstr));
3735                 } else
3736 #endif
3737                 {
3738                     /* SvIsCOW_shared_hash */
3739                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3740                                           "Copy on write: Sharing hash\n"));
3741
3742                     assert (SvTYPE(dstr) >= SVt_PV);
3743                     SvPV_set(dstr,
3744                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3745                 }
3746                 SvLEN_set(dstr, len);
3747                 SvCUR_set(dstr, cur);
3748                 SvREADONLY_on(dstr);
3749                 SvFAKE_on(dstr);
3750                 /* Relesase a global SV mutex.  */
3751             }
3752             else
3753                 {       /* Passes the swipe test.  */
3754                 SvPV_set(dstr, SvPVX_mutable(sstr));
3755                 SvLEN_set(dstr, SvLEN(sstr));
3756                 SvCUR_set(dstr, SvCUR(sstr));
3757
3758                 SvTEMP_off(dstr);
3759                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3760                 SvPV_set(sstr, NULL);
3761                 SvLEN_set(sstr, 0);
3762                 SvCUR_set(sstr, 0);
3763                 SvTEMP_off(sstr);
3764             }
3765         }
3766         if (sflags & SVp_NOK) {
3767             SvNV_set(dstr, SvNVX(sstr));
3768         }
3769         if (sflags & SVp_IOK) {
3770             SvOOK_off(dstr);
3771             SvIV_set(dstr, SvIVX(sstr));
3772             /* Must do this otherwise some other overloaded use of 0x80000000
3773                gets confused. I guess SVpbm_VALID */
3774             if (sflags & SVf_IVisUV)
3775                 SvIsUV_on(dstr);
3776         }
3777         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
3778         {
3779             const MAGIC * const smg = SvVSTRING_mg(sstr);
3780             if (smg) {
3781                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3782                          smg->mg_ptr, smg->mg_len);
3783                 SvRMAGICAL_on(dstr);
3784             }
3785         }
3786     }
3787     else if (sflags & (SVp_IOK|SVp_NOK)) {
3788         (void)SvOK_off(dstr);
3789         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
3790         if (sflags & SVp_IOK) {
3791             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3792             SvIV_set(dstr, SvIVX(sstr));
3793         }
3794         if (sflags & SVp_NOK) {
3795             SvNV_set(dstr, SvNVX(sstr));
3796         }
3797     }
3798     else {
3799         if (isGV_with_GP(sstr)) {
3800             /* This stringification rule for globs is spread in 3 places.
3801                This feels bad. FIXME.  */
3802             const U32 wasfake = sflags & SVf_FAKE;
3803
3804             /* FAKE globs can get coerced, so need to turn this off
3805                temporarily if it is on.  */
3806             SvFAKE_off(sstr);
3807             gv_efullname3(dstr, (GV *)sstr, "*");
3808             SvFLAGS(sstr) |= wasfake;
3809         }
3810         else
3811             (void)SvOK_off(dstr);
3812     }
3813     if (SvTAINTED(sstr))
3814         SvTAINT(dstr);
3815 }
3816
3817 /*
3818 =for apidoc sv_setsv_mg
3819
3820 Like C<sv_setsv>, but also handles 'set' magic.
3821
3822 =cut
3823 */
3824
3825 void
3826 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3827 {
3828     sv_setsv(dstr,sstr);
3829     SvSETMAGIC(dstr);
3830 }
3831
3832 #ifdef PERL_OLD_COPY_ON_WRITE
3833 SV *
3834 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3835 {
3836     STRLEN cur = SvCUR(sstr);
3837     STRLEN len = SvLEN(sstr);
3838     register char *new_pv;
3839
3840     if (DEBUG_C_TEST) {
3841         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3842                       (void*)sstr, (void*)dstr);
3843         sv_dump(sstr);
3844         if (dstr)
3845                     sv_dump(dstr);
3846     }
3847
3848     if (dstr) {
3849         if (SvTHINKFIRST(dstr))
3850             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3851         else if (SvPVX_const(dstr))
3852             Safefree(SvPVX_const(dstr));
3853     }
3854     else
3855         new_SV(dstr);
3856     SvUPGRADE(dstr, SVt_PVIV);
3857
3858     assert (SvPOK(sstr));
3859     assert (SvPOKp(sstr));
3860     assert (!SvIOK(sstr));
3861     assert (!SvIOKp(sstr));
3862     assert (!SvNOK(sstr));
3863     assert (!SvNOKp(sstr));
3864
3865     if (SvIsCOW(sstr)) {
3866
3867         if (SvLEN(sstr) == 0) {
3868             /* source is a COW shared hash key.  */
3869             DEBUG_C(PerlIO_printf(Perl_debug_log,
3870                                   "Fast copy on write: Sharing hash\n"));
3871             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3872             goto common_exit;
3873         }
3874         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3875     } else {
3876         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3877         SvUPGRADE(sstr, SVt_PVIV);
3878         SvREADONLY_on(sstr);
3879         SvFAKE_on(sstr);
3880         DEBUG_C(PerlIO_printf(Perl_debug_log,
3881                               "Fast copy on write: Converting sstr to COW\n"));
3882         SV_COW_NEXT_SV_SET(dstr, sstr);
3883     }
3884     SV_COW_NEXT_SV_SET(sstr, dstr);
3885     new_pv = SvPVX_mutable(sstr);
3886
3887   common_exit:
3888     SvPV_set(dstr, new_pv);
3889     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3890     if (SvUTF8(sstr))
3891         SvUTF8_on(dstr);
3892     SvLEN_set(dstr, len);
3893     SvCUR_set(dstr, cur);
3894     if (DEBUG_C_TEST) {
3895         sv_dump(dstr);
3896     }
3897     return dstr;
3898 }
3899 #endif
3900
3901 /*
3902 =for apidoc sv_setpvn
3903
3904 Copies a string into an SV.  The C<len> parameter indicates the number of
3905 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3906 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3907
3908 =cut
3909 */
3910
3911 void
3912 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3913 {
3914     dVAR;
3915     register char *dptr;
3916
3917     SV_CHECK_THINKFIRST_COW_DROP(sv);
3918     if (!ptr) {
3919         (void)SvOK_off(sv);
3920         return;
3921     }
3922     else {
3923         /* len is STRLEN which is unsigned, need to copy to signed */
3924         const IV iv = len;
3925         if (iv < 0)
3926             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3927     }
3928     SvUPGRADE(sv, SVt_PV);
3929
3930     dptr = SvGROW(sv, len + 1);
3931     Move(ptr,dptr,len,char);
3932     dptr[len] = '\0';
3933     SvCUR_set(sv, len);
3934     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3935     SvTAINT(sv);
3936 }
3937
3938 /*
3939 =for apidoc sv_setpvn_mg
3940
3941 Like C<sv_setpvn>, but also handles 'set' magic.
3942
3943 =cut
3944 */
3945
3946 void
3947 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3948 {
3949     sv_setpvn(sv,ptr,len);
3950     SvSETMAGIC(sv);
3951 }
3952
3953 /*
3954 =for apidoc sv_setpv
3955
3956 Copies a string into an SV.  The string must be null-terminated.  Does not
3957 handle 'set' magic.  See C<sv_setpv_mg>.
3958
3959 =cut
3960 */
3961
3962 void
3963 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3964 {
3965     dVAR;
3966     register STRLEN len;
3967
3968     SV_CHECK_THINKFIRST_COW_DROP(sv);
3969     if (!ptr) {
3970         (void)SvOK_off(sv);
3971         return;
3972     }
3973     len = strlen(ptr);
3974     SvUPGRADE(sv, SVt_PV);
3975
3976     SvGROW(sv, len + 1);
3977     Move(ptr,SvPVX(sv),len+1,char);
3978     SvCUR_set(sv, len);
3979     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3980     SvTAINT(sv);
3981 }
3982
3983 /*
3984 =for apidoc sv_setpv_mg
3985
3986 Like C<sv_setpv>, but also handles 'set' magic.
3987
3988 =cut
3989 */
3990
3991 void
3992 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3993 {
3994     sv_setpv(sv,ptr);
3995     SvSETMAGIC(sv);
3996 }
3997
3998 /*
3999 =for apidoc sv_usepvn_flags
4000
4001 Tells an SV to use C<ptr> to find its string value.  Normally the
4002 string is stored inside the SV but sv_usepvn allows the SV to use an
4003 outside string.  The C<ptr> should point to memory that was allocated
4004 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4005 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4006 so that pointer should not be freed or used by the programmer after
4007 giving it to sv_usepvn, and neither should any pointers from "behind"
4008 that pointer (e.g. ptr + 1) be used.
4009
4010 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4011 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4012 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4013 C<len>, and already meets the requirements for storing in C<SvPVX>)
4014
4015 =cut
4016 */
4017
4018 void
4019 Perl_sv_usepvn_flags(pTHX_ SV *sv, char *ptr, STRLEN len, U32 flags)
4020 {
4021     dVAR;
4022     STRLEN allocate;
4023     SV_CHECK_THINKFIRST_COW_DROP(sv);
4024     SvUPGRADE(sv, SVt_PV);
4025     if (!ptr) {
4026         (void)SvOK_off(sv);
4027         if (flags & SV_SMAGIC)
4028             SvSETMAGIC(sv);
4029         return;
4030     }
4031     if (SvPVX_const(sv))
4032         SvPV_free(sv);
4033
4034 #ifdef DEBUGGING
4035     if (flags & SV_HAS_TRAILING_NUL)
4036         assert(ptr[len] == '\0');
4037 #endif
4038
4039     allocate = (flags & SV_HAS_TRAILING_NUL)
4040         ? len + 1: PERL_STRLEN_ROUNDUP(len + 1);
4041     if (flags & SV_HAS_TRAILING_NUL) {
4042         /* It's long enough - do nothing.
4043            Specfically Perl_newCONSTSUB is relying on this.  */
4044     } else {
4045 #ifdef DEBUGGING
4046         /* Force a move to shake out bugs in callers.  */
4047         char *new_ptr = (char*)safemalloc(allocate);
4048         Copy(ptr, new_ptr, len, char);
4049         PoisonFree(ptr,len,char);
4050         Safefree(ptr);
4051         ptr = new_ptr;
4052 #else
4053         ptr = (char*) saferealloc (ptr, allocate);
4054 #endif
4055     }
4056     SvPV_set(sv, ptr);
4057     SvCUR_set(sv, len);
4058     SvLEN_set(sv, allocate);
4059     if (!(flags & SV_HAS_TRAILING_NUL)) {
4060         ptr[len] = '\0';
4061     }
4062     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4063     SvTAINT(sv);
4064     if (flags & SV_SMAGIC)
4065         SvSETMAGIC(sv);
4066 }
4067
4068 #ifdef PERL_OLD_COPY_ON_WRITE
4069 /* Need to do this *after* making the SV normal, as we need the buffer
4070    pointer to remain valid until after we've copied it.  If we let go too early,
4071    another thread could invalidate it by unsharing last of the same hash key
4072    (which it can do by means other than releasing copy-on-write Svs)
4073    or by changing the other copy-on-write SVs in the loop.  */
4074 STATIC void
4075 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4076 {
4077     { /* this SV was SvIsCOW_normal(sv) */
4078          /* we need to find the SV pointing to us.  */
4079         SV *current = SV_COW_NEXT_SV(after);
4080
4081         if (current == sv) {
4082             /* The SV we point to points back to us (there were only two of us
4083                in the loop.)
4084                Hence other SV is no longer copy on write either.  */
4085             SvFAKE_off(after);
4086             SvREADONLY_off(after);
4087         } else {
4088             /* We need to follow the pointers around the loop.  */
4089             SV *next;
4090             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4091                 assert (next);
4092                 current = next;
4093                  /* don't loop forever if the structure is bust, and we have
4094                     a pointer into a closed loop.  */
4095                 assert (current != after);
4096                 assert (SvPVX_const(current) == pvx);
4097             }
4098             /* Make the SV before us point to the SV after us.  */
4099             SV_COW_NEXT_SV_SET(current, after);
4100         }
4101     }
4102 }
4103 #endif
4104 /*
4105 =for apidoc sv_force_normal_flags
4106
4107 Undo various types of fakery on an SV: if the PV is a shared string, make
4108 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4109 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4110 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4111 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4112 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4113 set to some other value.) In addition, the C<flags> parameter gets passed to
4114 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4115 with flags set to 0.
4116
4117 =cut
4118 */
4119
4120 void
4121 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
4122 {
4123     dVAR;
4124 #ifdef PERL_OLD_COPY_ON_WRITE
4125     if (SvREADONLY(sv)) {
4126         /* At this point I believe I should acquire a global SV mutex.  */
4127         if (SvFAKE(sv)) {
4128             const char * const pvx = SvPVX_const(sv);
4129             const STRLEN len = SvLEN(sv);
4130             const STRLEN cur = SvCUR(sv);
4131             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4132                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4133                we'll fail an assertion.  */
4134             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4135
4136             if (DEBUG_C_TEST) {
4137                 PerlIO_printf(Perl_debug_log,
4138                               "Copy on write: Force normal %ld\n",
4139                               (long) flags);
4140                 sv_dump(sv);
4141             }
4142             SvFAKE_off(sv);
4143             SvREADONLY_off(sv);
4144             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4145             SvPV_set(sv, NULL);
4146             SvLEN_set(sv, 0);
4147             if (flags & SV_COW_DROP_PV) {
4148                 /* OK, so we don't need to copy our buffer.  */
4149                 SvPOK_off(sv);
4150             } else {
4151                 SvGROW(sv, cur + 1);
4152                 Move(pvx,SvPVX(sv),cur,char);
4153                 SvCUR_set(sv, cur);
4154                 *SvEND(sv) = '\0';
4155             }
4156             if (len) {
4157                 sv_release_COW(sv, pvx, next);
4158             } else {
4159                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4160             }
4161             if (DEBUG_C_TEST) {
4162                 sv_dump(sv);
4163             }
4164         }
4165         else if (IN_PERL_RUNTIME)
4166             Perl_croak(aTHX_ PL_no_modify);
4167         /* At this point I believe that I can drop the global SV mutex.  */
4168     }
4169 #else
4170     if (SvREADONLY(sv)) {
4171         if (SvFAKE(sv)) {
4172             const char * const pvx = SvPVX_const(sv);
4173             const STRLEN len = SvCUR(sv);
4174             SvFAKE_off(sv);
4175             SvREADONLY_off(sv);
4176             SvPV_set(sv, NULL);
4177             SvLEN_set(sv, 0);
4178             SvGROW(sv, len + 1);
4179             Move(pvx,SvPVX(sv),len,char);
4180             *SvEND(sv) = '\0';
4181             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4182         }
4183         else if (IN_PERL_RUNTIME)
4184             Perl_croak(aTHX_ PL_no_modify);
4185     }
4186 #endif
4187     if (SvROK(sv))
4188         sv_unref_flags(sv, flags);
4189     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4190         sv_unglob(sv);
4191 }
4192
4193 /*
4194 =for apidoc sv_chop
4195
4196 Efficient removal of characters from the beginning of the string buffer.
4197 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4198 the string buffer.  The C<ptr> becomes the first character of the adjusted
4199 string. Uses the "OOK hack".
4200 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4201 refer to the same chunk of data.
4202
4203 =cut
4204 */
4205
4206 void
4207 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
4208 {
4209     register STRLEN delta;
4210     if (!ptr || !SvPOKp(sv))
4211         return;
4212     delta = ptr - SvPVX_const(sv);
4213     SV_CHECK_THINKFIRST(sv);
4214     if (SvTYPE(sv) < SVt_PVIV)
4215         sv_upgrade(sv,SVt_PVIV);
4216
4217     if (!SvOOK(sv)) {
4218         if (!SvLEN(sv)) { /* make copy of shared string */
4219             const char *pvx = SvPVX_const(sv);
4220             const STRLEN len = SvCUR(sv);
4221             SvGROW(sv, len + 1);
4222             Move(pvx,SvPVX(sv),len,char);
4223             *SvEND(sv) = '\0';
4224         }
4225         SvIV_set(sv, 0);
4226         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
4227            and we do that anyway inside the SvNIOK_off
4228         */
4229         SvFLAGS(sv) |= SVf_OOK;
4230     }
4231     SvNIOK_off(sv);
4232     SvLEN_set(sv, SvLEN(sv) - delta);
4233     SvCUR_set(sv, SvCUR(sv) - delta);
4234     SvPV_set(sv, SvPVX(sv) + delta);
4235     SvIV_set(sv, SvIVX(sv) + delta);
4236 }
4237
4238 /*
4239 =for apidoc sv_catpvn
4240
4241 Concatenates the string onto the end of the string which is in the SV.  The
4242 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4243 status set, then the bytes appended should be valid UTF-8.
4244 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4245
4246 =for apidoc sv_catpvn_flags
4247
4248 Concatenates the string onto the end of the string which is in the SV.  The
4249 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4250 status set, then the bytes appended should be valid UTF-8.
4251 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4252 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4253 in terms of this function.
4254
4255 =cut
4256 */
4257
4258 void
4259 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
4260 {
4261     dVAR;
4262     STRLEN dlen;
4263     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4264
4265     SvGROW(dsv, dlen + slen + 1);
4266     if (sstr == dstr)
4267         sstr = SvPVX_const(dsv);
4268     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4269     SvCUR_set(dsv, SvCUR(dsv) + slen);
4270     *SvEND(dsv) = '\0';
4271     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4272     SvTAINT(dsv);
4273     if (flags & SV_SMAGIC)
4274         SvSETMAGIC(dsv);
4275 }
4276
4277 /*
4278 =for apidoc sv_catsv
4279
4280 Concatenates the string from SV C<ssv> onto the end of the string in
4281 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4282 not 'set' magic.  See C<sv_catsv_mg>.
4283
4284 =for apidoc sv_catsv_flags
4285
4286 Concatenates the string from SV C<ssv> onto the end of the string in
4287 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4288 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4289 and C<sv_catsv_nomg> are implemented in terms of this function.
4290
4291 =cut */
4292
4293 void
4294 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
4295 {
4296     dVAR;
4297     if (ssv) {
4298         STRLEN slen;
4299         const char *spv = SvPV_const(ssv, slen);
4300         if (spv) {
4301             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4302                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4303                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4304                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4305                 dsv->sv_flags doesn't have that bit set.
4306                 Andy Dougherty  12 Oct 2001
4307             */
4308             const I32 sutf8 = DO_UTF8(ssv);
4309             I32 dutf8;
4310
4311             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4312                 mg_get(dsv);
4313             dutf8 = DO_UTF8(dsv);
4314
4315             if (dutf8 != sutf8) {
4316                 if (dutf8) {
4317                     /* Not modifying source SV, so taking a temporary copy. */
4318                     SV* const csv = sv_2mortal(newSVpvn(spv, slen));
4319
4320                     sv_utf8_upgrade(csv);
4321                     spv = SvPV_const(csv, slen);
4322                 }
4323                 else
4324                     sv_utf8_upgrade_nomg(dsv);
4325             }
4326             sv_catpvn_nomg(dsv, spv, slen);
4327         }
4328     }
4329     if (flags & SV_SMAGIC)
4330         SvSETMAGIC(dsv);
4331 }
4332
4333 /*
4334 =for apidoc sv_catpv
4335
4336 Concatenates the string onto the end of the string which is in the SV.
4337 If the SV has the UTF-8 status set, then the bytes appended should be
4338 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4339
4340 =cut */
4341
4342 void
4343 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
4344 {
4345     dVAR;
4346     register STRLEN len;
4347     STRLEN tlen;
4348     char *junk;
4349
4350     if (!ptr)
4351         return;
4352     junk = SvPV_force(sv, tlen);
4353     len = strlen(ptr);
4354     SvGROW(sv, tlen + len + 1);
4355     if (ptr == junk)
4356         ptr = SvPVX_const(sv);
4357     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4358     SvCUR_set(sv, SvCUR(sv) + len);
4359     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4360     SvTAINT(sv);
4361 }
4362
4363 /*
4364 =for apidoc sv_catpv_mg
4365
4366 Like C<sv_catpv>, but also handles 'set' magic.
4367
4368 =cut
4369 */
4370
4371 void
4372 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
4373 {
4374     sv_catpv(sv,ptr);
4375     SvSETMAGIC(sv);
4376 }
4377
4378 /*
4379 =for apidoc newSV
4380
4381 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4382 bytes of preallocated string space the SV should have.  An extra byte for a
4383 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4384 space is allocated.)  The reference count for the new SV is set to 1.
4385
4386 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4387 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4388 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4389 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4390 modules supporting older perls.
4391
4392 =cut
4393 */
4394
4395 SV *
4396 Perl_newSV(pTHX_ STRLEN len)
4397 {
4398     dVAR;
4399     register SV *sv;
4400
4401     new_SV(sv);
4402     if (len) {
4403         sv_upgrade(sv, SVt_PV);
4404         SvGROW(sv, len + 1);
4405     }
4406     return sv;
4407 }
4408 /*
4409 =for apidoc sv_magicext
4410
4411 Adds magic to an SV, upgrading it if necessary. Applies the
4412 supplied vtable and returns a pointer to the magic added.
4413
4414 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4415 In particular, you can add magic to SvREADONLY SVs, and add more than
4416 one instance of the same 'how'.
4417
4418 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4419 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4420 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4421 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4422
4423 (This is now used as a subroutine by C<sv_magic>.)
4424
4425 =cut
4426 */
4427 MAGIC * 
4428 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, const MGVTBL *vtable,
4429                  const char* name, I32 namlen)
4430 {
4431     dVAR;
4432     MAGIC* mg;
4433
4434     SvUPGRADE(sv, SVt_PVMG);
4435     Newxz(mg, 1, MAGIC);
4436     mg->mg_moremagic = SvMAGIC(sv);
4437     SvMAGIC_set(sv, mg);
4438
4439     /* Sometimes a magic contains a reference loop, where the sv and
4440        object refer to each other.  To prevent a reference loop that
4441        would prevent such objects being freed, we look for such loops
4442        and if we find one we avoid incrementing the object refcount.
4443
4444        Note we cannot do this to avoid self-tie loops as intervening RV must
4445        have its REFCNT incremented to keep it in existence.
4446
4447     */
4448     if (!obj || obj == sv ||
4449         how == PERL_MAGIC_arylen ||
4450         how == PERL_MAGIC_qr ||
4451         how == PERL_MAGIC_symtab ||
4452         (SvTYPE(obj) == SVt_PVGV &&
4453             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4454             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4455             GvFORM(obj) == (CV*)sv)))
4456     {
4457         mg->mg_obj = obj;
4458     }
4459     else {
4460         mg->mg_obj = SvREFCNT_inc_simple(obj);
4461         mg->mg_flags |= MGf_REFCOUNTED;
4462     }
4463
4464     /* Normal self-ties simply pass a null object, and instead of
4465        using mg_obj directly, use the SvTIED_obj macro to produce a
4466        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4467        with an RV obj pointing to the glob containing the PVIO.  In
4468        this case, to avoid a reference loop, we need to weaken the
4469        reference.
4470     */
4471
4472     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4473         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4474     {
4475       sv_rvweaken(obj);
4476     }
4477
4478     mg->mg_type = how;
4479     mg->mg_len = namlen;
4480     if (name) {
4481         if (namlen > 0)
4482             mg->mg_ptr = savepvn(name, namlen);
4483         else if (namlen == HEf_SVKEY)
4484             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV*)name);
4485         else
4486             mg->mg_ptr = (char *) name;
4487     }
4488     mg->mg_virtual = (MGVTBL *) vtable;
4489
4490     mg_magical(sv);
4491     if (SvGMAGICAL(sv))
4492         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4493     return mg;
4494 }
4495
4496 /*
4497 =for apidoc sv_magic
4498
4499 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4500 then adds a new magic item of type C<how> to the head of the magic list.
4501
4502 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4503 handling of the C<name> and C<namlen> arguments.
4504
4505 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4506 to add more than one instance of the same 'how'.
4507
4508 =cut
4509 */
4510
4511 void
4512 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4513 {
4514     dVAR;
4515     const MGVTBL *vtable;
4516     MAGIC* mg;
4517
4518 #ifdef PERL_OLD_COPY_ON_WRITE
4519     if (SvIsCOW(sv))
4520         sv_force_normal_flags(sv, 0);
4521 #endif
4522     if (SvREADONLY(sv)) {
4523         if (
4524             /* its okay to attach magic to shared strings; the subsequent
4525              * upgrade to PVMG will unshare the string */
4526             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4527
4528             && IN_PERL_RUNTIME
4529             && how != PERL_MAGIC_regex_global
4530             && how != PERL_MAGIC_bm
4531             && how != PERL_MAGIC_fm
4532             && how != PERL_MAGIC_sv
4533             && how != PERL_MAGIC_backref
4534            )
4535         {
4536             Perl_croak(aTHX_ PL_no_modify);
4537         }
4538     }
4539     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4540         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4541             /* sv_magic() refuses to add a magic of the same 'how' as an
4542                existing one
4543              */
4544             if (how == PERL_MAGIC_taint) {
4545                 mg->mg_len |= 1;
4546                 /* Any scalar which already had taint magic on which someone
4547                    (erroneously?) did SvIOK_on() or similar will now be
4548                    incorrectly sporting public "OK" flags.  */
4549                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4550             }
4551             return;
4552         }
4553     }
4554
4555     switch (how) {
4556     case PERL_MAGIC_sv:
4557         vtable = &PL_vtbl_sv;
4558         break;
4559     case PERL_MAGIC_overload:
4560         vtable = &PL_vtbl_amagic;
4561         break;
4562     case PERL_MAGIC_overload_elem:
4563         vtable = &PL_vtbl_amagicelem;
4564         break;
4565     case PERL_MAGIC_overload_table:
4566         vtable = &PL_vtbl_ovrld;
4567         break;
4568     case PERL_MAGIC_bm:
4569         vtable = &PL_vtbl_bm;
4570         break;
4571     case PERL_MAGIC_regdata:
4572         vtable = &PL_vtbl_regdata;
4573         break;
4574     case PERL_MAGIC_regdatum:
4575         vtable = &PL_vtbl_regdatum;
4576         break;
4577     case PERL_MAGIC_env:
4578         vtable = &PL_vtbl_env;
4579         break;
4580     case PERL_MAGIC_fm:
4581         vtable = &PL_vtbl_fm;
4582         break;
4583     case PERL_MAGIC_envelem:
4584         vtable = &PL_vtbl_envelem;
4585         break;
4586     case PERL_MAGIC_regex_global:
4587         vtable = &PL_vtbl_mglob;
4588         break;
4589     case PERL_MAGIC_isa:
4590         vtable = &PL_vtbl_isa;
4591         break;
4592     case PERL_MAGIC_isaelem:
4593         vtable = &PL_vtbl_isaelem;
4594         break;
4595     case PERL_MAGIC_nkeys:
4596         vtable = &PL_vtbl_nkeys;
4597         break;
4598     case PERL_MAGIC_dbfile:
4599         vtable = NULL;
4600         break;
4601     case PERL_MAGIC_dbline:
4602         vtable = &PL_vtbl_dbline;
4603         break;
4604 #ifdef USE_LOCALE_COLLATE
4605     case PERL_MAGIC_collxfrm:
4606         vtable = &PL_vtbl_collxfrm;
4607         break;
4608 #endif /* USE_LOCALE_COLLATE */
4609     case PERL_MAGIC_tied:
4610         vtable = &PL_vtbl_pack;
4611         break;
4612     case PERL_MAGIC_tiedelem:
4613     case PERL_MAGIC_tiedscalar:
4614         vtable = &PL_vtbl_packelem;
4615         break;
4616     case PERL_MAGIC_qr:
4617         vtable = &PL_vtbl_regexp;
4618         break;
4619     case PERL_MAGIC_hints:
4620         /* As this vtable is all NULL, we can reuse it.  */
4621     case PERL_MAGIC_sig:
4622         vtable = &PL_vtbl_sig;
4623         break;
4624     case PERL_MAGIC_sigelem:
4625         vtable = &PL_vtbl_sigelem;
4626         break;
4627     case PERL_MAGIC_taint:
4628         vtable = &PL_vtbl_taint;
4629         break;
4630     case PERL_MAGIC_uvar:
4631         vtable = &PL_vtbl_uvar;
4632         break;
4633     case PERL_MAGIC_vec:
4634         vtable = &PL_vtbl_vec;
4635         break;
4636     case PERL_MAGIC_arylen_p:
4637     case PERL_MAGIC_rhash:
4638     case PERL_MAGIC_symtab:
4639     case PERL_MAGIC_vstring:
4640         vtable = NULL;
4641         break;
4642     case PERL_MAGIC_utf8:
4643         vtable = &PL_vtbl_utf8;
4644         break;
4645     case PERL_MAGIC_substr:
4646         vtable = &PL_vtbl_substr;
4647         break;
4648     case PERL_MAGIC_defelem:
4649         vtable = &PL_vtbl_defelem;
4650         break;
4651     case PERL_MAGIC_arylen:
4652         vtable = &PL_vtbl_arylen;
4653         break;
4654     case PERL_MAGIC_pos:
4655         vtable = &PL_vtbl_pos;
4656         break;
4657     case PERL_MAGIC_backref:
4658         vtable = &PL_vtbl_backref;
4659         break;
4660     case PERL_MAGIC_hintselem:
4661         vtable = &PL_vtbl_hintselem;
4662         break;
4663     case PERL_MAGIC_ext:
4664         /* Reserved for use by extensions not perl internals.           */
4665         /* Useful for attaching extension internal data to perl vars.   */
4666         /* Note that multiple extensions may clash if magical scalars   */
4667         /* etc holding private data from one are passed to another.     */
4668         vtable = NULL;
4669         break;
4670     default:
4671         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4672     }
4673
4674     /* Rest of work is done else where */
4675     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4676
4677     switch (how) {
4678     case PERL_MAGIC_taint:
4679         mg->mg_len = 1;
4680         break;
4681     case PERL_MAGIC_ext:
4682     case PERL_MAGIC_dbfile:
4683         SvRMAGICAL_on(sv);
4684         break;
4685     }
4686 }
4687
4688 /*
4689 =for apidoc sv_unmagic
4690
4691 Removes all magic of type C<type> from an SV.
4692
4693 =cut
4694 */
4695
4696 int
4697 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4698 {
4699     MAGIC* mg;
4700     MAGIC** mgp;
4701     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4702         return 0;
4703     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
4704     for (mg = *mgp; mg; mg = *mgp) {
4705         if (mg->mg_type == type) {
4706             const MGVTBL* const vtbl = mg->mg_virtual;
4707             *mgp = mg->mg_moremagic;
4708             if (vtbl && vtbl->svt_free)
4709                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4710             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4711                 if (mg->mg_len > 0)
4712                     Safefree(mg->mg_ptr);
4713                 else if (mg->mg_len == HEf_SVKEY)
4714                     SvREFCNT_dec((SV*)mg->mg_ptr);
4715                 else if (mg->mg_type == PERL_MAGIC_utf8)
4716                     Safefree(mg->mg_ptr);
4717             }
4718             if (mg->mg_flags & MGf_REFCOUNTED)
4719                 SvREFCNT_dec(mg->mg_obj);
4720             Safefree(mg);
4721         }
4722         else
4723             mgp = &mg->mg_moremagic;
4724     }
4725     if (!SvMAGIC(sv)) {
4726         SvMAGICAL_off(sv);
4727         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4728         SvMAGIC_set(sv, NULL);
4729     }
4730
4731     return 0;
4732 }
4733
4734 /*
4735 =for apidoc sv_rvweaken
4736
4737 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4738 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4739 push a back-reference to this RV onto the array of backreferences
4740 associated with that magic. If the RV is magical, set magic will be
4741 called after the RV is cleared.
4742
4743 =cut
4744 */
4745
4746 SV *
4747 Perl_sv_rvweaken(pTHX_ SV *sv)
4748 {
4749     SV *tsv;
4750     if (!SvOK(sv))  /* let undefs pass */
4751         return sv;
4752     if (!SvROK(sv))
4753         Perl_croak(aTHX_ "Can't weaken a nonreference");
4754     else if (SvWEAKREF(sv)) {
4755         if (ckWARN(WARN_MISC))
4756             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4757         return sv;
4758     }
4759     tsv = SvRV(sv);
4760     Perl_sv_add_backref(aTHX_ tsv, sv);
4761     SvWEAKREF_on(sv);
4762     SvREFCNT_dec(tsv);
4763     return sv;
4764 }
4765
4766 /* Give tsv backref magic if it hasn't already got it, then push a
4767  * back-reference to sv onto the array associated with the backref magic.
4768  */
4769
4770 void
4771 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4772 {
4773     dVAR;
4774     AV *av;
4775
4776     if (SvTYPE(tsv) == SVt_PVHV) {
4777         AV **const avp = Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4778
4779         av = *avp;
4780         if (!av) {
4781             /* There is no AV in the offical place - try a fixup.  */
4782             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
4783
4784             if (mg) {
4785                 /* Aha. They've got it stowed in magic.  Bring it back.  */
4786                 av = (AV*)mg->mg_obj;
4787                 /* Stop mg_free decreasing the refernce count.  */
4788                 mg->mg_obj = NULL;
4789                 /* Stop mg_free even calling the destructor, given that
4790                    there's no AV to free up.  */
4791                 mg->mg_virtual = 0;
4792                 sv_unmagic(tsv, PERL_MAGIC_backref);
4793             } else {
4794                 av = newAV();
4795                 AvREAL_off(av);
4796                 SvREFCNT_inc_simple_void(av);
4797             }
4798             *avp = av;
4799         }
4800     } else {
4801         const MAGIC *const mg
4802             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4803         if (mg)
4804             av = (AV*)mg->mg_obj;
4805         else {
4806             av = newAV();
4807             AvREAL_off(av);
4808             sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4809             /* av now has a refcnt of 2, which avoids it getting freed
4810              * before us during global cleanup. The extra ref is removed
4811              * by magic_killbackrefs() when tsv is being freed */
4812         }
4813     }
4814     if (AvFILLp(av) >= AvMAX(av)) {
4815         av_extend(av, AvFILLp(av)+1);
4816     }
4817     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4818 }
4819
4820 /* delete a back-reference to ourselves from the backref magic associated
4821  * with the SV we point to.
4822  */
4823
4824 STATIC void
4825 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4826 {
4827     dVAR;
4828     AV *av = NULL;
4829     SV **svp;
4830     I32 i;
4831
4832     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
4833         av = *Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4834         /* We mustn't attempt to "fix up" the hash here by moving the
4835            backreference array back to the hv_aux structure, as that is stored
4836            in the main HvARRAY(), and hfreentries assumes that no-one
4837            reallocates HvARRAY() while it is running.  */
4838     }
4839     if (!av) {
4840         const MAGIC *const mg
4841             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4842         if (mg)
4843             av = (AV *)mg->mg_obj;
4844     }
4845     if (!av) {
4846         if (PL_in_clean_all)
4847             return;
4848         Perl_croak(aTHX_ "panic: del_backref");
4849     }
4850
4851     if (SvIS_FREED(av))
4852         return;
4853
4854     svp = AvARRAY(av);
4855     /* We shouldn't be in here more than once, but for paranoia reasons lets
4856        not assume this.  */
4857     for (i = AvFILLp(av); i >= 0; i--) {
4858         if (svp[i] == sv) {
4859             const SSize_t fill = AvFILLp(av);
4860             if (i != fill) {
4861                 /* We weren't the last entry.
4862                    An unordered list has this property that you can take the
4863                    last element off the end to fill the hole, and it's still
4864                    an unordered list :-)
4865                 */
4866                 svp[i] = svp[fill];
4867             }
4868             svp[fill] = NULL;
4869             AvFILLp(av) = fill - 1;
4870         }
4871     }
4872 }
4873
4874 int
4875 Perl_sv_kill_backrefs(pTHX_ SV *sv, AV *av)
4876 {
4877     SV **svp = AvARRAY(av);
4878
4879     PERL_UNUSED_ARG(sv);
4880
4881     /* Not sure why the av can get freed ahead of its sv, but somehow it does
4882        in ext/B/t/bytecode.t test 15 (involving print <DATA>)  */
4883     if (svp && !SvIS_FREED(av)) {
4884         SV *const *const last = svp + AvFILLp(av);
4885
4886         while (svp <= last) {
4887             if (*svp) {
4888                 SV *const referrer = *svp;
4889                 if (SvWEAKREF(referrer)) {
4890                     /* XXX Should we check that it hasn't changed? */
4891                     SvRV_set(referrer, 0);
4892                     SvOK_off(referrer);
4893                     SvWEAKREF_off(referrer);
4894                     SvSETMAGIC(referrer);
4895                 } else if (SvTYPE(referrer) == SVt_PVGV ||
4896                            SvTYPE(referrer) == SVt_PVLV) {
4897                     /* You lookin' at me?  */
4898                     assert(GvSTASH(referrer));
4899                     assert(GvSTASH(referrer) == (HV*)sv);
4900                     GvSTASH(referrer) = 0;
4901                 } else {
4902                     Perl_croak(aTHX_
4903                                "panic: magic_killbackrefs (flags=%"UVxf")",
4904                                (UV)SvFLAGS(referrer));
4905                 }
4906
4907                 *svp = NULL;
4908             }
4909             svp++;
4910         }
4911     }
4912     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
4913     return 0;
4914 }
4915
4916 /*
4917 =for apidoc sv_insert
4918
4919 Inserts a string at the specified offset/length within the SV. Similar to
4920 the Perl substr() function.
4921
4922 =cut
4923 */
4924
4925 void
4926 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4927 {
4928     dVAR;
4929     register char *big;
4930     register char *mid;
4931     register char *midend;
4932     register char *bigend;
4933     register I32 i;
4934     STRLEN curlen;
4935
4936
4937     if (!bigstr)
4938         Perl_croak(aTHX_ "Can't modify non-existent substring");
4939     SvPV_force(bigstr, curlen);
4940     (void)SvPOK_only_UTF8(bigstr);
4941     if (offset + len > curlen) {
4942         SvGROW(bigstr, offset+len+1);
4943         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4944         SvCUR_set(bigstr, offset+len);
4945     }
4946
4947     SvTAINT(bigstr);
4948     i = littlelen - len;
4949     if (i > 0) {                        /* string might grow */
4950         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4951         mid = big + offset + len;
4952         midend = bigend = big + SvCUR(bigstr);
4953         bigend += i;
4954         *bigend = '\0';
4955         while (midend > mid)            /* shove everything down */
4956             *--bigend = *--midend;
4957         Move(little,big+offset,littlelen,char);
4958         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4959         SvSETMAGIC(bigstr);
4960         return;
4961     }
4962     else if (i == 0) {
4963         Move(little,SvPVX(bigstr)+offset,len,char);
4964         SvSETMAGIC(bigstr);
4965         return;
4966     }
4967
4968     big = SvPVX(bigstr);
4969     mid = big + offset;
4970     midend = mid + len;
4971     bigend = big + SvCUR(bigstr);
4972
4973     if (midend > bigend)
4974         Perl_croak(aTHX_ "panic: sv_insert");
4975
4976     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4977         if (littlelen) {
4978             Move(little, mid, littlelen,char);
4979             mid += littlelen;
4980         }
4981         i = bigend - midend;
4982         if (i > 0) {
4983             Move(midend, mid, i,char);
4984             mid += i;
4985         }
4986         *mid = '\0';
4987         SvCUR_set(bigstr, mid - big);
4988     }
4989     else if ((i = mid - big)) { /* faster from front */
4990         midend -= littlelen;
4991         mid = midend;
4992         sv_chop(bigstr,midend-i);
4993         big += i;
4994         while (i--)
4995             *--midend = *--big;
4996         if (littlelen)
4997             Move(little, mid, littlelen,char);
4998     }
4999     else if (littlelen) {
5000         midend -= littlelen;
5001         sv_chop(bigstr,midend);
5002         Move(little,midend,littlelen,char);
5003     }
5004     else {
5005         sv_chop(bigstr,midend);
5006     }
5007     SvSETMAGIC(bigstr);
5008 }
5009
5010 /*
5011 =for apidoc sv_replace
5012
5013 Make the first argument a copy of the second, then delete the original.
5014 The target SV physically takes over ownership of the body of the source SV
5015 and inherits its flags; however, the target keeps any magic it owns,
5016 and any magic in the source is discarded.
5017 Note that this is a rather specialist SV copying operation; most of the
5018 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5019
5020 =cut
5021 */
5022
5023 void
5024 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
5025 {
5026     dVAR;
5027     const U32 refcnt = SvREFCNT(sv);
5028     SV_CHECK_THINKFIRST_COW_DROP(sv);
5029     if (SvREFCNT(nsv) != 1) {
5030         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
5031                    UVuf " != 1)", (UV) SvREFCNT(nsv));
5032     }
5033     if (SvMAGICAL(sv)) {
5034         if (SvMAGICAL(nsv))
5035             mg_free(nsv);
5036         else
5037             sv_upgrade(nsv, SVt_PVMG);
5038         SvMAGIC_set(nsv, SvMAGIC(sv));
5039         SvFLAGS(nsv) |= SvMAGICAL(sv);
5040         SvMAGICAL_off(sv);
5041         SvMAGIC_set(sv, NULL);
5042     }
5043     SvREFCNT(sv) = 0;
5044     sv_clear(sv);
5045     assert(!SvREFCNT(sv));
5046 #ifdef DEBUG_LEAKING_SCALARS
5047     sv->sv_flags  = nsv->sv_flags;
5048     sv->sv_any    = nsv->sv_any;
5049     sv->sv_refcnt = nsv->sv_refcnt;
5050     sv->sv_u      = nsv->sv_u;
5051 #else
5052     StructCopy(nsv,sv,SV);
5053 #endif
5054     if(SvTYPE(sv) == SVt_IV) {
5055         SvANY(sv)
5056             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5057     }
5058         
5059
5060 #ifdef PERL_OLD_COPY_ON_WRITE
5061     if (SvIsCOW_normal(nsv)) {
5062         /* We need to follow the pointers around the loop to make the
5063            previous SV point to sv, rather than nsv.  */
5064         SV *next;
5065         SV *current = nsv;
5066         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5067             assert(next);
5068             current = next;
5069             assert(SvPVX_const(current) == SvPVX_const(nsv));
5070         }
5071         /* Make the SV before us point to the SV after us.  */
5072         if (DEBUG_C_TEST) {
5073             PerlIO_printf(Perl_debug_log, "previous is\n");
5074             sv_dump(current);
5075             PerlIO_printf(Perl_debug_log,
5076                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5077                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5078         }
5079         SV_COW_NEXT_SV_SET(current, sv);
5080     }
5081 #endif
5082     SvREFCNT(sv) = refcnt;
5083     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5084     SvREFCNT(nsv) = 0;
5085     del_SV(nsv);
5086 }
5087
5088 /*
5089 =for apidoc sv_clear
5090
5091 Clear an SV: call any destructors, free up any memory used by the body,
5092 and free the body itself. The SV's head is I<not> freed, although
5093 its type is set to all 1's so that it won't inadvertently be assumed
5094 to be live during global destruction etc.
5095 This function should only be called when REFCNT is zero. Most of the time
5096 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5097 instead.
5098
5099 =cut
5100 */
5101
5102 void
5103 Perl_sv_clear(pTHX_ register SV *sv)
5104 {
5105     dVAR;
5106     const U32 type = SvTYPE(sv);
5107     const struct body_details *const sv_type_details
5108         = bodies_by_type + type;
5109     HV *stash;
5110
5111     assert(sv);
5112     assert(SvREFCNT(sv) == 0);
5113
5114     if (type <= SVt_IV) {
5115         /* See the comment in sv.h about the collusion between this early
5116            return and the overloading of the NULL and IV slots in the size
5117            table.  */
5118         if (SvROK(sv)) {
5119             SV * const target = SvRV(sv);
5120             if (SvWEAKREF(sv))
5121                 sv_del_backref(target, sv);
5122             else
5123                 SvREFCNT_dec(target);
5124         }
5125         SvFLAGS(sv) &= SVf_BREAK;
5126         SvFLAGS(sv) |= SVTYPEMASK;
5127         return;
5128     }
5129
5130     if (SvOBJECT(sv)) {
5131         if (PL_defstash &&      /* Still have a symbol table? */
5132             SvDESTROYABLE(sv))
5133         {
5134             dSP;
5135             HV* stash;
5136             do {        
5137                 CV* destructor;
5138                 stash = SvSTASH(sv);
5139                 destructor = StashHANDLER(stash,DESTROY);
5140                 if (destructor) {
5141                     SV* const tmpref = newRV(sv);
5142                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5143                     ENTER;
5144                     PUSHSTACKi(PERLSI_DESTROY);
5145                     EXTEND(SP, 2);
5146                     PUSHMARK(SP);
5147                     PUSHs(tmpref);
5148                     PUTBACK;
5149                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5150                 
5151                 
5152                     POPSTACK;
5153                     SPAGAIN;
5154                     LEAVE;
5155                     if(SvREFCNT(tmpref) < 2) {
5156                         /* tmpref is not kept alive! */
5157                         SvREFCNT(sv)--;
5158                         SvRV_set(tmpref, NULL);
5159                         SvROK_off(tmpref);
5160                     }
5161                     SvREFCNT_dec(tmpref);
5162                 }
5163             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5164
5165
5166             if (SvREFCNT(sv)) {
5167                 if (PL_in_clean_objs)
5168                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5169                           HvNAME_get(stash));
5170                 /* DESTROY gave object new lease on life */
5171                 return;
5172             }
5173         }
5174
5175         if (SvOBJECT(sv)) {
5176             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5177             SvOBJECT_off(sv);   /* Curse the object. */
5178             if (type != SVt_PVIO)
5179                 --PL_sv_objcount;       /* XXX Might want something more general */
5180         }
5181     }
5182     if (type >= SVt_PVMG) {
5183         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5184             SvREFCNT_dec(SvOURSTASH(sv));
5185         } else if (SvMAGIC(sv))
5186             mg_free(sv);
5187         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5188             SvREFCNT_dec(SvSTASH(sv));
5189     }
5190     switch (type) {
5191         /* case SVt_BIND: */
5192     case SVt_PVIO:
5193         if (IoIFP(sv) &&
5194             IoIFP(sv) != PerlIO_stdin() &&
5195             IoIFP(sv) != PerlIO_stdout() &&
5196             IoIFP(sv) != PerlIO_stderr())
5197         {
5198             io_close((IO*)sv, FALSE);
5199         }
5200         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5201             PerlDir_close(IoDIRP(sv));
5202         IoDIRP(sv) = (DIR*)NULL;
5203         Safefree(IoTOP_NAME(sv));
5204         Safefree(IoFMT_NAME(sv));
5205         Safefree(IoBOTTOM_NAME(sv));
5206         goto freescalar;
5207     case SVt_PVCV:
5208     case SVt_PVFM:
5209         cv_undef((CV*)sv);
5210         goto freescalar;
5211     case SVt_PVHV:
5212         Perl_hv_kill_backrefs(aTHX_ (HV*)sv);
5213         hv_undef((HV*)sv);
5214         break;
5215     case SVt_PVAV:
5216         if (PL_comppad == (AV*)sv) {
5217             PL_comppad = NULL;
5218             PL_curpad = NULL;
5219         }
5220         av_undef((AV*)sv);
5221         break;
5222     case SVt_PVLV:
5223         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5224             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5225             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5226             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5227         }
5228         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5229             SvREFCNT_dec(LvTARG(sv));
5230     case SVt_PVGV:
5231         if (isGV_with_GP(sv)) {
5232             if(GvCVu((GV*)sv) && (stash = GvSTASH((GV*)sv)) && HvNAME_get(stash))
5233                 mro_method_changed_in(stash);
5234             gp_free((GV*)sv);
5235             if (GvNAME_HEK(sv))
5236                 unshare_hek(GvNAME_HEK(sv));
5237             /* If we're in a stash, we don't own a reference to it. However it does
5238                have a back reference to us, which needs to be cleared.  */
5239             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5240                     sv_del_backref((SV*)stash, sv);
5241         }
5242         /* FIXME. There are probably more unreferenced pointers to SVs in the
5243            interpreter struct that we should check and tidy in a similar
5244            fashion to this:  */
5245         if ((GV*)sv == PL_last_in_gv)
5246             PL_last_in_gv = NULL;
5247     case SVt_PVMG:
5248     case SVt_PVNV:
5249     case SVt_PVIV:
5250       freescalar:
5251         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5252         if (SvOOK(sv)) {
5253             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
5254             /* Don't even bother with turning off the OOK flag.  */
5255         }
5256     case SVt_PV:
5257         if (SvROK(sv)) {
5258             SV * const target = SvRV(sv);
5259             if (SvWEAKREF(sv))
5260                 sv_del_backref(target, sv);
5261             else
5262                 SvREFCNT_dec(target);
5263         }
5264 #ifdef PERL_OLD_COPY_ON_WRITE
5265         else if (SvPVX_const(sv)) {
5266             if (SvIsCOW(sv)) {
5267                 /* I believe I need to grab the global SV mutex here and
5268                    then recheck the COW status.  */
5269                 if (DEBUG_C_TEST) {
5270                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5271                     sv_dump(sv);
5272                 }
5273                 if (SvLEN(sv)) {
5274                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5275                 } else {
5276                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5277                 }
5278
5279                 /* And drop it here.  */
5280                 SvFAKE_off(sv);
5281             } else if (SvLEN(sv)) {
5282                 Safefree(SvPVX_const(sv));
5283             }
5284         }
5285 #else
5286         else if (SvPVX_const(sv) && SvLEN(sv))
5287             Safefree(SvPVX_mutable(sv));
5288         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5289             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5290             SvFAKE_off(sv);
5291         }
5292 #endif
5293         break;
5294     case SVt_NV:
5295         break;
5296     }
5297
5298     SvFLAGS(sv) &= SVf_BREAK;
5299     SvFLAGS(sv) |= SVTYPEMASK;
5300
5301     if (sv_type_details->arena) {
5302         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5303                  &PL_body_roots[type]);
5304     }
5305     else if (sv_type_details->body_size) {
5306         my_safefree(SvANY(sv));
5307     }
5308 }
5309
5310 /*
5311 =for apidoc sv_newref
5312
5313 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5314 instead.
5315
5316 =cut
5317 */
5318
5319 SV *
5320 Perl_sv_newref(pTHX_ SV *sv)
5321 {
5322     PERL_UNUSED_CONTEXT;
5323     if (sv)
5324         (SvREFCNT(sv))++;
5325     return sv;
5326 }
5327
5328 /*
5329 =for apidoc sv_free
5330
5331 Decrement an SV's reference count, and if it drops to zero, call
5332 C<sv_clear> to invoke destructors and free up any memory used by
5333 the body; finally, deallocate the SV's head itself.
5334 Normally called via a wrapper macro C<SvREFCNT_dec>.
5335
5336 =cut
5337 */
5338
5339 void
5340 Perl_sv_free(pTHX_ SV *sv)
5341 {
5342     dVAR;
5343     if (!sv)
5344         return;
5345     if (SvREFCNT(sv) == 0) {
5346         if (SvFLAGS(sv) & SVf_BREAK)
5347             /* this SV's refcnt has been artificially decremented to
5348              * trigger cleanup */
5349             return;
5350         if (PL_in_clean_all) /* All is fair */
5351             return;
5352         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5353             /* make sure SvREFCNT(sv)==0 happens very seldom */
5354             SvREFCNT(sv) = (~(U32)0)/2;
5355             return;
5356         }
5357         if (ckWARN_d(WARN_INTERNAL)) {
5358             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5359                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5360                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5361 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5362             Perl_dump_sv_child(aTHX_ sv);
5363 #else
5364   #ifdef DEBUG_LEAKING_SCALARS
5365         sv_dump(sv);
5366   #endif
5367 #endif
5368         }
5369         return;
5370     }
5371     if (--(SvREFCNT(sv)) > 0)
5372         return;
5373     Perl_sv_free2(aTHX_ sv);
5374 }
5375
5376 void
5377 Perl_sv_free2(pTHX_ SV *sv)
5378 {
5379     dVAR;
5380 #ifdef DEBUGGING
5381     if (SvTEMP(sv)) {
5382         if (ckWARN_d(WARN_DEBUGGING))
5383             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5384                         "Attempt to free temp prematurely: SV 0x%"UVxf
5385                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5386         return;
5387     }
5388 #endif
5389     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5390         /* make sure SvREFCNT(sv)==0 happens very seldom */
5391         SvREFCNT(sv) = (~(U32)0)/2;
5392         return;
5393     }
5394     sv_clear(sv);
5395     if (! SvREFCNT(sv))
5396         del_SV(sv);
5397 }
5398
5399 /*
5400 =for apidoc sv_len
5401
5402 Returns the length of the string in the SV. Handles magic and type
5403 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5404
5405 =cut
5406 */
5407
5408 STRLEN
5409 Perl_sv_len(pTHX_ register SV *sv)
5410 {
5411     STRLEN len;
5412
5413     if (!sv)
5414         return 0;
5415
5416     if (SvGMAGICAL(sv))
5417         len = mg_length(sv);
5418     else
5419         (void)SvPV_const(sv, len);
5420     return len;
5421 }
5422
5423 /*
5424 =for apidoc sv_len_utf8
5425
5426 Returns the number of characters in the string in an SV, counting wide
5427 UTF-8 bytes as a single character. Handles magic and type coercion.
5428
5429 =cut
5430 */
5431
5432 /*
5433  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5434  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5435  * (Note that the mg_len is not the length of the mg_ptr field.
5436  * This allows the cache to store the character length of the string without
5437  * needing to malloc() extra storage to attach to the mg_ptr.)
5438  *
5439  */
5440
5441 STRLEN
5442 Perl_sv_len_utf8(pTHX_ register SV *sv)
5443 {
5444     if (!sv)
5445         return 0;
5446
5447     if (SvGMAGICAL(sv))
5448         return mg_length(sv);
5449     else
5450     {
5451         STRLEN len;
5452         const U8 *s = (U8*)SvPV_const(sv, len);
5453
5454         if (PL_utf8cache) {
5455             STRLEN ulen;
5456             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
5457
5458             if (mg && mg->mg_len != -1) {
5459                 ulen = mg->mg_len;
5460                 if (PL_utf8cache < 0) {
5461                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
5462                     if (real != ulen) {
5463                         /* Need to turn the assertions off otherwise we may
5464                            recurse infinitely while printing error messages.
5465                         */
5466                         SAVEI8(PL_utf8cache);
5467                         PL_utf8cache = 0;
5468                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
5469                                    " real %"UVuf" for %"SVf,
5470                                    (UV) ulen, (UV) real, SVfARG(sv));
5471                     }
5472                 }
5473             }
5474             else {
5475                 ulen = Perl_utf8_length(aTHX_ s, s + len);
5476                 if (!SvREADONLY(sv)) {
5477                     if (!mg) {
5478                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
5479                                          &PL_vtbl_utf8, 0, 0);
5480                     }
5481                     assert(mg);
5482                     mg->mg_len = ulen;
5483                 }
5484             }
5485             return ulen;
5486         }
5487         return Perl_utf8_length(aTHX_ s, s + len);
5488     }
5489 }
5490
5491 /* Walk forwards to find the byte corresponding to the passed in UTF-8
5492    offset.  */
5493 static STRLEN
5494 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
5495                       STRLEN uoffset)
5496 {
5497     const U8 *s = start;
5498
5499     while (s < send && uoffset--)
5500         s += UTF8SKIP(s);
5501     if (s > send) {
5502         /* This is the existing behaviour. Possibly it should be a croak, as
5503            it's actually a bounds error  */
5504         s = send;
5505     }
5506     return s - start;
5507 }
5508
5509 /* Given the length of the string in both bytes and UTF-8 characters, decide
5510    whether to walk forwards or backwards to find the byte corresponding to
5511    the passed in UTF-8 offset.  */
5512 static STRLEN
5513 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
5514                       STRLEN uoffset, STRLEN uend)
5515 {
5516     STRLEN backw = uend - uoffset;
5517     if (uoffset < 2 * backw) {
5518         /* The assumption is that going forwards is twice the speed of going
5519            forward (that's where the 2 * backw comes from).
5520            (The real figure of course depends on the UTF-8 data.)  */
5521         return sv_pos_u2b_forwards(start, send, uoffset);
5522     }
5523
5524     while (backw--) {
5525         send--;
5526         while (UTF8_IS_CONTINUATION(*send))
5527             send--;
5528     }
5529     return send - start;
5530 }
5531
5532 /* For the string representation of the given scalar, find the byte
5533    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
5534    give another position in the string, *before* the sought offset, which
5535    (which is always true, as 0, 0 is a valid pair of positions), which should
5536    help reduce the amount of linear searching.
5537    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
5538    will be used to reduce the amount of linear searching. The cache will be
5539    created if necessary, and the found value offered to it for update.  */
5540 static STRLEN
5541 S_sv_pos_u2b_cached(pTHX_ SV *sv, MAGIC **mgp, const U8 *const start,
5542                     const U8 *const send, STRLEN uoffset,
5543                     STRLEN uoffset0, STRLEN boffset0) {
5544     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
5545     bool found = FALSE;
5546
5547     assert (uoffset >= uoffset0);
5548
5549     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5550         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
5551         if ((*mgp)->mg_ptr) {
5552             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
5553             if (cache[0] == uoffset) {
5554                 /* An exact match. */
5555                 return cache[1];
5556             }
5557             if (cache[2] == uoffset) {
5558                 /* An exact match. */
5559                 return cache[3];
5560             }
5561
5562             if (cache[0] < uoffset) {
5563                 /* The cache already knows part of the way.   */
5564                 if (cache[0] > uoffset0) {
5565                     /* The cache knows more than the passed in pair  */
5566                     uoffset0 = cache[0];
5567                     boffset0 = cache[1];
5568                 }
5569                 if ((*mgp)->mg_len != -1) {
5570                     /* And we know the end too.  */
5571                     boffset = boffset0
5572                         + sv_pos_u2b_midway(start + boffset0, send,
5573                                               uoffset - uoffset0,
5574                                               (*mgp)->mg_len - uoffset0);
5575                 } else {
5576                     boffset = boffset0
5577                         + sv_pos_u2b_forwards(start + boffset0,
5578                                                 send, uoffset - uoffset0);
5579                 }
5580             }
5581             else if (cache[2] < uoffset) {
5582                 /* We're between the two cache entries.  */
5583                 if (cache[2] > uoffset0) {
5584                     /* and the cache knows more than the passed in pair  */
5585                     uoffset0 = cache[2];
5586                     boffset0 = cache[3];
5587                 }
5588
5589                 boffset = boffset0
5590                     + sv_pos_u2b_midway(start + boffset0,
5591                                           start + cache[1],
5592                                           uoffset - uoffset0,
5593                                           cache[0] - uoffset0);
5594             } else {
5595                 boffset = boffset0
5596                     + sv_pos_u2b_midway(start + boffset0,
5597                                           start + cache[3],
5598                                           uoffset - uoffset0,
5599                                           cache[2] - uoffset0);
5600             }
5601             found = TRUE;
5602         }
5603         else if ((*mgp)->mg_len != -1) {
5604             /* If we can take advantage of a passed in offset, do so.  */
5605             /* In fact, offset0 is either 0, or less than offset, so don't
5606                need to worry about the other possibility.  */
5607             boffset = boffset0
5608                 + sv_pos_u2b_midway(start + boffset0, send,
5609                                       uoffset - uoffset0,
5610                                       (*mgp)->mg_len - uoffset0);
5611             found = TRUE;
5612         }
5613     }
5614
5615     if (!found || PL_utf8cache < 0) {
5616         const STRLEN real_boffset
5617             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
5618                                                send, uoffset - uoffset0);
5619
5620         if (found && PL_utf8cache < 0) {
5621             if (real_boffset != boffset) {
5622                 /* Need to turn the assertions off otherwise we may recurse
5623                    infinitely while printing error messages.  */
5624                 SAVEI8(PL_utf8cache);
5625                 PL_utf8cache = 0;
5626                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
5627                            " real %"UVuf" for %"SVf,
5628                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
5629             }
5630         }
5631         boffset = real_boffset;
5632     }
5633
5634     S_utf8_mg_pos_cache_update(aTHX_ sv, mgp, boffset, uoffset, send - start);
5635     return boffset;
5636 }
5637
5638
5639 /*
5640 =for apidoc sv_pos_u2b
5641
5642 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5643 the start of the string, to a count of the equivalent number of bytes; if
5644 lenp is non-zero, it does the same to lenp, but this time starting from
5645 the offset, rather than from the start of the string. Handles magic and
5646 type coercion.
5647
5648 =cut
5649 */
5650
5651 /*
5652  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5653  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5654  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
5655  *
5656  */
5657
5658 void
5659 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5660 {
5661     const U8 *start;
5662     STRLEN len;
5663
5664     if (!sv)
5665         return;
5666
5667     start = (U8*)SvPV_const(sv, len);
5668     if (len) {
5669         STRLEN uoffset = (STRLEN) *offsetp;
5670         const U8 * const send = start + len;
5671         MAGIC *mg = NULL;
5672         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
5673                                              uoffset, 0, 0);
5674
5675         *offsetp = (I32) boffset;
5676
5677         if (lenp) {
5678             /* Convert the relative offset to absolute.  */
5679             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
5680             const STRLEN boffset2
5681                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
5682                                       uoffset, boffset) - boffset;
5683
5684             *lenp = boffset2;
5685         }
5686     }
5687     else {
5688          *offsetp = 0;
5689          if (lenp)
5690               *lenp = 0;
5691     }
5692
5693     return;
5694 }
5695
5696 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
5697    byte length pairing. The (byte) length of the total SV is passed in too,
5698    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
5699    may not have updated SvCUR, so we can't rely on reading it directly.
5700
5701    The proffered utf8/byte length pairing isn't used if the cache already has
5702    two pairs, and swapping either for the proffered pair would increase the
5703    RMS of the intervals between known byte offsets.
5704
5705    The cache itself consists of 4 STRLEN values
5706    0: larger UTF-8 offset
5707    1: corresponding byte offset
5708    2: smaller UTF-8 offset
5709    3: corresponding byte offset
5710
5711    Unused cache pairs have the value 0, 0.
5712    Keeping the cache "backwards" means that the invariant of
5713    cache[0] >= cache[2] is maintained even with empty slots, which means that
5714    the code that uses it doesn't need to worry if only 1 entry has actually
5715    been set to non-zero.  It also makes the "position beyond the end of the
5716    cache" logic much simpler, as the first slot is always the one to start
5717    from.   
5718 */
5719 static void
5720 S_utf8_mg_pos_cache_update(pTHX_ SV *sv, MAGIC **mgp, STRLEN byte, STRLEN utf8,
5721                            STRLEN blen)
5722 {
5723     STRLEN *cache;
5724     if (SvREADONLY(sv))
5725         return;
5726
5727     if (!*mgp) {
5728         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
5729                            0);
5730         (*mgp)->mg_len = -1;
5731     }
5732     assert(*mgp);
5733
5734     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
5735         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5736         (*mgp)->mg_ptr = (char *) cache;
5737     }
5738     assert(cache);
5739
5740     if (PL_utf8cache < 0) {
5741         const U8 *start = (const U8 *) SvPVX_const(sv);
5742         const STRLEN realutf8 = utf8_length(start, start + byte);
5743
5744         if (realutf8 != utf8) {
5745             /* Need to turn the assertions off otherwise we may recurse
5746                infinitely while printing error messages.  */
5747             SAVEI8(PL_utf8cache);
5748             PL_utf8cache = 0;
5749             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
5750                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
5751         }
5752     }
5753
5754     /* Cache is held with the later position first, to simplify the code
5755        that deals with unbounded ends.  */
5756        
5757     ASSERT_UTF8_CACHE(cache);
5758     if (cache[1] == 0) {
5759         /* Cache is totally empty  */
5760         cache[0] = utf8;
5761         cache[1] = byte;
5762     } else if (cache[3] == 0) {
5763         if (byte > cache[1]) {
5764             /* New one is larger, so goes first.  */
5765             cache[2] = cache[0];
5766             cache[3] = cache[1];
5767             cache[0] = utf8;
5768             cache[1] = byte;
5769         } else {
5770             cache[2] = utf8;
5771             cache[3] = byte;
5772         }
5773     } else {
5774 #define THREEWAY_SQUARE(a,b,c,d) \
5775             ((float)((d) - (c))) * ((float)((d) - (c))) \
5776             + ((float)((c) - (b))) * ((float)((c) - (b))) \
5777                + ((float)((b) - (a))) * ((float)((b) - (a)))
5778
5779         /* Cache has 2 slots in use, and we know three potential pairs.
5780            Keep the two that give the lowest RMS distance. Do the
5781            calcualation in bytes simply because we always know the byte
5782            length.  squareroot has the same ordering as the positive value,
5783            so don't bother with the actual square root.  */
5784         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
5785         if (byte > cache[1]) {
5786             /* New position is after the existing pair of pairs.  */
5787             const float keep_earlier
5788                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5789             const float keep_later
5790                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
5791
5792             if (keep_later < keep_earlier) {
5793                 if (keep_later < existing) {
5794                     cache[2] = cache[0];
5795                     cache[3] = cache[1];
5796                     cache[0] = utf8;
5797                     cache[1] = byte;
5798                 }
5799             }
5800             else {
5801                 if (keep_earlier < existing) {
5802                     cache[0] = utf8;
5803                     cache[1] = byte;
5804                 }
5805             }
5806         }
5807         else if (byte > cache[3]) {
5808             /* New position is between the existing pair of pairs.  */
5809             const float keep_earlier
5810                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5811             const float keep_later
5812                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5813
5814             if (keep_later < keep_earlier) {
5815                 if (keep_later < existing) {
5816                     cache[2] = utf8;
5817                     cache[3] = byte;
5818                 }
5819             }
5820             else {
5821                 if (keep_earlier < existing) {
5822                     cache[0] = utf8;
5823                     cache[1] = byte;
5824                 }
5825             }
5826         }
5827         else {
5828             /* New position is before the existing pair of pairs.  */
5829             const float keep_earlier
5830                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
5831             const float keep_later
5832                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5833
5834             if (keep_later < keep_earlier) {
5835                 if (keep_later < existing) {
5836                     cache[2] = utf8;
5837                     cache[3] = byte;
5838                 }
5839             }
5840             else {
5841                 if (keep_earlier < existing) {
5842                     cache[0] = cache[2];
5843                     cache[1] = cache[3];
5844                     cache[2] = utf8;
5845                     cache[3] = byte;
5846                 }
5847             }
5848         }
5849     }
5850     ASSERT_UTF8_CACHE(cache);
5851 }
5852
5853 /* We already know all of the way, now we may be able to walk back.  The same
5854    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
5855    backward is half the speed of walking forward. */
5856 static STRLEN
5857 S_sv_pos_b2u_midway(pTHX_ const U8 *s, const U8 *const target, const U8 *end,
5858                     STRLEN endu)
5859 {
5860     const STRLEN forw = target - s;
5861     STRLEN backw = end - target;
5862
5863     if (forw < 2 * backw) {
5864         return utf8_length(s, target);
5865     }
5866
5867     while (end > target) {
5868         end--;
5869         while (UTF8_IS_CONTINUATION(*end)) {
5870             end--;
5871         }
5872         endu--;
5873     }
5874     return endu;
5875 }
5876
5877 /*
5878 =for apidoc sv_pos_b2u
5879
5880 Converts the value pointed to by offsetp from a count of bytes from the
5881 start of the string, to a count of the equivalent number of UTF-8 chars.
5882 Handles magic and type coercion.
5883
5884 =cut
5885 */
5886
5887 /*
5888  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5889  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5890  * byte offsets.
5891  *
5892  */
5893 void
5894 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5895 {
5896     const U8* s;
5897     const STRLEN byte = *offsetp;
5898     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
5899     STRLEN blen;
5900     MAGIC* mg = NULL;
5901     const U8* send;
5902     bool found = FALSE;
5903
5904     if (!sv)
5905         return;
5906
5907     s = (const U8*)SvPV_const(sv, blen);
5908
5909     if (blen < byte)
5910         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5911
5912     send = s + byte;
5913
5914     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5915         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
5916         if (mg->mg_ptr) {
5917             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
5918             if (cache[1] == byte) {
5919                 /* An exact match. */
5920                 *offsetp = cache[0];
5921                 return;
5922             }
5923             if (cache[3] == byte) {
5924                 /* An exact match. */
5925                 *offsetp = cache[2];
5926                 return;
5927             }
5928
5929             if (cache[1] < byte) {
5930                 /* We already know part of the way. */
5931                 if (mg->mg_len != -1) {
5932                     /* Actually, we know the end too.  */
5933                     len = cache[0]
5934                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
5935                                               s + blen, mg->mg_len - cache[0]);
5936                 } else {
5937                     len = cache[0] + utf8_length(s + cache[1], send);
5938                 }
5939             }
5940             else if (cache[3] < byte) {
5941                 /* We're between the two cached pairs, so we do the calculation
5942                    offset by the byte/utf-8 positions for the earlier pair,
5943                    then add the utf-8 characters from the string start to
5944                    there.  */
5945                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
5946                                           s + cache[1], cache[0] - cache[2])
5947                     + cache[2];
5948
5949             }
5950             else { /* cache[3] > byte */
5951                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
5952                                           cache[2]);
5953
5954             }
5955             ASSERT_UTF8_CACHE(cache);
5956             found = TRUE;
5957         } else if (mg->mg_len != -1) {
5958             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
5959             found = TRUE;
5960         }
5961     }
5962     if (!found || PL_utf8cache < 0) {
5963         const STRLEN real_len = utf8_length(s, send);
5964
5965         if (found && PL_utf8cache < 0) {
5966             if (len != real_len) {
5967                 /* Need to turn the assertions off otherwise we may recurse
5968                    infinitely while printing error messages.  */
5969                 SAVEI8(PL_utf8cache);
5970                 PL_utf8cache = 0;
5971                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
5972                            " real %"UVuf" for %"SVf,
5973                            (UV) len, (UV) real_len, SVfARG(sv));
5974             }
5975         }
5976         len = real_len;
5977     }
5978     *offsetp = len;
5979
5980     S_utf8_mg_pos_cache_update(aTHX_ sv, &mg, byte, len, blen);
5981 }
5982
5983 /*
5984 =for apidoc sv_eq
5985
5986 Returns a boolean indicating whether the strings in the two SVs are
5987 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5988 coerce its args to strings if necessary.
5989
5990 =cut
5991 */
5992
5993 I32
5994 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
5995 {
5996     dVAR;
5997     const char *pv1;
5998     STRLEN cur1;
5999     const char *pv2;
6000     STRLEN cur2;
6001     I32  eq     = 0;
6002     char *tpv   = NULL;
6003     SV* svrecode = NULL;
6004
6005     if (!sv1) {
6006         pv1 = "";
6007         cur1 = 0;
6008     }
6009     else {
6010         /* if pv1 and pv2 are the same, second SvPV_const call may
6011          * invalidate pv1, so we may need to make a copy */
6012         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
6013             pv1 = SvPV_const(sv1, cur1);
6014             sv1 = sv_2mortal(newSVpvn(pv1, cur1));
6015             if (SvUTF8(sv2)) SvUTF8_on(sv1);
6016         }
6017         pv1 = SvPV_const(sv1, cur1);
6018     }
6019
6020     if (!sv2){
6021         pv2 = "";
6022         cur2 = 0;
6023     }
6024     else
6025         pv2 = SvPV_const(sv2, cur2);
6026
6027     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6028         /* Differing utf8ness.
6029          * Do not UTF8size the comparands as a side-effect. */
6030          if (PL_encoding) {
6031               if (SvUTF8(sv1)) {
6032                    svrecode = newSVpvn(pv2, cur2);
6033                    sv_recode_to_utf8(svrecode, PL_encoding);
6034                    pv2 = SvPV_const(svrecode, cur2);
6035               }
6036               else {
6037                    svrecode = newSVpvn(pv1, cur1);
6038                    sv_recode_to_utf8(svrecode, PL_encoding);
6039                    pv1 = SvPV_const(svrecode, cur1);
6040               }
6041               /* Now both are in UTF-8. */
6042               if (cur1 != cur2) {
6043                    SvREFCNT_dec(svrecode);
6044                    return FALSE;
6045               }
6046          }
6047          else {
6048               bool is_utf8 = TRUE;
6049
6050               if (SvUTF8(sv1)) {
6051                    /* sv1 is the UTF-8 one,
6052                     * if is equal it must be downgrade-able */
6053                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
6054                                                      &cur1, &is_utf8);
6055                    if (pv != pv1)
6056                         pv1 = tpv = pv;
6057               }
6058               else {
6059                    /* sv2 is the UTF-8 one,
6060                     * if is equal it must be downgrade-able */
6061                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6062                                                       &cur2, &is_utf8);
6063                    if (pv != pv2)
6064                         pv2 = tpv = pv;
6065               }
6066               if (is_utf8) {
6067                    /* Downgrade not possible - cannot be eq */
6068                    assert (tpv == 0);
6069                    return FALSE;
6070               }
6071          }
6072     }
6073
6074     if (cur1 == cur2)
6075         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6076         
6077     SvREFCNT_dec(svrecode);
6078     if (tpv)
6079         Safefree(tpv);
6080
6081     return eq;
6082 }
6083
6084 /*
6085 =for apidoc sv_cmp
6086
6087 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6088 string in C<sv1> is less than, equal to, or greater than the string in
6089 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6090 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6091
6092 =cut
6093 */
6094
6095 I32
6096 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
6097 {
6098     dVAR;
6099     STRLEN cur1, cur2;
6100     const char *pv1, *pv2;
6101     char *tpv = NULL;
6102     I32  cmp;
6103     SV *svrecode = NULL;
6104
6105     if (!sv1) {
6106         pv1 = "";
6107         cur1 = 0;
6108     }
6109     else
6110         pv1 = SvPV_const(sv1, cur1);
6111
6112     if (!sv2) {
6113         pv2 = "";
6114         cur2 = 0;
6115     }
6116     else
6117         pv2 = SvPV_const(sv2, cur2);
6118
6119     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6120         /* Differing utf8ness.
6121          * Do not UTF8size the comparands as a side-effect. */
6122         if (SvUTF8(sv1)) {
6123             if (PL_encoding) {
6124                  svrecode = newSVpvn(pv2, cur2);
6125                  sv_recode_to_utf8(svrecode, PL_encoding);
6126                  pv2 = SvPV_const(svrecode, cur2);
6127             }
6128             else {
6129                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6130             }
6131         }
6132         else {
6133             if (PL_encoding) {
6134                  svrecode = newSVpvn(pv1, cur1);
6135                  sv_recode_to_utf8(svrecode, PL_encoding);
6136                  pv1 = SvPV_const(svrecode, cur1);
6137             }
6138             else {
6139                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6140             }
6141         }
6142     }
6143
6144     if (!cur1) {
6145         cmp = cur2 ? -1 : 0;
6146     } else if (!cur2) {
6147         cmp = 1;
6148     } else {
6149         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6150
6151         if (retval) {
6152             cmp = retval < 0 ? -1 : 1;
6153         } else if (cur1 == cur2) {
6154             cmp = 0;
6155         } else {
6156             cmp = cur1 < cur2 ? -1 : 1;
6157         }
6158     }
6159
6160     SvREFCNT_dec(svrecode);
6161     if (tpv)
6162         Safefree(tpv);
6163
6164     return cmp;
6165 }
6166
6167 /*
6168 =for apidoc sv_cmp_locale
6169
6170 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6171 'use bytes' aware, handles get magic, and will coerce its args to strings
6172 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
6173
6174 =cut
6175 */
6176
6177 I32
6178 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
6179 {
6180     dVAR;
6181 #ifdef USE_LOCALE_COLLATE
6182
6183     char *pv1, *pv2;
6184     STRLEN len1, len2;
6185     I32 retval;
6186
6187     if (PL_collation_standard)
6188         goto raw_compare;
6189
6190     len1 = 0;
6191     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6192     len2 = 0;
6193     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6194
6195     if (!pv1 || !len1) {
6196         if (pv2 && len2)
6197             return -1;
6198         else
6199             goto raw_compare;
6200     }
6201     else {
6202         if (!pv2 || !len2)
6203             return 1;
6204     }
6205
6206     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6207
6208     if (retval)
6209         return retval < 0 ? -1 : 1;
6210
6211     /*
6212      * When the result of collation is equality, that doesn't mean
6213      * that there are no differences -- some locales exclude some
6214      * characters from consideration.  So to avoid false equalities,
6215      * we use the raw string as a tiebreaker.
6216      */
6217
6218   raw_compare:
6219     /*FALLTHROUGH*/
6220
6221 #endif /* USE_LOCALE_COLLATE */
6222
6223     return sv_cmp(sv1, sv2);
6224 }
6225
6226
6227 #ifdef USE_LOCALE_COLLATE
6228
6229 /*
6230 =for apidoc sv_collxfrm
6231
6232 Add Collate Transform magic to an SV if it doesn't already have it.
6233
6234 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6235 scalar data of the variable, but transformed to such a format that a normal
6236 memory comparison can be used to compare the data according to the locale
6237 settings.
6238
6239 =cut
6240 */
6241
6242 char *
6243 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
6244 {
6245     dVAR;
6246     MAGIC *mg;
6247
6248     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6249     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6250         const char *s;
6251         char *xf;
6252         STRLEN len, xlen;
6253
6254         if (mg)
6255             Safefree(mg->mg_ptr);
6256         s = SvPV_const(sv, len);
6257         if ((xf = mem_collxfrm(s, len, &xlen))) {
6258             if (SvREADONLY(sv)) {
6259                 SAVEFREEPV(xf);
6260                 *nxp = xlen;
6261                 return xf + sizeof(PL_collation_ix);
6262             }
6263             if (! mg) {
6264 #ifdef PERL_OLD_COPY_ON_WRITE
6265                 if (SvIsCOW(sv))
6266                     sv_force_normal_flags(sv, 0);
6267 #endif
6268                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6269                                  0, 0);
6270                 assert(mg);
6271             }
6272             mg->mg_ptr = xf;
6273             mg->mg_len = xlen;
6274         }
6275         else {
6276             if (mg) {
6277                 mg->mg_ptr = NULL;
6278                 mg->mg_len = -1;
6279             }
6280         }
6281     }
6282     if (mg && mg->mg_ptr) {
6283         *nxp = mg->mg_len;
6284         return mg->mg_ptr + sizeof(PL_collation_ix);
6285     }
6286     else {
6287         *nxp = 0;
6288         return NULL;
6289     }
6290 }
6291
6292 #endif /* USE_LOCALE_COLLATE */
6293
6294 /*
6295 =for apidoc sv_gets
6296
6297 Get a line from the filehandle and store it into the SV, optionally
6298 appending to the currently-stored string.
6299
6300 =cut
6301 */
6302
6303 char *
6304 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
6305 {
6306     dVAR;
6307     const char *rsptr;
6308     STRLEN rslen;
6309     register STDCHAR rslast;
6310     register STDCHAR *bp;
6311     register I32 cnt;
6312     I32 i = 0;
6313     I32 rspara = 0;
6314
6315     if (SvTHINKFIRST(sv))
6316         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6317     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6318        from <>.
6319        However, perlbench says it's slower, because the existing swipe code
6320        is faster than copy on write.
6321        Swings and roundabouts.  */
6322     SvUPGRADE(sv, SVt_PV);
6323
6324     SvSCREAM_off(sv);
6325
6326     if (append) {
6327         if (PerlIO_isutf8(fp)) {
6328             if (!SvUTF8(sv)) {
6329                 sv_utf8_upgrade_nomg(sv);
6330                 sv_pos_u2b(sv,&append,0);
6331             }
6332         } else if (SvUTF8(sv)) {
6333             SV * const tsv = newSV(0);
6334             sv_gets(tsv, fp, 0);
6335             sv_utf8_upgrade_nomg(tsv);
6336             SvCUR_set(sv,append);
6337             sv_catsv(sv,tsv);
6338             sv_free(tsv);
6339             goto return_string_or_null;
6340         }
6341     }
6342
6343     SvPOK_only(sv);
6344     if (PerlIO_isutf8(fp))
6345         SvUTF8_on(sv);
6346
6347     if (IN_PERL_COMPILETIME) {
6348         /* we always read code in line mode */
6349         rsptr = "\n";
6350         rslen = 1;
6351     }
6352     else if (RsSNARF(PL_rs)) {
6353         /* If it is a regular disk file use size from stat() as estimate
6354            of amount we are going to read -- may result in mallocing
6355            more memory than we really need if the layers below reduce
6356            the size we read (e.g. CRLF or a gzip layer).
6357          */
6358         Stat_t st;
6359         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6360             const Off_t offset = PerlIO_tell(fp);
6361             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6362                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6363             }
6364         }
6365         rsptr = NULL;
6366         rslen = 0;
6367     }
6368     else if (RsRECORD(PL_rs)) {
6369       I32 bytesread;
6370       char *buffer;
6371       U32 recsize;
6372
6373       /* Grab the size of the record we're getting */
6374       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6375       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6376       /* Go yank in */
6377 #ifdef VMS
6378       /* VMS wants read instead of fread, because fread doesn't respect */
6379       /* RMS record boundaries. This is not necessarily a good thing to be */
6380       /* doing, but we've got no other real choice - except avoid stdio
6381          as implementation - perhaps write a :vms layer ?
6382        */
6383       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
6384 #else
6385       bytesread = PerlIO_read(fp, buffer, recsize);
6386 #endif
6387       if (bytesread < 0)
6388           bytesread = 0;
6389       SvCUR_set(sv, bytesread += append);
6390       buffer[bytesread] = '\0';
6391       goto return_string_or_null;
6392     }
6393     else if (RsPARA(PL_rs)) {
6394         rsptr = "\n\n";
6395         rslen = 2;
6396         rspara = 1;
6397     }
6398     else {
6399         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6400         if (PerlIO_isutf8(fp)) {
6401             rsptr = SvPVutf8(PL_rs, rslen);
6402         }
6403         else {
6404             if (SvUTF8(PL_rs)) {
6405                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6406                     Perl_croak(aTHX_ "Wide character in $/");
6407                 }
6408             }
6409             rsptr = SvPV_const(PL_rs, rslen);
6410         }
6411     }
6412
6413     rslast = rslen ? rsptr[rslen - 1] : '\0';
6414
6415     if (rspara) {               /* have to do this both before and after */
6416         do {                    /* to make sure file boundaries work right */
6417             if (PerlIO_eof(fp))
6418                 return 0;
6419             i = PerlIO_getc(fp);
6420             if (i != '\n') {
6421                 if (i == -1)
6422                     return 0;
6423                 PerlIO_ungetc(fp,i);
6424                 break;
6425             }
6426         } while (i != EOF);
6427     }
6428
6429     /* See if we know enough about I/O mechanism to cheat it ! */
6430
6431     /* This used to be #ifdef test - it is made run-time test for ease
6432        of abstracting out stdio interface. One call should be cheap
6433        enough here - and may even be a macro allowing compile
6434        time optimization.
6435      */
6436
6437     if (PerlIO_fast_gets(fp)) {
6438
6439     /*
6440      * We're going to steal some values from the stdio struct
6441      * and put EVERYTHING in the innermost loop into registers.
6442      */
6443     register STDCHAR *ptr;
6444     STRLEN bpx;
6445     I32 shortbuffered;
6446
6447 #if defined(VMS) && defined(PERLIO_IS_STDIO)
6448     /* An ungetc()d char is handled separately from the regular
6449      * buffer, so we getc() it back out and stuff it in the buffer.
6450      */
6451     i = PerlIO_getc(fp);
6452     if (i == EOF) return 0;
6453     *(--((*fp)->_ptr)) = (unsigned char) i;
6454     (*fp)->_cnt++;
6455 #endif
6456
6457     /* Here is some breathtakingly efficient cheating */
6458
6459     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
6460     /* make sure we have the room */
6461     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
6462         /* Not room for all of it
6463            if we are looking for a separator and room for some
6464          */
6465         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
6466             /* just process what we have room for */
6467             shortbuffered = cnt - SvLEN(sv) + append + 1;
6468             cnt -= shortbuffered;
6469         }
6470         else {
6471             shortbuffered = 0;
6472             /* remember that cnt can be negative */
6473             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
6474         }
6475     }
6476     else
6477         shortbuffered = 0;
6478     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
6479     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
6480     DEBUG_P(PerlIO_printf(Perl_debug_log,
6481         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6482     DEBUG_P(PerlIO_printf(Perl_debug_log,
6483         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6484                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6485                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
6486     for (;;) {
6487       screamer:
6488         if (cnt > 0) {
6489             if (rslen) {
6490                 while (cnt > 0) {                    /* this     |  eat */
6491                     cnt--;
6492                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
6493                         goto thats_all_folks;        /* screams  |  sed :-) */
6494                 }
6495             }
6496             else {
6497                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
6498                 bp += cnt;                           /* screams  |  dust */
6499                 ptr += cnt;                          /* louder   |  sed :-) */
6500                 cnt = 0;
6501             }
6502         }
6503         
6504         if (shortbuffered) {            /* oh well, must extend */
6505             cnt = shortbuffered;
6506             shortbuffered = 0;
6507             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
6508             SvCUR_set(sv, bpx);
6509             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
6510             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
6511             continue;
6512         }
6513
6514         DEBUG_P(PerlIO_printf(Perl_debug_log,
6515                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
6516                               PTR2UV(ptr),(long)cnt));
6517         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
6518 #if 0
6519         DEBUG_P(PerlIO_printf(Perl_debug_log,
6520             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6521             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6522             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6523 #endif
6524         /* This used to call 'filbuf' in stdio form, but as that behaves like
6525            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
6526            another abstraction.  */
6527         i   = PerlIO_getc(fp);          /* get more characters */
6528 #if 0
6529         DEBUG_P(PerlIO_printf(Perl_debug_log,
6530             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6531             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6532             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6533 #endif
6534         cnt = PerlIO_get_cnt(fp);
6535         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
6536         DEBUG_P(PerlIO_printf(Perl_debug_log,
6537             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6538
6539         if (i == EOF)                   /* all done for ever? */
6540             goto thats_really_all_folks;
6541
6542         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
6543         SvCUR_set(sv, bpx);
6544         SvGROW(sv, bpx + cnt + 2);
6545         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
6546
6547         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
6548
6549         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
6550             goto thats_all_folks;
6551     }
6552
6553 thats_all_folks:
6554     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
6555           memNE((char*)bp - rslen, rsptr, rslen))
6556         goto screamer;                          /* go back to the fray */
6557 thats_really_all_folks:
6558     if (shortbuffered)
6559         cnt += shortbuffered;
6560         DEBUG_P(PerlIO_printf(Perl_debug_log,
6561             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6562     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6563     DEBUG_P(PerlIO_printf(Perl_debug_log,
6564         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6565         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6566         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6567     *bp = '\0';
6568     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6569     DEBUG_P(PerlIO_printf(Perl_debug_log,
6570         "Screamer: done, len=%ld, string=|%.*s|\n",
6571         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6572     }
6573    else
6574     {
6575        /*The big, slow, and stupid way. */
6576 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6577         STDCHAR *buf = NULL;
6578         Newx(buf, 8192, STDCHAR);
6579         assert(buf);
6580 #else
6581         STDCHAR buf[8192];
6582 #endif
6583
6584 screamer2:
6585         if (rslen) {
6586             register const STDCHAR * const bpe = buf + sizeof(buf);
6587             bp = buf;
6588             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6589                 ; /* keep reading */
6590             cnt = bp - buf;
6591         }
6592         else {
6593             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6594             /* Accomodate broken VAXC compiler, which applies U8 cast to
6595              * both args of ?: operator, causing EOF to change into 255
6596              */
6597             if (cnt > 0)
6598                  i = (U8)buf[cnt - 1];
6599             else
6600                  i = EOF;
6601         }
6602
6603         if (cnt < 0)
6604             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6605         if (append)
6606              sv_catpvn(sv, (char *) buf, cnt);
6607         else
6608              sv_setpvn(sv, (char *) buf, cnt);
6609
6610         if (i != EOF &&                 /* joy */
6611             (!rslen ||
6612              SvCUR(sv) < rslen ||
6613              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6614         {
6615             append = -1;
6616             /*
6617              * If we're reading from a TTY and we get a short read,
6618              * indicating that the user hit his EOF character, we need
6619              * to notice it now, because if we try to read from the TTY
6620              * again, the EOF condition will disappear.
6621              *
6622              * The comparison of cnt to sizeof(buf) is an optimization
6623              * that prevents unnecessary calls to feof().
6624              *
6625              * - jik 9/25/96
6626              */
6627             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
6628                 goto screamer2;
6629         }
6630
6631 #ifdef USE_HEAP_INSTEAD_OF_STACK
6632         Safefree(buf);
6633 #endif
6634     }
6635
6636     if (rspara) {               /* have to do this both before and after */
6637         while (i != EOF) {      /* to make sure file boundaries work right */
6638             i = PerlIO_getc(fp);
6639             if (i != '\n') {
6640                 PerlIO_ungetc(fp,i);
6641                 break;
6642             }
6643         }
6644     }
6645
6646 return_string_or_null:
6647     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
6648 }
6649
6650 /*
6651 =for apidoc sv_inc
6652
6653 Auto-increment of the value in the SV, doing string to numeric conversion
6654 if necessary. Handles 'get' magic.
6655
6656 =cut
6657 */
6658
6659 void
6660 Perl_sv_inc(pTHX_ register SV *sv)
6661 {
6662     dVAR;
6663     register char *d;
6664     int flags;
6665
6666     if (!sv)
6667         return;
6668     SvGETMAGIC(sv);
6669     if (SvTHINKFIRST(sv)) {
6670         if (SvIsCOW(sv))
6671             sv_force_normal_flags(sv, 0);
6672         if (SvREADONLY(sv)) {
6673             if (IN_PERL_RUNTIME)
6674                 Perl_croak(aTHX_ PL_no_modify);
6675         }
6676         if (SvROK(sv)) {
6677             IV i;
6678             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6679                 return;
6680             i = PTR2IV(SvRV(sv));
6681             sv_unref(sv);
6682             sv_setiv(sv, i);
6683         }
6684     }
6685     flags = SvFLAGS(sv);
6686     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6687         /* It's (privately or publicly) a float, but not tested as an
6688            integer, so test it to see. */
6689         (void) SvIV(sv);
6690         flags = SvFLAGS(sv);
6691     }
6692     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6693         /* It's publicly an integer, or privately an integer-not-float */
6694 #ifdef PERL_PRESERVE_IVUV
6695       oops_its_int:
6696 #endif
6697         if (SvIsUV(sv)) {
6698             if (SvUVX(sv) == UV_MAX)
6699                 sv_setnv(sv, UV_MAX_P1);
6700             else
6701                 (void)SvIOK_only_UV(sv);
6702                 SvUV_set(sv, SvUVX(sv) + 1);
6703         } else {
6704             if (SvIVX(sv) == IV_MAX)
6705                 sv_setuv(sv, (UV)IV_MAX + 1);
6706             else {
6707                 (void)SvIOK_only(sv);
6708                 SvIV_set(sv, SvIVX(sv) + 1);
6709             }   
6710         }
6711         return;
6712     }
6713     if (flags & SVp_NOK) {
6714         (void)SvNOK_only(sv);
6715         SvNV_set(sv, SvNVX(sv) + 1.0);
6716         return;
6717     }
6718
6719     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6720         if ((flags & SVTYPEMASK) < SVt_PVIV)
6721             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6722         (void)SvIOK_only(sv);
6723         SvIV_set(sv, 1);
6724         return;
6725     }
6726     d = SvPVX(sv);
6727     while (isALPHA(*d)) d++;
6728     while (isDIGIT(*d)) d++;
6729     if (*d) {
6730 #ifdef PERL_PRESERVE_IVUV
6731         /* Got to punt this as an integer if needs be, but we don't issue
6732            warnings. Probably ought to make the sv_iv_please() that does
6733            the conversion if possible, and silently.  */
6734         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6735         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6736             /* Need to try really hard to see if it's an integer.
6737                9.22337203685478e+18 is an integer.
6738                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6739                so $a="9.22337203685478e+18"; $a+0; $a++
6740                needs to be the same as $a="9.22337203685478e+18"; $a++
6741                or we go insane. */
6742         
6743             (void) sv_2iv(sv);
6744             if (SvIOK(sv))
6745                 goto oops_its_int;
6746
6747             /* sv_2iv *should* have made this an NV */
6748             if (flags & SVp_NOK) {
6749                 (void)SvNOK_only(sv);
6750                 SvNV_set(sv, SvNVX(sv) + 1.0);
6751                 return;
6752             }
6753             /* I don't think we can get here. Maybe I should assert this
6754                And if we do get here I suspect that sv_setnv will croak. NWC
6755                Fall through. */
6756 #if defined(USE_LONG_DOUBLE)
6757             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6758                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6759 #else
6760             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6761                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6762 #endif
6763         }
6764 #endif /* PERL_PRESERVE_IVUV */
6765         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6766         return;
6767     }
6768     d--;
6769     while (d >= SvPVX_const(sv)) {
6770         if (isDIGIT(*d)) {
6771             if (++*d <= '9')
6772                 return;
6773             *(d--) = '0';
6774         }
6775         else {
6776 #ifdef EBCDIC
6777             /* MKS: The original code here died if letters weren't consecutive.
6778              * at least it didn't have to worry about non-C locales.  The
6779              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6780              * arranged in order (although not consecutively) and that only
6781              * [A-Za-z] are accepted by isALPHA in the C locale.
6782              */
6783             if (*d != 'z' && *d != 'Z') {
6784                 do { ++*d; } while (!isALPHA(*d));
6785                 return;
6786             }
6787             *(d--) -= 'z' - 'a';
6788 #else
6789             ++*d;
6790             if (isALPHA(*d))
6791                 return;
6792             *(d--) -= 'z' - 'a' + 1;
6793 #endif
6794         }
6795     }
6796     /* oh,oh, the number grew */
6797     SvGROW(sv, SvCUR(sv) + 2);
6798     SvCUR_set(sv, SvCUR(sv) + 1);
6799     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6800         *d = d[-1];
6801     if (isDIGIT(d[1]))
6802         *d = '1';
6803     else
6804         *d = d[1];
6805 }
6806
6807 /*
6808 =for apidoc sv_dec
6809
6810 Auto-decrement of the value in the SV, doing string to numeric conversion
6811 if necessary. Handles 'get' magic.
6812
6813 =cut
6814 */
6815
6816 void
6817 Perl_sv_dec(pTHX_ register SV *sv)
6818 {
6819     dVAR;
6820     int flags;
6821
6822     if (!sv)
6823         return;
6824     SvGETMAGIC(sv);
6825     if (SvTHINKFIRST(sv)) {
6826         if (SvIsCOW(sv))
6827             sv_force_normal_flags(sv, 0);
6828         if (SvREADONLY(sv)) {
6829             if (IN_PERL_RUNTIME)
6830                 Perl_croak(aTHX_ PL_no_modify);
6831         }
6832         if (SvROK(sv)) {
6833             IV i;
6834             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6835                 return;
6836             i = PTR2IV(SvRV(sv));
6837             sv_unref(sv);
6838             sv_setiv(sv, i);
6839         }
6840     }
6841     /* Unlike sv_inc we don't have to worry about string-never-numbers
6842        and keeping them magic. But we mustn't warn on punting */
6843     flags = SvFLAGS(sv);
6844     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6845         /* It's publicly an integer, or privately an integer-not-float */
6846 #ifdef PERL_PRESERVE_IVUV
6847       oops_its_int:
6848 #endif
6849         if (SvIsUV(sv)) {
6850             if (SvUVX(sv) == 0) {
6851                 (void)SvIOK_only(sv);
6852                 SvIV_set(sv, -1);
6853             }
6854             else {
6855                 (void)SvIOK_only_UV(sv);
6856                 SvUV_set(sv, SvUVX(sv) - 1);
6857             }   
6858         } else {
6859             if (SvIVX(sv) == IV_MIN)
6860                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6861             else {
6862                 (void)SvIOK_only(sv);
6863                 SvIV_set(sv, SvIVX(sv) - 1);
6864             }   
6865         }
6866         return;
6867     }
6868     if (flags & SVp_NOK) {
6869         SvNV_set(sv, SvNVX(sv) - 1.0);
6870         (void)SvNOK_only(sv);
6871         return;
6872     }
6873     if (!(flags & SVp_POK)) {
6874         if ((flags & SVTYPEMASK) < SVt_PVIV)
6875             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6876         SvIV_set(sv, -1);
6877         (void)SvIOK_only(sv);
6878         return;
6879     }
6880 #ifdef PERL_PRESERVE_IVUV
6881     {
6882         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6883         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6884             /* Need to try really hard to see if it's an integer.
6885                9.22337203685478e+18 is an integer.
6886                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6887                so $a="9.22337203685478e+18"; $a+0; $a--
6888                needs to be the same as $a="9.22337203685478e+18"; $a--
6889                or we go insane. */
6890         
6891             (void) sv_2iv(sv);
6892             if (SvIOK(sv))
6893                 goto oops_its_int;
6894
6895             /* sv_2iv *should* have made this an NV */
6896             if (flags & SVp_NOK) {
6897                 (void)SvNOK_only(sv);
6898                 SvNV_set(sv, SvNVX(sv) - 1.0);
6899                 return;
6900             }
6901             /* I don't think we can get here. Maybe I should assert this
6902                And if we do get here I suspect that sv_setnv will croak. NWC
6903                Fall through. */
6904 #if defined(USE_LONG_DOUBLE)
6905             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6906                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6907 #else
6908             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6909                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6910 #endif
6911         }
6912     }
6913 #endif /* PERL_PRESERVE_IVUV */
6914     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6915 }
6916
6917 /*
6918 =for apidoc sv_mortalcopy
6919
6920 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6921 The new SV is marked as mortal. It will be destroyed "soon", either by an
6922 explicit call to FREETMPS, or by an implicit call at places such as
6923 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6924
6925 =cut
6926 */
6927
6928 /* Make a string that will exist for the duration of the expression
6929  * evaluation.  Actually, it may have to last longer than that, but
6930  * hopefully we won't free it until it has been assigned to a
6931  * permanent location. */
6932
6933 SV *
6934 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6935 {
6936     dVAR;
6937     register SV *sv;
6938
6939     new_SV(sv);
6940     sv_setsv(sv,oldstr);
6941     EXTEND_MORTAL(1);
6942     PL_tmps_stack[++PL_tmps_ix] = sv;
6943     SvTEMP_on(sv);
6944     return sv;
6945 }
6946
6947 /*
6948 =for apidoc sv_newmortal
6949
6950 Creates a new null SV which is mortal.  The reference count of the SV is
6951 set to 1. It will be destroyed "soon", either by an explicit call to
6952 FREETMPS, or by an implicit call at places such as statement boundaries.
6953 See also C<sv_mortalcopy> and C<sv_2mortal>.
6954
6955 =cut
6956 */
6957
6958 SV *
6959 Perl_sv_newmortal(pTHX)
6960 {
6961     dVAR;
6962     register SV *sv;
6963
6964     new_SV(sv);
6965     SvFLAGS(sv) = SVs_TEMP;
6966     EXTEND_MORTAL(1);
6967     PL_tmps_stack[++PL_tmps_ix] = sv;
6968     return sv;
6969 }
6970
6971 /*
6972 =for apidoc sv_2mortal
6973
6974 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6975 by an explicit call to FREETMPS, or by an implicit call at places such as
6976 statement boundaries.  SvTEMP() is turned on which means that the SV's
6977 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6978 and C<sv_mortalcopy>.
6979
6980 =cut
6981 */
6982
6983 SV *
6984 Perl_sv_2mortal(pTHX_ register SV *sv)
6985 {
6986     dVAR;
6987     if (!sv)
6988         return NULL;
6989     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6990         return sv;
6991     EXTEND_MORTAL(1);
6992     PL_tmps_stack[++PL_tmps_ix] = sv;
6993     SvTEMP_on(sv);
6994     return sv;
6995 }
6996
6997 /*
6998 =for apidoc newSVpv
6999
7000 Creates a new SV and copies a string into it.  The reference count for the
7001 SV is set to 1.  If C<len> is zero, Perl will compute the length using
7002 strlen().  For efficiency, consider using C<newSVpvn> instead.
7003
7004 =cut
7005 */
7006
7007 SV *
7008 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
7009 {
7010     dVAR;
7011     register SV *sv;
7012
7013     new_SV(sv);
7014     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
7015     return sv;
7016 }
7017
7018 /*
7019 =for apidoc newSVpvn
7020
7021 Creates a new SV and copies a string into it.  The reference count for the
7022 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7023 string.  You are responsible for ensuring that the source string is at least
7024 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7025
7026 =cut
7027 */
7028
7029 SV *
7030 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
7031 {
7032     dVAR;
7033     register SV *sv;
7034
7035     new_SV(sv);
7036     sv_setpvn(sv,s,len);
7037     return sv;
7038 }
7039
7040
7041 /*
7042 =for apidoc newSVhek
7043
7044 Creates a new SV from the hash key structure.  It will generate scalars that
7045 point to the shared string table where possible. Returns a new (undefined)
7046 SV if the hek is NULL.
7047
7048 =cut
7049 */
7050
7051 SV *
7052 Perl_newSVhek(pTHX_ const HEK *hek)
7053 {
7054     dVAR;
7055     if (!hek) {
7056         SV *sv;
7057
7058         new_SV(sv);
7059         return sv;
7060     }
7061
7062     if (HEK_LEN(hek) == HEf_SVKEY) {
7063         return newSVsv(*(SV**)HEK_KEY(hek));
7064     } else {
7065         const int flags = HEK_FLAGS(hek);
7066         if (flags & HVhek_WASUTF8) {
7067             /* Trouble :-)
7068                Andreas would like keys he put in as utf8 to come back as utf8
7069             */
7070             STRLEN utf8_len = HEK_LEN(hek);
7071             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7072             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7073
7074             SvUTF8_on (sv);
7075             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7076             return sv;
7077         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7078             /* We don't have a pointer to the hv, so we have to replicate the
7079                flag into every HEK. This hv is using custom a hasing
7080                algorithm. Hence we can't return a shared string scalar, as
7081                that would contain the (wrong) hash value, and might get passed
7082                into an hv routine with a regular hash.
7083                Similarly, a hash that isn't using shared hash keys has to have
7084                the flag in every key so that we know not to try to call
7085                share_hek_kek on it.  */
7086
7087             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7088             if (HEK_UTF8(hek))
7089                 SvUTF8_on (sv);
7090             return sv;
7091         }
7092         /* This will be overwhelminly the most common case.  */
7093         {
7094             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7095                more efficient than sharepvn().  */
7096             SV *sv;
7097
7098             new_SV(sv);
7099             sv_upgrade(sv, SVt_PV);
7100             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7101             SvCUR_set(sv, HEK_LEN(hek));
7102             SvLEN_set(sv, 0);
7103             SvREADONLY_on(sv);
7104             SvFAKE_on(sv);
7105             SvPOK_on(sv);
7106             if (HEK_UTF8(hek))
7107                 SvUTF8_on(sv);
7108             return sv;
7109         }
7110     }
7111 }
7112
7113 /*
7114 =for apidoc newSVpvn_share
7115
7116 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7117 table. If the string does not already exist in the table, it is created
7118 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
7119 value is used; otherwise the hash is computed. The string's hash can be later
7120 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
7121 that as the string table is used for shared hash keys these strings will have
7122 SvPVX_const == HeKEY and hash lookup will avoid string compare.
7123
7124 =cut
7125 */
7126
7127 SV *
7128 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7129 {
7130     dVAR;
7131     register SV *sv;
7132     bool is_utf8 = FALSE;
7133     const char *const orig_src = src;
7134
7135     if (len < 0) {
7136         STRLEN tmplen = -len;
7137         is_utf8 = TRUE;
7138         /* See the note in hv.c:hv_fetch() --jhi */
7139         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7140         len = tmplen;
7141     }
7142     if (!hash)
7143         PERL_HASH(hash, src, len);
7144     new_SV(sv);
7145     sv_upgrade(sv, SVt_PV);
7146     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7147     SvCUR_set(sv, len);
7148     SvLEN_set(sv, 0);
7149     SvREADONLY_on(sv);
7150     SvFAKE_on(sv);
7151     SvPOK_on(sv);
7152     if (is_utf8)
7153         SvUTF8_on(sv);
7154     if (src != orig_src)
7155         Safefree(src);
7156     return sv;
7157 }
7158
7159
7160 #if defined(PERL_IMPLICIT_CONTEXT)
7161
7162 /* pTHX_ magic can't cope with varargs, so this is a no-context
7163  * version of the main function, (which may itself be aliased to us).
7164  * Don't access this version directly.
7165  */
7166
7167 SV *
7168 Perl_newSVpvf_nocontext(const char* pat, ...)
7169 {
7170     dTHX;
7171     register SV *sv;
7172     va_list args;
7173     va_start(args, pat);
7174     sv = vnewSVpvf(pat, &args);
7175     va_end(args);
7176     return sv;
7177 }
7178 #endif
7179
7180 /*
7181 =for apidoc newSVpvf
7182
7183 Creates a new SV and initializes it with the string formatted like
7184 C<sprintf>.
7185
7186 =cut
7187 */
7188
7189 SV *
7190 Perl_newSVpvf(pTHX_ const char* pat, ...)
7191 {
7192     register SV *sv;
7193     va_list args;
7194     va_start(args, pat);
7195     sv = vnewSVpvf(pat, &args);
7196     va_end(args);
7197     return sv;
7198 }
7199
7200 /* backend for newSVpvf() and newSVpvf_nocontext() */
7201
7202 SV *
7203 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
7204 {
7205     dVAR;
7206     register SV *sv;
7207     new_SV(sv);
7208     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7209     return sv;
7210 }
7211
7212 /*
7213 =for apidoc newSVnv
7214
7215 Creates a new SV and copies a floating point value into it.
7216 The reference count for the SV is set to 1.
7217
7218 =cut
7219 */
7220
7221 SV *
7222 Perl_newSVnv(pTHX_ NV n)
7223 {
7224     dVAR;
7225     register SV *sv;
7226
7227     new_SV(sv);
7228     sv_setnv(sv,n);
7229     return sv;
7230 }
7231
7232 /*
7233 =for apidoc newSViv
7234
7235 Creates a new SV and copies an integer into it.  The reference count for the
7236 SV is set to 1.
7237
7238 =cut
7239 */
7240
7241 SV *
7242 Perl_newSViv(pTHX_ IV i)
7243 {
7244     dVAR;
7245     register SV *sv;
7246
7247     new_SV(sv);
7248     sv_setiv(sv,i);
7249     return sv;
7250 }
7251
7252 /*
7253 =for apidoc newSVuv
7254
7255 Creates a new SV and copies an unsigned integer into it.
7256 The reference count for the SV is set to 1.
7257
7258 =cut
7259 */
7260
7261 SV *
7262 Perl_newSVuv(pTHX_ UV u)
7263 {
7264     dVAR;
7265     register SV *sv;
7266
7267     new_SV(sv);
7268     sv_setuv(sv,u);
7269     return sv;
7270 }
7271
7272 /*
7273 =for apidoc newSV_type
7274
7275 Creates a new SV, of the type specified.  The reference count for the new SV
7276 is set to 1.
7277
7278 =cut
7279 */
7280
7281 SV *
7282 Perl_newSV_type(pTHX_ svtype type)
7283 {
7284     register SV *sv;
7285
7286     new_SV(sv);
7287     sv_upgrade(sv, type);
7288     return sv;
7289 }
7290
7291 /*
7292 =for apidoc newRV_noinc
7293
7294 Creates an RV wrapper for an SV.  The reference count for the original
7295 SV is B<not> incremented.
7296
7297 =cut
7298 */
7299
7300 SV *
7301 Perl_newRV_noinc(pTHX_ SV *tmpRef)
7302 {
7303     dVAR;
7304     register SV *sv = newSV_type(SVt_IV);
7305     SvTEMP_off(tmpRef);
7306     SvRV_set(sv, tmpRef);
7307     SvROK_on(sv);
7308     return sv;
7309 }
7310
7311 /* newRV_inc is the official function name to use now.
7312  * newRV_inc is in fact #defined to newRV in sv.h
7313  */
7314
7315 SV *
7316 Perl_newRV(pTHX_ SV *sv)
7317 {
7318     dVAR;
7319     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7320 }
7321
7322 /*
7323 =for apidoc newSVsv
7324
7325 Creates a new SV which is an exact duplicate of the original SV.
7326 (Uses C<sv_setsv>).
7327
7328 =cut
7329 */
7330
7331 SV *
7332 Perl_newSVsv(pTHX_ register SV *old)
7333 {
7334     dVAR;
7335     register SV *sv;
7336
7337     if (!old)
7338         return NULL;
7339     if (SvTYPE(old) == SVTYPEMASK) {
7340         if (ckWARN_d(WARN_INTERNAL))
7341             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7342         return NULL;
7343     }
7344     new_SV(sv);
7345     /* SV_GMAGIC is the default for sv_setv()
7346        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7347        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
7348     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
7349     return sv;
7350 }
7351
7352 /*
7353 =for apidoc sv_reset
7354
7355 Underlying implementation for the C<reset> Perl function.
7356 Note that the perl-level function is vaguely deprecated.
7357
7358 =cut
7359 */
7360
7361 void
7362 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
7363 {
7364     dVAR;
7365     char todo[PERL_UCHAR_MAX+1];
7366
7367     if (!stash)
7368         return;
7369
7370     if (!*s) {          /* reset ?? searches */
7371         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
7372         if (mg) {
7373             const U32 count = mg->mg_len / sizeof(PMOP**);
7374             PMOP **pmp = (PMOP**) mg->mg_ptr;
7375             PMOP *const *const end = pmp + count;
7376
7377             while (pmp < end) {
7378 #ifdef USE_ITHREADS
7379                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
7380 #else
7381                 (*pmp)->op_pmflags &= ~PMf_USED;
7382 #endif
7383                 ++pmp;
7384             }
7385         }
7386         return;
7387     }
7388
7389     /* reset variables */
7390
7391     if (!HvARRAY(stash))
7392         return;
7393
7394     Zero(todo, 256, char);
7395     while (*s) {
7396         I32 max;
7397         I32 i = (unsigned char)*s;
7398         if (s[1] == '-') {
7399             s += 2;
7400         }
7401         max = (unsigned char)*s++;
7402         for ( ; i <= max; i++) {
7403             todo[i] = 1;
7404         }
7405         for (i = 0; i <= (I32) HvMAX(stash); i++) {
7406             HE *entry;
7407             for (entry = HvARRAY(stash)[i];
7408                  entry;
7409                  entry = HeNEXT(entry))
7410             {
7411                 register GV *gv;
7412                 register SV *sv;
7413
7414                 if (!todo[(U8)*HeKEY(entry)])
7415                     continue;
7416                 gv = (GV*)HeVAL(entry);
7417                 sv = GvSV(gv);
7418                 if (sv) {
7419                     if (SvTHINKFIRST(sv)) {
7420                         if (!SvREADONLY(sv) && SvROK(sv))
7421                             sv_unref(sv);
7422                         /* XXX Is this continue a bug? Why should THINKFIRST
7423                            exempt us from resetting arrays and hashes?  */
7424                         continue;
7425                     }
7426                     SvOK_off(sv);
7427                     if (SvTYPE(sv) >= SVt_PV) {
7428                         SvCUR_set(sv, 0);
7429                         if (SvPVX_const(sv) != NULL)
7430                             *SvPVX(sv) = '\0';
7431                         SvTAINT(sv);
7432                     }
7433                 }
7434                 if (GvAV(gv)) {
7435                     av_clear(GvAV(gv));
7436                 }
7437                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
7438 #if defined(VMS)
7439                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
7440 #else /* ! VMS */
7441                     hv_clear(GvHV(gv));
7442 #  if defined(USE_ENVIRON_ARRAY)
7443                     if (gv == PL_envgv)
7444                         my_clearenv();
7445 #  endif /* USE_ENVIRON_ARRAY */
7446 #endif /* VMS */
7447                 }
7448             }
7449         }
7450     }
7451 }
7452
7453 /*
7454 =for apidoc sv_2io
7455
7456 Using various gambits, try to get an IO from an SV: the IO slot if its a
7457 GV; or the recursive result if we're an RV; or the IO slot of the symbol
7458 named after the PV if we're a string.
7459
7460 =cut
7461 */
7462
7463 IO*
7464 Perl_sv_2io(pTHX_ SV *sv)
7465 {
7466     IO* io;
7467     GV* gv;
7468
7469     switch (SvTYPE(sv)) {
7470     case SVt_PVIO:
7471         io = (IO*)sv;
7472         break;
7473     case SVt_PVGV:
7474         gv = (GV*)sv;
7475         io = GvIO(gv);
7476         if (!io)
7477             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
7478         break;
7479     default:
7480         if (!SvOK(sv))
7481             Perl_croak(aTHX_ PL_no_usym, "filehandle");
7482         if (SvROK(sv))
7483             return sv_2io(SvRV(sv));
7484         gv = gv_fetchsv(sv, 0, SVt_PVIO);
7485         if (gv)
7486             io = GvIO(gv);
7487         else
7488             io = 0;
7489         if (!io)
7490             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
7491         break;
7492     }
7493     return io;
7494 }
7495
7496 /*
7497 =for apidoc sv_2cv
7498
7499 Using various gambits, try to get a CV from an SV; in addition, try if
7500 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
7501 The flags in C<lref> are passed to sv_fetchsv.
7502
7503 =cut
7504 */
7505
7506 CV *
7507 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
7508 {
7509     dVAR;
7510     GV *gv = NULL;
7511     CV *cv = NULL;
7512
7513     if (!sv) {
7514         *st = NULL;
7515         *gvp = NULL;
7516         return NULL;
7517     }
7518     switch (SvTYPE(sv)) {
7519     case SVt_PVCV:
7520         *st = CvSTASH(sv);
7521         *gvp = NULL;
7522         return (CV*)sv;
7523     case SVt_PVHV:
7524     case SVt_PVAV:
7525         *st = NULL;
7526         *gvp = NULL;
7527         return NULL;
7528     case SVt_PVGV:
7529         gv = (GV*)sv;
7530         *gvp = gv;
7531         *st = GvESTASH(gv);
7532         goto fix_gv;
7533
7534     default:
7535         SvGETMAGIC(sv);
7536         if (SvROK(sv)) {
7537             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
7538             tryAMAGICunDEREF(to_cv);
7539
7540             sv = SvRV(sv);
7541             if (SvTYPE(sv) == SVt_PVCV) {
7542                 cv = (CV*)sv;
7543                 *gvp = NULL;
7544                 *st = CvSTASH(cv);
7545                 return cv;
7546             }
7547             else if(isGV(sv))
7548                 gv = (GV*)sv;
7549             else
7550                 Perl_croak(aTHX_ "Not a subroutine reference");
7551         }
7552         else if (isGV(sv))
7553             gv = (GV*)sv;
7554         else
7555             gv = gv_fetchsv(sv, lref, SVt_PVCV);
7556         *gvp = gv;
7557         if (!gv) {
7558             *st = NULL;
7559             return NULL;
7560         }
7561         /* Some flags to gv_fetchsv mean don't really create the GV  */
7562         if (SvTYPE(gv) != SVt_PVGV) {
7563             *st = NULL;
7564             return NULL;
7565         }
7566         *st = GvESTASH(gv);
7567     fix_gv:
7568         if (lref && !GvCVu(gv)) {
7569             SV *tmpsv;
7570             ENTER;
7571             tmpsv = newSV(0);
7572             gv_efullname3(tmpsv, gv, NULL);
7573             /* XXX this is probably not what they think they're getting.
7574              * It has the same effect as "sub name;", i.e. just a forward
7575              * declaration! */
7576             newSUB(start_subparse(FALSE, 0),
7577                    newSVOP(OP_CONST, 0, tmpsv),
7578                    NULL, NULL);
7579             LEAVE;
7580             if (!GvCVu(gv))
7581                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
7582                            SVfARG(sv));
7583         }
7584         return GvCVu(gv);
7585     }
7586 }
7587
7588 /*
7589 =for apidoc sv_true
7590
7591 Returns true if the SV has a true value by Perl's rules.
7592 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
7593 instead use an in-line version.
7594
7595 =cut
7596 */
7597
7598 I32
7599 Perl_sv_true(pTHX_ register SV *sv)
7600 {
7601     if (!sv)
7602         return 0;
7603     if (SvPOK(sv)) {
7604         register const XPV* const tXpv = (XPV*)SvANY(sv);
7605         if (tXpv &&
7606                 (tXpv->xpv_cur > 1 ||
7607                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
7608             return 1;
7609         else
7610             return 0;
7611     }
7612     else {
7613         if (SvIOK(sv))
7614             return SvIVX(sv) != 0;
7615         else {
7616             if (SvNOK(sv))
7617                 return SvNVX(sv) != 0.0;
7618             else
7619                 return sv_2bool(sv);
7620         }
7621     }
7622 }
7623
7624 /*
7625 =for apidoc sv_pvn_force
7626
7627 Get a sensible string out of the SV somehow.
7628 A private implementation of the C<SvPV_force> macro for compilers which
7629 can't cope with complex macro expressions. Always use the macro instead.
7630
7631 =for apidoc sv_pvn_force_flags
7632
7633 Get a sensible string out of the SV somehow.
7634 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7635 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7636 implemented in terms of this function.
7637 You normally want to use the various wrapper macros instead: see
7638 C<SvPV_force> and C<SvPV_force_nomg>
7639
7640 =cut
7641 */
7642
7643 char *
7644 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7645 {
7646     dVAR;
7647     if (SvTHINKFIRST(sv) && !SvROK(sv))
7648         sv_force_normal_flags(sv, 0);
7649
7650     if (SvPOK(sv)) {
7651         if (lp)
7652             *lp = SvCUR(sv);
7653     }
7654     else {
7655         char *s;
7656         STRLEN len;
7657  
7658         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7659             const char * const ref = sv_reftype(sv,0);
7660             if (PL_op)
7661                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7662                            ref, OP_NAME(PL_op));
7663             else
7664                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7665         }
7666         if (SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7667             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7668                 OP_NAME(PL_op));
7669         s = sv_2pv_flags(sv, &len, flags);
7670         if (lp)
7671             *lp = len;
7672
7673         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7674             if (SvROK(sv))
7675                 sv_unref(sv);
7676             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7677             SvGROW(sv, len + 1);
7678             Move(s,SvPVX(sv),len,char);
7679             SvCUR_set(sv, len);
7680             SvPVX(sv)[len] = '\0';
7681         }
7682         if (!SvPOK(sv)) {
7683             SvPOK_on(sv);               /* validate pointer */
7684             SvTAINT(sv);
7685             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7686                                   PTR2UV(sv),SvPVX_const(sv)));
7687         }
7688     }
7689     return SvPVX_mutable(sv);
7690 }
7691
7692 /*
7693 =for apidoc sv_pvbyten_force
7694
7695 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7696
7697 =cut
7698 */
7699
7700 char *
7701 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7702 {
7703     sv_pvn_force(sv,lp);
7704     sv_utf8_downgrade(sv,0);
7705     *lp = SvCUR(sv);
7706     return SvPVX(sv);
7707 }
7708
7709 /*
7710 =for apidoc sv_pvutf8n_force
7711
7712 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7713
7714 =cut
7715 */
7716
7717 char *
7718 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7719 {
7720     sv_pvn_force(sv,lp);
7721     sv_utf8_upgrade(sv);
7722     *lp = SvCUR(sv);
7723     return SvPVX(sv);
7724 }
7725
7726 /*
7727 =for apidoc sv_reftype
7728
7729 Returns a string describing what the SV is a reference to.
7730
7731 =cut
7732 */
7733
7734 const char *
7735 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7736 {
7737     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7738        inside return suggests a const propagation bug in g++.  */
7739     if (ob && SvOBJECT(sv)) {
7740         char * const name = HvNAME_get(SvSTASH(sv));
7741         return name ? name : (char *) "__ANON__";
7742     }
7743     else {
7744         switch (SvTYPE(sv)) {
7745         case SVt_NULL:
7746         case SVt_IV:
7747         case SVt_NV:
7748         case SVt_PV:
7749         case SVt_PVIV:
7750         case SVt_PVNV:
7751         case SVt_PVMG:
7752                                 if (SvVOK(sv))
7753                                     return "VSTRING";
7754                                 if (SvROK(sv))
7755                                     return "REF";
7756                                 else
7757                                     return "SCALAR";
7758
7759         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7760                                 /* tied lvalues should appear to be
7761                                  * scalars for backwards compatitbility */
7762                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7763                                     ? "SCALAR" : "LVALUE");
7764         case SVt_PVAV:          return "ARRAY";
7765         case SVt_PVHV:          return "HASH";
7766         case SVt_PVCV:          return "CODE";
7767         case SVt_PVGV:          return "GLOB";
7768         case SVt_PVFM:          return "FORMAT";
7769         case SVt_PVIO:          return "IO";
7770         case SVt_BIND:          return "BIND";
7771         default:                return "UNKNOWN";
7772         }
7773     }
7774 }
7775
7776 /*
7777 =for apidoc sv_isobject
7778
7779 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7780 object.  If the SV is not an RV, or if the object is not blessed, then this
7781 will return false.
7782
7783 =cut
7784 */
7785
7786 int
7787 Perl_sv_isobject(pTHX_ SV *sv)
7788 {
7789     if (!sv)
7790         return 0;
7791     SvGETMAGIC(sv);
7792     if (!SvROK(sv))
7793         return 0;
7794     sv = (SV*)SvRV(sv);
7795     if (!SvOBJECT(sv))
7796         return 0;
7797     return 1;
7798 }
7799
7800 /*
7801 =for apidoc sv_isa
7802
7803 Returns a boolean indicating whether the SV is blessed into the specified
7804 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7805 an inheritance relationship.
7806
7807 =cut
7808 */
7809
7810 int
7811 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7812 {
7813     const char *hvname;
7814     if (!sv)
7815         return 0;
7816     SvGETMAGIC(sv);
7817     if (!SvROK(sv))
7818         return 0;
7819     sv = (SV*)SvRV(sv);
7820     if (!SvOBJECT(sv))
7821         return 0;
7822     hvname = HvNAME_get(SvSTASH(sv));
7823     if (!hvname)
7824         return 0;
7825
7826     return strEQ(hvname, name);
7827 }
7828
7829 /*
7830 =for apidoc newSVrv
7831
7832 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7833 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7834 be blessed in the specified package.  The new SV is returned and its
7835 reference count is 1.
7836
7837 =cut
7838 */
7839
7840 SV*
7841 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7842 {
7843     dVAR;
7844     SV *sv;
7845
7846     new_SV(sv);
7847
7848     SV_CHECK_THINKFIRST_COW_DROP(rv);
7849     (void)SvAMAGIC_off(rv);
7850
7851     if (SvTYPE(rv) >= SVt_PVMG) {
7852         const U32 refcnt = SvREFCNT(rv);
7853         SvREFCNT(rv) = 0;
7854         sv_clear(rv);
7855         SvFLAGS(rv) = 0;
7856         SvREFCNT(rv) = refcnt;
7857
7858         sv_upgrade(rv, SVt_IV);
7859     } else if (SvROK(rv)) {
7860         SvREFCNT_dec(SvRV(rv));
7861     } else {
7862         prepare_SV_for_RV(rv);
7863     }
7864
7865     SvOK_off(rv);
7866     SvRV_set(rv, sv);
7867     SvROK_on(rv);
7868
7869     if (classname) {
7870         HV* const stash = gv_stashpv(classname, GV_ADD);
7871         (void)sv_bless(rv, stash);
7872     }
7873     return sv;
7874 }
7875
7876 /*
7877 =for apidoc sv_setref_pv
7878
7879 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7880 argument will be upgraded to an RV.  That RV will be modified to point to
7881 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7882 into the SV.  The C<classname> argument indicates the package for the
7883 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7884 will have a reference count of 1, and the RV will be returned.
7885
7886 Do not use with other Perl types such as HV, AV, SV, CV, because those
7887 objects will become corrupted by the pointer copy process.
7888
7889 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7890
7891 =cut
7892 */
7893
7894 SV*
7895 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7896 {
7897     dVAR;
7898     if (!pv) {
7899         sv_setsv(rv, &PL_sv_undef);
7900         SvSETMAGIC(rv);
7901     }
7902     else
7903         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7904     return rv;
7905 }
7906
7907 /*
7908 =for apidoc sv_setref_iv
7909
7910 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7911 argument will be upgraded to an RV.  That RV will be modified to point to
7912 the new SV.  The C<classname> argument indicates the package for the
7913 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7914 will have a reference count of 1, and the RV will be returned.
7915
7916 =cut
7917 */
7918
7919 SV*
7920 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7921 {
7922     sv_setiv(newSVrv(rv,classname), iv);
7923     return rv;
7924 }
7925
7926 /*
7927 =for apidoc sv_setref_uv
7928
7929 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7930 argument will be upgraded to an RV.  That RV will be modified to point to
7931 the new SV.  The C<classname> argument indicates the package for the
7932 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7933 will have a reference count of 1, and the RV will be returned.
7934
7935 =cut
7936 */
7937
7938 SV*
7939 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7940 {
7941     sv_setuv(newSVrv(rv,classname), uv);
7942     return rv;
7943 }
7944
7945 /*
7946 =for apidoc sv_setref_nv
7947
7948 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7949 argument will be upgraded to an RV.  That RV will be modified to point to
7950 the new SV.  The C<classname> argument indicates the package for the
7951 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7952 will have a reference count of 1, and the RV will be returned.
7953
7954 =cut
7955 */
7956
7957 SV*
7958 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7959 {
7960     sv_setnv(newSVrv(rv,classname), nv);
7961     return rv;
7962 }
7963
7964 /*
7965 =for apidoc sv_setref_pvn
7966
7967 Copies a string into a new SV, optionally blessing the SV.  The length of the
7968 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7969 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7970 argument indicates the package for the blessing.  Set C<classname> to
7971 C<NULL> to avoid the blessing.  The new SV will have a reference count
7972 of 1, and the RV will be returned.
7973
7974 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7975
7976 =cut
7977 */
7978
7979 SV*
7980 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7981 {
7982     sv_setpvn(newSVrv(rv,classname), pv, n);
7983     return rv;
7984 }
7985
7986 /*
7987 =for apidoc sv_bless
7988
7989 Blesses an SV into a specified package.  The SV must be an RV.  The package
7990 must be designated by its stash (see C<gv_stashpv()>).  The reference count
7991 of the SV is unaffected.
7992
7993 =cut
7994 */
7995
7996 SV*
7997 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
7998 {
7999     dVAR;
8000     SV *tmpRef;
8001     if (!SvROK(sv))
8002         Perl_croak(aTHX_ "Can't bless non-reference value");
8003     tmpRef = SvRV(sv);
8004     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
8005         if (SvIsCOW(tmpRef))
8006             sv_force_normal_flags(tmpRef, 0);
8007         if (SvREADONLY(tmpRef))
8008             Perl_croak(aTHX_ PL_no_modify);
8009         if (SvOBJECT(tmpRef)) {
8010             if (SvTYPE(tmpRef) != SVt_PVIO)
8011                 --PL_sv_objcount;
8012             SvREFCNT_dec(SvSTASH(tmpRef));
8013         }
8014     }
8015     SvOBJECT_on(tmpRef);
8016     if (SvTYPE(tmpRef) != SVt_PVIO)
8017         ++PL_sv_objcount;
8018     SvUPGRADE(tmpRef, SVt_PVMG);
8019     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc_simple(stash));
8020
8021     if (Gv_AMG(stash))
8022         SvAMAGIC_on(sv);
8023     else
8024         (void)SvAMAGIC_off(sv);
8025
8026     if(SvSMAGICAL(tmpRef))
8027         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
8028             mg_set(tmpRef);
8029
8030
8031
8032     return sv;
8033 }
8034
8035 /* Downgrades a PVGV to a PVMG.
8036  */
8037
8038 STATIC void
8039 S_sv_unglob(pTHX_ SV *sv)
8040 {
8041     dVAR;
8042     void *xpvmg;
8043     HV *stash;
8044     SV * const temp = sv_newmortal();
8045
8046     assert(SvTYPE(sv) == SVt_PVGV);
8047     SvFAKE_off(sv);
8048     gv_efullname3(temp, (GV *) sv, "*");
8049
8050     if (GvGP(sv)) {
8051         if(GvCVu((GV*)sv) && (stash = GvSTASH((GV*)sv)) && HvNAME_get(stash))
8052             mro_method_changed_in(stash);
8053         gp_free((GV*)sv);
8054     }
8055     if (GvSTASH(sv)) {
8056         sv_del_backref((SV*)GvSTASH(sv), sv);
8057         GvSTASH(sv) = NULL;
8058     }
8059     GvMULTI_off(sv);
8060     if (GvNAME_HEK(sv)) {
8061         unshare_hek(GvNAME_HEK(sv));
8062     }
8063     isGV_with_GP_off(sv);
8064
8065     /* need to keep SvANY(sv) in the right arena */
8066     xpvmg = new_XPVMG();
8067     StructCopy(SvANY(sv), xpvmg, XPVMG);
8068     del_XPVGV(SvANY(sv));
8069     SvANY(sv) = xpvmg;
8070
8071     SvFLAGS(sv) &= ~SVTYPEMASK;
8072     SvFLAGS(sv) |= SVt_PVMG;
8073
8074     /* Intentionally not calling any local SET magic, as this isn't so much a
8075        set operation as merely an internal storage change.  */
8076     sv_setsv_flags(sv, temp, 0);
8077 }
8078
8079 /*
8080 =for apidoc sv_unref_flags
8081
8082 Unsets the RV status of the SV, and decrements the reference count of
8083 whatever was being referenced by the RV.  This can almost be thought of
8084 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8085 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8086 (otherwise the decrementing is conditional on the reference count being
8087 different from one or the reference being a readonly SV).
8088 See C<SvROK_off>.
8089
8090 =cut
8091 */
8092
8093 void
8094 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
8095 {
8096     SV* const target = SvRV(ref);
8097
8098     if (SvWEAKREF(ref)) {
8099         sv_del_backref(target, ref);
8100         SvWEAKREF_off(ref);
8101         SvRV_set(ref, NULL);
8102         return;
8103     }
8104     SvRV_set(ref, NULL);
8105     SvROK_off(ref);
8106     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8107        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8108     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8109         SvREFCNT_dec(target);
8110     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8111         sv_2mortal(target);     /* Schedule for freeing later */
8112 }
8113
8114 /*
8115 =for apidoc sv_untaint
8116
8117 Untaint an SV. Use C<SvTAINTED_off> instead.
8118 =cut
8119 */
8120
8121 void
8122 Perl_sv_untaint(pTHX_ SV *sv)
8123 {
8124     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8125         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8126         if (mg)
8127             mg->mg_len &= ~1;
8128     }
8129 }
8130
8131 /*
8132 =for apidoc sv_tainted
8133
8134 Test an SV for taintedness. Use C<SvTAINTED> instead.
8135 =cut
8136 */
8137
8138 bool
8139 Perl_sv_tainted(pTHX_ SV *sv)
8140 {
8141     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8142         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8143         if (mg && (mg->mg_len & 1) )
8144             return TRUE;
8145     }
8146     return FALSE;
8147 }
8148
8149 /*
8150 =for apidoc sv_setpviv
8151
8152 Copies an integer into the given SV, also updating its string value.
8153 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8154
8155 =cut
8156 */
8157
8158 void
8159 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
8160 {
8161     char buf[TYPE_CHARS(UV)];
8162     char *ebuf;
8163     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8164
8165     sv_setpvn(sv, ptr, ebuf - ptr);
8166 }
8167
8168 /*
8169 =for apidoc sv_setpviv_mg
8170
8171 Like C<sv_setpviv>, but also handles 'set' magic.
8172
8173 =cut
8174 */
8175
8176 void
8177 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
8178 {
8179     sv_setpviv(sv, iv);
8180     SvSETMAGIC(sv);
8181 }
8182
8183 #if defined(PERL_IMPLICIT_CONTEXT)
8184
8185 /* pTHX_ magic can't cope with varargs, so this is a no-context
8186  * version of the main function, (which may itself be aliased to us).
8187  * Don't access this version directly.
8188  */
8189
8190 void
8191 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
8192 {
8193     dTHX;
8194     va_list args;
8195     va_start(args, pat);
8196     sv_vsetpvf(sv, pat, &args);
8197     va_end(args);
8198 }
8199
8200 /* pTHX_ magic can't cope with varargs, so this is a no-context
8201  * version of the main function, (which may itself be aliased to us).
8202  * Don't access this version directly.
8203  */
8204
8205 void
8206 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
8207 {
8208     dTHX;
8209     va_list args;
8210     va_start(args, pat);
8211     sv_vsetpvf_mg(sv, pat, &args);
8212     va_end(args);
8213 }
8214 #endif
8215
8216 /*
8217 =for apidoc sv_setpvf
8218
8219 Works like C<sv_catpvf> but copies the text into the SV instead of
8220 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8221
8222 =cut
8223 */
8224
8225 void
8226 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
8227 {
8228     va_list args;
8229     va_start(args, pat);
8230     sv_vsetpvf(sv, pat, &args);
8231     va_end(args);
8232 }
8233
8234 /*
8235 =for apidoc sv_vsetpvf
8236
8237 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8238 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8239
8240 Usually used via its frontend C<sv_setpvf>.
8241
8242 =cut
8243 */
8244
8245 void
8246 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8247 {
8248     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8249 }
8250
8251 /*
8252 =for apidoc sv_setpvf_mg
8253
8254 Like C<sv_setpvf>, but also handles 'set' magic.
8255
8256 =cut
8257 */
8258
8259 void
8260 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8261 {
8262     va_list args;
8263     va_start(args, pat);
8264     sv_vsetpvf_mg(sv, pat, &args);
8265     va_end(args);
8266 }
8267
8268 /*
8269 =for apidoc sv_vsetpvf_mg
8270
8271 Like C<sv_vsetpvf>, but also handles 'set' magic.
8272
8273 Usually used via its frontend C<sv_setpvf_mg>.
8274
8275 =cut
8276 */
8277
8278 void
8279 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8280 {
8281     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8282     SvSETMAGIC(sv);
8283 }
8284
8285 #if defined(PERL_IMPLICIT_CONTEXT)
8286
8287 /* pTHX_ magic can't cope with varargs, so this is a no-context
8288  * version of the main function, (which may itself be aliased to us).
8289  * Don't access this version directly.
8290  */
8291
8292 void
8293 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
8294 {
8295     dTHX;
8296     va_list args;
8297     va_start(args, pat);
8298     sv_vcatpvf(sv, pat, &args);
8299     va_end(args);
8300 }
8301
8302 /* pTHX_ magic can't cope with varargs, so this is a no-context
8303  * version of the main function, (which may itself be aliased to us).
8304  * Don't access this version directly.
8305  */
8306
8307 void
8308 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
8309 {
8310     dTHX;
8311     va_list args;
8312     va_start(args, pat);
8313     sv_vcatpvf_mg(sv, pat, &args);
8314     va_end(args);
8315 }
8316 #endif
8317
8318 /*
8319 =for apidoc sv_catpvf
8320
8321 Processes its arguments like C<sprintf> and appends the formatted
8322 output to an SV.  If the appended data contains "wide" characters
8323 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
8324 and characters >255 formatted with %c), the original SV might get
8325 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
8326 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
8327 valid UTF-8; if the original SV was bytes, the pattern should be too.
8328
8329 =cut */
8330
8331 void
8332 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
8333 {
8334     va_list args;
8335     va_start(args, pat);
8336     sv_vcatpvf(sv, pat, &args);
8337     va_end(args);
8338 }
8339
8340 /*
8341 =for apidoc sv_vcatpvf
8342
8343 Processes its arguments like C<vsprintf> and appends the formatted output
8344 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
8345
8346 Usually used via its frontend C<sv_catpvf>.
8347
8348 =cut
8349 */
8350
8351 void
8352 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8353 {
8354     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8355 }
8356
8357 /*
8358 =for apidoc sv_catpvf_mg
8359
8360 Like C<sv_catpvf>, but also handles 'set' magic.
8361
8362 =cut
8363 */
8364
8365 void
8366 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8367 {
8368     va_list args;
8369     va_start(args, pat);
8370     sv_vcatpvf_mg(sv, pat, &args);
8371     va_end(args);
8372 }
8373
8374 /*
8375 =for apidoc sv_vcatpvf_mg
8376
8377 Like C<sv_vcatpvf>, but also handles 'set' magic.
8378
8379 Usually used via its frontend C<sv_catpvf_mg>.
8380
8381 =cut
8382 */
8383
8384 void
8385 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8386 {
8387     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8388     SvSETMAGIC(sv);
8389 }
8390
8391 /*
8392 =for apidoc sv_vsetpvfn
8393
8394 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
8395 appending it.
8396
8397 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
8398
8399 =cut
8400 */
8401
8402 void
8403 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8404 {
8405     sv_setpvn(sv, "", 0);
8406     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
8407 }
8408
8409 STATIC I32
8410 S_expect_number(pTHX_ char** pattern)
8411 {
8412     dVAR;
8413     I32 var = 0;
8414     switch (**pattern) {
8415     case '1': case '2': case '3':
8416     case '4': case '5': case '6':
8417     case '7': case '8': case '9':
8418         var = *(*pattern)++ - '0';
8419         while (isDIGIT(**pattern)) {
8420             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
8421             if (tmp < var)
8422                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
8423             var = tmp;
8424         }
8425     }
8426     return var;
8427 }
8428
8429 STATIC char *
8430 S_F0convert(NV nv, char *endbuf, STRLEN *len)
8431 {
8432     const int neg = nv < 0;
8433     UV uv;
8434
8435     if (neg)
8436         nv = -nv;
8437     if (nv < UV_MAX) {
8438         char *p = endbuf;
8439         nv += 0.5;
8440         uv = (UV)nv;
8441         if (uv & 1 && uv == nv)
8442             uv--;                       /* Round to even */
8443         do {
8444             const unsigned dig = uv % 10;
8445             *--p = '0' + dig;
8446         } while (uv /= 10);
8447         if (neg)
8448             *--p = '-';
8449         *len = endbuf - p;
8450         return p;
8451     }
8452     return NULL;
8453 }
8454
8455
8456 /*
8457 =for apidoc sv_vcatpvfn
8458
8459 Processes its arguments like C<vsprintf> and appends the formatted output
8460 to an SV.  Uses an array of SVs if the C style variable argument list is
8461 missing (NULL).  When running with taint checks enabled, indicates via
8462 C<maybe_tainted> if results are untrustworthy (often due to the use of
8463 locales).
8464
8465 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
8466
8467 =cut
8468 */
8469
8470
8471 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
8472                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
8473                         vec_utf8 = DO_UTF8(vecsv);
8474
8475 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
8476
8477 void
8478 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8479 {
8480     dVAR;
8481     char *p;
8482     char *q;
8483     const char *patend;
8484     STRLEN origlen;
8485     I32 svix = 0;
8486     static const char nullstr[] = "(null)";
8487     SV *argsv = NULL;
8488     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
8489     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
8490     SV *nsv = NULL;
8491     /* Times 4: a decimal digit takes more than 3 binary digits.
8492      * NV_DIG: mantissa takes than many decimal digits.
8493      * Plus 32: Playing safe. */
8494     char ebuf[IV_DIG * 4 + NV_DIG + 32];
8495     /* large enough for "%#.#f" --chip */
8496     /* what about long double NVs? --jhi */
8497
8498     PERL_UNUSED_ARG(maybe_tainted);
8499
8500     /* no matter what, this is a string now */
8501     (void)SvPV_force(sv, origlen);
8502
8503     /* special-case "", "%s", and "%-p" (SVf - see below) */
8504     if (patlen == 0)
8505         return;
8506     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
8507         if (args) {
8508             const char * const s = va_arg(*args, char*);
8509             sv_catpv(sv, s ? s : nullstr);
8510         }
8511         else if (svix < svmax) {
8512             sv_catsv(sv, *svargs);
8513         }
8514         return;
8515     }
8516     if (args && patlen == 3 && pat[0] == '%' &&
8517                 pat[1] == '-' && pat[2] == 'p') {
8518         argsv = (SV*)va_arg(*args, void*);
8519         sv_catsv(sv, argsv);
8520         return;
8521     }
8522
8523 #ifndef USE_LONG_DOUBLE
8524     /* special-case "%.<number>[gf]" */
8525     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
8526          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
8527         unsigned digits = 0;
8528         const char *pp;
8529
8530         pp = pat + 2;
8531         while (*pp >= '0' && *pp <= '9')
8532             digits = 10 * digits + (*pp++ - '0');
8533         if (pp - pat == (int)patlen - 1) {
8534             NV nv;
8535
8536             if (svix < svmax)
8537                 nv = SvNV(*svargs);
8538             else
8539                 return;
8540             if (*pp == 'g') {
8541                 /* Add check for digits != 0 because it seems that some
8542                    gconverts are buggy in this case, and we don't yet have
8543                    a Configure test for this.  */
8544                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
8545                      /* 0, point, slack */
8546                     Gconvert(nv, (int)digits, 0, ebuf);
8547                     sv_catpv(sv, ebuf);
8548                     if (*ebuf)  /* May return an empty string for digits==0 */
8549                         return;
8550                 }
8551             } else if (!digits) {
8552                 STRLEN l;
8553
8554                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
8555                     sv_catpvn(sv, p, l);
8556                     return;
8557                 }
8558             }
8559         }
8560     }
8561 #endif /* !USE_LONG_DOUBLE */
8562
8563     if (!args && svix < svmax && DO_UTF8(*svargs))
8564         has_utf8 = TRUE;
8565
8566     patend = (char*)pat + patlen;
8567     for (p = (char*)pat; p < patend; p = q) {
8568         bool alt = FALSE;
8569         bool left = FALSE;
8570         bool vectorize = FALSE;
8571         bool vectorarg = FALSE;
8572         bool vec_utf8 = FALSE;
8573         char fill = ' ';
8574         char plus = 0;
8575         char intsize = 0;
8576         STRLEN width = 0;
8577         STRLEN zeros = 0;
8578         bool has_precis = FALSE;
8579         STRLEN precis = 0;
8580         const I32 osvix = svix;
8581         bool is_utf8 = FALSE;  /* is this item utf8?   */
8582 #ifdef HAS_LDBL_SPRINTF_BUG
8583         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8584            with sfio - Allen <allens@cpan.org> */
8585         bool fix_ldbl_sprintf_bug = FALSE;
8586 #endif
8587
8588         char esignbuf[4];
8589         U8 utf8buf[UTF8_MAXBYTES+1];
8590         STRLEN esignlen = 0;
8591
8592         const char *eptr = NULL;
8593         STRLEN elen = 0;
8594         SV *vecsv = NULL;
8595         const U8 *vecstr = NULL;
8596         STRLEN veclen = 0;
8597         char c = 0;
8598         int i;
8599         unsigned base = 0;
8600         IV iv = 0;
8601         UV uv = 0;
8602         /* we need a long double target in case HAS_LONG_DOUBLE but
8603            not USE_LONG_DOUBLE
8604         */
8605 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
8606         long double nv;
8607 #else
8608         NV nv;
8609 #endif
8610         STRLEN have;
8611         STRLEN need;
8612         STRLEN gap;
8613         const char *dotstr = ".";
8614         STRLEN dotstrlen = 1;
8615         I32 efix = 0; /* explicit format parameter index */
8616         I32 ewix = 0; /* explicit width index */
8617         I32 epix = 0; /* explicit precision index */
8618         I32 evix = 0; /* explicit vector index */
8619         bool asterisk = FALSE;
8620
8621         /* echo everything up to the next format specification */
8622         for (q = p; q < patend && *q != '%'; ++q) ;
8623         if (q > p) {
8624             if (has_utf8 && !pat_utf8)
8625                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
8626             else
8627                 sv_catpvn(sv, p, q - p);
8628             p = q;
8629         }
8630         if (q++ >= patend)
8631             break;
8632
8633 /*
8634     We allow format specification elements in this order:
8635         \d+\$              explicit format parameter index
8636         [-+ 0#]+           flags
8637         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8638         0                  flag (as above): repeated to allow "v02"     
8639         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8640         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8641         [hlqLV]            size
8642     [%bcdefginopsuxDFOUX] format (mandatory)
8643 */
8644
8645         if (args) {
8646 /*  
8647         As of perl5.9.3, printf format checking is on by default.
8648         Internally, perl uses %p formats to provide an escape to
8649         some extended formatting.  This block deals with those
8650         extensions: if it does not match, (char*)q is reset and
8651         the normal format processing code is used.
8652
8653         Currently defined extensions are:
8654                 %p              include pointer address (standard)      
8655                 %-p     (SVf)   include an SV (previously %_)
8656                 %-<num>p        include an SV with precision <num>      
8657                 %<num>p         reserved for future extensions
8658
8659         Robin Barker 2005-07-14
8660
8661                 %1p     (VDf)   removed.  RMB 2007-10-19
8662 */
8663             char* r = q; 
8664             bool sv = FALSE;    
8665             STRLEN n = 0;
8666             if (*q == '-')
8667                 sv = *q++;
8668             n = expect_number(&q);
8669             if (*q++ == 'p') {
8670                 if (sv) {                       /* SVf */
8671                     if (n) {
8672                         precis = n;
8673                         has_precis = TRUE;
8674                     }
8675                     argsv = (SV*)va_arg(*args, void*);
8676                     eptr = SvPV_const(argsv, elen);
8677                     if (DO_UTF8(argsv))
8678                         is_utf8 = TRUE;
8679                     goto string;
8680                 }
8681                 else if (n) {
8682                     if (ckWARN_d(WARN_INTERNAL))
8683                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8684                         "internal %%<num>p might conflict with future printf extensions");
8685                 }
8686             }
8687             q = r; 
8688         }
8689
8690         if ( (width = expect_number(&q)) ) {
8691             if (*q == '$') {
8692                 ++q;
8693                 efix = width;
8694             } else {
8695                 goto gotwidth;
8696             }
8697         }
8698
8699         /* FLAGS */
8700
8701         while (*q) {
8702             switch (*q) {
8703             case ' ':
8704             case '+':
8705                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
8706                     q++;
8707                 else
8708                     plus = *q++;
8709                 continue;
8710
8711             case '-':
8712                 left = TRUE;
8713                 q++;
8714                 continue;
8715
8716             case '0':
8717                 fill = *q++;
8718                 continue;
8719
8720             case '#':
8721                 alt = TRUE;
8722                 q++;
8723                 continue;
8724
8725             default:
8726                 break;
8727             }
8728             break;
8729         }
8730
8731       tryasterisk:
8732         if (*q == '*') {
8733             q++;
8734             if ( (ewix = expect_number(&q)) )
8735                 if (*q++ != '$')
8736                     goto unknown;
8737             asterisk = TRUE;
8738         }
8739         if (*q == 'v') {
8740             q++;
8741             if (vectorize)
8742                 goto unknown;
8743             if ((vectorarg = asterisk)) {
8744                 evix = ewix;
8745                 ewix = 0;
8746                 asterisk = FALSE;
8747             }
8748             vectorize = TRUE;
8749             goto tryasterisk;
8750         }
8751
8752         if (!asterisk)
8753         {
8754             if( *q == '0' )
8755                 fill = *q++;
8756             width = expect_number(&q);
8757         }
8758
8759         if (vectorize) {
8760             if (vectorarg) {
8761                 if (args)
8762                     vecsv = va_arg(*args, SV*);
8763                 else if (evix) {
8764                     vecsv = (evix > 0 && evix <= svmax)
8765                         ? svargs[evix-1] : &PL_sv_undef;
8766                 } else {
8767                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
8768                 }
8769                 dotstr = SvPV_const(vecsv, dotstrlen);
8770                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
8771                    bad with tied or overloaded values that return UTF8.  */
8772                 if (DO_UTF8(vecsv))
8773                     is_utf8 = TRUE;
8774                 else if (has_utf8) {
8775                     vecsv = sv_mortalcopy(vecsv);
8776                     sv_utf8_upgrade(vecsv);
8777                     dotstr = SvPV_const(vecsv, dotstrlen);
8778                     is_utf8 = TRUE;
8779                 }                   
8780             }
8781             if (args) {
8782                 VECTORIZE_ARGS
8783             }
8784             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
8785                 vecsv = svargs[efix ? efix-1 : svix++];
8786                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8787                 vec_utf8 = DO_UTF8(vecsv);
8788
8789                 /* if this is a version object, we need to convert
8790                  * back into v-string notation and then let the
8791                  * vectorize happen normally
8792                  */
8793                 if (sv_derived_from(vecsv, "version")) {
8794                     char *version = savesvpv(vecsv);
8795                     if ( hv_exists((HV*)SvRV(vecsv), "alpha", 5 ) ) {
8796                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8797                         "vector argument not supported with alpha versions");
8798                         goto unknown;
8799                     }
8800                     vecsv = sv_newmortal();
8801                     scan_vstring(version, version + veclen, vecsv);
8802                     vecstr = (U8*)SvPV_const(vecsv, veclen);
8803                     vec_utf8 = DO_UTF8(vecsv);
8804                     Safefree(version);
8805                 }
8806             }
8807             else {
8808                 vecstr = (U8*)"";
8809                 veclen = 0;
8810             }
8811         }
8812
8813         if (asterisk) {
8814             if (args)
8815                 i = va_arg(*args, int);
8816             else
8817                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8818                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8819             left |= (i < 0);
8820             width = (i < 0) ? -i : i;
8821         }
8822       gotwidth:
8823
8824         /* PRECISION */
8825
8826         if (*q == '.') {
8827             q++;
8828             if (*q == '*') {
8829                 q++;
8830                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
8831                     goto unknown;
8832                 /* XXX: todo, support specified precision parameter */
8833                 if (epix)
8834                     goto unknown;
8835                 if (args)
8836                     i = va_arg(*args, int);
8837                 else
8838                     i = (ewix ? ewix <= svmax : svix < svmax)
8839                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8840                 precis = i;
8841                 has_precis = !(i < 0);
8842             }
8843             else {
8844                 precis = 0;
8845                 while (isDIGIT(*q))
8846                     precis = precis * 10 + (*q++ - '0');
8847                 has_precis = TRUE;
8848             }
8849         }
8850
8851         /* SIZE */
8852
8853         switch (*q) {
8854 #ifdef WIN32
8855         case 'I':                       /* Ix, I32x, and I64x */
8856 #  ifdef WIN64
8857             if (q[1] == '6' && q[2] == '4') {
8858                 q += 3;
8859                 intsize = 'q';
8860                 break;
8861             }
8862 #  endif
8863             if (q[1] == '3' && q[2] == '2') {
8864                 q += 3;
8865                 break;
8866             }
8867 #  ifdef WIN64
8868             intsize = 'q';
8869 #  endif
8870             q++;
8871             break;
8872 #endif
8873 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8874         case 'L':                       /* Ld */
8875             /*FALLTHROUGH*/
8876 #ifdef HAS_QUAD
8877         case 'q':                       /* qd */
8878 #endif
8879             intsize = 'q';
8880             q++;
8881             break;
8882 #endif
8883         case 'l':
8884 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8885             if (*(q + 1) == 'l') {      /* lld, llf */
8886                 intsize = 'q';
8887                 q += 2;
8888                 break;
8889              }
8890 #endif
8891             /*FALLTHROUGH*/
8892         case 'h':
8893             /*FALLTHROUGH*/
8894         case 'V':
8895             intsize = *q++;
8896             break;
8897         }
8898
8899         /* CONVERSION */
8900
8901         if (*q == '%') {
8902             eptr = q++;
8903             elen = 1;
8904             if (vectorize) {
8905                 c = '%';
8906                 goto unknown;
8907             }
8908             goto string;
8909         }
8910
8911         if (!vectorize && !args) {
8912             if (efix) {
8913                 const I32 i = efix-1;
8914                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8915             } else {
8916                 argsv = (svix >= 0 && svix < svmax)
8917                     ? svargs[svix++] : &PL_sv_undef;
8918             }
8919         }
8920
8921         switch (c = *q++) {
8922
8923             /* STRINGS */
8924
8925         case 'c':
8926             if (vectorize)
8927                 goto unknown;
8928             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
8929             if ((uv > 255 ||
8930                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8931                 && !IN_BYTES) {
8932                 eptr = (char*)utf8buf;
8933                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8934                 is_utf8 = TRUE;
8935             }
8936             else {
8937                 c = (char)uv;
8938                 eptr = &c;
8939                 elen = 1;
8940             }
8941             goto string;
8942
8943         case 's':
8944             if (vectorize)
8945                 goto unknown;
8946             if (args) {
8947                 eptr = va_arg(*args, char*);
8948                 if (eptr)
8949 #ifdef MACOS_TRADITIONAL
8950                   /* On MacOS, %#s format is used for Pascal strings */
8951                   if (alt)
8952                     elen = *eptr++;
8953                   else
8954 #endif
8955                     elen = strlen(eptr);
8956                 else {
8957                     eptr = (char *)nullstr;
8958                     elen = sizeof nullstr - 1;
8959                 }
8960             }
8961             else {
8962                 eptr = SvPV_const(argsv, elen);
8963                 if (DO_UTF8(argsv)) {
8964                     I32 old_precis = precis;
8965                     if (has_precis && precis < elen) {
8966                         I32 p = precis;
8967                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8968                         precis = p;
8969                     }
8970                     if (width) { /* fudge width (can't fudge elen) */
8971                         if (has_precis && precis < elen)
8972                             width += precis - old_precis;
8973                         else
8974                             width += elen - sv_len_utf8(argsv);
8975                     }
8976                     is_utf8 = TRUE;
8977                 }
8978             }
8979
8980         string:
8981             if (has_precis && elen > precis)
8982                 elen = precis;
8983             break;
8984
8985             /* INTEGERS */
8986
8987         case 'p':
8988             if (alt || vectorize)
8989                 goto unknown;
8990             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
8991             base = 16;
8992             goto integer;
8993
8994         case 'D':
8995 #ifdef IV_IS_QUAD
8996             intsize = 'q';
8997 #else
8998             intsize = 'l';
8999 #endif
9000             /*FALLTHROUGH*/
9001         case 'd':
9002         case 'i':
9003 #if vdNUMBER
9004         format_vd:
9005 #endif
9006             if (vectorize) {
9007                 STRLEN ulen;
9008                 if (!veclen)
9009                     continue;
9010                 if (vec_utf8)
9011                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9012                                         UTF8_ALLOW_ANYUV);
9013                 else {
9014                     uv = *vecstr;
9015                     ulen = 1;
9016                 }
9017                 vecstr += ulen;
9018                 veclen -= ulen;
9019                 if (plus)
9020                      esignbuf[esignlen++] = plus;
9021             }
9022             else if (args) {
9023                 switch (intsize) {
9024                 case 'h':       iv = (short)va_arg(*args, int); break;
9025                 case 'l':       iv = va_arg(*args, long); break;
9026                 case 'V':       iv = va_arg(*args, IV); break;
9027                 default:        iv = va_arg(*args, int); break;
9028 #ifdef HAS_QUAD
9029                 case 'q':       iv = va_arg(*args, Quad_t); break;
9030 #endif
9031                 }
9032             }
9033             else {
9034                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
9035                 switch (intsize) {
9036                 case 'h':       iv = (short)tiv; break;
9037                 case 'l':       iv = (long)tiv; break;
9038                 case 'V':
9039                 default:        iv = tiv; break;
9040 #ifdef HAS_QUAD
9041                 case 'q':       iv = (Quad_t)tiv; break;
9042 #endif
9043                 }
9044             }
9045             if ( !vectorize )   /* we already set uv above */
9046             {
9047                 if (iv >= 0) {
9048                     uv = iv;
9049                     if (plus)
9050                         esignbuf[esignlen++] = plus;
9051                 }
9052                 else {
9053                     uv = -iv;
9054                     esignbuf[esignlen++] = '-';
9055                 }
9056             }
9057             base = 10;
9058             goto integer;
9059
9060         case 'U':
9061 #ifdef IV_IS_QUAD
9062             intsize = 'q';
9063 #else
9064             intsize = 'l';
9065 #endif
9066             /*FALLTHROUGH*/
9067         case 'u':
9068             base = 10;
9069             goto uns_integer;
9070
9071         case 'B':
9072         case 'b':
9073             base = 2;
9074             goto uns_integer;
9075
9076         case 'O':
9077 #ifdef IV_IS_QUAD
9078             intsize = 'q';
9079 #else
9080             intsize = 'l';
9081 #endif
9082             /*FALLTHROUGH*/
9083         case 'o':
9084             base = 8;
9085             goto uns_integer;
9086
9087         case 'X':
9088         case 'x':
9089             base = 16;
9090
9091         uns_integer:
9092             if (vectorize) {
9093                 STRLEN ulen;
9094         vector:
9095                 if (!veclen)
9096                     continue;
9097                 if (vec_utf8)
9098                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9099                                         UTF8_ALLOW_ANYUV);
9100                 else {
9101                     uv = *vecstr;
9102                     ulen = 1;
9103                 }
9104                 vecstr += ulen;
9105                 veclen -= ulen;
9106             }
9107             else if (args) {
9108                 switch (intsize) {
9109                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9110                 case 'l':  uv = va_arg(*args, unsigned long); break;
9111                 case 'V':  uv = va_arg(*args, UV); break;
9112                 default:   uv = va_arg(*args, unsigned); break;
9113 #ifdef HAS_QUAD
9114                 case 'q':  uv = va_arg(*args, Uquad_t); break;
9115 #endif
9116                 }
9117             }
9118             else {
9119                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9120                 switch (intsize) {
9121                 case 'h':       uv = (unsigned short)tuv; break;
9122                 case 'l':       uv = (unsigned long)tuv; break;
9123                 case 'V':
9124                 default:        uv = tuv; break;
9125 #ifdef HAS_QUAD
9126                 case 'q':       uv = (Uquad_t)tuv; break;
9127 #endif
9128                 }
9129             }
9130
9131         integer:
9132             {
9133                 char *ptr = ebuf + sizeof ebuf;
9134                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9135                 zeros = 0;
9136
9137                 switch (base) {
9138                     unsigned dig;
9139                 case 16:
9140                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9141                     do {
9142                         dig = uv & 15;
9143                         *--ptr = p[dig];
9144                     } while (uv >>= 4);
9145                     if (tempalt) {
9146                         esignbuf[esignlen++] = '0';
9147                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9148                     }
9149                     break;
9150                 case 8:
9151                     do {
9152                         dig = uv & 7;
9153                         *--ptr = '0' + dig;
9154                     } while (uv >>= 3);
9155                     if (alt && *ptr != '0')
9156                         *--ptr = '0';
9157                     break;
9158                 case 2:
9159                     do {
9160                         dig = uv & 1;
9161                         *--ptr = '0' + dig;
9162                     } while (uv >>= 1);
9163                     if (tempalt) {
9164                         esignbuf[esignlen++] = '0';
9165                         esignbuf[esignlen++] = c;
9166                     }
9167                     break;
9168                 default:                /* it had better be ten or less */
9169                     do {
9170                         dig = uv % base;
9171                         *--ptr = '0' + dig;
9172                     } while (uv /= base);
9173                     break;
9174                 }
9175                 elen = (ebuf + sizeof ebuf) - ptr;
9176                 eptr = ptr;
9177                 if (has_precis) {
9178                     if (precis > elen)
9179                         zeros = precis - elen;
9180                     else if (precis == 0 && elen == 1 && *eptr == '0'
9181                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9182                         elen = 0;
9183
9184                 /* a precision nullifies the 0 flag. */
9185                     if (fill == '0')
9186                         fill = ' ';
9187                 }
9188             }
9189             break;
9190
9191             /* FLOATING POINT */
9192
9193         case 'F':
9194             c = 'f';            /* maybe %F isn't supported here */
9195             /*FALLTHROUGH*/
9196         case 'e': case 'E':
9197         case 'f':
9198         case 'g': case 'G':
9199             if (vectorize)
9200                 goto unknown;
9201
9202             /* This is evil, but floating point is even more evil */
9203
9204             /* for SV-style calling, we can only get NV
9205                for C-style calling, we assume %f is double;
9206                for simplicity we allow any of %Lf, %llf, %qf for long double
9207             */
9208             switch (intsize) {
9209             case 'V':
9210 #if defined(USE_LONG_DOUBLE)
9211                 intsize = 'q';
9212 #endif
9213                 break;
9214 /* [perl #20339] - we should accept and ignore %lf rather than die */
9215             case 'l':
9216                 /*FALLTHROUGH*/
9217             default:
9218 #if defined(USE_LONG_DOUBLE)
9219                 intsize = args ? 0 : 'q';
9220 #endif
9221                 break;
9222             case 'q':
9223 #if defined(HAS_LONG_DOUBLE)
9224                 break;
9225 #else
9226                 /*FALLTHROUGH*/
9227 #endif
9228             case 'h':
9229                 goto unknown;
9230             }
9231
9232             /* now we need (long double) if intsize == 'q', else (double) */
9233             nv = (args) ?
9234 #if LONG_DOUBLESIZE > DOUBLESIZE
9235                 intsize == 'q' ?
9236                     va_arg(*args, long double) :
9237                     va_arg(*args, double)
9238 #else
9239                     va_arg(*args, double)
9240 #endif
9241                 : SvNV(argsv);
9242
9243             need = 0;
9244             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
9245                else. frexp() has some unspecified behaviour for those three */
9246             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
9247                 i = PERL_INT_MIN;
9248                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
9249                    will cast our (long double) to (double) */
9250                 (void)Perl_frexp(nv, &i);
9251                 if (i == PERL_INT_MIN)
9252                     Perl_die(aTHX_ "panic: frexp");
9253                 if (i > 0)
9254                     need = BIT_DIGITS(i);
9255             }
9256             need += has_precis ? precis : 6; /* known default */
9257
9258             if (need < width)
9259                 need = width;
9260
9261 #ifdef HAS_LDBL_SPRINTF_BUG
9262             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9263                with sfio - Allen <allens@cpan.org> */
9264
9265 #  ifdef DBL_MAX
9266 #    define MY_DBL_MAX DBL_MAX
9267 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
9268 #    if DOUBLESIZE >= 8
9269 #      define MY_DBL_MAX 1.7976931348623157E+308L
9270 #    else
9271 #      define MY_DBL_MAX 3.40282347E+38L
9272 #    endif
9273 #  endif
9274
9275 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
9276 #    define MY_DBL_MAX_BUG 1L
9277 #  else
9278 #    define MY_DBL_MAX_BUG MY_DBL_MAX
9279 #  endif
9280
9281 #  ifdef DBL_MIN
9282 #    define MY_DBL_MIN DBL_MIN
9283 #  else  /* XXX guessing! -Allen */
9284 #    if DOUBLESIZE >= 8
9285 #      define MY_DBL_MIN 2.2250738585072014E-308L
9286 #    else
9287 #      define MY_DBL_MIN 1.17549435E-38L
9288 #    endif
9289 #  endif
9290
9291             if ((intsize == 'q') && (c == 'f') &&
9292                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
9293                 (need < DBL_DIG)) {
9294                 /* it's going to be short enough that
9295                  * long double precision is not needed */
9296
9297                 if ((nv <= 0L) && (nv >= -0L))
9298                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
9299                 else {
9300                     /* would use Perl_fp_class as a double-check but not
9301                      * functional on IRIX - see perl.h comments */
9302
9303                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
9304                         /* It's within the range that a double can represent */
9305 #if defined(DBL_MAX) && !defined(DBL_MIN)
9306                         if ((nv >= ((long double)1/DBL_MAX)) ||
9307                             (nv <= (-(long double)1/DBL_MAX)))
9308 #endif
9309                         fix_ldbl_sprintf_bug = TRUE;
9310                     }
9311                 }
9312                 if (fix_ldbl_sprintf_bug == TRUE) {
9313                     double temp;
9314
9315                     intsize = 0;
9316                     temp = (double)nv;
9317                     nv = (NV)temp;
9318                 }
9319             }
9320
9321 #  undef MY_DBL_MAX
9322 #  undef MY_DBL_MAX_BUG
9323 #  undef MY_DBL_MIN
9324
9325 #endif /* HAS_LDBL_SPRINTF_BUG */
9326
9327             need += 20; /* fudge factor */
9328             if (PL_efloatsize < need) {
9329                 Safefree(PL_efloatbuf);
9330                 PL_efloatsize = need + 20; /* more fudge */
9331                 Newx(PL_efloatbuf, PL_efloatsize, char);
9332                 PL_efloatbuf[0] = '\0';
9333             }
9334
9335             if ( !(width || left || plus || alt) && fill != '0'
9336                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
9337                 /* See earlier comment about buggy Gconvert when digits,
9338                    aka precis is 0  */
9339                 if ( c == 'g' && precis) {
9340                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
9341                     /* May return an empty string for digits==0 */
9342                     if (*PL_efloatbuf) {
9343                         elen = strlen(PL_efloatbuf);
9344                         goto float_converted;
9345                     }
9346                 } else if ( c == 'f' && !precis) {
9347                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
9348                         break;
9349                 }
9350             }
9351             {
9352                 char *ptr = ebuf + sizeof ebuf;
9353                 *--ptr = '\0';
9354                 *--ptr = c;
9355                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
9356 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
9357                 if (intsize == 'q') {
9358                     /* Copy the one or more characters in a long double
9359                      * format before the 'base' ([efgEFG]) character to
9360                      * the format string. */
9361                     static char const prifldbl[] = PERL_PRIfldbl;
9362                     char const *p = prifldbl + sizeof(prifldbl) - 3;
9363                     while (p >= prifldbl) { *--ptr = *p--; }
9364                 }
9365 #endif
9366                 if (has_precis) {
9367                     base = precis;
9368                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9369                     *--ptr = '.';
9370                 }
9371                 if (width) {
9372                     base = width;
9373                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9374                 }
9375                 if (fill == '0')
9376                     *--ptr = fill;
9377                 if (left)
9378                     *--ptr = '-';
9379                 if (plus)
9380                     *--ptr = plus;
9381                 if (alt)
9382                     *--ptr = '#';
9383                 *--ptr = '%';
9384
9385                 /* No taint.  Otherwise we are in the strange situation
9386                  * where printf() taints but print($float) doesn't.
9387                  * --jhi */
9388 #if defined(HAS_LONG_DOUBLE)
9389                 elen = ((intsize == 'q')
9390                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
9391                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
9392 #else
9393                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
9394 #endif
9395             }
9396         float_converted:
9397             eptr = PL_efloatbuf;
9398             break;
9399
9400             /* SPECIAL */
9401
9402         case 'n':
9403             if (vectorize)
9404                 goto unknown;
9405             i = SvCUR(sv) - origlen;
9406             if (args) {
9407                 switch (intsize) {
9408                 case 'h':       *(va_arg(*args, short*)) = i; break;
9409                 default:        *(va_arg(*args, int*)) = i; break;
9410                 case 'l':       *(va_arg(*args, long*)) = i; break;
9411                 case 'V':       *(va_arg(*args, IV*)) = i; break;
9412 #ifdef HAS_QUAD
9413                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
9414 #endif
9415                 }
9416             }
9417             else
9418                 sv_setuv_mg(argsv, (UV)i);
9419             continue;   /* not "break" */
9420
9421             /* UNKNOWN */
9422
9423         default:
9424       unknown:
9425             if (!args
9426                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
9427                 && ckWARN(WARN_PRINTF))
9428             {
9429                 SV * const msg = sv_newmortal();
9430                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
9431                           (PL_op->op_type == OP_PRTF) ? "" : "s");
9432                 if (c) {
9433                     if (isPRINT(c))
9434                         Perl_sv_catpvf(aTHX_ msg,
9435                                        "\"%%%c\"", c & 0xFF);
9436                     else
9437                         Perl_sv_catpvf(aTHX_ msg,
9438                                        "\"%%\\%03"UVof"\"",
9439                                        (UV)c & 0xFF);
9440                 } else
9441                     sv_catpvs(msg, "end of string");
9442                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
9443             }
9444
9445             /* output mangled stuff ... */
9446             if (c == '\0')
9447                 --q;
9448             eptr = p;
9449             elen = q - p;
9450
9451             /* ... right here, because formatting flags should not apply */
9452             SvGROW(sv, SvCUR(sv) + elen + 1);
9453             p = SvEND(sv);
9454             Copy(eptr, p, elen, char);
9455             p += elen;
9456             *p = '\0';
9457             SvCUR_set(sv, p - SvPVX_const(sv));
9458             svix = osvix;
9459             continue;   /* not "break" */
9460         }
9461
9462         if (is_utf8 != has_utf8) {
9463             if (is_utf8) {
9464                 if (SvCUR(sv))
9465                     sv_utf8_upgrade(sv);
9466             }
9467             else {
9468                 const STRLEN old_elen = elen;
9469                 SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
9470                 sv_utf8_upgrade(nsv);
9471                 eptr = SvPVX_const(nsv);
9472                 elen = SvCUR(nsv);
9473
9474                 if (width) { /* fudge width (can't fudge elen) */
9475                     width += elen - old_elen;
9476                 }
9477                 is_utf8 = TRUE;
9478             }
9479         }
9480
9481         have = esignlen + zeros + elen;
9482         if (have < zeros)
9483             Perl_croak_nocontext(PL_memory_wrap);
9484
9485         need = (have > width ? have : width);
9486         gap = need - have;
9487
9488         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
9489             Perl_croak_nocontext(PL_memory_wrap);
9490         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
9491         p = SvEND(sv);
9492         if (esignlen && fill == '0') {
9493             int i;
9494             for (i = 0; i < (int)esignlen; i++)
9495                 *p++ = esignbuf[i];
9496         }
9497         if (gap && !left) {
9498             memset(p, fill, gap);
9499             p += gap;
9500         }
9501         if (esignlen && fill != '0') {
9502             int i;
9503             for (i = 0; i < (int)esignlen; i++)
9504                 *p++ = esignbuf[i];
9505         }
9506         if (zeros) {
9507             int i;
9508             for (i = zeros; i; i--)
9509                 *p++ = '0';
9510         }
9511         if (elen) {
9512             Copy(eptr, p, elen, char);
9513             p += elen;
9514         }
9515         if (gap && left) {
9516             memset(p, ' ', gap);
9517             p += gap;
9518         }
9519         if (vectorize) {
9520             if (veclen) {
9521                 Copy(dotstr, p, dotstrlen, char);
9522                 p += dotstrlen;
9523             }
9524             else
9525                 vectorize = FALSE;              /* done iterating over vecstr */
9526         }
9527         if (is_utf8)
9528             has_utf8 = TRUE;
9529         if (has_utf8)
9530             SvUTF8_on(sv);
9531         *p = '\0';
9532         SvCUR_set(sv, p - SvPVX_const(sv));
9533         if (vectorize) {
9534             esignlen = 0;
9535             goto vector;
9536         }
9537     }
9538 }
9539
9540 /* =========================================================================
9541
9542 =head1 Cloning an interpreter
9543
9544 All the macros and functions in this section are for the private use of
9545 the main function, perl_clone().
9546
9547 The foo_dup() functions make an exact copy of an existing foo thingy.
9548 During the course of a cloning, a hash table is used to map old addresses
9549 to new addresses. The table is created and manipulated with the
9550 ptr_table_* functions.
9551
9552 =cut
9553
9554 ============================================================================*/
9555
9556
9557 #if defined(USE_ITHREADS)
9558
9559 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
9560 #ifndef GpREFCNT_inc
9561 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
9562 #endif
9563
9564
9565 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
9566    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
9567    If this changes, please unmerge ss_dup.  */
9568 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
9569 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
9570 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
9571 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9572 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
9573 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9574 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
9575 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9576 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
9577 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
9578 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
9579 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9580 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
9581 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
9582
9583 /* clone a parser */
9584
9585 yy_parser *
9586 Perl_parser_dup(pTHX_ const yy_parser *proto, CLONE_PARAMS* param)
9587 {
9588     yy_parser *parser;
9589
9590     if (!proto)
9591         return NULL;
9592
9593     /* look for it in the table first */
9594     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
9595     if (parser)
9596         return parser;
9597
9598     /* create anew and remember what it is */
9599     Newxz(parser, 1, yy_parser);
9600     ptr_table_store(PL_ptr_table, proto, parser);
9601
9602     parser->yyerrstatus = 0;
9603     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
9604
9605     /* XXX these not yet duped */
9606     parser->old_parser = NULL;
9607     parser->stack = NULL;
9608     parser->ps = NULL;
9609     parser->stack_size = 0;
9610     /* XXX parser->stack->state = 0; */
9611
9612     /* XXX eventually, just Copy() most of the parser struct ? */
9613
9614     parser->lex_brackets = proto->lex_brackets;
9615     parser->lex_casemods = proto->lex_casemods;
9616     parser->lex_brackstack = savepvn(proto->lex_brackstack,
9617                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
9618     parser->lex_casestack = savepvn(proto->lex_casestack,
9619                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
9620     parser->lex_defer   = proto->lex_defer;
9621     parser->lex_dojoin  = proto->lex_dojoin;
9622     parser->lex_expect  = proto->lex_expect;
9623     parser->lex_formbrack = proto->lex_formbrack;
9624     parser->lex_inpat   = proto->lex_inpat;
9625     parser->lex_inwhat  = proto->lex_inwhat;
9626     parser->lex_op      = proto->lex_op;
9627     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
9628     parser->lex_starts  = proto->lex_starts;
9629     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
9630     parser->multi_close = proto->multi_close;
9631     parser->multi_open  = proto->multi_open;
9632     parser->multi_start = proto->multi_start;
9633     parser->multi_end   = proto->multi_end;
9634     parser->pending_ident = proto->pending_ident;
9635     parser->preambled   = proto->preambled;
9636     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
9637     parser->linestr     = sv_dup_inc(proto->linestr, param);
9638     parser->expect      = proto->expect;
9639     parser->copline     = proto->copline;
9640     parser->last_lop_op = proto->last_lop_op;
9641     parser->lex_state   = proto->lex_state;
9642     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
9643     /* rsfp_filters entries have fake IoDIRP() */
9644     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
9645     parser->in_my       = proto->in_my;
9646     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
9647     parser->error_count = proto->error_count;
9648
9649
9650     parser->linestr     = sv_dup_inc(proto->linestr, param);
9651
9652     {
9653         char * const ols = SvPVX(proto->linestr);
9654         char * const ls  = SvPVX(parser->linestr);
9655
9656         parser->bufptr      = ls + (proto->bufptr >= ols ?
9657                                     proto->bufptr -  ols : 0);
9658         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
9659                                     proto->oldbufptr -  ols : 0);
9660         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
9661                                     proto->oldoldbufptr -  ols : 0);
9662         parser->linestart   = ls + (proto->linestart >= ols ?
9663                                     proto->linestart -  ols : 0);
9664         parser->last_uni    = ls + (proto->last_uni >= ols ?
9665                                     proto->last_uni -  ols : 0);
9666         parser->last_lop    = ls + (proto->last_lop >= ols ?
9667                                     proto->last_lop -  ols : 0);
9668
9669         parser->bufend      = ls + SvCUR(parser->linestr);
9670     }
9671
9672     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
9673
9674
9675 #ifdef PERL_MAD
9676     parser->endwhite    = proto->endwhite;
9677     parser->faketokens  = proto->faketokens;
9678     parser->lasttoke    = proto->lasttoke;
9679     parser->nextwhite   = proto->nextwhite;
9680     parser->realtokenstart = proto->realtokenstart;
9681     parser->skipwhite   = proto->skipwhite;
9682     parser->thisclose   = proto->thisclose;
9683     parser->thismad     = proto->thismad;
9684     parser->thisopen    = proto->thisopen;
9685     parser->thisstuff   = proto->thisstuff;
9686     parser->thistoken   = proto->thistoken;
9687     parser->thiswhite   = proto->thiswhite;
9688
9689     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
9690     parser->curforce    = proto->curforce;
9691 #else
9692     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
9693     Copy(proto->nexttype, parser->nexttype, 5,  I32);
9694     parser->nexttoke    = proto->nexttoke;
9695 #endif
9696     return parser;
9697 }
9698
9699
9700 /* duplicate a file handle */
9701
9702 PerlIO *
9703 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9704 {
9705     PerlIO *ret;
9706
9707     PERL_UNUSED_ARG(type);
9708
9709     if (!fp)
9710         return (PerlIO*)NULL;
9711
9712     /* look for it in the table first */
9713     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9714     if (ret)
9715         return ret;
9716
9717     /* create anew and remember what it is */
9718     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9719     ptr_table_store(PL_ptr_table, fp, ret);
9720     return ret;
9721 }
9722
9723 /* duplicate a directory handle */
9724
9725 DIR *
9726 Perl_dirp_dup(pTHX_ DIR *dp)
9727 {
9728     PERL_UNUSED_CONTEXT;
9729     if (!dp)
9730         return (DIR*)NULL;
9731     /* XXX TODO */
9732     return dp;
9733 }
9734
9735 /* duplicate a typeglob */
9736
9737 GP *
9738 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9739 {
9740     GP *ret;
9741
9742     if (!gp)
9743         return (GP*)NULL;
9744     /* look for it in the table first */
9745     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9746     if (ret)
9747         return ret;
9748
9749     /* create anew and remember what it is */
9750     Newxz(ret, 1, GP);
9751     ptr_table_store(PL_ptr_table, gp, ret);
9752
9753     /* clone */
9754     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9755     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9756     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9757     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9758     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9759     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9760     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9761     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9762     ret->gp_cvgen       = gp->gp_cvgen;
9763     ret->gp_line        = gp->gp_line;
9764     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
9765     return ret;
9766 }
9767
9768 /* duplicate a chain of magic */
9769
9770 MAGIC *
9771 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9772 {
9773     MAGIC *mgprev = (MAGIC*)NULL;
9774     MAGIC *mgret;
9775     if (!mg)
9776         return (MAGIC*)NULL;
9777     /* look for it in the table first */
9778     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9779     if (mgret)
9780         return mgret;
9781
9782     for (; mg; mg = mg->mg_moremagic) {
9783         MAGIC *nmg;
9784         Newxz(nmg, 1, MAGIC);
9785         if (mgprev)
9786             mgprev->mg_moremagic = nmg;
9787         else
9788             mgret = nmg;
9789         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9790         nmg->mg_private = mg->mg_private;
9791         nmg->mg_type    = mg->mg_type;
9792         nmg->mg_flags   = mg->mg_flags;
9793         if (mg->mg_type == PERL_MAGIC_qr) {
9794             nmg->mg_obj = (SV*)CALLREGDUPE((REGEXP*)mg->mg_obj, param);
9795         }
9796         else if(mg->mg_type == PERL_MAGIC_backref) {
9797             /* The backref AV has its reference count deliberately bumped by
9798                1.  */
9799             nmg->mg_obj = SvREFCNT_inc(av_dup_inc((AV*) mg->mg_obj, param));
9800         }
9801         else {
9802             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9803                               ? sv_dup_inc(mg->mg_obj, param)
9804                               : sv_dup(mg->mg_obj, param);
9805         }
9806         nmg->mg_len     = mg->mg_len;
9807         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9808         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9809             if (mg->mg_len > 0) {
9810                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9811                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9812                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9813                 {
9814                     const AMT * const amtp = (AMT*)mg->mg_ptr;
9815                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9816                     I32 i;
9817                     for (i = 1; i < NofAMmeth; i++) {
9818                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9819                     }
9820                 }
9821             }
9822             else if (mg->mg_len == HEf_SVKEY)
9823                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9824         }
9825         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9826             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9827         }
9828         mgprev = nmg;
9829     }
9830     return mgret;
9831 }
9832
9833 #endif /* USE_ITHREADS */
9834
9835 /* create a new pointer-mapping table */
9836
9837 PTR_TBL_t *
9838 Perl_ptr_table_new(pTHX)
9839 {
9840     PTR_TBL_t *tbl;
9841     PERL_UNUSED_CONTEXT;
9842
9843     Newxz(tbl, 1, PTR_TBL_t);
9844     tbl->tbl_max        = 511;
9845     tbl->tbl_items      = 0;
9846     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9847     return tbl;
9848 }
9849
9850 #define PTR_TABLE_HASH(ptr) \
9851   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
9852
9853 /* 
9854    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9855    following define) and at call to new_body_inline made below in 
9856    Perl_ptr_table_store()
9857  */
9858
9859 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9860
9861 /* map an existing pointer using a table */
9862
9863 STATIC PTR_TBL_ENT_t *
9864 S_ptr_table_find(PTR_TBL_t *tbl, const void *sv) {
9865     PTR_TBL_ENT_t *tblent;
9866     const UV hash = PTR_TABLE_HASH(sv);
9867     assert(tbl);
9868     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9869     for (; tblent; tblent = tblent->next) {
9870         if (tblent->oldval == sv)
9871             return tblent;
9872     }
9873     return NULL;
9874 }
9875
9876 void *
9877 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9878 {
9879     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
9880     PERL_UNUSED_CONTEXT;
9881     return tblent ? tblent->newval : NULL;
9882 }
9883
9884 /* add a new entry to a pointer-mapping table */
9885
9886 void
9887 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9888 {
9889     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
9890     PERL_UNUSED_CONTEXT;
9891
9892     if (tblent) {
9893         tblent->newval = newsv;
9894     } else {
9895         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
9896
9897         new_body_inline(tblent, PTE_SVSLOT);
9898
9899         tblent->oldval = oldsv;
9900         tblent->newval = newsv;
9901         tblent->next = tbl->tbl_ary[entry];
9902         tbl->tbl_ary[entry] = tblent;
9903         tbl->tbl_items++;
9904         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
9905             ptr_table_split(tbl);
9906     }
9907 }
9908
9909 /* double the hash bucket size of an existing ptr table */
9910
9911 void
9912 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9913 {
9914     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9915     const UV oldsize = tbl->tbl_max + 1;
9916     UV newsize = oldsize * 2;
9917     UV i;
9918     PERL_UNUSED_CONTEXT;
9919
9920     Renew(ary, newsize, PTR_TBL_ENT_t*);
9921     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9922     tbl->tbl_max = --newsize;
9923     tbl->tbl_ary = ary;
9924     for (i=0; i < oldsize; i++, ary++) {
9925         PTR_TBL_ENT_t **curentp, **entp, *ent;
9926         if (!*ary)
9927             continue;
9928         curentp = ary + oldsize;
9929         for (entp = ary, ent = *ary; ent; ent = *entp) {
9930             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9931                 *entp = ent->next;
9932                 ent->next = *curentp;
9933                 *curentp = ent;
9934                 continue;
9935             }
9936             else
9937                 entp = &ent->next;
9938         }
9939     }
9940 }
9941
9942 /* remove all the entries from a ptr table */
9943
9944 void
9945 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9946 {
9947     if (tbl && tbl->tbl_items) {
9948         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
9949         UV riter = tbl->tbl_max;
9950
9951         do {
9952             PTR_TBL_ENT_t *entry = array[riter];
9953
9954             while (entry) {
9955                 PTR_TBL_ENT_t * const oentry = entry;
9956                 entry = entry->next;
9957                 del_pte(oentry);
9958             }
9959         } while (riter--);
9960
9961         tbl->tbl_items = 0;
9962     }
9963 }
9964
9965 /* clear and free a ptr table */
9966
9967 void
9968 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9969 {
9970     if (!tbl) {
9971         return;
9972     }
9973     ptr_table_clear(tbl);
9974     Safefree(tbl->tbl_ary);
9975     Safefree(tbl);
9976 }
9977
9978 #if defined(USE_ITHREADS)
9979
9980 void
9981 Perl_rvpv_dup(pTHX_ SV *dstr, const SV *sstr, CLONE_PARAMS* param)
9982 {
9983     if (SvROK(sstr)) {
9984         SvRV_set(dstr, SvWEAKREF(sstr)
9985                        ? sv_dup(SvRV(sstr), param)
9986                        : sv_dup_inc(SvRV(sstr), param));
9987
9988     }
9989     else if (SvPVX_const(sstr)) {
9990         /* Has something there */
9991         if (SvLEN(sstr)) {
9992             /* Normal PV - clone whole allocated space */
9993             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
9994             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
9995                 /* Not that normal - actually sstr is copy on write.
9996                    But we are a true, independant SV, so:  */
9997                 SvREADONLY_off(dstr);
9998                 SvFAKE_off(dstr);
9999             }
10000         }
10001         else {
10002             /* Special case - not normally malloced for some reason */
10003             if (isGV_with_GP(sstr)) {
10004                 /* Don't need to do anything here.  */
10005             }
10006             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
10007                 /* A "shared" PV - clone it as "shared" PV */
10008                 SvPV_set(dstr,
10009                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
10010                                          param)));
10011             }
10012             else {
10013                 /* Some other special case - random pointer */
10014                 SvPV_set(dstr, SvPVX(sstr));            
10015             }
10016         }
10017     }
10018     else {
10019         /* Copy the NULL */
10020         SvPV_set(dstr, NULL);
10021     }
10022 }
10023
10024 /* duplicate an SV of any type (including AV, HV etc) */
10025
10026 SV *
10027 Perl_sv_dup(pTHX_ const SV *sstr, CLONE_PARAMS* param)
10028 {
10029     dVAR;
10030     SV *dstr;
10031
10032     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
10033         return NULL;
10034     /* look for it in the table first */
10035     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
10036     if (dstr)
10037         return dstr;
10038
10039     if(param->flags & CLONEf_JOIN_IN) {
10040         /** We are joining here so we don't want do clone
10041             something that is bad **/
10042         if (SvTYPE(sstr) == SVt_PVHV) {
10043             const HEK * const hvname = HvNAME_HEK(sstr);
10044             if (hvname)
10045                 /** don't clone stashes if they already exist **/
10046                 return (SV*)gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0);
10047         }
10048     }
10049
10050     /* create anew and remember what it is */
10051     new_SV(dstr);
10052
10053 #ifdef DEBUG_LEAKING_SCALARS
10054     dstr->sv_debug_optype = sstr->sv_debug_optype;
10055     dstr->sv_debug_line = sstr->sv_debug_line;
10056     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10057     dstr->sv_debug_cloned = 1;
10058     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10059 #endif
10060
10061     ptr_table_store(PL_ptr_table, sstr, dstr);
10062
10063     /* clone */
10064     SvFLAGS(dstr)       = SvFLAGS(sstr);
10065     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10066     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10067
10068 #ifdef DEBUGGING
10069     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10070         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10071                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10072 #endif
10073
10074     /* don't clone objects whose class has asked us not to */
10075     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10076         SvFLAGS(dstr) = 0;
10077         return dstr;
10078     }
10079
10080     switch (SvTYPE(sstr)) {
10081     case SVt_NULL:
10082         SvANY(dstr)     = NULL;
10083         break;
10084     case SVt_IV:
10085         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10086         if(SvROK(sstr)) {
10087             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10088         } else {
10089             SvIV_set(dstr, SvIVX(sstr));
10090         }
10091         break;
10092     case SVt_NV:
10093         SvANY(dstr)     = new_XNV();
10094         SvNV_set(dstr, SvNVX(sstr));
10095         break;
10096         /* case SVt_BIND: */
10097     default:
10098         {
10099             /* These are all the types that need complex bodies allocating.  */
10100             void *new_body;
10101             const svtype sv_type = SvTYPE(sstr);
10102             const struct body_details *const sv_type_details
10103                 = bodies_by_type + sv_type;
10104
10105             switch (sv_type) {
10106             default:
10107                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10108                 break;
10109
10110             case SVt_PVGV:
10111                 if (GvUNIQUE((GV*)sstr)) {
10112                     NOOP;   /* Do sharing here, and fall through */
10113                 }
10114             case SVt_PVIO:
10115             case SVt_PVFM:
10116             case SVt_PVHV:
10117             case SVt_PVAV:
10118             case SVt_PVCV:
10119             case SVt_PVLV:
10120             case SVt_PVMG:
10121             case SVt_PVNV:
10122             case SVt_PVIV:
10123             case SVt_PV:
10124                 assert(sv_type_details->body_size);
10125                 if (sv_type_details->arena) {
10126                     new_body_inline(new_body, sv_type);
10127                     new_body
10128                         = (void*)((char*)new_body - sv_type_details->offset);
10129                 } else {
10130                     new_body = new_NOARENA(sv_type_details);
10131                 }
10132             }
10133             assert(new_body);
10134             SvANY(dstr) = new_body;
10135
10136 #ifndef PURIFY
10137             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10138                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10139                  sv_type_details->copy, char);
10140 #else
10141             Copy(((char*)SvANY(sstr)),
10142                  ((char*)SvANY(dstr)),
10143                  sv_type_details->body_size + sv_type_details->offset, char);
10144 #endif
10145
10146             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10147                 && !isGV_with_GP(dstr))
10148                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10149
10150             /* The Copy above means that all the source (unduplicated) pointers
10151                are now in the destination.  We can check the flags and the
10152                pointers in either, but it's possible that there's less cache
10153                missing by always going for the destination.
10154                FIXME - instrument and check that assumption  */
10155             if (sv_type >= SVt_PVMG) {
10156                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10157                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10158                 } else if (SvMAGIC(dstr))
10159                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10160                 if (SvSTASH(dstr))
10161                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10162             }
10163
10164             /* The cast silences a GCC warning about unhandled types.  */
10165             switch ((int)sv_type) {
10166             case SVt_PV:
10167                 break;
10168             case SVt_PVIV:
10169                 break;
10170             case SVt_PVNV:
10171                 break;
10172             case SVt_PVMG:
10173                 break;
10174             case SVt_PVLV:
10175                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
10176                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
10177                     LvTARG(dstr) = dstr;
10178                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
10179                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
10180                 else
10181                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
10182             case SVt_PVGV:
10183                 if(isGV_with_GP(sstr)) {
10184                     if (GvNAME_HEK(dstr))
10185                         GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
10186                     /* Don't call sv_add_backref here as it's going to be
10187                        created as part of the magic cloning of the symbol
10188                        table.  */
10189                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
10190                        at the point of this comment.  */
10191                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
10192                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
10193                     (void)GpREFCNT_inc(GvGP(dstr));
10194                 } else
10195                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10196                 break;
10197             case SVt_PVIO:
10198                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
10199                 if (IoOFP(dstr) == IoIFP(sstr))
10200                     IoOFP(dstr) = IoIFP(dstr);
10201                 else
10202                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
10203                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
10204                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
10205                     /* I have no idea why fake dirp (rsfps)
10206                        should be treated differently but otherwise
10207                        we end up with leaks -- sky*/
10208                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
10209                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
10210                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
10211                 } else {
10212                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
10213                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
10214                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
10215                     if (IoDIRP(dstr)) {
10216                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
10217                     } else {
10218                         NOOP;
10219                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
10220                     }
10221                 }
10222                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
10223                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
10224                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
10225                 break;
10226             case SVt_PVAV:
10227                 if (AvARRAY((AV*)sstr)) {
10228                     SV **dst_ary, **src_ary;
10229                     SSize_t items = AvFILLp((AV*)sstr) + 1;
10230
10231                     src_ary = AvARRAY((AV*)sstr);
10232                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
10233                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
10234                     AvARRAY((AV*)dstr) = dst_ary;
10235                     AvALLOC((AV*)dstr) = dst_ary;
10236                     if (AvREAL((AV*)sstr)) {
10237                         while (items-- > 0)
10238                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
10239                     }
10240                     else {
10241                         while (items-- > 0)
10242                             *dst_ary++ = sv_dup(*src_ary++, param);
10243                     }
10244                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
10245                     while (items-- > 0) {
10246                         *dst_ary++ = &PL_sv_undef;
10247                     }
10248                 }
10249                 else {
10250                     AvARRAY((AV*)dstr)  = NULL;
10251                     AvALLOC((AV*)dstr)  = (SV**)NULL;
10252                 }
10253                 break;
10254             case SVt_PVHV:
10255                 if (HvARRAY((HV*)sstr)) {
10256                     STRLEN i = 0;
10257                     const bool sharekeys = !!HvSHAREKEYS(sstr);
10258                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
10259                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
10260                     char *darray;
10261                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
10262                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
10263                         char);
10264                     HvARRAY(dstr) = (HE**)darray;
10265                     while (i <= sxhv->xhv_max) {
10266                         const HE * const source = HvARRAY(sstr)[i];
10267                         HvARRAY(dstr)[i] = source
10268                             ? he_dup(source, sharekeys, param) : 0;
10269                         ++i;
10270                     }
10271                     if (SvOOK(sstr)) {
10272                         HEK *hvname;
10273                         const struct xpvhv_aux * const saux = HvAUX(sstr);
10274                         struct xpvhv_aux * const daux = HvAUX(dstr);
10275                         /* This flag isn't copied.  */
10276                         /* SvOOK_on(hv) attacks the IV flags.  */
10277                         SvFLAGS(dstr) |= SVf_OOK;
10278
10279                         hvname = saux->xhv_name;
10280                         daux->xhv_name = hvname ? hek_dup(hvname, param) : hvname;
10281
10282                         daux->xhv_riter = saux->xhv_riter;
10283                         daux->xhv_eiter = saux->xhv_eiter
10284                             ? he_dup(saux->xhv_eiter,
10285                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
10286                         daux->xhv_backreferences =
10287                             saux->xhv_backreferences
10288                                 ? (AV*) SvREFCNT_inc(
10289                                         sv_dup((SV*)saux->xhv_backreferences, param))
10290                                 : 0;
10291
10292                         daux->xhv_mro_meta = saux->xhv_mro_meta
10293                             ? mro_meta_dup(saux->xhv_mro_meta, param)
10294                             : 0;
10295
10296                         /* Record stashes for possible cloning in Perl_clone(). */
10297                         if (hvname)
10298                             av_push(param->stashes, dstr);
10299                     }
10300                 }
10301                 else
10302                     HvARRAY((HV*)dstr) = NULL;
10303                 break;
10304             case SVt_PVCV:
10305                 if (!(param->flags & CLONEf_COPY_STACKS)) {
10306                     CvDEPTH(dstr) = 0;
10307                 }
10308             case SVt_PVFM:
10309                 /* NOTE: not refcounted */
10310                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
10311                 OP_REFCNT_LOCK;
10312                 if (!CvISXSUB(dstr))
10313                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
10314                 OP_REFCNT_UNLOCK;
10315                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
10316                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
10317                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
10318                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
10319                 }
10320                 /* don't dup if copying back - CvGV isn't refcounted, so the
10321                  * duped GV may never be freed. A bit of a hack! DAPM */
10322                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
10323                     NULL : gv_dup(CvGV(dstr), param) ;
10324                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
10325                 CvOUTSIDE(dstr) =
10326                     CvWEAKOUTSIDE(sstr)
10327                     ? cv_dup(    CvOUTSIDE(dstr), param)
10328                     : cv_dup_inc(CvOUTSIDE(dstr), param);
10329                 if (!CvISXSUB(dstr))
10330                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
10331                 break;
10332             }
10333         }
10334     }
10335
10336     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
10337         ++PL_sv_objcount;
10338
10339     return dstr;
10340  }
10341
10342 /* duplicate a context */
10343
10344 PERL_CONTEXT *
10345 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
10346 {
10347     PERL_CONTEXT *ncxs;
10348
10349     if (!cxs)
10350         return (PERL_CONTEXT*)NULL;
10351
10352     /* look for it in the table first */
10353     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
10354     if (ncxs)
10355         return ncxs;
10356
10357     /* create anew and remember what it is */
10358     Newxz(ncxs, max + 1, PERL_CONTEXT);
10359     ptr_table_store(PL_ptr_table, cxs, ncxs);
10360
10361     while (ix >= 0) {
10362         PERL_CONTEXT * const cx = &cxs[ix];
10363         PERL_CONTEXT * const ncx = &ncxs[ix];
10364         ncx->cx_type    = cx->cx_type;
10365         if (CxTYPE(cx) == CXt_SUBST) {
10366             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
10367         }
10368         else {
10369             ncx->blk_oldsp      = cx->blk_oldsp;
10370             ncx->blk_oldcop     = cx->blk_oldcop;
10371             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
10372             ncx->blk_oldscopesp = cx->blk_oldscopesp;
10373             ncx->blk_oldpm      = cx->blk_oldpm;
10374             ncx->blk_gimme      = cx->blk_gimme;
10375             switch (CxTYPE(cx)) {
10376             case CXt_SUB:
10377                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
10378                                            ? cv_dup_inc(cx->blk_sub.cv, param)
10379                                            : cv_dup(cx->blk_sub.cv,param));
10380                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
10381                                            ? av_dup_inc(cx->blk_sub.argarray, param)
10382                                            : NULL);
10383                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
10384                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
10385                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10386                 ncx->blk_sub.lval       = cx->blk_sub.lval;
10387                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10388                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
10389                                            cx->blk_sub.oldcomppad);
10390                 break;
10391             case CXt_EVAL:
10392                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
10393                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
10394                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
10395                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
10396                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
10397                 ncx->blk_eval.retop = cx->blk_eval.retop;
10398                 break;
10399             case CXt_LOOP:
10400                 ncx->blk_loop.label     = cx->blk_loop.label;
10401                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
10402                 ncx->blk_loop.my_op     = cx->blk_loop.my_op;
10403                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
10404                                            ? cx->blk_loop.iterdata
10405                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
10406                 ncx->blk_loop.oldcomppad
10407                     = (PAD*)ptr_table_fetch(PL_ptr_table,
10408                                             cx->blk_loop.oldcomppad);
10409                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
10410                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
10411                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
10412                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
10413                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
10414                 break;
10415             case CXt_FORMAT:
10416                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
10417                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
10418                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
10419                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10420                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10421                 break;
10422             case CXt_BLOCK:
10423             case CXt_NULL:
10424                 break;
10425             }
10426         }
10427         --ix;
10428     }
10429     return ncxs;
10430 }
10431
10432 /* duplicate a stack info structure */
10433
10434 PERL_SI *
10435 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
10436 {
10437     PERL_SI *nsi;
10438
10439     if (!si)
10440         return (PERL_SI*)NULL;
10441
10442     /* look for it in the table first */
10443     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
10444     if (nsi)
10445         return nsi;
10446
10447     /* create anew and remember what it is */
10448     Newxz(nsi, 1, PERL_SI);
10449     ptr_table_store(PL_ptr_table, si, nsi);
10450
10451     nsi->si_stack       = av_dup_inc(si->si_stack, param);
10452     nsi->si_cxix        = si->si_cxix;
10453     nsi->si_cxmax       = si->si_cxmax;
10454     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
10455     nsi->si_type        = si->si_type;
10456     nsi->si_prev        = si_dup(si->si_prev, param);
10457     nsi->si_next        = si_dup(si->si_next, param);
10458     nsi->si_markoff     = si->si_markoff;
10459
10460     return nsi;
10461 }
10462
10463 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
10464 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
10465 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
10466 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
10467 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
10468 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
10469 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
10470 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
10471 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
10472 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
10473 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
10474 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
10475 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
10476 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
10477
10478 /* XXXXX todo */
10479 #define pv_dup_inc(p)   SAVEPV(p)
10480 #define pv_dup(p)       SAVEPV(p)
10481 #define svp_dup_inc(p,pp)       any_dup(p,pp)
10482
10483 /* map any object to the new equivent - either something in the
10484  * ptr table, or something in the interpreter structure
10485  */
10486
10487 void *
10488 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
10489 {
10490     void *ret;
10491
10492     if (!v)
10493         return (void*)NULL;
10494
10495     /* look for it in the table first */
10496     ret = ptr_table_fetch(PL_ptr_table, v);
10497     if (ret)
10498         return ret;
10499
10500     /* see if it is part of the interpreter structure */
10501     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
10502         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
10503     else {
10504         ret = v;
10505     }
10506
10507     return ret;
10508 }
10509
10510 /* duplicate the save stack */
10511
10512 ANY *
10513 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
10514 {
10515     dVAR;
10516     ANY * const ss      = proto_perl->Isavestack;
10517     const I32 max       = proto_perl->Isavestack_max;
10518     I32 ix              = proto_perl->Isavestack_ix;
10519     ANY *nss;
10520     SV *sv;
10521     GV *gv;
10522     AV *av;
10523     HV *hv;
10524     void* ptr;
10525     int intval;
10526     long longval;
10527     GP *gp;
10528     IV iv;
10529     I32 i;
10530     char *c = NULL;
10531     void (*dptr) (void*);
10532     void (*dxptr) (pTHX_ void*);
10533
10534     Newxz(nss, max, ANY);
10535
10536     while (ix > 0) {
10537         const I32 type = POPINT(ss,ix);
10538         TOPINT(nss,ix) = type;
10539         switch (type) {
10540         case SAVEt_HELEM:               /* hash element */
10541             sv = (SV*)POPPTR(ss,ix);
10542             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10543             /* fall through */
10544         case SAVEt_ITEM:                        /* normal string */
10545         case SAVEt_SV:                          /* scalar reference */
10546             sv = (SV*)POPPTR(ss,ix);
10547             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10548             /* fall through */
10549         case SAVEt_FREESV:
10550         case SAVEt_MORTALIZESV:
10551             sv = (SV*)POPPTR(ss,ix);
10552             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10553             break;
10554         case SAVEt_SHARED_PVREF:                /* char* in shared space */
10555             c = (char*)POPPTR(ss,ix);
10556             TOPPTR(nss,ix) = savesharedpv(c);
10557             ptr = POPPTR(ss,ix);
10558             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10559             break;
10560         case SAVEt_GENERIC_SVREF:               /* generic sv */
10561         case SAVEt_SVREF:                       /* scalar reference */
10562             sv = (SV*)POPPTR(ss,ix);
10563             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10564             ptr = POPPTR(ss,ix);
10565             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
10566             break;
10567         case SAVEt_HV:                          /* hash reference */
10568         case SAVEt_AV:                          /* array reference */
10569             sv = (SV*) POPPTR(ss,ix);
10570             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10571             /* fall through */
10572         case SAVEt_COMPPAD:
10573         case SAVEt_NSTAB:
10574             sv = (SV*) POPPTR(ss,ix);
10575             TOPPTR(nss,ix) = sv_dup(sv, param);
10576             break;
10577         case SAVEt_INT:                         /* int reference */
10578             ptr = POPPTR(ss,ix);
10579             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10580             intval = (int)POPINT(ss,ix);
10581             TOPINT(nss,ix) = intval;
10582             break;
10583         case SAVEt_LONG:                        /* long reference */
10584             ptr = POPPTR(ss,ix);
10585             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10586             /* fall through */
10587         case SAVEt_CLEARSV:
10588             longval = (long)POPLONG(ss,ix);
10589             TOPLONG(nss,ix) = longval;
10590             break;
10591         case SAVEt_I32:                         /* I32 reference */
10592         case SAVEt_I16:                         /* I16 reference */
10593         case SAVEt_I8:                          /* I8 reference */
10594         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
10595             ptr = POPPTR(ss,ix);
10596             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10597             i = POPINT(ss,ix);
10598             TOPINT(nss,ix) = i;
10599             break;
10600         case SAVEt_IV:                          /* IV reference */
10601             ptr = POPPTR(ss,ix);
10602             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10603             iv = POPIV(ss,ix);
10604             TOPIV(nss,ix) = iv;
10605             break;
10606         case SAVEt_HPTR:                        /* HV* reference */
10607         case SAVEt_APTR:                        /* AV* reference */
10608         case SAVEt_SPTR:                        /* SV* reference */
10609             ptr = POPPTR(ss,ix);
10610             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10611             sv = (SV*)POPPTR(ss,ix);
10612             TOPPTR(nss,ix) = sv_dup(sv, param);
10613             break;
10614         case SAVEt_VPTR:                        /* random* reference */
10615             ptr = POPPTR(ss,ix);
10616             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10617             ptr = POPPTR(ss,ix);
10618             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10619             break;
10620         case SAVEt_GENERIC_PVREF:               /* generic char* */
10621         case SAVEt_PPTR:                        /* char* reference */
10622             ptr = POPPTR(ss,ix);
10623             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10624             c = (char*)POPPTR(ss,ix);
10625             TOPPTR(nss,ix) = pv_dup(c);
10626             break;
10627         case SAVEt_GP:                          /* scalar reference */
10628             gp = (GP*)POPPTR(ss,ix);
10629             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
10630             (void)GpREFCNT_inc(gp);
10631             gv = (GV*)POPPTR(ss,ix);
10632             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
10633             break;
10634         case SAVEt_FREEOP:
10635             ptr = POPPTR(ss,ix);
10636             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10637                 /* these are assumed to be refcounted properly */
10638                 OP *o;
10639                 switch (((OP*)ptr)->op_type) {
10640                 case OP_LEAVESUB:
10641                 case OP_LEAVESUBLV:
10642                 case OP_LEAVEEVAL:
10643                 case OP_LEAVE:
10644                 case OP_SCOPE:
10645                 case OP_LEAVEWRITE:
10646                     TOPPTR(nss,ix) = ptr;
10647                     o = (OP*)ptr;
10648                     OP_REFCNT_LOCK;
10649                     (void) OpREFCNT_inc(o);
10650                     OP_REFCNT_UNLOCK;
10651                     break;
10652                 default:
10653                     TOPPTR(nss,ix) = NULL;
10654                     break;
10655                 }
10656             }
10657             else
10658                 TOPPTR(nss,ix) = NULL;
10659             break;
10660         case SAVEt_FREEPV:
10661             c = (char*)POPPTR(ss,ix);
10662             TOPPTR(nss,ix) = pv_dup_inc(c);
10663             break;
10664         case SAVEt_DELETE:
10665             hv = (HV*)POPPTR(ss,ix);
10666             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10667             c = (char*)POPPTR(ss,ix);
10668             TOPPTR(nss,ix) = pv_dup_inc(c);
10669             /* fall through */
10670         case SAVEt_STACK_POS:           /* Position on Perl stack */
10671             i = POPINT(ss,ix);
10672             TOPINT(nss,ix) = i;
10673             break;
10674         case SAVEt_DESTRUCTOR:
10675             ptr = POPPTR(ss,ix);
10676             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10677             dptr = POPDPTR(ss,ix);
10678             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10679                                         any_dup(FPTR2DPTR(void *, dptr),
10680                                                 proto_perl));
10681             break;
10682         case SAVEt_DESTRUCTOR_X:
10683             ptr = POPPTR(ss,ix);
10684             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10685             dxptr = POPDXPTR(ss,ix);
10686             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10687                                          any_dup(FPTR2DPTR(void *, dxptr),
10688                                                  proto_perl));
10689             break;
10690         case SAVEt_REGCONTEXT:
10691         case SAVEt_ALLOC:
10692             i = POPINT(ss,ix);
10693             TOPINT(nss,ix) = i;
10694             ix -= i;
10695             break;
10696         case SAVEt_AELEM:               /* array element */
10697             sv = (SV*)POPPTR(ss,ix);
10698             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10699             i = POPINT(ss,ix);
10700             TOPINT(nss,ix) = i;
10701             av = (AV*)POPPTR(ss,ix);
10702             TOPPTR(nss,ix) = av_dup_inc(av, param);
10703             break;
10704         case SAVEt_OP:
10705             ptr = POPPTR(ss,ix);
10706             TOPPTR(nss,ix) = ptr;
10707             break;
10708         case SAVEt_HINTS:
10709             i = POPINT(ss,ix);
10710             TOPINT(nss,ix) = i;
10711             ptr = POPPTR(ss,ix);
10712             if (ptr) {
10713                 HINTS_REFCNT_LOCK;
10714                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
10715                 HINTS_REFCNT_UNLOCK;
10716             }
10717             TOPPTR(nss,ix) = ptr;
10718             if (i & HINT_LOCALIZE_HH) {
10719                 hv = (HV*)POPPTR(ss,ix);
10720                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10721             }
10722             break;
10723         case SAVEt_PADSV:
10724             longval = (long)POPLONG(ss,ix);
10725             TOPLONG(nss,ix) = longval;
10726             ptr = POPPTR(ss,ix);
10727             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10728             sv = (SV*)POPPTR(ss,ix);
10729             TOPPTR(nss,ix) = sv_dup(sv, param);
10730             break;
10731         case SAVEt_BOOL:
10732             ptr = POPPTR(ss,ix);
10733             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10734             longval = (long)POPBOOL(ss,ix);
10735             TOPBOOL(nss,ix) = (bool)longval;
10736             break;
10737         case SAVEt_SET_SVFLAGS:
10738             i = POPINT(ss,ix);
10739             TOPINT(nss,ix) = i;
10740             i = POPINT(ss,ix);
10741             TOPINT(nss,ix) = i;
10742             sv = (SV*)POPPTR(ss,ix);
10743             TOPPTR(nss,ix) = sv_dup(sv, param);
10744             break;
10745         case SAVEt_RE_STATE:
10746             {
10747                 const struct re_save_state *const old_state
10748                     = (struct re_save_state *)
10749                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10750                 struct re_save_state *const new_state
10751                     = (struct re_save_state *)
10752                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10753
10754                 Copy(old_state, new_state, 1, struct re_save_state);
10755                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
10756
10757                 new_state->re_state_bostr
10758                     = pv_dup(old_state->re_state_bostr);
10759                 new_state->re_state_reginput
10760                     = pv_dup(old_state->re_state_reginput);
10761                 new_state->re_state_regeol
10762                     = pv_dup(old_state->re_state_regeol);
10763                 new_state->re_state_regoffs
10764                     = (regexp_paren_pair*)
10765                         any_dup(old_state->re_state_regoffs, proto_perl);
10766                 new_state->re_state_reglastparen
10767                     = (U32*) any_dup(old_state->re_state_reglastparen, 
10768                               proto_perl);
10769                 new_state->re_state_reglastcloseparen
10770                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
10771                               proto_perl);
10772                 /* XXX This just has to be broken. The old save_re_context
10773                    code did SAVEGENERICPV(PL_reg_start_tmp);
10774                    PL_reg_start_tmp is char **.
10775                    Look above to what the dup code does for
10776                    SAVEt_GENERIC_PVREF
10777                    It can never have worked.
10778                    So this is merely a faithful copy of the exiting bug:  */
10779                 new_state->re_state_reg_start_tmp
10780                     = (char **) pv_dup((char *)
10781                                       old_state->re_state_reg_start_tmp);
10782                 /* I assume that it only ever "worked" because no-one called
10783                    (pseudo)fork while the regexp engine had re-entered itself.
10784                 */
10785 #ifdef PERL_OLD_COPY_ON_WRITE
10786                 new_state->re_state_nrs
10787                     = sv_dup(old_state->re_state_nrs, param);
10788 #endif
10789                 new_state->re_state_reg_magic
10790                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
10791                                proto_perl);
10792                 new_state->re_state_reg_oldcurpm
10793                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
10794                               proto_perl);
10795                 new_state->re_state_reg_curpm
10796                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
10797                                proto_perl);
10798                 new_state->re_state_reg_oldsaved
10799                     = pv_dup(old_state->re_state_reg_oldsaved);
10800                 new_state->re_state_reg_poscache
10801                     = pv_dup(old_state->re_state_reg_poscache);
10802                 new_state->re_state_reg_starttry
10803                     = pv_dup(old_state->re_state_reg_starttry);
10804                 break;
10805             }
10806         case SAVEt_COMPILE_WARNINGS:
10807             ptr = POPPTR(ss,ix);
10808             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
10809             break;
10810         case SAVEt_PARSER:
10811             ptr = POPPTR(ss,ix);
10812             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
10813             break;
10814         default:
10815             Perl_croak(aTHX_
10816                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
10817         }
10818     }
10819
10820     return nss;
10821 }
10822
10823
10824 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10825  * flag to the result. This is done for each stash before cloning starts,
10826  * so we know which stashes want their objects cloned */
10827
10828 static void
10829 do_mark_cloneable_stash(pTHX_ SV *sv)
10830 {
10831     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10832     if (hvname) {
10833         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10834         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10835         if (cloner && GvCV(cloner)) {
10836             dSP;
10837             UV status;
10838
10839             ENTER;
10840             SAVETMPS;
10841             PUSHMARK(SP);
10842             XPUSHs(sv_2mortal(newSVhek(hvname)));
10843             PUTBACK;
10844             call_sv((SV*)GvCV(cloner), G_SCALAR);
10845             SPAGAIN;
10846             status = POPu;
10847             PUTBACK;
10848             FREETMPS;
10849             LEAVE;
10850             if (status)
10851                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10852         }
10853     }
10854 }
10855
10856
10857
10858 /*
10859 =for apidoc perl_clone
10860
10861 Create and return a new interpreter by cloning the current one.
10862
10863 perl_clone takes these flags as parameters:
10864
10865 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10866 without it we only clone the data and zero the stacks,
10867 with it we copy the stacks and the new perl interpreter is
10868 ready to run at the exact same point as the previous one.
10869 The pseudo-fork code uses COPY_STACKS while the
10870 threads->create doesn't.
10871
10872 CLONEf_KEEP_PTR_TABLE
10873 perl_clone keeps a ptr_table with the pointer of the old
10874 variable as a key and the new variable as a value,
10875 this allows it to check if something has been cloned and not
10876 clone it again but rather just use the value and increase the
10877 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10878 the ptr_table using the function
10879 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10880 reason to keep it around is if you want to dup some of your own
10881 variable who are outside the graph perl scans, example of this
10882 code is in threads.xs create
10883
10884 CLONEf_CLONE_HOST
10885 This is a win32 thing, it is ignored on unix, it tells perls
10886 win32host code (which is c++) to clone itself, this is needed on
10887 win32 if you want to run two threads at the same time,
10888 if you just want to do some stuff in a separate perl interpreter
10889 and then throw it away and return to the original one,
10890 you don't need to do anything.
10891
10892 =cut
10893 */
10894
10895 /* XXX the above needs expanding by someone who actually understands it ! */
10896 EXTERN_C PerlInterpreter *
10897 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10898
10899 PerlInterpreter *
10900 perl_clone(PerlInterpreter *proto_perl, UV flags)
10901 {
10902    dVAR;
10903 #ifdef PERL_IMPLICIT_SYS
10904
10905    /* perlhost.h so we need to call into it
10906    to clone the host, CPerlHost should have a c interface, sky */
10907
10908    if (flags & CLONEf_CLONE_HOST) {
10909        return perl_clone_host(proto_perl,flags);
10910    }
10911    return perl_clone_using(proto_perl, flags,
10912                             proto_perl->IMem,
10913                             proto_perl->IMemShared,
10914                             proto_perl->IMemParse,
10915                             proto_perl->IEnv,
10916                             proto_perl->IStdIO,
10917                             proto_perl->ILIO,
10918                             proto_perl->IDir,
10919                             proto_perl->ISock,
10920                             proto_perl->IProc);
10921 }
10922
10923 PerlInterpreter *
10924 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10925                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10926                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10927                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10928                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10929                  struct IPerlProc* ipP)
10930 {
10931     /* XXX many of the string copies here can be optimized if they're
10932      * constants; they need to be allocated as common memory and just
10933      * their pointers copied. */
10934
10935     IV i;
10936     CLONE_PARAMS clone_params;
10937     CLONE_PARAMS* const param = &clone_params;
10938
10939     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10940     /* for each stash, determine whether its objects should be cloned */
10941     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10942     PERL_SET_THX(my_perl);
10943
10944 #  ifdef DEBUGGING
10945     PoisonNew(my_perl, 1, PerlInterpreter);
10946     PL_op = NULL;
10947     PL_curcop = NULL;
10948     PL_markstack = 0;
10949     PL_scopestack = 0;
10950     PL_savestack = 0;
10951     PL_savestack_ix = 0;
10952     PL_savestack_max = -1;
10953     PL_sig_pending = 0;
10954     PL_parser = NULL;
10955     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10956 #  else /* !DEBUGGING */
10957     Zero(my_perl, 1, PerlInterpreter);
10958 #  endif        /* DEBUGGING */
10959
10960     /* host pointers */
10961     PL_Mem              = ipM;
10962     PL_MemShared        = ipMS;
10963     PL_MemParse         = ipMP;
10964     PL_Env              = ipE;
10965     PL_StdIO            = ipStd;
10966     PL_LIO              = ipLIO;
10967     PL_Dir              = ipD;
10968     PL_Sock             = ipS;
10969     PL_Proc             = ipP;
10970 #else           /* !PERL_IMPLICIT_SYS */
10971     IV i;
10972     CLONE_PARAMS clone_params;
10973     CLONE_PARAMS* param = &clone_params;
10974     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10975     /* for each stash, determine whether its objects should be cloned */
10976     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10977     PERL_SET_THX(my_perl);
10978
10979 #    ifdef DEBUGGING
10980     PoisonNew(my_perl, 1, PerlInterpreter);
10981     PL_op = NULL;
10982     PL_curcop = NULL;
10983     PL_markstack = 0;
10984     PL_scopestack = 0;
10985     PL_savestack = 0;
10986     PL_savestack_ix = 0;
10987     PL_savestack_max = -1;
10988     PL_sig_pending = 0;
10989     PL_parser = NULL;
10990     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10991 #    else       /* !DEBUGGING */
10992     Zero(my_perl, 1, PerlInterpreter);
10993 #    endif      /* DEBUGGING */
10994 #endif          /* PERL_IMPLICIT_SYS */
10995     param->flags = flags;
10996     param->proto_perl = proto_perl;
10997
10998     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
10999
11000     PL_body_arenas = NULL;
11001     Zero(&PL_body_roots, 1, PL_body_roots);
11002     
11003     PL_nice_chunk       = NULL;
11004     PL_nice_chunk_size  = 0;
11005     PL_sv_count         = 0;
11006     PL_sv_objcount      = 0;
11007     PL_sv_root          = NULL;
11008     PL_sv_arenaroot     = NULL;
11009
11010     PL_debug            = proto_perl->Idebug;
11011
11012     PL_hash_seed        = proto_perl->Ihash_seed;
11013     PL_rehash_seed      = proto_perl->Irehash_seed;
11014
11015 #ifdef USE_REENTRANT_API
11016     /* XXX: things like -Dm will segfault here in perlio, but doing
11017      *  PERL_SET_CONTEXT(proto_perl);
11018      * breaks too many other things
11019      */
11020     Perl_reentrant_init(aTHX);
11021 #endif
11022
11023     /* create SV map for pointer relocation */
11024     PL_ptr_table = ptr_table_new();
11025
11026     /* initialize these special pointers as early as possible */
11027     SvANY(&PL_sv_undef)         = NULL;
11028     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
11029     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
11030     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
11031
11032     SvANY(&PL_sv_no)            = new_XPVNV();
11033     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
11034     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11035                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11036     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
11037     SvCUR_set(&PL_sv_no, 0);
11038     SvLEN_set(&PL_sv_no, 1);
11039     SvIV_set(&PL_sv_no, 0);
11040     SvNV_set(&PL_sv_no, 0);
11041     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
11042
11043     SvANY(&PL_sv_yes)           = new_XPVNV();
11044     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11045     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11046                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11047     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11048     SvCUR_set(&PL_sv_yes, 1);
11049     SvLEN_set(&PL_sv_yes, 2);
11050     SvIV_set(&PL_sv_yes, 1);
11051     SvNV_set(&PL_sv_yes, 1);
11052     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11053
11054     /* create (a non-shared!) shared string table */
11055     PL_strtab           = newHV();
11056     HvSHAREKEYS_off(PL_strtab);
11057     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11058     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11059
11060     PL_compiling = proto_perl->Icompiling;
11061
11062     /* These two PVs will be free'd special way so must set them same way op.c does */
11063     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11064     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11065
11066     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11067     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11068
11069     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11070     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11071     if (PL_compiling.cop_hints_hash) {
11072         HINTS_REFCNT_LOCK;
11073         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11074         HINTS_REFCNT_UNLOCK;
11075     }
11076     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11077 #ifdef PERL_DEBUG_READONLY_OPS
11078     PL_slabs = NULL;
11079     PL_slab_count = 0;
11080 #endif
11081
11082     /* pseudo environmental stuff */
11083     PL_origargc         = proto_perl->Iorigargc;
11084     PL_origargv         = proto_perl->Iorigargv;
11085
11086     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11087
11088     /* Set tainting stuff before PerlIO_debug can possibly get called */
11089     PL_tainting         = proto_perl->Itainting;
11090     PL_taint_warn       = proto_perl->Itaint_warn;
11091
11092 #ifdef PERLIO_LAYERS
11093     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11094     PerlIO_clone(aTHX_ proto_perl, param);
11095 #endif
11096
11097     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11098     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11099     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11100     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11101     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11102     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11103
11104     /* switches */
11105     PL_minus_c          = proto_perl->Iminus_c;
11106     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11107     PL_localpatches     = proto_perl->Ilocalpatches;
11108     PL_splitstr         = proto_perl->Isplitstr;
11109     PL_preprocess       = proto_perl->Ipreprocess;
11110     PL_minus_n          = proto_perl->Iminus_n;
11111     PL_minus_p          = proto_perl->Iminus_p;
11112     PL_minus_l          = proto_perl->Iminus_l;
11113     PL_minus_a          = proto_perl->Iminus_a;
11114     PL_minus_E          = proto_perl->Iminus_E;
11115     PL_minus_F          = proto_perl->Iminus_F;
11116     PL_doswitches       = proto_perl->Idoswitches;
11117     PL_dowarn           = proto_perl->Idowarn;
11118     PL_doextract        = proto_perl->Idoextract;
11119     PL_sawampersand     = proto_perl->Isawampersand;
11120     PL_unsafe           = proto_perl->Iunsafe;
11121     PL_inplace          = SAVEPV(proto_perl->Iinplace);
11122     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
11123     PL_perldb           = proto_perl->Iperldb;
11124     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
11125     PL_exit_flags       = proto_perl->Iexit_flags;
11126
11127     /* magical thingies */
11128     /* XXX time(&PL_basetime) when asked for? */
11129     PL_basetime         = proto_perl->Ibasetime;
11130     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
11131
11132     PL_maxsysfd         = proto_perl->Imaxsysfd;
11133     PL_statusvalue      = proto_perl->Istatusvalue;
11134 #ifdef VMS
11135     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
11136 #else
11137     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
11138 #endif
11139     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
11140
11141     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
11142     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
11143     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
11144
11145    
11146     /* RE engine related */
11147     Zero(&PL_reg_state, 1, struct re_save_state);
11148     PL_reginterp_cnt    = 0;
11149     PL_regmatch_slab    = NULL;
11150     
11151     /* Clone the regex array */
11152     PL_regex_padav = newAV();
11153     {
11154         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
11155         SV* const * const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
11156         IV i;
11157         av_push(PL_regex_padav, sv_dup_inc_NN(regexen[0],param));
11158         for(i = 1; i <= len; i++) {
11159             const SV * const regex = regexen[i];
11160             SV * const sv =
11161                 SvREPADTMP(regex)
11162                     ? sv_dup_inc(regex, param)
11163                     : SvREFCNT_inc(
11164                         newSViv(PTR2IV(CALLREGDUPE(
11165                                 INT2PTR(REGEXP *, SvIVX(regex)), param))))
11166                 ;
11167             if (SvFLAGS(regex) & SVf_BREAK)
11168                 SvFLAGS(sv) |= SVf_BREAK; /* unrefcnted PL_curpm */
11169             av_push(PL_regex_padav, sv);
11170         }
11171     }
11172     PL_regex_pad = AvARRAY(PL_regex_padav);
11173
11174     /* shortcuts to various I/O objects */
11175     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
11176     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
11177     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
11178     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
11179     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
11180     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
11181
11182     /* shortcuts to regexp stuff */
11183     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
11184
11185     /* shortcuts to misc objects */
11186     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
11187
11188     /* shortcuts to debugging objects */
11189     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
11190     PL_DBline           = gv_dup(proto_perl->IDBline, param);
11191     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
11192     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
11193     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
11194     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
11195     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
11196
11197     /* symbol tables */
11198     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
11199     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
11200     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
11201     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
11202     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
11203
11204     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
11205     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
11206     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
11207     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
11208     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
11209     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
11210     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
11211     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
11212
11213     PL_sub_generation   = proto_perl->Isub_generation;
11214     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
11215
11216     /* funky return mechanisms */
11217     PL_forkprocess      = proto_perl->Iforkprocess;
11218
11219     /* subprocess state */
11220     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
11221
11222     /* internal state */
11223     PL_maxo             = proto_perl->Imaxo;
11224     if (proto_perl->Iop_mask)
11225         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
11226     else
11227         PL_op_mask      = NULL;
11228     /* PL_asserting        = proto_perl->Iasserting; */
11229
11230     /* current interpreter roots */
11231     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
11232     OP_REFCNT_LOCK;
11233     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
11234     OP_REFCNT_UNLOCK;
11235     PL_main_start       = proto_perl->Imain_start;
11236     PL_eval_root        = proto_perl->Ieval_root;
11237     PL_eval_start       = proto_perl->Ieval_start;
11238
11239     /* runtime control stuff */
11240     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
11241
11242     PL_filemode         = proto_perl->Ifilemode;
11243     PL_lastfd           = proto_perl->Ilastfd;
11244     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
11245     PL_Argv             = NULL;
11246     PL_Cmd              = NULL;
11247     PL_gensym           = proto_perl->Igensym;
11248     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
11249     PL_laststatval      = proto_perl->Ilaststatval;
11250     PL_laststype        = proto_perl->Ilaststype;
11251     PL_mess_sv          = NULL;
11252
11253     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
11254
11255     /* interpreter atexit processing */
11256     PL_exitlistlen      = proto_perl->Iexitlistlen;
11257     if (PL_exitlistlen) {
11258         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11259         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11260     }
11261     else
11262         PL_exitlist     = (PerlExitListEntry*)NULL;
11263
11264     PL_my_cxt_size = proto_perl->Imy_cxt_size;
11265     if (PL_my_cxt_size) {
11266         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
11267         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
11268 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11269         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
11270         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
11271 #endif
11272     }
11273     else {
11274         PL_my_cxt_list  = (void**)NULL;
11275 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11276         PL_my_cxt_keys  = (const char**)NULL;
11277 #endif
11278     }
11279     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
11280     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
11281     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
11282
11283     PL_profiledata      = NULL;
11284
11285     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
11286
11287     PAD_CLONE_VARS(proto_perl, param);
11288
11289 #ifdef HAVE_INTERP_INTERN
11290     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
11291 #endif
11292
11293     /* more statics moved here */
11294     PL_generation       = proto_perl->Igeneration;
11295     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
11296
11297     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
11298     PL_in_clean_all     = proto_perl->Iin_clean_all;
11299
11300     PL_uid              = proto_perl->Iuid;
11301     PL_euid             = proto_perl->Ieuid;
11302     PL_gid              = proto_perl->Igid;
11303     PL_egid             = proto_perl->Iegid;
11304     PL_nomemok          = proto_perl->Inomemok;
11305     PL_an               = proto_perl->Ian;
11306     PL_evalseq          = proto_perl->Ievalseq;
11307     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
11308     PL_origalen         = proto_perl->Iorigalen;
11309 #ifdef PERL_USES_PL_PIDSTATUS
11310     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
11311 #endif
11312     PL_osname           = SAVEPV(proto_perl->Iosname);
11313     PL_sighandlerp      = proto_perl->Isighandlerp;
11314
11315     PL_runops           = proto_perl->Irunops;
11316
11317     PL_parser           = parser_dup(proto_perl->Iparser, param);
11318
11319     PL_subline          = proto_perl->Isubline;
11320     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
11321
11322 #ifdef FCRYPT
11323     PL_cryptseen        = proto_perl->Icryptseen;
11324 #endif
11325
11326     PL_hints            = proto_perl->Ihints;
11327
11328     PL_amagic_generation        = proto_perl->Iamagic_generation;
11329
11330 #ifdef USE_LOCALE_COLLATE
11331     PL_collation_ix     = proto_perl->Icollation_ix;
11332     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
11333     PL_collation_standard       = proto_perl->Icollation_standard;
11334     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
11335     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
11336 #endif /* USE_LOCALE_COLLATE */
11337
11338 #ifdef USE_LOCALE_NUMERIC
11339     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
11340     PL_numeric_standard = proto_perl->Inumeric_standard;
11341     PL_numeric_local    = proto_perl->Inumeric_local;
11342     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
11343 #endif /* !USE_LOCALE_NUMERIC */
11344
11345     /* utf8 character classes */
11346     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
11347     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
11348     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
11349     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
11350     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
11351     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
11352     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
11353     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
11354     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
11355     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
11356     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
11357     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
11358     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
11359     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
11360     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
11361     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
11362     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
11363     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
11364     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
11365     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
11366
11367     /* Did the locale setup indicate UTF-8? */
11368     PL_utf8locale       = proto_perl->Iutf8locale;
11369     /* Unicode features (see perlrun/-C) */
11370     PL_unicode          = proto_perl->Iunicode;
11371
11372     /* Pre-5.8 signals control */
11373     PL_signals          = proto_perl->Isignals;
11374
11375     /* times() ticks per second */
11376     PL_clocktick        = proto_perl->Iclocktick;
11377
11378     /* Recursion stopper for PerlIO_find_layer */
11379     PL_in_load_module   = proto_perl->Iin_load_module;
11380
11381     /* sort() routine */
11382     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
11383
11384     /* Not really needed/useful since the reenrant_retint is "volatile",
11385      * but do it for consistency's sake. */
11386     PL_reentrant_retint = proto_perl->Ireentrant_retint;
11387
11388     /* Hooks to shared SVs and locks. */
11389     PL_sharehook        = proto_perl->Isharehook;
11390     PL_lockhook         = proto_perl->Ilockhook;
11391     PL_unlockhook       = proto_perl->Iunlockhook;
11392     PL_threadhook       = proto_perl->Ithreadhook;
11393     PL_destroyhook      = proto_perl->Idestroyhook;
11394
11395 #ifdef THREADS_HAVE_PIDS
11396     PL_ppid             = proto_perl->Ippid;
11397 #endif
11398
11399     /* swatch cache */
11400     PL_last_swash_hv    = NULL; /* reinits on demand */
11401     PL_last_swash_klen  = 0;
11402     PL_last_swash_key[0]= '\0';
11403     PL_last_swash_tmps  = (U8*)NULL;
11404     PL_last_swash_slen  = 0;
11405
11406     PL_glob_index       = proto_perl->Iglob_index;
11407     PL_srand_called     = proto_perl->Isrand_called;
11408     PL_bitcount         = NULL; /* reinits on demand */
11409
11410     if (proto_perl->Ipsig_pend) {
11411         Newxz(PL_psig_pend, SIG_SIZE, int);
11412     }
11413     else {
11414         PL_psig_pend    = (int*)NULL;
11415     }
11416
11417     if (proto_perl->Ipsig_ptr) {
11418         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
11419         Newxz(PL_psig_name, SIG_SIZE, SV*);
11420         for (i = 1; i < SIG_SIZE; i++) {
11421             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
11422             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
11423         }
11424     }
11425     else {
11426         PL_psig_ptr     = (SV**)NULL;
11427         PL_psig_name    = (SV**)NULL;
11428     }
11429
11430     /* intrpvar.h stuff */
11431
11432     if (flags & CLONEf_COPY_STACKS) {
11433         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
11434         PL_tmps_ix              = proto_perl->Itmps_ix;
11435         PL_tmps_max             = proto_perl->Itmps_max;
11436         PL_tmps_floor           = proto_perl->Itmps_floor;
11437         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
11438         i = 0;
11439         while (i <= PL_tmps_ix) {
11440             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Itmps_stack[i], param);
11441             ++i;
11442         }
11443
11444         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
11445         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
11446         Newxz(PL_markstack, i, I32);
11447         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
11448                                                   - proto_perl->Imarkstack);
11449         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
11450                                                   - proto_perl->Imarkstack);
11451         Copy(proto_perl->Imarkstack, PL_markstack,
11452              PL_markstack_ptr - PL_markstack + 1, I32);
11453
11454         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
11455          * NOTE: unlike the others! */
11456         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
11457         PL_scopestack_max       = proto_perl->Iscopestack_max;
11458         Newxz(PL_scopestack, PL_scopestack_max, I32);
11459         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
11460
11461         /* NOTE: si_dup() looks at PL_markstack */
11462         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
11463
11464         /* PL_curstack          = PL_curstackinfo->si_stack; */
11465         PL_curstack             = av_dup(proto_perl->Icurstack, param);
11466         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
11467
11468         /* next PUSHs() etc. set *(PL_stack_sp+1) */
11469         PL_stack_base           = AvARRAY(PL_curstack);
11470         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
11471                                                    - proto_perl->Istack_base);
11472         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
11473
11474         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
11475          * NOTE: unlike the others! */
11476         PL_savestack_ix         = proto_perl->Isavestack_ix;
11477         PL_savestack_max        = proto_perl->Isavestack_max;
11478         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
11479         PL_savestack            = ss_dup(proto_perl, param);
11480     }
11481     else {
11482         init_stacks();
11483         ENTER;                  /* perl_destruct() wants to LEAVE; */
11484
11485         /* although we're not duplicating the tmps stack, we should still
11486          * add entries for any SVs on the tmps stack that got cloned by a
11487          * non-refcount means (eg a temp in @_); otherwise they will be
11488          * orphaned
11489          */
11490         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
11491             SV * const nsv = (SV*)ptr_table_fetch(PL_ptr_table,
11492                     proto_perl->Itmps_stack[i]);
11493             if (nsv && !SvREFCNT(nsv)) {
11494                 EXTEND_MORTAL(1);
11495                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
11496             }
11497         }
11498     }
11499
11500     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
11501     PL_top_env          = &PL_start_env;
11502
11503     PL_op               = proto_perl->Iop;
11504
11505     PL_Sv               = NULL;
11506     PL_Xpv              = (XPV*)NULL;
11507     my_perl->Ina        = proto_perl->Ina;
11508
11509     PL_statbuf          = proto_perl->Istatbuf;
11510     PL_statcache        = proto_perl->Istatcache;
11511     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
11512     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
11513 #ifdef HAS_TIMES
11514     PL_timesbuf         = proto_perl->Itimesbuf;
11515 #endif
11516
11517     PL_tainted          = proto_perl->Itainted;
11518     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
11519     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
11520     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
11521     PL_ofs_sv           = sv_dup_inc(proto_perl->Iofs_sv, param);
11522     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
11523     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
11524     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
11525     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
11526     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
11527
11528     PL_restartop        = proto_perl->Irestartop;
11529     PL_in_eval          = proto_perl->Iin_eval;
11530     PL_delaymagic       = proto_perl->Idelaymagic;
11531     PL_dirty            = proto_perl->Idirty;
11532     PL_localizing       = proto_perl->Ilocalizing;
11533
11534     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
11535     PL_hv_fetch_ent_mh  = NULL;
11536     PL_modcount         = proto_perl->Imodcount;
11537     PL_lastgotoprobe    = NULL;
11538     PL_dumpindent       = proto_perl->Idumpindent;
11539
11540     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
11541     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
11542     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
11543     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
11544     PL_efloatbuf        = NULL;         /* reinits on demand */
11545     PL_efloatsize       = 0;                    /* reinits on demand */
11546
11547     /* regex stuff */
11548
11549     PL_screamfirst      = NULL;
11550     PL_screamnext       = NULL;
11551     PL_maxscream        = -1;                   /* reinits on demand */
11552     PL_lastscream       = NULL;
11553
11554
11555     PL_regdummy         = proto_perl->Iregdummy;
11556     PL_colorset         = 0;            /* reinits PL_colors[] */
11557     /*PL_colors[6]      = {0,0,0,0,0,0};*/
11558
11559
11560
11561     /* Pluggable optimizer */
11562     PL_peepp            = proto_perl->Ipeepp;
11563
11564     PL_stashcache       = newHV();
11565
11566     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
11567                                             proto_perl->Iwatchaddr);
11568     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
11569     if (PL_debug && PL_watchaddr) {
11570         PerlIO_printf(Perl_debug_log,
11571           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
11572           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
11573           PTR2UV(PL_watchok));
11574     }
11575
11576     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
11577         ptr_table_free(PL_ptr_table);
11578         PL_ptr_table = NULL;
11579     }
11580
11581     /* Call the ->CLONE method, if it exists, for each of the stashes
11582        identified by sv_dup() above.
11583     */
11584     while(av_len(param->stashes) != -1) {
11585         HV* const stash = (HV*) av_shift(param->stashes);
11586         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
11587         if (cloner && GvCV(cloner)) {
11588             dSP;
11589             ENTER;
11590             SAVETMPS;
11591             PUSHMARK(SP);
11592             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
11593             PUTBACK;
11594             call_sv((SV*)GvCV(cloner), G_DISCARD);
11595             FREETMPS;
11596             LEAVE;
11597         }
11598     }
11599
11600     SvREFCNT_dec(param->stashes);
11601
11602     /* orphaned? eg threads->new inside BEGIN or use */
11603     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11604         SvREFCNT_inc_simple_void(PL_compcv);
11605         SAVEFREESV(PL_compcv);
11606     }
11607
11608     return my_perl;
11609 }
11610
11611 #endif /* USE_ITHREADS */
11612
11613 /*
11614 =head1 Unicode Support
11615
11616 =for apidoc sv_recode_to_utf8
11617
11618 The encoding is assumed to be an Encode object, on entry the PV
11619 of the sv is assumed to be octets in that encoding, and the sv
11620 will be converted into Unicode (and UTF-8).
11621
11622 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11623 is not a reference, nothing is done to the sv.  If the encoding is not
11624 an C<Encode::XS> Encoding object, bad things will happen.
11625 (See F<lib/encoding.pm> and L<Encode>).
11626
11627 The PV of the sv is returned.
11628
11629 =cut */
11630
11631 char *
11632 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11633 {
11634     dVAR;
11635     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11636         SV *uni;
11637         STRLEN len;
11638         const char *s;
11639         dSP;
11640         ENTER;
11641         SAVETMPS;
11642         save_re_context();
11643         PUSHMARK(sp);
11644         EXTEND(SP, 3);
11645         XPUSHs(encoding);
11646         XPUSHs(sv);
11647 /*
11648   NI-S 2002/07/09
11649   Passing sv_yes is wrong - it needs to be or'ed set of constants
11650   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11651   remove converted chars from source.
11652
11653   Both will default the value - let them.
11654
11655         XPUSHs(&PL_sv_yes);
11656 */
11657         PUTBACK;
11658         call_method("decode", G_SCALAR);
11659         SPAGAIN;
11660         uni = POPs;
11661         PUTBACK;
11662         s = SvPV_const(uni, len);
11663         if (s != SvPVX_const(sv)) {
11664             SvGROW(sv, len + 1);
11665             Move(s, SvPVX(sv), len + 1, char);
11666             SvCUR_set(sv, len);
11667         }
11668         FREETMPS;
11669         LEAVE;
11670         SvUTF8_on(sv);
11671         return SvPVX(sv);
11672     }
11673     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11674 }
11675
11676 /*
11677 =for apidoc sv_cat_decode
11678
11679 The encoding is assumed to be an Encode object, the PV of the ssv is
11680 assumed to be octets in that encoding and decoding the input starts
11681 from the position which (PV + *offset) pointed to.  The dsv will be
11682 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11683 when the string tstr appears in decoding output or the input ends on
11684 the PV of the ssv. The value which the offset points will be modified
11685 to the last input position on the ssv.
11686
11687 Returns TRUE if the terminator was found, else returns FALSE.
11688
11689 =cut */
11690
11691 bool
11692 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11693                    SV *ssv, int *offset, char *tstr, int tlen)
11694 {
11695     dVAR;
11696     bool ret = FALSE;
11697     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11698         SV *offsv;
11699         dSP;
11700         ENTER;
11701         SAVETMPS;
11702         save_re_context();
11703         PUSHMARK(sp);
11704         EXTEND(SP, 6);
11705         XPUSHs(encoding);
11706         XPUSHs(dsv);
11707         XPUSHs(ssv);
11708         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11709         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11710         PUTBACK;
11711         call_method("cat_decode", G_SCALAR);
11712         SPAGAIN;
11713         ret = SvTRUE(TOPs);
11714         *offset = SvIV(offsv);
11715         PUTBACK;
11716         FREETMPS;
11717         LEAVE;
11718     }
11719     else
11720         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11721     return ret;
11722
11723 }
11724
11725 /* ---------------------------------------------------------------------
11726  *
11727  * support functions for report_uninit()
11728  */
11729
11730 /* the maxiumum size of array or hash where we will scan looking
11731  * for the undefined element that triggered the warning */
11732
11733 #define FUV_MAX_SEARCH_SIZE 1000
11734
11735 /* Look for an entry in the hash whose value has the same SV as val;
11736  * If so, return a mortal copy of the key. */
11737
11738 STATIC SV*
11739 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11740 {
11741     dVAR;
11742     register HE **array;
11743     I32 i;
11744
11745     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11746                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11747         return NULL;
11748
11749     array = HvARRAY(hv);
11750
11751     for (i=HvMAX(hv); i>0; i--) {
11752         register HE *entry;
11753         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11754             if (HeVAL(entry) != val)
11755                 continue;
11756             if (    HeVAL(entry) == &PL_sv_undef ||
11757                     HeVAL(entry) == &PL_sv_placeholder)
11758                 continue;
11759             if (!HeKEY(entry))
11760                 return NULL;
11761             if (HeKLEN(entry) == HEf_SVKEY)
11762                 return sv_mortalcopy(HeKEY_sv(entry));
11763             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11764         }
11765     }
11766     return NULL;
11767 }
11768
11769 /* Look for an entry in the array whose value has the same SV as val;
11770  * If so, return the index, otherwise return -1. */
11771
11772 STATIC I32
11773 S_find_array_subscript(pTHX_ AV *av, SV* val)
11774 {
11775     dVAR;
11776     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11777                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11778         return -1;
11779
11780     if (val != &PL_sv_undef) {
11781         SV ** const svp = AvARRAY(av);
11782         I32 i;
11783
11784         for (i=AvFILLp(av); i>=0; i--)
11785             if (svp[i] == val)
11786                 return i;
11787     }
11788     return -1;
11789 }
11790
11791 /* S_varname(): return the name of a variable, optionally with a subscript.
11792  * If gv is non-zero, use the name of that global, along with gvtype (one
11793  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11794  * targ.  Depending on the value of the subscript_type flag, return:
11795  */
11796
11797 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11798 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11799 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11800 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11801
11802 STATIC SV*
11803 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11804         SV* keyname, I32 aindex, int subscript_type)
11805 {
11806
11807     SV * const name = sv_newmortal();
11808     if (gv) {
11809         char buffer[2];
11810         buffer[0] = gvtype;
11811         buffer[1] = 0;
11812
11813         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11814
11815         gv_fullname4(name, gv, buffer, 0);
11816
11817         if ((unsigned int)SvPVX(name)[1] <= 26) {
11818             buffer[0] = '^';
11819             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11820
11821             /* Swap the 1 unprintable control character for the 2 byte pretty
11822                version - ie substr($name, 1, 1) = $buffer; */
11823             sv_insert(name, 1, 1, buffer, 2);
11824         }
11825     }
11826     else {
11827         CV * const cv = find_runcv(NULL);
11828         SV *sv;
11829         AV *av;
11830
11831         if (!cv || !CvPADLIST(cv))
11832             return NULL;
11833         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11834         sv = *av_fetch(av, targ, FALSE);
11835         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
11836     }
11837
11838     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11839         SV * const sv = newSV(0);
11840         *SvPVX(name) = '$';
11841         Perl_sv_catpvf(aTHX_ name, "{%s}",
11842             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11843         SvREFCNT_dec(sv);
11844     }
11845     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11846         *SvPVX(name) = '$';
11847         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11848     }
11849     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11850         Perl_sv_insert(aTHX_ name, 0, 0,  STR_WITH_LEN("within "));
11851
11852     return name;
11853 }
11854
11855
11856 /*
11857 =for apidoc find_uninit_var
11858
11859 Find the name of the undefined variable (if any) that caused the operator o
11860 to issue a "Use of uninitialized value" warning.
11861 If match is true, only return a name if it's value matches uninit_sv.
11862 So roughly speaking, if a unary operator (such as OP_COS) generates a
11863 warning, then following the direct child of the op may yield an
11864 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11865 other hand, with OP_ADD there are two branches to follow, so we only print
11866 the variable name if we get an exact match.
11867
11868 The name is returned as a mortal SV.
11869
11870 Assumes that PL_op is the op that originally triggered the error, and that
11871 PL_comppad/PL_curpad points to the currently executing pad.
11872
11873 =cut
11874 */
11875
11876 STATIC SV *
11877 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11878 {
11879     dVAR;
11880     SV *sv;
11881     AV *av;
11882     GV *gv;
11883     OP *o, *o2, *kid;
11884
11885     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11886                             uninit_sv == &PL_sv_placeholder)))
11887         return NULL;
11888
11889     switch (obase->op_type) {
11890
11891     case OP_RV2AV:
11892     case OP_RV2HV:
11893     case OP_PADAV:
11894     case OP_PADHV:
11895       {
11896         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11897         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11898         I32 index = 0;
11899         SV *keysv = NULL;
11900         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11901
11902         if (pad) { /* @lex, %lex */
11903             sv = PAD_SVl(obase->op_targ);
11904             gv = NULL;
11905         }
11906         else {
11907             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11908             /* @global, %global */
11909                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11910                 if (!gv)
11911                     break;
11912                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11913             }
11914             else /* @{expr}, %{expr} */
11915                 return find_uninit_var(cUNOPx(obase)->op_first,
11916                                                     uninit_sv, match);
11917         }
11918
11919         /* attempt to find a match within the aggregate */
11920         if (hash) {
11921             keysv = find_hash_subscript((HV*)sv, uninit_sv);
11922             if (keysv)
11923                 subscript_type = FUV_SUBSCRIPT_HASH;
11924         }
11925         else {
11926             index = find_array_subscript((AV*)sv, uninit_sv);
11927             if (index >= 0)
11928                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11929         }
11930
11931         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11932             break;
11933
11934         return varname(gv, hash ? '%' : '@', obase->op_targ,
11935                                     keysv, index, subscript_type);
11936       }
11937
11938     case OP_PADSV:
11939         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11940             break;
11941         return varname(NULL, '$', obase->op_targ,
11942                                     NULL, 0, FUV_SUBSCRIPT_NONE);
11943
11944     case OP_GVSV:
11945         gv = cGVOPx_gv(obase);
11946         if (!gv || (match && GvSV(gv) != uninit_sv))
11947             break;
11948         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
11949
11950     case OP_AELEMFAST:
11951         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11952             if (match) {
11953                 SV **svp;
11954                 av = (AV*)PAD_SV(obase->op_targ);
11955                 if (!av || SvRMAGICAL(av))
11956                     break;
11957                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11958                 if (!svp || *svp != uninit_sv)
11959                     break;
11960             }
11961             return varname(NULL, '$', obase->op_targ,
11962                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11963         }
11964         else {
11965             gv = cGVOPx_gv(obase);
11966             if (!gv)
11967                 break;
11968             if (match) {
11969                 SV **svp;
11970                 av = GvAV(gv);
11971                 if (!av || SvRMAGICAL(av))
11972                     break;
11973                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11974                 if (!svp || *svp != uninit_sv)
11975                     break;
11976             }
11977             return varname(gv, '$', 0,
11978                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11979         }
11980         break;
11981
11982     case OP_EXISTS:
11983         o = cUNOPx(obase)->op_first;
11984         if (!o || o->op_type != OP_NULL ||
11985                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
11986             break;
11987         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
11988
11989     case OP_AELEM:
11990     case OP_HELEM:
11991         if (PL_op == obase)
11992             /* $a[uninit_expr] or $h{uninit_expr} */
11993             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
11994
11995         gv = NULL;
11996         o = cBINOPx(obase)->op_first;
11997         kid = cBINOPx(obase)->op_last;
11998
11999         /* get the av or hv, and optionally the gv */
12000         sv = NULL;
12001         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
12002             sv = PAD_SV(o->op_targ);
12003         }
12004         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
12005                 && cUNOPo->op_first->op_type == OP_GV)
12006         {
12007             gv = cGVOPx_gv(cUNOPo->op_first);
12008             if (!gv)
12009                 break;
12010             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
12011         }
12012         if (!sv)
12013             break;
12014
12015         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
12016             /* index is constant */
12017             if (match) {
12018                 if (SvMAGICAL(sv))
12019                     break;
12020                 if (obase->op_type == OP_HELEM) {
12021                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
12022                     if (!he || HeVAL(he) != uninit_sv)
12023                         break;
12024                 }
12025                 else {
12026                     SV * const * const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
12027                     if (!svp || *svp != uninit_sv)
12028                         break;
12029                 }
12030             }
12031             if (obase->op_type == OP_HELEM)
12032                 return varname(gv, '%', o->op_targ,
12033                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
12034             else
12035                 return varname(gv, '@', o->op_targ, NULL,
12036                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
12037         }
12038         else  {
12039             /* index is an expression;
12040              * attempt to find a match within the aggregate */
12041             if (obase->op_type == OP_HELEM) {
12042                 SV * const keysv = find_hash_subscript((HV*)sv, uninit_sv);
12043                 if (keysv)
12044                     return varname(gv, '%', o->op_targ,
12045                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12046             }
12047             else {
12048                 const I32 index = find_array_subscript((AV*)sv, uninit_sv);
12049                 if (index >= 0)
12050                     return varname(gv, '@', o->op_targ,
12051                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12052             }
12053             if (match)
12054                 break;
12055             return varname(gv,
12056                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12057                 ? '@' : '%',
12058                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12059         }
12060         break;
12061
12062     case OP_AASSIGN:
12063         /* only examine RHS */
12064         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12065
12066     case OP_OPEN:
12067         o = cUNOPx(obase)->op_first;
12068         if (o->op_type == OP_PUSHMARK)
12069             o = o->op_sibling;
12070
12071         if (!o->op_sibling) {
12072             /* one-arg version of open is highly magical */
12073
12074             if (o->op_type == OP_GV) { /* open FOO; */
12075                 gv = cGVOPx_gv(o);
12076                 if (match && GvSV(gv) != uninit_sv)
12077                     break;
12078                 return varname(gv, '$', 0,
12079                             NULL, 0, FUV_SUBSCRIPT_NONE);
12080             }
12081             /* other possibilities not handled are:
12082              * open $x; or open my $x;  should return '${*$x}'
12083              * open expr;               should return '$'.expr ideally
12084              */
12085              break;
12086         }
12087         goto do_op;
12088
12089     /* ops where $_ may be an implicit arg */
12090     case OP_TRANS:
12091     case OP_SUBST:
12092     case OP_MATCH:
12093         if ( !(obase->op_flags & OPf_STACKED)) {
12094             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12095                                  ? PAD_SVl(obase->op_targ)
12096                                  : DEFSV))
12097             {
12098                 sv = sv_newmortal();
12099                 sv_setpvn(sv, "$_", 2);
12100                 return sv;
12101             }
12102         }
12103         goto do_op;
12104
12105     case OP_PRTF:
12106     case OP_PRINT:
12107     case OP_SAY:
12108         /* skip filehandle as it can't produce 'undef' warning  */
12109         o = cUNOPx(obase)->op_first;
12110         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
12111             o = o->op_sibling->op_sibling;
12112         goto do_op2;
12113
12114
12115     case OP_RV2SV:
12116     case OP_CUSTOM:
12117         match = 1; /* XS or custom code could trigger random warnings */
12118         goto do_op;
12119
12120     case OP_ENTERSUB:
12121     case OP_GOTO:
12122         /* XXX tmp hack: these two may call an XS sub, and currently
12123           XS subs don't have a SUB entry on the context stack, so CV and
12124           pad determination goes wrong, and BAD things happen. So, just
12125           don't try to determine the value under those circumstances.
12126           Need a better fix at dome point. DAPM 11/2007 */
12127         break;
12128
12129     case OP_POS:
12130         /* def-ness of rval pos() is independent of the def-ness of its arg */
12131         if ( !(obase->op_flags & OPf_MOD))
12132             break;
12133
12134     case OP_SCHOMP:
12135     case OP_CHOMP:
12136         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
12137             return sv_2mortal(newSVpvs("${$/}"));
12138         /*FALLTHROUGH*/
12139
12140     default:
12141     do_op:
12142         if (!(obase->op_flags & OPf_KIDS))
12143             break;
12144         o = cUNOPx(obase)->op_first;
12145         
12146     do_op2:
12147         if (!o)
12148             break;
12149
12150         /* if all except one arg are constant, or have no side-effects,
12151          * or are optimized away, then it's unambiguous */
12152         o2 = NULL;
12153         for (kid=o; kid; kid = kid->op_sibling) {
12154             if (kid) {
12155                 const OPCODE type = kid->op_type;
12156                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
12157                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
12158                   || (type == OP_PUSHMARK)
12159                 )
12160                 continue;
12161             }
12162             if (o2) { /* more than one found */
12163                 o2 = NULL;
12164                 break;
12165             }
12166             o2 = kid;
12167         }
12168         if (o2)
12169             return find_uninit_var(o2, uninit_sv, match);
12170
12171         /* scan all args */
12172         while (o) {
12173             sv = find_uninit_var(o, uninit_sv, 1);
12174             if (sv)
12175                 return sv;
12176             o = o->op_sibling;
12177         }
12178         break;
12179     }
12180     return NULL;
12181 }
12182
12183
12184 /*
12185 =for apidoc report_uninit
12186
12187 Print appropriate "Use of uninitialized variable" warning
12188
12189 =cut
12190 */
12191
12192 void
12193 Perl_report_uninit(pTHX_ SV* uninit_sv)
12194 {
12195     dVAR;
12196     if (PL_op) {
12197         SV* varname = NULL;
12198         if (uninit_sv) {
12199             varname = find_uninit_var(PL_op, uninit_sv,0);
12200             if (varname)
12201                 sv_insert(varname, 0, 0, " ", 1);
12202         }
12203         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12204                 varname ? SvPV_nolen_const(varname) : "",
12205                 " in ", OP_DESC(PL_op));
12206     }
12207     else
12208         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12209                     "", "", "");
12210 }
12211
12212 /*
12213  * Local variables:
12214  * c-indentation-style: bsd
12215  * c-basic-offset: 4
12216  * indent-tabs-mode: t
12217  * End:
12218  *
12219  * ex: set ts=8 sts=4 sw=4 noet:
12220  */