Update comments and documentation dealing with utf
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008 by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  */
10
11 /*
12  * 'I wonder what the Entish is for "yes" and "no",' he thought.
13  *                                                      --Pippin
14  *
15  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
16  */
17
18 /*
19  *
20  *
21  * This file contains the code that creates, manipulates and destroys
22  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
23  * structure of an SV, so their creation and destruction is handled
24  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
25  * level functions (eg. substr, split, join) for each of the types are
26  * in the pp*.c files.
27  */
28
29 #include "EXTERN.h"
30 #define PERL_IN_SV_C
31 #include "perl.h"
32 #include "regcomp.h"
33
34 #define FCALL *f
35
36 #ifdef __Lynx__
37 /* Missing proto on LynxOS */
38   char *gconvert(double, int, int,  char *);
39 #endif
40
41 #ifdef PERL_UTF8_CACHE_ASSERT
42 /* if adding more checks watch out for the following tests:
43  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
44  *   lib/utf8.t lib/Unicode/Collate/t/index.t
45  * --jhi
46  */
47 #   define ASSERT_UTF8_CACHE(cache) \
48     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
49                               assert((cache)[2] <= (cache)[3]); \
50                               assert((cache)[3] <= (cache)[1]);} \
51                               } STMT_END
52 #else
53 #   define ASSERT_UTF8_CACHE(cache) NOOP
54 #endif
55
56 #ifdef PERL_OLD_COPY_ON_WRITE
57 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
58 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
59 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
60    on-write.  */
61 #endif
62
63 /* ============================================================================
64
65 =head1 Allocation and deallocation of SVs.
66
67 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
68 sv, av, hv...) contains type and reference count information, and for
69 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
70 contains fields specific to each type.  Some types store all they need
71 in the head, so don't have a body.
72
73 In all but the most memory-paranoid configuations (ex: PURIFY), heads
74 and bodies are allocated out of arenas, which by default are
75 approximately 4K chunks of memory parcelled up into N heads or bodies.
76 Sv-bodies are allocated by their sv-type, guaranteeing size
77 consistency needed to allocate safely from arrays.
78
79 For SV-heads, the first slot in each arena is reserved, and holds a
80 link to the next arena, some flags, and a note of the number of slots.
81 Snaked through each arena chain is a linked list of free items; when
82 this becomes empty, an extra arena is allocated and divided up into N
83 items which are threaded into the free list.
84
85 SV-bodies are similar, but they use arena-sets by default, which
86 separate the link and info from the arena itself, and reclaim the 1st
87 slot in the arena.  SV-bodies are further described later.
88
89 The following global variables are associated with arenas:
90
91     PL_sv_arenaroot     pointer to list of SV arenas
92     PL_sv_root          pointer to list of free SV structures
93
94     PL_body_arenas      head of linked-list of body arenas
95     PL_body_roots[]     array of pointers to list of free bodies of svtype
96                         arrays are indexed by the svtype needed
97
98 A few special SV heads are not allocated from an arena, but are
99 instead directly created in the interpreter structure, eg PL_sv_undef.
100 The size of arenas can be changed from the default by setting
101 PERL_ARENA_SIZE appropriately at compile time.
102
103 The SV arena serves the secondary purpose of allowing still-live SVs
104 to be located and destroyed during final cleanup.
105
106 At the lowest level, the macros new_SV() and del_SV() grab and free
107 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
108 to return the SV to the free list with error checking.) new_SV() calls
109 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
110 SVs in the free list have their SvTYPE field set to all ones.
111
112 At the time of very final cleanup, sv_free_arenas() is called from
113 perl_destruct() to physically free all the arenas allocated since the
114 start of the interpreter.
115
116 The function visit() scans the SV arenas list, and calls a specified
117 function for each SV it finds which is still live - ie which has an SvTYPE
118 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
119 following functions (specified as [function that calls visit()] / [function
120 called by visit() for each SV]):
121
122     sv_report_used() / do_report_used()
123                         dump all remaining SVs (debugging aid)
124
125     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
126                         Attempt to free all objects pointed to by RVs,
127                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
128                         try to do the same for all objects indirectly
129                         referenced by typeglobs too.  Called once from
130                         perl_destruct(), prior to calling sv_clean_all()
131                         below.
132
133     sv_clean_all() / do_clean_all()
134                         SvREFCNT_dec(sv) each remaining SV, possibly
135                         triggering an sv_free(). It also sets the
136                         SVf_BREAK flag on the SV to indicate that the
137                         refcnt has been artificially lowered, and thus
138                         stopping sv_free() from giving spurious warnings
139                         about SVs which unexpectedly have a refcnt
140                         of zero.  called repeatedly from perl_destruct()
141                         until there are no SVs left.
142
143 =head2 Arena allocator API Summary
144
145 Private API to rest of sv.c
146
147     new_SV(),  del_SV(),
148
149     new_XIV(), del_XIV(),
150     new_XNV(), del_XNV(),
151     etc
152
153 Public API:
154
155     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
156
157 =cut
158
159 ============================================================================ */
160
161 /*
162  * "A time to plant, and a time to uproot what was planted..."
163  */
164
165 void
166 Perl_offer_nice_chunk(pTHX_ void *const chunk, const U32 chunk_size)
167 {
168     dVAR;
169     void *new_chunk;
170     U32 new_chunk_size;
171
172     PERL_ARGS_ASSERT_OFFER_NICE_CHUNK;
173
174     new_chunk = (void *)(chunk);
175     new_chunk_size = (chunk_size);
176     if (new_chunk_size > PL_nice_chunk_size) {
177         Safefree(PL_nice_chunk);
178         PL_nice_chunk = (char *) new_chunk;
179         PL_nice_chunk_size = new_chunk_size;
180     } else {
181         Safefree(chunk);
182     }
183 }
184
185 #ifdef PERL_MEM_LOG
186 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
187             Perl_mem_log_new_sv(sv, file, line, func)
188 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
189             Perl_mem_log_del_sv(sv, file, line, func)
190 #else
191 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
192 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
193 #endif
194
195 #ifdef DEBUG_LEAKING_SCALARS
196 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
197 #  define DEBUG_SV_SERIAL(sv)                                               \
198     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
199             PTR2UV(sv), (long)(sv)->sv_debug_serial))
200 #else
201 #  define FREE_SV_DEBUG_FILE(sv)
202 #  define DEBUG_SV_SERIAL(sv)   NOOP
203 #endif
204
205 #ifdef PERL_POISON
206 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
207 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
208 /* Whilst I'd love to do this, it seems that things like to check on
209    unreferenced scalars
210 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
211 */
212 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
213                                 PoisonNew(&SvREFCNT(sv), 1, U32)
214 #else
215 #  define SvARENA_CHAIN(sv)     SvANY(sv)
216 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
217 #  define POSION_SV_HEAD(sv)
218 #endif
219
220 /* Mark an SV head as unused, and add to free list.
221  *
222  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
223  * its refcount artificially decremented during global destruction, so
224  * there may be dangling pointers to it. The last thing we want in that
225  * case is for it to be reused. */
226
227 #define plant_SV(p) \
228     STMT_START {                                        \
229         const U32 old_flags = SvFLAGS(p);                       \
230         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
231         DEBUG_SV_SERIAL(p);                             \
232         FREE_SV_DEBUG_FILE(p);                          \
233         POSION_SV_HEAD(p);                              \
234         SvFLAGS(p) = SVTYPEMASK;                        \
235         if (!(old_flags & SVf_BREAK)) {         \
236             SvARENA_CHAIN_SET(p, PL_sv_root);   \
237             PL_sv_root = (p);                           \
238         }                                               \
239         --PL_sv_count;                                  \
240     } STMT_END
241
242 #define uproot_SV(p) \
243     STMT_START {                                        \
244         (p) = PL_sv_root;                               \
245         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
246         ++PL_sv_count;                                  \
247     } STMT_END
248
249
250 /* make some more SVs by adding another arena */
251
252 STATIC SV*
253 S_more_sv(pTHX)
254 {
255     dVAR;
256     SV* sv;
257
258     if (PL_nice_chunk) {
259         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
260         PL_nice_chunk = NULL;
261         PL_nice_chunk_size = 0;
262     }
263     else {
264         char *chunk;                /* must use New here to match call to */
265         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
266         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
267     }
268     uproot_SV(sv);
269     return sv;
270 }
271
272 /* new_SV(): return a new, empty SV head */
273
274 #ifdef DEBUG_LEAKING_SCALARS
275 /* provide a real function for a debugger to play with */
276 STATIC SV*
277 S_new_SV(pTHX_ const char *file, int line, const char *func)
278 {
279     SV* sv;
280
281     if (PL_sv_root)
282         uproot_SV(sv);
283     else
284         sv = S_more_sv(aTHX);
285     SvANY(sv) = 0;
286     SvREFCNT(sv) = 1;
287     SvFLAGS(sv) = 0;
288     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
289     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
290                 ? PL_parser->copline
291                 :  PL_curcop
292                     ? CopLINE(PL_curcop)
293                     : 0
294             );
295     sv->sv_debug_inpad = 0;
296     sv->sv_debug_cloned = 0;
297     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
298
299     sv->sv_debug_serial = PL_sv_serial++;
300
301     MEM_LOG_NEW_SV(sv, file, line, func);
302     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
303             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
304
305     return sv;
306 }
307 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
308
309 #else
310 #  define new_SV(p) \
311     STMT_START {                                        \
312         if (PL_sv_root)                                 \
313             uproot_SV(p);                               \
314         else                                            \
315             (p) = S_more_sv(aTHX);                      \
316         SvANY(p) = 0;                                   \
317         SvREFCNT(p) = 1;                                \
318         SvFLAGS(p) = 0;                                 \
319         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
320     } STMT_END
321 #endif
322
323
324 /* del_SV(): return an empty SV head to the free list */
325
326 #ifdef DEBUGGING
327
328 #define del_SV(p) \
329     STMT_START {                                        \
330         if (DEBUG_D_TEST)                               \
331             del_sv(p);                                  \
332         else                                            \
333             plant_SV(p);                                \
334     } STMT_END
335
336 STATIC void
337 S_del_sv(pTHX_ SV *p)
338 {
339     dVAR;
340
341     PERL_ARGS_ASSERT_DEL_SV;
342
343     if (DEBUG_D_TEST) {
344         SV* sva;
345         bool ok = 0;
346         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
347             const SV * const sv = sva + 1;
348             const SV * const svend = &sva[SvREFCNT(sva)];
349             if (p >= sv && p < svend) {
350                 ok = 1;
351                 break;
352             }
353         }
354         if (!ok) {
355             if (ckWARN_d(WARN_INTERNAL))        
356                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
357                             "Attempt to free non-arena SV: 0x%"UVxf
358                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
359             return;
360         }
361     }
362     plant_SV(p);
363 }
364
365 #else /* ! DEBUGGING */
366
367 #define del_SV(p)   plant_SV(p)
368
369 #endif /* DEBUGGING */
370
371
372 /*
373 =head1 SV Manipulation Functions
374
375 =for apidoc sv_add_arena
376
377 Given a chunk of memory, link it to the head of the list of arenas,
378 and split it into a list of free SVs.
379
380 =cut
381 */
382
383 static void
384 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
385 {
386     dVAR;
387     SV *const sva = MUTABLE_SV(ptr);
388     register SV* sv;
389     register SV* svend;
390
391     PERL_ARGS_ASSERT_SV_ADD_ARENA;
392
393     /* The first SV in an arena isn't an SV. */
394     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
395     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
396     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
397
398     PL_sv_arenaroot = sva;
399     PL_sv_root = sva + 1;
400
401     svend = &sva[SvREFCNT(sva) - 1];
402     sv = sva + 1;
403     while (sv < svend) {
404         SvARENA_CHAIN_SET(sv, (sv + 1));
405 #ifdef DEBUGGING
406         SvREFCNT(sv) = 0;
407 #endif
408         /* Must always set typemask because it's always checked in on cleanup
409            when the arenas are walked looking for objects.  */
410         SvFLAGS(sv) = SVTYPEMASK;
411         sv++;
412     }
413     SvARENA_CHAIN_SET(sv, 0);
414 #ifdef DEBUGGING
415     SvREFCNT(sv) = 0;
416 #endif
417     SvFLAGS(sv) = SVTYPEMASK;
418 }
419
420 /* visit(): call the named function for each non-free SV in the arenas
421  * whose flags field matches the flags/mask args. */
422
423 STATIC I32
424 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
425 {
426     dVAR;
427     SV* sva;
428     I32 visited = 0;
429
430     PERL_ARGS_ASSERT_VISIT;
431
432     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
433         register const SV * const svend = &sva[SvREFCNT(sva)];
434         register SV* sv;
435         for (sv = sva + 1; sv < svend; ++sv) {
436             if (SvTYPE(sv) != SVTYPEMASK
437                     && (sv->sv_flags & mask) == flags
438                     && SvREFCNT(sv))
439             {
440                 (FCALL)(aTHX_ sv);
441                 ++visited;
442             }
443         }
444     }
445     return visited;
446 }
447
448 #ifdef DEBUGGING
449
450 /* called by sv_report_used() for each live SV */
451
452 static void
453 do_report_used(pTHX_ SV *const sv)
454 {
455     if (SvTYPE(sv) != SVTYPEMASK) {
456         PerlIO_printf(Perl_debug_log, "****\n");
457         sv_dump(sv);
458     }
459 }
460 #endif
461
462 /*
463 =for apidoc sv_report_used
464
465 Dump the contents of all SVs not yet freed. (Debugging aid).
466
467 =cut
468 */
469
470 void
471 Perl_sv_report_used(pTHX)
472 {
473 #ifdef DEBUGGING
474     visit(do_report_used, 0, 0);
475 #else
476     PERL_UNUSED_CONTEXT;
477 #endif
478 }
479
480 /* called by sv_clean_objs() for each live SV */
481
482 static void
483 do_clean_objs(pTHX_ SV *const ref)
484 {
485     dVAR;
486     assert (SvROK(ref));
487     {
488         SV * const target = SvRV(ref);
489         if (SvOBJECT(target)) {
490             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
491             if (SvWEAKREF(ref)) {
492                 sv_del_backref(target, ref);
493                 SvWEAKREF_off(ref);
494                 SvRV_set(ref, NULL);
495             } else {
496                 SvROK_off(ref);
497                 SvRV_set(ref, NULL);
498                 SvREFCNT_dec(target);
499             }
500         }
501     }
502
503     /* XXX Might want to check arrays, etc. */
504 }
505
506 /* called by sv_clean_objs() for each live SV */
507
508 #ifndef DISABLE_DESTRUCTOR_KLUDGE
509 static void
510 do_clean_named_objs(pTHX_ SV *const sv)
511 {
512     dVAR;
513     assert(SvTYPE(sv) == SVt_PVGV);
514     assert(isGV_with_GP(sv));
515     if (GvGP(sv)) {
516         if ((
517 #ifdef PERL_DONT_CREATE_GVSV
518              GvSV(sv) &&
519 #endif
520              SvOBJECT(GvSV(sv))) ||
521              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
522              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
523              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
524              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
525              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
526         {
527             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
528             SvFLAGS(sv) |= SVf_BREAK;
529             SvREFCNT_dec(sv);
530         }
531     }
532 }
533 #endif
534
535 /*
536 =for apidoc sv_clean_objs
537
538 Attempt to destroy all objects not yet freed
539
540 =cut
541 */
542
543 void
544 Perl_sv_clean_objs(pTHX)
545 {
546     dVAR;
547     PL_in_clean_objs = TRUE;
548     visit(do_clean_objs, SVf_ROK, SVf_ROK);
549 #ifndef DISABLE_DESTRUCTOR_KLUDGE
550     /* some barnacles may yet remain, clinging to typeglobs */
551     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
552 #endif
553     PL_in_clean_objs = FALSE;
554 }
555
556 /* called by sv_clean_all() for each live SV */
557
558 static void
559 do_clean_all(pTHX_ SV *const sv)
560 {
561     dVAR;
562     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
563         /* don't clean pid table and strtab */
564         return;
565     }
566     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
567     SvFLAGS(sv) |= SVf_BREAK;
568     SvREFCNT_dec(sv);
569 }
570
571 /*
572 =for apidoc sv_clean_all
573
574 Decrement the refcnt of each remaining SV, possibly triggering a
575 cleanup. This function may have to be called multiple times to free
576 SVs which are in complex self-referential hierarchies.
577
578 =cut
579 */
580
581 I32
582 Perl_sv_clean_all(pTHX)
583 {
584     dVAR;
585     I32 cleaned;
586     PL_in_clean_all = TRUE;
587     cleaned = visit(do_clean_all, 0,0);
588     PL_in_clean_all = FALSE;
589     return cleaned;
590 }
591
592 /*
593   ARENASETS: a meta-arena implementation which separates arena-info
594   into struct arena_set, which contains an array of struct
595   arena_descs, each holding info for a single arena.  By separating
596   the meta-info from the arena, we recover the 1st slot, formerly
597   borrowed for list management.  The arena_set is about the size of an
598   arena, avoiding the needless malloc overhead of a naive linked-list.
599
600   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
601   memory in the last arena-set (1/2 on average).  In trade, we get
602   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
603   smaller types).  The recovery of the wasted space allows use of
604   small arenas for large, rare body types, by changing array* fields
605   in body_details_by_type[] below.
606 */
607 struct arena_desc {
608     char       *arena;          /* the raw storage, allocated aligned */
609     size_t      size;           /* its size ~4k typ */
610     U32         misc;           /* type, and in future other things. */
611 };
612
613 struct arena_set;
614
615 /* Get the maximum number of elements in set[] such that struct arena_set
616    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
617    therefore likely to be 1 aligned memory page.  */
618
619 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
620                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
621
622 struct arena_set {
623     struct arena_set* next;
624     unsigned int   set_size;    /* ie ARENAS_PER_SET */
625     unsigned int   curr;        /* index of next available arena-desc */
626     struct arena_desc set[ARENAS_PER_SET];
627 };
628
629 /*
630 =for apidoc sv_free_arenas
631
632 Deallocate the memory used by all arenas. Note that all the individual SV
633 heads and bodies within the arenas must already have been freed.
634
635 =cut
636 */
637 void
638 Perl_sv_free_arenas(pTHX)
639 {
640     dVAR;
641     SV* sva;
642     SV* svanext;
643     unsigned int i;
644
645     /* Free arenas here, but be careful about fake ones.  (We assume
646        contiguity of the fake ones with the corresponding real ones.) */
647
648     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
649         svanext = MUTABLE_SV(SvANY(sva));
650         while (svanext && SvFAKE(svanext))
651             svanext = MUTABLE_SV(SvANY(svanext));
652
653         if (!SvFAKE(sva))
654             Safefree(sva);
655     }
656
657     {
658         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
659
660         while (aroot) {
661             struct arena_set *current = aroot;
662             i = aroot->curr;
663             while (i--) {
664                 assert(aroot->set[i].arena);
665                 Safefree(aroot->set[i].arena);
666             }
667             aroot = aroot->next;
668             Safefree(current);
669         }
670     }
671     PL_body_arenas = 0;
672
673     i = PERL_ARENA_ROOTS_SIZE;
674     while (i--)
675         PL_body_roots[i] = 0;
676
677     Safefree(PL_nice_chunk);
678     PL_nice_chunk = NULL;
679     PL_nice_chunk_size = 0;
680     PL_sv_arenaroot = 0;
681     PL_sv_root = 0;
682 }
683
684 /*
685   Here are mid-level routines that manage the allocation of bodies out
686   of the various arenas.  There are 5 kinds of arenas:
687
688   1. SV-head arenas, which are discussed and handled above
689   2. regular body arenas
690   3. arenas for reduced-size bodies
691   4. Hash-Entry arenas
692   5. pte arenas (thread related)
693
694   Arena types 2 & 3 are chained by body-type off an array of
695   arena-root pointers, which is indexed by svtype.  Some of the
696   larger/less used body types are malloced singly, since a large
697   unused block of them is wasteful.  Also, several svtypes dont have
698   bodies; the data fits into the sv-head itself.  The arena-root
699   pointer thus has a few unused root-pointers (which may be hijacked
700   later for arena types 4,5)
701
702   3 differs from 2 as an optimization; some body types have several
703   unused fields in the front of the structure (which are kept in-place
704   for consistency).  These bodies can be allocated in smaller chunks,
705   because the leading fields arent accessed.  Pointers to such bodies
706   are decremented to point at the unused 'ghost' memory, knowing that
707   the pointers are used with offsets to the real memory.
708
709   HE, HEK arenas are managed separately, with separate code, but may
710   be merge-able later..
711
712   PTE arenas are not sv-bodies, but they share these mid-level
713   mechanics, so are considered here.  The new mid-level mechanics rely
714   on the sv_type of the body being allocated, so we just reserve one
715   of the unused body-slots for PTEs, then use it in those (2) PTE
716   contexts below (line ~10k)
717 */
718
719 /* get_arena(size): this creates custom-sized arenas
720    TBD: export properly for hv.c: S_more_he().
721 */
722 void*
723 Perl_get_arena(pTHX_ const size_t arena_size, const U32 misc)
724 {
725     dVAR;
726     struct arena_desc* adesc;
727     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
728     unsigned int curr;
729
730     /* shouldnt need this
731     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
732     */
733
734     /* may need new arena-set to hold new arena */
735     if (!aroot || aroot->curr >= aroot->set_size) {
736         struct arena_set *newroot;
737         Newxz(newroot, 1, struct arena_set);
738         newroot->set_size = ARENAS_PER_SET;
739         newroot->next = aroot;
740         aroot = newroot;
741         PL_body_arenas = (void *) newroot;
742         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
743     }
744
745     /* ok, now have arena-set with at least 1 empty/available arena-desc */
746     curr = aroot->curr++;
747     adesc = &(aroot->set[curr]);
748     assert(!adesc->arena);
749     
750     Newx(adesc->arena, arena_size, char);
751     adesc->size = arena_size;
752     adesc->misc = misc;
753     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
754                           curr, (void*)adesc->arena, (UV)arena_size));
755
756     return adesc->arena;
757 }
758
759
760 /* return a thing to the free list */
761
762 #define del_body(thing, root)                   \
763     STMT_START {                                \
764         void ** const thing_copy = (void **)thing;\
765         *thing_copy = *root;                    \
766         *root = (void*)thing_copy;              \
767     } STMT_END
768
769 /* 
770
771 =head1 SV-Body Allocation
772
773 Allocation of SV-bodies is similar to SV-heads, differing as follows;
774 the allocation mechanism is used for many body types, so is somewhat
775 more complicated, it uses arena-sets, and has no need for still-live
776 SV detection.
777
778 At the outermost level, (new|del)_X*V macros return bodies of the
779 appropriate type.  These macros call either (new|del)_body_type or
780 (new|del)_body_allocated macro pairs, depending on specifics of the
781 type.  Most body types use the former pair, the latter pair is used to
782 allocate body types with "ghost fields".
783
784 "ghost fields" are fields that are unused in certain types, and
785 consequently dont need to actually exist.  They are declared because
786 they're part of a "base type", which allows use of functions as
787 methods.  The simplest examples are AVs and HVs, 2 aggregate types
788 which don't use the fields which support SCALAR semantics.
789
790 For these types, the arenas are carved up into *_allocated size
791 chunks, we thus avoid wasted memory for those unaccessed members.
792 When bodies are allocated, we adjust the pointer back in memory by the
793 size of the bit not allocated, so it's as if we allocated the full
794 structure.  (But things will all go boom if you write to the part that
795 is "not there", because you'll be overwriting the last members of the
796 preceding structure in memory.)
797
798 We calculate the correction using the STRUCT_OFFSET macro. For
799 example, if xpv_allocated is the same structure as XPV then the two
800 OFFSETs sum to zero, and the pointer is unchanged. If the allocated
801 structure is smaller (no initial NV actually allocated) then the net
802 effect is to subtract the size of the NV from the pointer, to return a
803 new pointer as if an initial NV were actually allocated.
804
805 This is the same trick as was used for NV and IV bodies. Ironically it
806 doesn't need to be used for NV bodies any more, because NV is now at
807 the start of the structure. IV bodies don't need it either, because
808 they are no longer allocated.
809
810 In turn, the new_body_* allocators call S_new_body(), which invokes
811 new_body_inline macro, which takes a lock, and takes a body off the
812 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
813 necessary to refresh an empty list.  Then the lock is released, and
814 the body is returned.
815
816 S_more_bodies calls get_arena(), and carves it up into an array of N
817 bodies, which it strings into a linked list.  It looks up arena-size
818 and body-size from the body_details table described below, thus
819 supporting the multiple body-types.
820
821 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
822 the (new|del)_X*V macros are mapped directly to malloc/free.
823
824 */
825
826 /* 
827
828 For each sv-type, struct body_details bodies_by_type[] carries
829 parameters which control these aspects of SV handling:
830
831 Arena_size determines whether arenas are used for this body type, and if
832 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
833 zero, forcing individual mallocs and frees.
834
835 Body_size determines how big a body is, and therefore how many fit into
836 each arena.  Offset carries the body-pointer adjustment needed for
837 *_allocated body types, and is used in *_allocated macros.
838
839 But its main purpose is to parameterize info needed in
840 Perl_sv_upgrade().  The info here dramatically simplifies the function
841 vs the implementation in 5.8.7, making it table-driven.  All fields
842 are used for this, except for arena_size.
843
844 For the sv-types that have no bodies, arenas are not used, so those
845 PL_body_roots[sv_type] are unused, and can be overloaded.  In
846 something of a special case, SVt_NULL is borrowed for HE arenas;
847 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
848 bodies_by_type[SVt_NULL] slot is not used, as the table is not
849 available in hv.c.
850
851 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
852 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
853 just use the same allocation semantics.  At first, PTEs were also
854 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
855 bugs, so was simplified by claiming a new slot.  This choice has no
856 consequence at this time.
857
858 */
859
860 struct body_details {
861     U8 body_size;       /* Size to allocate  */
862     U8 copy;            /* Size of structure to copy (may be shorter)  */
863     U8 offset;
864     unsigned int type : 4;          /* We have space for a sanity check.  */
865     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
866     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
867     unsigned int arena : 1;         /* Allocated from an arena */
868     size_t arena_size;              /* Size of arena to allocate */
869 };
870
871 #define HADNV FALSE
872 #define NONV TRUE
873
874
875 #ifdef PURIFY
876 /* With -DPURFIY we allocate everything directly, and don't use arenas.
877    This seems a rather elegant way to simplify some of the code below.  */
878 #define HASARENA FALSE
879 #else
880 #define HASARENA TRUE
881 #endif
882 #define NOARENA FALSE
883
884 /* Size the arenas to exactly fit a given number of bodies.  A count
885    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
886    simplifying the default.  If count > 0, the arena is sized to fit
887    only that many bodies, allowing arenas to be used for large, rare
888    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
889    limited by PERL_ARENA_SIZE, so we can safely oversize the
890    declarations.
891  */
892 #define FIT_ARENA0(body_size)                           \
893     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
894 #define FIT_ARENAn(count,body_size)                     \
895     ( count * body_size <= PERL_ARENA_SIZE)             \
896     ? count * body_size                                 \
897     : FIT_ARENA0 (body_size)
898 #define FIT_ARENA(count,body_size)                      \
899     count                                               \
900     ? FIT_ARENAn (count, body_size)                     \
901     : FIT_ARENA0 (body_size)
902
903 /* A macro to work out the offset needed to subtract from a pointer to (say)
904
905 typedef struct {
906     STRLEN      xpv_cur;
907     STRLEN      xpv_len;
908 } xpv_allocated;
909
910 to make its members accessible via a pointer to (say)
911
912 struct xpv {
913     NV          xnv_nv;
914     STRLEN      xpv_cur;
915     STRLEN      xpv_len;
916 };
917
918 */
919
920 #define relative_STRUCT_OFFSET(longer, shorter, member) \
921     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
922
923 /* Calculate the length to copy. Specifically work out the length less any
924    final padding the compiler needed to add.  See the comment in sv_upgrade
925    for why copying the padding proved to be a bug.  */
926
927 #define copy_length(type, last_member) \
928         STRUCT_OFFSET(type, last_member) \
929         + sizeof (((type*)SvANY((const SV *)0))->last_member)
930
931 static const struct body_details bodies_by_type[] = {
932     { sizeof(HE), 0, 0, SVt_NULL,
933       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
934
935     /* The bind placeholder pretends to be an RV for now.
936        Also it's marked as "can't upgrade" to stop anyone using it before it's
937        implemented.  */
938     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
939
940     /* IVs are in the head, so the allocation size is 0.
941        However, the slot is overloaded for PTEs.  */
942     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
943       sizeof(IV), /* This is used to copy out the IV body.  */
944       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
945       NOARENA /* IVS don't need an arena  */,
946       /* But PTEs need to know the size of their arena  */
947       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
948     },
949
950     /* 8 bytes on most ILP32 with IEEE doubles */
951     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
952       FIT_ARENA(0, sizeof(NV)) },
953
954     /* 8 bytes on most ILP32 with IEEE doubles */
955     { sizeof(xpv_allocated),
956       copy_length(XPV, xpv_len)
957       - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
958       + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
959       SVt_PV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpv_allocated)) },
960
961     /* 12 */
962     { sizeof(xpviv_allocated),
963       copy_length(XPVIV, xiv_u)
964       - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
965       + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
966       SVt_PVIV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpviv_allocated)) },
967
968     /* 20 */
969     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
970       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
971
972     /* 28 */
973     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
974       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
975
976     /* something big */
977     { sizeof(struct regexp_allocated), sizeof(struct regexp_allocated),
978       + relative_STRUCT_OFFSET(struct regexp_allocated, regexp, xpv_cur),
979       SVt_REGEXP, FALSE, NONV, HASARENA,
980       FIT_ARENA(0, sizeof(struct regexp_allocated))
981     },
982
983     /* 48 */
984     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
985       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
986     
987     /* 64 */
988     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
989       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
990
991     { sizeof(xpvav_allocated),
992       copy_length(XPVAV, xmg_stash)
993       - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
994       + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
995       SVt_PVAV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvav_allocated)) },
996
997     { sizeof(xpvhv_allocated),
998       copy_length(XPVHV, xmg_stash)
999       - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
1000       + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
1001       SVt_PVHV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvhv_allocated)) },
1002
1003     /* 56 */
1004     { sizeof(xpvcv_allocated), sizeof(xpvcv_allocated),
1005       + relative_STRUCT_OFFSET(xpvcv_allocated, XPVCV, xpv_cur),
1006       SVt_PVCV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvcv_allocated)) },
1007
1008     { sizeof(xpvfm_allocated), sizeof(xpvfm_allocated),
1009       + relative_STRUCT_OFFSET(xpvfm_allocated, XPVFM, xpv_cur),
1010       SVt_PVFM, TRUE, NONV, NOARENA, FIT_ARENA(20, sizeof(xpvfm_allocated)) },
1011
1012     /* XPVIO is 84 bytes, fits 48x */
1013     { sizeof(xpvio_allocated), sizeof(xpvio_allocated),
1014       + relative_STRUCT_OFFSET(xpvio_allocated, XPVIO, xpv_cur),
1015       SVt_PVIO, TRUE, NONV, HASARENA, FIT_ARENA(24, sizeof(xpvio_allocated)) },
1016 };
1017
1018 #define new_body_type(sv_type)          \
1019     (void *)((char *)S_new_body(aTHX_ sv_type))
1020
1021 #define del_body_type(p, sv_type)       \
1022     del_body(p, &PL_body_roots[sv_type])
1023
1024
1025 #define new_body_allocated(sv_type)             \
1026     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1027              - bodies_by_type[sv_type].offset)
1028
1029 #define del_body_allocated(p, sv_type)          \
1030     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
1031
1032
1033 #define my_safemalloc(s)        (void*)safemalloc(s)
1034 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
1035 #define my_safefree(p)  safefree((char*)p)
1036
1037 #ifdef PURIFY
1038
1039 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
1040 #define del_XNV(p)      my_safefree(p)
1041
1042 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
1043 #define del_XPVNV(p)    my_safefree(p)
1044
1045 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
1046 #define del_XPVAV(p)    my_safefree(p)
1047
1048 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
1049 #define del_XPVHV(p)    my_safefree(p)
1050
1051 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
1052 #define del_XPVMG(p)    my_safefree(p)
1053
1054 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
1055 #define del_XPVGV(p)    my_safefree(p)
1056
1057 #else /* !PURIFY */
1058
1059 #define new_XNV()       new_body_type(SVt_NV)
1060 #define del_XNV(p)      del_body_type(p, SVt_NV)
1061
1062 #define new_XPVNV()     new_body_type(SVt_PVNV)
1063 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1064
1065 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1066 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1067
1068 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1069 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1070
1071 #define new_XPVMG()     new_body_type(SVt_PVMG)
1072 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1073
1074 #define new_XPVGV()     new_body_type(SVt_PVGV)
1075 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1076
1077 #endif /* PURIFY */
1078
1079 /* no arena for you! */
1080
1081 #define new_NOARENA(details) \
1082         my_safemalloc((details)->body_size + (details)->offset)
1083 #define new_NOARENAZ(details) \
1084         my_safecalloc((details)->body_size + (details)->offset)
1085
1086 STATIC void *
1087 S_more_bodies (pTHX_ const svtype sv_type)
1088 {
1089     dVAR;
1090     void ** const root = &PL_body_roots[sv_type];
1091     const struct body_details * const bdp = &bodies_by_type[sv_type];
1092     const size_t body_size = bdp->body_size;
1093     char *start;
1094     const char *end;
1095     const size_t arena_size = Perl_malloc_good_size(bdp->arena_size);
1096 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1097     static bool done_sanity_check;
1098
1099     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1100      * variables like done_sanity_check. */
1101     if (!done_sanity_check) {
1102         unsigned int i = SVt_LAST;
1103
1104         done_sanity_check = TRUE;
1105
1106         while (i--)
1107             assert (bodies_by_type[i].type == i);
1108     }
1109 #endif
1110
1111     assert(bdp->arena_size);
1112
1113     start = (char*) Perl_get_arena(aTHX_ arena_size, sv_type);
1114
1115     end = start + arena_size - 2 * body_size;
1116
1117     /* computed count doesnt reflect the 1st slot reservation */
1118 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1119     DEBUG_m(PerlIO_printf(Perl_debug_log,
1120                           "arena %p end %p arena-size %d (from %d) type %d "
1121                           "size %d ct %d\n",
1122                           (void*)start, (void*)end, (int)arena_size,
1123                           (int)bdp->arena_size, sv_type, (int)body_size,
1124                           (int)arena_size / (int)body_size));
1125 #else
1126     DEBUG_m(PerlIO_printf(Perl_debug_log,
1127                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1128                           (void*)start, (void*)end,
1129                           (int)bdp->arena_size, sv_type, (int)body_size,
1130                           (int)bdp->arena_size / (int)body_size));
1131 #endif
1132     *root = (void *)start;
1133
1134     while (start <= end) {
1135         char * const next = start + body_size;
1136         *(void**) start = (void *)next;
1137         start = next;
1138     }
1139     *(void **)start = 0;
1140
1141     return *root;
1142 }
1143
1144 /* grab a new thing from the free list, allocating more if necessary.
1145    The inline version is used for speed in hot routines, and the
1146    function using it serves the rest (unless PURIFY).
1147 */
1148 #define new_body_inline(xpv, sv_type) \
1149     STMT_START { \
1150         void ** const r3wt = &PL_body_roots[sv_type]; \
1151         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1152           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1153         *(r3wt) = *(void**)(xpv); \
1154     } STMT_END
1155
1156 #ifndef PURIFY
1157
1158 STATIC void *
1159 S_new_body(pTHX_ const svtype sv_type)
1160 {
1161     dVAR;
1162     void *xpv;
1163     new_body_inline(xpv, sv_type);
1164     return xpv;
1165 }
1166
1167 #endif
1168
1169 static const struct body_details fake_rv =
1170     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1171
1172 /*
1173 =for apidoc sv_upgrade
1174
1175 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1176 SV, then copies across as much information as possible from the old body.
1177 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1178
1179 =cut
1180 */
1181
1182 void
1183 Perl_sv_upgrade(pTHX_ register SV *const sv, svtype new_type)
1184 {
1185     dVAR;
1186     void*       old_body;
1187     void*       new_body;
1188     const svtype old_type = SvTYPE(sv);
1189     const struct body_details *new_type_details;
1190     const struct body_details *old_type_details
1191         = bodies_by_type + old_type;
1192     SV *referant = NULL;
1193
1194     PERL_ARGS_ASSERT_SV_UPGRADE;
1195
1196     if (new_type != SVt_PV && SvIsCOW(sv)) {
1197         sv_force_normal_flags(sv, 0);
1198     }
1199
1200     if (old_type == new_type)
1201         return;
1202
1203     old_body = SvANY(sv);
1204
1205     /* Copying structures onto other structures that have been neatly zeroed
1206        has a subtle gotcha. Consider XPVMG
1207
1208        +------+------+------+------+------+-------+-------+
1209        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1210        +------+------+------+------+------+-------+-------+
1211        0      4      8     12     16     20      24      28
1212
1213        where NVs are aligned to 8 bytes, so that sizeof that structure is
1214        actually 32 bytes long, with 4 bytes of padding at the end:
1215
1216        +------+------+------+------+------+-------+-------+------+
1217        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1218        +------+------+------+------+------+-------+-------+------+
1219        0      4      8     12     16     20      24      28     32
1220
1221        so what happens if you allocate memory for this structure:
1222
1223        +------+------+------+------+------+-------+-------+------+------+...
1224        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1225        +------+------+------+------+------+-------+-------+------+------+...
1226        0      4      8     12     16     20      24      28     32     36
1227
1228        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1229        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1230        started out as zero once, but it's quite possible that it isn't. So now,
1231        rather than a nicely zeroed GP, you have it pointing somewhere random.
1232        Bugs ensue.
1233
1234        (In fact, GP ends up pointing at a previous GP structure, because the
1235        principle cause of the padding in XPVMG getting garbage is a copy of
1236        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1237        this happens to be moot because XPVGV has been re-ordered, with GP
1238        no longer after STASH)
1239
1240        So we are careful and work out the size of used parts of all the
1241        structures.  */
1242
1243     switch (old_type) {
1244     case SVt_NULL:
1245         break;
1246     case SVt_IV:
1247         if (SvROK(sv)) {
1248             referant = SvRV(sv);
1249             old_type_details = &fake_rv;
1250             if (new_type == SVt_NV)
1251                 new_type = SVt_PVNV;
1252         } else {
1253             if (new_type < SVt_PVIV) {
1254                 new_type = (new_type == SVt_NV)
1255                     ? SVt_PVNV : SVt_PVIV;
1256             }
1257         }
1258         break;
1259     case SVt_NV:
1260         if (new_type < SVt_PVNV) {
1261             new_type = SVt_PVNV;
1262         }
1263         break;
1264     case SVt_PV:
1265         assert(new_type > SVt_PV);
1266         assert(SVt_IV < SVt_PV);
1267         assert(SVt_NV < SVt_PV);
1268         break;
1269     case SVt_PVIV:
1270         break;
1271     case SVt_PVNV:
1272         break;
1273     case SVt_PVMG:
1274         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1275            there's no way that it can be safely upgraded, because perl.c
1276            expects to Safefree(SvANY(PL_mess_sv))  */
1277         assert(sv != PL_mess_sv);
1278         /* This flag bit is used to mean other things in other scalar types.
1279            Given that it only has meaning inside the pad, it shouldn't be set
1280            on anything that can get upgraded.  */
1281         assert(!SvPAD_TYPED(sv));
1282         break;
1283     default:
1284         if (old_type_details->cant_upgrade)
1285             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1286                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1287     }
1288
1289     if (old_type > new_type)
1290         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1291                 (int)old_type, (int)new_type);
1292
1293     new_type_details = bodies_by_type + new_type;
1294
1295     SvFLAGS(sv) &= ~SVTYPEMASK;
1296     SvFLAGS(sv) |= new_type;
1297
1298     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1299        the return statements above will have triggered.  */
1300     assert (new_type != SVt_NULL);
1301     switch (new_type) {
1302     case SVt_IV:
1303         assert(old_type == SVt_NULL);
1304         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1305         SvIV_set(sv, 0);
1306         return;
1307     case SVt_NV:
1308         assert(old_type == SVt_NULL);
1309         SvANY(sv) = new_XNV();
1310         SvNV_set(sv, 0);
1311         return;
1312     case SVt_PVHV:
1313     case SVt_PVAV:
1314         assert(new_type_details->body_size);
1315
1316 #ifndef PURIFY  
1317         assert(new_type_details->arena);
1318         assert(new_type_details->arena_size);
1319         /* This points to the start of the allocated area.  */
1320         new_body_inline(new_body, new_type);
1321         Zero(new_body, new_type_details->body_size, char);
1322         new_body = ((char *)new_body) - new_type_details->offset;
1323 #else
1324         /* We always allocated the full length item with PURIFY. To do this
1325            we fake things so that arena is false for all 16 types..  */
1326         new_body = new_NOARENAZ(new_type_details);
1327 #endif
1328         SvANY(sv) = new_body;
1329         if (new_type == SVt_PVAV) {
1330             AvMAX(sv)   = -1;
1331             AvFILLp(sv) = -1;
1332             AvREAL_only(sv);
1333             if (old_type_details->body_size) {
1334                 AvALLOC(sv) = 0;
1335             } else {
1336                 /* It will have been zeroed when the new body was allocated.
1337                    Lets not write to it, in case it confuses a write-back
1338                    cache.  */
1339             }
1340         } else {
1341             assert(!SvOK(sv));
1342             SvOK_off(sv);
1343 #ifndef NODEFAULT_SHAREKEYS
1344             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1345 #endif
1346             HvMAX(sv) = 7; /* (start with 8 buckets) */
1347             if (old_type_details->body_size) {
1348                 HvFILL(sv) = 0;
1349             } else {
1350                 /* It will have been zeroed when the new body was allocated.
1351                    Lets not write to it, in case it confuses a write-back
1352                    cache.  */
1353             }
1354         }
1355
1356         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1357            The target created by newSVrv also is, and it can have magic.
1358            However, it never has SvPVX set.
1359         */
1360         if (old_type == SVt_IV) {
1361             assert(!SvROK(sv));
1362         } else if (old_type >= SVt_PV) {
1363             assert(SvPVX_const(sv) == 0);
1364         }
1365
1366         if (old_type >= SVt_PVMG) {
1367             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1368             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1369         } else {
1370             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1371         }
1372         break;
1373
1374
1375     case SVt_PVIV:
1376         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1377            no route from NV to PVIV, NOK can never be true  */
1378         assert(!SvNOKp(sv));
1379         assert(!SvNOK(sv));
1380     case SVt_PVIO:
1381     case SVt_PVFM:
1382     case SVt_PVGV:
1383     case SVt_PVCV:
1384     case SVt_PVLV:
1385     case SVt_REGEXP:
1386     case SVt_PVMG:
1387     case SVt_PVNV:
1388     case SVt_PV:
1389
1390         assert(new_type_details->body_size);
1391         /* We always allocated the full length item with PURIFY. To do this
1392            we fake things so that arena is false for all 16 types..  */
1393         if(new_type_details->arena) {
1394             /* This points to the start of the allocated area.  */
1395             new_body_inline(new_body, new_type);
1396             Zero(new_body, new_type_details->body_size, char);
1397             new_body = ((char *)new_body) - new_type_details->offset;
1398         } else {
1399             new_body = new_NOARENAZ(new_type_details);
1400         }
1401         SvANY(sv) = new_body;
1402
1403         if (old_type_details->copy) {
1404             /* There is now the potential for an upgrade from something without
1405                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1406             int offset = old_type_details->offset;
1407             int length = old_type_details->copy;
1408
1409             if (new_type_details->offset > old_type_details->offset) {
1410                 const int difference
1411                     = new_type_details->offset - old_type_details->offset;
1412                 offset += difference;
1413                 length -= difference;
1414             }
1415             assert (length >= 0);
1416                 
1417             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1418                  char);
1419         }
1420
1421 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1422         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1423          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1424          * NV slot, but the new one does, then we need to initialise the
1425          * freshly created NV slot with whatever the correct bit pattern is
1426          * for 0.0  */
1427         if (old_type_details->zero_nv && !new_type_details->zero_nv
1428             && !isGV_with_GP(sv))
1429             SvNV_set(sv, 0);
1430 #endif
1431
1432         if (new_type == SVt_PVIO)
1433             IoPAGE_LEN(sv) = 60;
1434         if (old_type < SVt_PV) {
1435             /* referant will be NULL unless the old type was SVt_IV emulating
1436                SVt_RV */
1437             sv->sv_u.svu_rv = referant;
1438         }
1439         break;
1440     default:
1441         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1442                    (unsigned long)new_type);
1443     }
1444
1445     if (old_type_details->arena) {
1446         /* If there was an old body, then we need to free it.
1447            Note that there is an assumption that all bodies of types that
1448            can be upgraded came from arenas. Only the more complex non-
1449            upgradable types are allowed to be directly malloc()ed.  */
1450 #ifdef PURIFY
1451         my_safefree(old_body);
1452 #else
1453         del_body((void*)((char*)old_body + old_type_details->offset),
1454                  &PL_body_roots[old_type]);
1455 #endif
1456     }
1457 }
1458
1459 /*
1460 =for apidoc sv_backoff
1461
1462 Remove any string offset. You should normally use the C<SvOOK_off> macro
1463 wrapper instead.
1464
1465 =cut
1466 */
1467
1468 int
1469 Perl_sv_backoff(pTHX_ register SV *const sv)
1470 {
1471     STRLEN delta;
1472     const char * const s = SvPVX_const(sv);
1473
1474     PERL_ARGS_ASSERT_SV_BACKOFF;
1475     PERL_UNUSED_CONTEXT;
1476
1477     assert(SvOOK(sv));
1478     assert(SvTYPE(sv) != SVt_PVHV);
1479     assert(SvTYPE(sv) != SVt_PVAV);
1480
1481     SvOOK_offset(sv, delta);
1482     
1483     SvLEN_set(sv, SvLEN(sv) + delta);
1484     SvPV_set(sv, SvPVX(sv) - delta);
1485     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1486     SvFLAGS(sv) &= ~SVf_OOK;
1487     return 0;
1488 }
1489
1490 /*
1491 =for apidoc sv_grow
1492
1493 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1494 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1495 Use the C<SvGROW> wrapper instead.
1496
1497 =cut
1498 */
1499
1500 char *
1501 Perl_sv_grow(pTHX_ register SV *const sv, register STRLEN newlen)
1502 {
1503     register char *s;
1504
1505     PERL_ARGS_ASSERT_SV_GROW;
1506
1507     if (PL_madskills && newlen >= 0x100000) {
1508         PerlIO_printf(Perl_debug_log,
1509                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1510     }
1511 #ifdef HAS_64K_LIMIT
1512     if (newlen >= 0x10000) {
1513         PerlIO_printf(Perl_debug_log,
1514                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1515         my_exit(1);
1516     }
1517 #endif /* HAS_64K_LIMIT */
1518     if (SvROK(sv))
1519         sv_unref(sv);
1520     if (SvTYPE(sv) < SVt_PV) {
1521         sv_upgrade(sv, SVt_PV);
1522         s = SvPVX_mutable(sv);
1523     }
1524     else if (SvOOK(sv)) {       /* pv is offset? */
1525         sv_backoff(sv);
1526         s = SvPVX_mutable(sv);
1527         if (newlen > SvLEN(sv))
1528             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1529 #ifdef HAS_64K_LIMIT
1530         if (newlen >= 0x10000)
1531             newlen = 0xFFFF;
1532 #endif
1533     }
1534     else
1535         s = SvPVX_mutable(sv);
1536
1537     if (newlen > SvLEN(sv)) {           /* need more room? */
1538 #ifndef Perl_safesysmalloc_size
1539         newlen = PERL_STRLEN_ROUNDUP(newlen);
1540 #endif
1541         if (SvLEN(sv) && s) {
1542             s = (char*)saferealloc(s, newlen);
1543         }
1544         else {
1545             s = (char*)safemalloc(newlen);
1546             if (SvPVX_const(sv) && SvCUR(sv)) {
1547                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1548             }
1549         }
1550         SvPV_set(sv, s);
1551 #ifdef Perl_safesysmalloc_size
1552         /* Do this here, do it once, do it right, and then we will never get
1553            called back into sv_grow() unless there really is some growing
1554            needed.  */
1555         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1556 #else
1557         SvLEN_set(sv, newlen);
1558 #endif
1559     }
1560     return s;
1561 }
1562
1563 /*
1564 =for apidoc sv_setiv
1565
1566 Copies an integer into the given SV, upgrading first if necessary.
1567 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1568
1569 =cut
1570 */
1571
1572 void
1573 Perl_sv_setiv(pTHX_ register SV *const sv, const IV i)
1574 {
1575     dVAR;
1576
1577     PERL_ARGS_ASSERT_SV_SETIV;
1578
1579     SV_CHECK_THINKFIRST_COW_DROP(sv);
1580     switch (SvTYPE(sv)) {
1581     case SVt_NULL:
1582     case SVt_NV:
1583         sv_upgrade(sv, SVt_IV);
1584         break;
1585     case SVt_PV:
1586         sv_upgrade(sv, SVt_PVIV);
1587         break;
1588
1589     case SVt_PVGV:
1590         if (!isGV_with_GP(sv))
1591             break;
1592     case SVt_PVAV:
1593     case SVt_PVHV:
1594     case SVt_PVCV:
1595     case SVt_PVFM:
1596     case SVt_PVIO:
1597         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1598                    OP_DESC(PL_op));
1599     default: NOOP;
1600     }
1601     (void)SvIOK_only(sv);                       /* validate number */
1602     SvIV_set(sv, i);
1603     SvTAINT(sv);
1604 }
1605
1606 /*
1607 =for apidoc sv_setiv_mg
1608
1609 Like C<sv_setiv>, but also handles 'set' magic.
1610
1611 =cut
1612 */
1613
1614 void
1615 Perl_sv_setiv_mg(pTHX_ register SV *const sv, const IV i)
1616 {
1617     PERL_ARGS_ASSERT_SV_SETIV_MG;
1618
1619     sv_setiv(sv,i);
1620     SvSETMAGIC(sv);
1621 }
1622
1623 /*
1624 =for apidoc sv_setuv
1625
1626 Copies an unsigned integer into the given SV, upgrading first if necessary.
1627 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1628
1629 =cut
1630 */
1631
1632 void
1633 Perl_sv_setuv(pTHX_ register SV *const sv, const UV u)
1634 {
1635     PERL_ARGS_ASSERT_SV_SETUV;
1636
1637     /* With these two if statements:
1638        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1639
1640        without
1641        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1642
1643        If you wish to remove them, please benchmark to see what the effect is
1644     */
1645     if (u <= (UV)IV_MAX) {
1646        sv_setiv(sv, (IV)u);
1647        return;
1648     }
1649     sv_setiv(sv, 0);
1650     SvIsUV_on(sv);
1651     SvUV_set(sv, u);
1652 }
1653
1654 /*
1655 =for apidoc sv_setuv_mg
1656
1657 Like C<sv_setuv>, but also handles 'set' magic.
1658
1659 =cut
1660 */
1661
1662 void
1663 Perl_sv_setuv_mg(pTHX_ register SV *const sv, const UV u)
1664 {
1665     PERL_ARGS_ASSERT_SV_SETUV_MG;
1666
1667     sv_setuv(sv,u);
1668     SvSETMAGIC(sv);
1669 }
1670
1671 /*
1672 =for apidoc sv_setnv
1673
1674 Copies a double into the given SV, upgrading first if necessary.
1675 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1676
1677 =cut
1678 */
1679
1680 void
1681 Perl_sv_setnv(pTHX_ register SV *const sv, const NV num)
1682 {
1683     dVAR;
1684
1685     PERL_ARGS_ASSERT_SV_SETNV;
1686
1687     SV_CHECK_THINKFIRST_COW_DROP(sv);
1688     switch (SvTYPE(sv)) {
1689     case SVt_NULL:
1690     case SVt_IV:
1691         sv_upgrade(sv, SVt_NV);
1692         break;
1693     case SVt_PV:
1694     case SVt_PVIV:
1695         sv_upgrade(sv, SVt_PVNV);
1696         break;
1697
1698     case SVt_PVGV:
1699         if (!isGV_with_GP(sv))
1700             break;
1701     case SVt_PVAV:
1702     case SVt_PVHV:
1703     case SVt_PVCV:
1704     case SVt_PVFM:
1705     case SVt_PVIO:
1706         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1707                    OP_NAME(PL_op));
1708     default: NOOP;
1709     }
1710     SvNV_set(sv, num);
1711     (void)SvNOK_only(sv);                       /* validate number */
1712     SvTAINT(sv);
1713 }
1714
1715 /*
1716 =for apidoc sv_setnv_mg
1717
1718 Like C<sv_setnv>, but also handles 'set' magic.
1719
1720 =cut
1721 */
1722
1723 void
1724 Perl_sv_setnv_mg(pTHX_ register SV *const sv, const NV num)
1725 {
1726     PERL_ARGS_ASSERT_SV_SETNV_MG;
1727
1728     sv_setnv(sv,num);
1729     SvSETMAGIC(sv);
1730 }
1731
1732 /* Print an "isn't numeric" warning, using a cleaned-up,
1733  * printable version of the offending string
1734  */
1735
1736 STATIC void
1737 S_not_a_number(pTHX_ SV *const sv)
1738 {
1739      dVAR;
1740      SV *dsv;
1741      char tmpbuf[64];
1742      const char *pv;
1743
1744      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1745
1746      if (DO_UTF8(sv)) {
1747           dsv = newSVpvs_flags("", SVs_TEMP);
1748           pv = sv_uni_display(dsv, sv, 10, 0);
1749      } else {
1750           char *d = tmpbuf;
1751           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1752           /* each *s can expand to 4 chars + "...\0",
1753              i.e. need room for 8 chars */
1754         
1755           const char *s = SvPVX_const(sv);
1756           const char * const end = s + SvCUR(sv);
1757           for ( ; s < end && d < limit; s++ ) {
1758                int ch = *s & 0xFF;
1759                if (ch & 128 && !isPRINT_LC(ch)) {
1760                     *d++ = 'M';
1761                     *d++ = '-';
1762                     ch &= 127;
1763                }
1764                if (ch == '\n') {
1765                     *d++ = '\\';
1766                     *d++ = 'n';
1767                }
1768                else if (ch == '\r') {
1769                     *d++ = '\\';
1770                     *d++ = 'r';
1771                }
1772                else if (ch == '\f') {
1773                     *d++ = '\\';
1774                     *d++ = 'f';
1775                }
1776                else if (ch == '\\') {
1777                     *d++ = '\\';
1778                     *d++ = '\\';
1779                }
1780                else if (ch == '\0') {
1781                     *d++ = '\\';
1782                     *d++ = '0';
1783                }
1784                else if (isPRINT_LC(ch))
1785                     *d++ = ch;
1786                else {
1787                     *d++ = '^';
1788                     *d++ = toCTRL(ch);
1789                }
1790           }
1791           if (s < end) {
1792                *d++ = '.';
1793                *d++ = '.';
1794                *d++ = '.';
1795           }
1796           *d = '\0';
1797           pv = tmpbuf;
1798     }
1799
1800     if (PL_op)
1801         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1802                     "Argument \"%s\" isn't numeric in %s", pv,
1803                     OP_DESC(PL_op));
1804     else
1805         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1806                     "Argument \"%s\" isn't numeric", pv);
1807 }
1808
1809 /*
1810 =for apidoc looks_like_number
1811
1812 Test if the content of an SV looks like a number (or is a number).
1813 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1814 non-numeric warning), even if your atof() doesn't grok them.
1815
1816 =cut
1817 */
1818
1819 I32
1820 Perl_looks_like_number(pTHX_ SV *const sv)
1821 {
1822     register const char *sbegin;
1823     STRLEN len;
1824
1825     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1826
1827     if (SvPOK(sv)) {
1828         sbegin = SvPVX_const(sv);
1829         len = SvCUR(sv);
1830     }
1831     else if (SvPOKp(sv))
1832         sbegin = SvPV_const(sv, len);
1833     else
1834         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1835     return grok_number(sbegin, len, NULL);
1836 }
1837
1838 STATIC bool
1839 S_glob_2number(pTHX_ GV * const gv)
1840 {
1841     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1842     SV *const buffer = sv_newmortal();
1843
1844     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1845
1846     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1847        is on.  */
1848     SvFAKE_off(gv);
1849     gv_efullname3(buffer, gv, "*");
1850     SvFLAGS(gv) |= wasfake;
1851
1852     /* We know that all GVs stringify to something that is not-a-number,
1853         so no need to test that.  */
1854     if (ckWARN(WARN_NUMERIC))
1855         not_a_number(buffer);
1856     /* We just want something true to return, so that S_sv_2iuv_common
1857         can tail call us and return true.  */
1858     return TRUE;
1859 }
1860
1861 STATIC char *
1862 S_glob_2pv(pTHX_ GV * const gv, STRLEN * const len)
1863 {
1864     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1865     SV *const buffer = sv_newmortal();
1866
1867     PERL_ARGS_ASSERT_GLOB_2PV;
1868
1869     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1870        is on.  */
1871     SvFAKE_off(gv);
1872     gv_efullname3(buffer, gv, "*");
1873     SvFLAGS(gv) |= wasfake;
1874
1875     assert(SvPOK(buffer));
1876     if (len) {
1877         *len = SvCUR(buffer);
1878     }
1879     return SvPVX(buffer);
1880 }
1881
1882 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1883    until proven guilty, assume that things are not that bad... */
1884
1885 /*
1886    NV_PRESERVES_UV:
1887
1888    As 64 bit platforms often have an NV that doesn't preserve all bits of
1889    an IV (an assumption perl has been based on to date) it becomes necessary
1890    to remove the assumption that the NV always carries enough precision to
1891    recreate the IV whenever needed, and that the NV is the canonical form.
1892    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1893    precision as a side effect of conversion (which would lead to insanity
1894    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1895    1) to distinguish between IV/UV/NV slots that have cached a valid
1896       conversion where precision was lost and IV/UV/NV slots that have a
1897       valid conversion which has lost no precision
1898    2) to ensure that if a numeric conversion to one form is requested that
1899       would lose precision, the precise conversion (or differently
1900       imprecise conversion) is also performed and cached, to prevent
1901       requests for different numeric formats on the same SV causing
1902       lossy conversion chains. (lossless conversion chains are perfectly
1903       acceptable (still))
1904
1905
1906    flags are used:
1907    SvIOKp is true if the IV slot contains a valid value
1908    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1909    SvNOKp is true if the NV slot contains a valid value
1910    SvNOK  is true only if the NV value is accurate
1911
1912    so
1913    while converting from PV to NV, check to see if converting that NV to an
1914    IV(or UV) would lose accuracy over a direct conversion from PV to
1915    IV(or UV). If it would, cache both conversions, return NV, but mark
1916    SV as IOK NOKp (ie not NOK).
1917
1918    While converting from PV to IV, check to see if converting that IV to an
1919    NV would lose accuracy over a direct conversion from PV to NV. If it
1920    would, cache both conversions, flag similarly.
1921
1922    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1923    correctly because if IV & NV were set NV *always* overruled.
1924    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1925    changes - now IV and NV together means that the two are interchangeable:
1926    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1927
1928    The benefit of this is that operations such as pp_add know that if
1929    SvIOK is true for both left and right operands, then integer addition
1930    can be used instead of floating point (for cases where the result won't
1931    overflow). Before, floating point was always used, which could lead to
1932    loss of precision compared with integer addition.
1933
1934    * making IV and NV equal status should make maths accurate on 64 bit
1935      platforms
1936    * may speed up maths somewhat if pp_add and friends start to use
1937      integers when possible instead of fp. (Hopefully the overhead in
1938      looking for SvIOK and checking for overflow will not outweigh the
1939      fp to integer speedup)
1940    * will slow down integer operations (callers of SvIV) on "inaccurate"
1941      values, as the change from SvIOK to SvIOKp will cause a call into
1942      sv_2iv each time rather than a macro access direct to the IV slot
1943    * should speed up number->string conversion on integers as IV is
1944      favoured when IV and NV are equally accurate
1945
1946    ####################################################################
1947    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1948    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1949    On the other hand, SvUOK is true iff UV.
1950    ####################################################################
1951
1952    Your mileage will vary depending your CPU's relative fp to integer
1953    performance ratio.
1954 */
1955
1956 #ifndef NV_PRESERVES_UV
1957 #  define IS_NUMBER_UNDERFLOW_IV 1
1958 #  define IS_NUMBER_UNDERFLOW_UV 2
1959 #  define IS_NUMBER_IV_AND_UV    2
1960 #  define IS_NUMBER_OVERFLOW_IV  4
1961 #  define IS_NUMBER_OVERFLOW_UV  5
1962
1963 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1964
1965 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1966 STATIC int
1967 S_sv_2iuv_non_preserve(pTHX_ register SV *const sv
1968 #  ifdef DEBUGGING
1969                        , I32 numtype
1970 #  endif
1971                        )
1972 {
1973     dVAR;
1974
1975     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1976
1977     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1978     if (SvNVX(sv) < (NV)IV_MIN) {
1979         (void)SvIOKp_on(sv);
1980         (void)SvNOK_on(sv);
1981         SvIV_set(sv, IV_MIN);
1982         return IS_NUMBER_UNDERFLOW_IV;
1983     }
1984     if (SvNVX(sv) > (NV)UV_MAX) {
1985         (void)SvIOKp_on(sv);
1986         (void)SvNOK_on(sv);
1987         SvIsUV_on(sv);
1988         SvUV_set(sv, UV_MAX);
1989         return IS_NUMBER_OVERFLOW_UV;
1990     }
1991     (void)SvIOKp_on(sv);
1992     (void)SvNOK_on(sv);
1993     /* Can't use strtol etc to convert this string.  (See truth table in
1994        sv_2iv  */
1995     if (SvNVX(sv) <= (UV)IV_MAX) {
1996         SvIV_set(sv, I_V(SvNVX(sv)));
1997         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1998             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1999         } else {
2000             /* Integer is imprecise. NOK, IOKp */
2001         }
2002         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2003     }
2004     SvIsUV_on(sv);
2005     SvUV_set(sv, U_V(SvNVX(sv)));
2006     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2007         if (SvUVX(sv) == UV_MAX) {
2008             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2009                possibly be preserved by NV. Hence, it must be overflow.
2010                NOK, IOKp */
2011             return IS_NUMBER_OVERFLOW_UV;
2012         }
2013         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2014     } else {
2015         /* Integer is imprecise. NOK, IOKp */
2016     }
2017     return IS_NUMBER_OVERFLOW_IV;
2018 }
2019 #endif /* !NV_PRESERVES_UV*/
2020
2021 STATIC bool
2022 S_sv_2iuv_common(pTHX_ SV *const sv)
2023 {
2024     dVAR;
2025
2026     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2027
2028     if (SvNOKp(sv)) {
2029         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2030          * without also getting a cached IV/UV from it at the same time
2031          * (ie PV->NV conversion should detect loss of accuracy and cache
2032          * IV or UV at same time to avoid this. */
2033         /* IV-over-UV optimisation - choose to cache IV if possible */
2034
2035         if (SvTYPE(sv) == SVt_NV)
2036             sv_upgrade(sv, SVt_PVNV);
2037
2038         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2039         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2040            certainly cast into the IV range at IV_MAX, whereas the correct
2041            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2042            cases go to UV */
2043 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2044         if (Perl_isnan(SvNVX(sv))) {
2045             SvUV_set(sv, 0);
2046             SvIsUV_on(sv);
2047             return FALSE;
2048         }
2049 #endif
2050         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2051             SvIV_set(sv, I_V(SvNVX(sv)));
2052             if (SvNVX(sv) == (NV) SvIVX(sv)
2053 #ifndef NV_PRESERVES_UV
2054                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2055                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2056                 /* Don't flag it as "accurately an integer" if the number
2057                    came from a (by definition imprecise) NV operation, and
2058                    we're outside the range of NV integer precision */
2059 #endif
2060                 ) {
2061                 if (SvNOK(sv))
2062                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2063                 else {
2064                     /* scalar has trailing garbage, eg "42a" */
2065                 }
2066                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2067                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2068                                       PTR2UV(sv),
2069                                       SvNVX(sv),
2070                                       SvIVX(sv)));
2071
2072             } else {
2073                 /* IV not precise.  No need to convert from PV, as NV
2074                    conversion would already have cached IV if it detected
2075                    that PV->IV would be better than PV->NV->IV
2076                    flags already correct - don't set public IOK.  */
2077                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2078                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2079                                       PTR2UV(sv),
2080                                       SvNVX(sv),
2081                                       SvIVX(sv)));
2082             }
2083             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2084                but the cast (NV)IV_MIN rounds to a the value less (more
2085                negative) than IV_MIN which happens to be equal to SvNVX ??
2086                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2087                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2088                (NV)UVX == NVX are both true, but the values differ. :-(
2089                Hopefully for 2s complement IV_MIN is something like
2090                0x8000000000000000 which will be exact. NWC */
2091         }
2092         else {
2093             SvUV_set(sv, U_V(SvNVX(sv)));
2094             if (
2095                 (SvNVX(sv) == (NV) SvUVX(sv))
2096 #ifndef  NV_PRESERVES_UV
2097                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2098                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2099                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2100                 /* Don't flag it as "accurately an integer" if the number
2101                    came from a (by definition imprecise) NV operation, and
2102                    we're outside the range of NV integer precision */
2103 #endif
2104                 && SvNOK(sv)
2105                 )
2106                 SvIOK_on(sv);
2107             SvIsUV_on(sv);
2108             DEBUG_c(PerlIO_printf(Perl_debug_log,
2109                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2110                                   PTR2UV(sv),
2111                                   SvUVX(sv),
2112                                   SvUVX(sv)));
2113         }
2114     }
2115     else if (SvPOKp(sv) && SvLEN(sv)) {
2116         UV value;
2117         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2118         /* We want to avoid a possible problem when we cache an IV/ a UV which
2119            may be later translated to an NV, and the resulting NV is not
2120            the same as the direct translation of the initial string
2121            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2122            be careful to ensure that the value with the .456 is around if the
2123            NV value is requested in the future).
2124         
2125            This means that if we cache such an IV/a UV, we need to cache the
2126            NV as well.  Moreover, we trade speed for space, and do not
2127            cache the NV if we are sure it's not needed.
2128          */
2129
2130         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2131         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2132              == IS_NUMBER_IN_UV) {
2133             /* It's definitely an integer, only upgrade to PVIV */
2134             if (SvTYPE(sv) < SVt_PVIV)
2135                 sv_upgrade(sv, SVt_PVIV);
2136             (void)SvIOK_on(sv);
2137         } else if (SvTYPE(sv) < SVt_PVNV)
2138             sv_upgrade(sv, SVt_PVNV);
2139
2140         /* If NVs preserve UVs then we only use the UV value if we know that
2141            we aren't going to call atof() below. If NVs don't preserve UVs
2142            then the value returned may have more precision than atof() will
2143            return, even though value isn't perfectly accurate.  */
2144         if ((numtype & (IS_NUMBER_IN_UV
2145 #ifdef NV_PRESERVES_UV
2146                         | IS_NUMBER_NOT_INT
2147 #endif
2148             )) == IS_NUMBER_IN_UV) {
2149             /* This won't turn off the public IOK flag if it was set above  */
2150             (void)SvIOKp_on(sv);
2151
2152             if (!(numtype & IS_NUMBER_NEG)) {
2153                 /* positive */;
2154                 if (value <= (UV)IV_MAX) {
2155                     SvIV_set(sv, (IV)value);
2156                 } else {
2157                     /* it didn't overflow, and it was positive. */
2158                     SvUV_set(sv, value);
2159                     SvIsUV_on(sv);
2160                 }
2161             } else {
2162                 /* 2s complement assumption  */
2163                 if (value <= (UV)IV_MIN) {
2164                     SvIV_set(sv, -(IV)value);
2165                 } else {
2166                     /* Too negative for an IV.  This is a double upgrade, but
2167                        I'm assuming it will be rare.  */
2168                     if (SvTYPE(sv) < SVt_PVNV)
2169                         sv_upgrade(sv, SVt_PVNV);
2170                     SvNOK_on(sv);
2171                     SvIOK_off(sv);
2172                     SvIOKp_on(sv);
2173                     SvNV_set(sv, -(NV)value);
2174                     SvIV_set(sv, IV_MIN);
2175                 }
2176             }
2177         }
2178         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2179            will be in the previous block to set the IV slot, and the next
2180            block to set the NV slot.  So no else here.  */
2181         
2182         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2183             != IS_NUMBER_IN_UV) {
2184             /* It wasn't an (integer that doesn't overflow the UV). */
2185             SvNV_set(sv, Atof(SvPVX_const(sv)));
2186
2187             if (! numtype && ckWARN(WARN_NUMERIC))
2188                 not_a_number(sv);
2189
2190 #if defined(USE_LONG_DOUBLE)
2191             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2192                                   PTR2UV(sv), SvNVX(sv)));
2193 #else
2194             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2195                                   PTR2UV(sv), SvNVX(sv)));
2196 #endif
2197
2198 #ifdef NV_PRESERVES_UV
2199             (void)SvIOKp_on(sv);
2200             (void)SvNOK_on(sv);
2201             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2202                 SvIV_set(sv, I_V(SvNVX(sv)));
2203                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2204                     SvIOK_on(sv);
2205                 } else {
2206                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2207                 }
2208                 /* UV will not work better than IV */
2209             } else {
2210                 if (SvNVX(sv) > (NV)UV_MAX) {
2211                     SvIsUV_on(sv);
2212                     /* Integer is inaccurate. NOK, IOKp, is UV */
2213                     SvUV_set(sv, UV_MAX);
2214                 } else {
2215                     SvUV_set(sv, U_V(SvNVX(sv)));
2216                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2217                        NV preservse UV so can do correct comparison.  */
2218                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2219                         SvIOK_on(sv);
2220                     } else {
2221                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2222                     }
2223                 }
2224                 SvIsUV_on(sv);
2225             }
2226 #else /* NV_PRESERVES_UV */
2227             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2228                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2229                 /* The IV/UV slot will have been set from value returned by
2230                    grok_number above.  The NV slot has just been set using
2231                    Atof.  */
2232                 SvNOK_on(sv);
2233                 assert (SvIOKp(sv));
2234             } else {
2235                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2236                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2237                     /* Small enough to preserve all bits. */
2238                     (void)SvIOKp_on(sv);
2239                     SvNOK_on(sv);
2240                     SvIV_set(sv, I_V(SvNVX(sv)));
2241                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2242                         SvIOK_on(sv);
2243                     /* Assumption: first non-preserved integer is < IV_MAX,
2244                        this NV is in the preserved range, therefore: */
2245                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2246                           < (UV)IV_MAX)) {
2247                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2248                     }
2249                 } else {
2250                     /* IN_UV NOT_INT
2251                          0      0       already failed to read UV.
2252                          0      1       already failed to read UV.
2253                          1      0       you won't get here in this case. IV/UV
2254                                         slot set, public IOK, Atof() unneeded.
2255                          1      1       already read UV.
2256                        so there's no point in sv_2iuv_non_preserve() attempting
2257                        to use atol, strtol, strtoul etc.  */
2258 #  ifdef DEBUGGING
2259                     sv_2iuv_non_preserve (sv, numtype);
2260 #  else
2261                     sv_2iuv_non_preserve (sv);
2262 #  endif
2263                 }
2264             }
2265 #endif /* NV_PRESERVES_UV */
2266         /* It might be more code efficient to go through the entire logic above
2267            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2268            gets complex and potentially buggy, so more programmer efficient
2269            to do it this way, by turning off the public flags:  */
2270         if (!numtype)
2271             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2272         }
2273     }
2274     else  {
2275         if (isGV_with_GP(sv))
2276             return glob_2number(MUTABLE_GV(sv));
2277
2278         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2279             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2280                 report_uninit(sv);
2281         }
2282         if (SvTYPE(sv) < SVt_IV)
2283             /* Typically the caller expects that sv_any is not NULL now.  */
2284             sv_upgrade(sv, SVt_IV);
2285         /* Return 0 from the caller.  */
2286         return TRUE;
2287     }
2288     return FALSE;
2289 }
2290
2291 /*
2292 =for apidoc sv_2iv_flags
2293
2294 Return the integer value of an SV, doing any necessary string
2295 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2296 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2297
2298 =cut
2299 */
2300
2301 IV
2302 Perl_sv_2iv_flags(pTHX_ register SV *const sv, const I32 flags)
2303 {
2304     dVAR;
2305     if (!sv)
2306         return 0;
2307     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2308         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2309            cache IVs just in case. In practice it seems that they never
2310            actually anywhere accessible by user Perl code, let alone get used
2311            in anything other than a string context.  */
2312         if (flags & SV_GMAGIC)
2313             mg_get(sv);
2314         if (SvIOKp(sv))
2315             return SvIVX(sv);
2316         if (SvNOKp(sv)) {
2317             return I_V(SvNVX(sv));
2318         }
2319         if (SvPOKp(sv) && SvLEN(sv)) {
2320             UV value;
2321             const int numtype
2322                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2323
2324             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2325                 == IS_NUMBER_IN_UV) {
2326                 /* It's definitely an integer */
2327                 if (numtype & IS_NUMBER_NEG) {
2328                     if (value < (UV)IV_MIN)
2329                         return -(IV)value;
2330                 } else {
2331                     if (value < (UV)IV_MAX)
2332                         return (IV)value;
2333                 }
2334             }
2335             if (!numtype) {
2336                 if (ckWARN(WARN_NUMERIC))
2337                     not_a_number(sv);
2338             }
2339             return I_V(Atof(SvPVX_const(sv)));
2340         }
2341         if (SvROK(sv)) {
2342             goto return_rok;
2343         }
2344         assert(SvTYPE(sv) >= SVt_PVMG);
2345         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2346     } else if (SvTHINKFIRST(sv)) {
2347         if (SvROK(sv)) {
2348         return_rok:
2349             if (SvAMAGIC(sv)) {
2350                 SV * const tmpstr=AMG_CALLun(sv,numer);
2351                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2352                     return SvIV(tmpstr);
2353                 }
2354             }
2355             return PTR2IV(SvRV(sv));
2356         }
2357         if (SvIsCOW(sv)) {
2358             sv_force_normal_flags(sv, 0);
2359         }
2360         if (SvREADONLY(sv) && !SvOK(sv)) {
2361             if (ckWARN(WARN_UNINITIALIZED))
2362                 report_uninit(sv);
2363             return 0;
2364         }
2365     }
2366     if (!SvIOKp(sv)) {
2367         if (S_sv_2iuv_common(aTHX_ sv))
2368             return 0;
2369     }
2370     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2371         PTR2UV(sv),SvIVX(sv)));
2372     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2373 }
2374
2375 /*
2376 =for apidoc sv_2uv_flags
2377
2378 Return the unsigned integer value of an SV, doing any necessary string
2379 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2380 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2381
2382 =cut
2383 */
2384
2385 UV
2386 Perl_sv_2uv_flags(pTHX_ register SV *const sv, const I32 flags)
2387 {
2388     dVAR;
2389     if (!sv)
2390         return 0;
2391     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2392         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2393            cache IVs just in case.  */
2394         if (flags & SV_GMAGIC)
2395             mg_get(sv);
2396         if (SvIOKp(sv))
2397             return SvUVX(sv);
2398         if (SvNOKp(sv))
2399             return U_V(SvNVX(sv));
2400         if (SvPOKp(sv) && SvLEN(sv)) {
2401             UV value;
2402             const int numtype
2403                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2404
2405             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2406                 == IS_NUMBER_IN_UV) {
2407                 /* It's definitely an integer */
2408                 if (!(numtype & IS_NUMBER_NEG))
2409                     return value;
2410             }
2411             if (!numtype) {
2412                 if (ckWARN(WARN_NUMERIC))
2413                     not_a_number(sv);
2414             }
2415             return U_V(Atof(SvPVX_const(sv)));
2416         }
2417         if (SvROK(sv)) {
2418             goto return_rok;
2419         }
2420         assert(SvTYPE(sv) >= SVt_PVMG);
2421         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2422     } else if (SvTHINKFIRST(sv)) {
2423         if (SvROK(sv)) {
2424         return_rok:
2425             if (SvAMAGIC(sv)) {
2426                 SV *const tmpstr = AMG_CALLun(sv,numer);
2427                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2428                     return SvUV(tmpstr);
2429                 }
2430             }
2431             return PTR2UV(SvRV(sv));
2432         }
2433         if (SvIsCOW(sv)) {
2434             sv_force_normal_flags(sv, 0);
2435         }
2436         if (SvREADONLY(sv) && !SvOK(sv)) {
2437             if (ckWARN(WARN_UNINITIALIZED))
2438                 report_uninit(sv);
2439             return 0;
2440         }
2441     }
2442     if (!SvIOKp(sv)) {
2443         if (S_sv_2iuv_common(aTHX_ sv))
2444             return 0;
2445     }
2446
2447     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2448                           PTR2UV(sv),SvUVX(sv)));
2449     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2450 }
2451
2452 /*
2453 =for apidoc sv_2nv
2454
2455 Return the num value of an SV, doing any necessary string or integer
2456 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2457 macros.
2458
2459 =cut
2460 */
2461
2462 NV
2463 Perl_sv_2nv(pTHX_ register SV *const sv)
2464 {
2465     dVAR;
2466     if (!sv)
2467         return 0.0;
2468     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2469         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2470            cache IVs just in case.  */
2471         mg_get(sv);
2472         if (SvNOKp(sv))
2473             return SvNVX(sv);
2474         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2475             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2476                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2477                 not_a_number(sv);
2478             return Atof(SvPVX_const(sv));
2479         }
2480         if (SvIOKp(sv)) {
2481             if (SvIsUV(sv))
2482                 return (NV)SvUVX(sv);
2483             else
2484                 return (NV)SvIVX(sv);
2485         }
2486         if (SvROK(sv)) {
2487             goto return_rok;
2488         }
2489         assert(SvTYPE(sv) >= SVt_PVMG);
2490         /* This falls through to the report_uninit near the end of the
2491            function. */
2492     } else if (SvTHINKFIRST(sv)) {
2493         if (SvROK(sv)) {
2494         return_rok:
2495             if (SvAMAGIC(sv)) {
2496                 SV *const tmpstr = AMG_CALLun(sv,numer);
2497                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2498                     return SvNV(tmpstr);
2499                 }
2500             }
2501             return PTR2NV(SvRV(sv));
2502         }
2503         if (SvIsCOW(sv)) {
2504             sv_force_normal_flags(sv, 0);
2505         }
2506         if (SvREADONLY(sv) && !SvOK(sv)) {
2507             if (ckWARN(WARN_UNINITIALIZED))
2508                 report_uninit(sv);
2509             return 0.0;
2510         }
2511     }
2512     if (SvTYPE(sv) < SVt_NV) {
2513         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2514         sv_upgrade(sv, SVt_NV);
2515 #ifdef USE_LONG_DOUBLE
2516         DEBUG_c({
2517             STORE_NUMERIC_LOCAL_SET_STANDARD();
2518             PerlIO_printf(Perl_debug_log,
2519                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2520                           PTR2UV(sv), SvNVX(sv));
2521             RESTORE_NUMERIC_LOCAL();
2522         });
2523 #else
2524         DEBUG_c({
2525             STORE_NUMERIC_LOCAL_SET_STANDARD();
2526             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2527                           PTR2UV(sv), SvNVX(sv));
2528             RESTORE_NUMERIC_LOCAL();
2529         });
2530 #endif
2531     }
2532     else if (SvTYPE(sv) < SVt_PVNV)
2533         sv_upgrade(sv, SVt_PVNV);
2534     if (SvNOKp(sv)) {
2535         return SvNVX(sv);
2536     }
2537     if (SvIOKp(sv)) {
2538         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2539 #ifdef NV_PRESERVES_UV
2540         if (SvIOK(sv))
2541             SvNOK_on(sv);
2542         else
2543             SvNOKp_on(sv);
2544 #else
2545         /* Only set the public NV OK flag if this NV preserves the IV  */
2546         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2547         if (SvIOK(sv) &&
2548             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2549                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2550             SvNOK_on(sv);
2551         else
2552             SvNOKp_on(sv);
2553 #endif
2554     }
2555     else if (SvPOKp(sv) && SvLEN(sv)) {
2556         UV value;
2557         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2558         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2559             not_a_number(sv);
2560 #ifdef NV_PRESERVES_UV
2561         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2562             == IS_NUMBER_IN_UV) {
2563             /* It's definitely an integer */
2564             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2565         } else
2566             SvNV_set(sv, Atof(SvPVX_const(sv)));
2567         if (numtype)
2568             SvNOK_on(sv);
2569         else
2570             SvNOKp_on(sv);
2571 #else
2572         SvNV_set(sv, Atof(SvPVX_const(sv)));
2573         /* Only set the public NV OK flag if this NV preserves the value in
2574            the PV at least as well as an IV/UV would.
2575            Not sure how to do this 100% reliably. */
2576         /* if that shift count is out of range then Configure's test is
2577            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2578            UV_BITS */
2579         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2580             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2581             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2582         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2583             /* Can't use strtol etc to convert this string, so don't try.
2584                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2585             SvNOK_on(sv);
2586         } else {
2587             /* value has been set.  It may not be precise.  */
2588             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2589                 /* 2s complement assumption for (UV)IV_MIN  */
2590                 SvNOK_on(sv); /* Integer is too negative.  */
2591             } else {
2592                 SvNOKp_on(sv);
2593                 SvIOKp_on(sv);
2594
2595                 if (numtype & IS_NUMBER_NEG) {
2596                     SvIV_set(sv, -(IV)value);
2597                 } else if (value <= (UV)IV_MAX) {
2598                     SvIV_set(sv, (IV)value);
2599                 } else {
2600                     SvUV_set(sv, value);
2601                     SvIsUV_on(sv);
2602                 }
2603
2604                 if (numtype & IS_NUMBER_NOT_INT) {
2605                     /* I believe that even if the original PV had decimals,
2606                        they are lost beyond the limit of the FP precision.
2607                        However, neither is canonical, so both only get p
2608                        flags.  NWC, 2000/11/25 */
2609                     /* Both already have p flags, so do nothing */
2610                 } else {
2611                     const NV nv = SvNVX(sv);
2612                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2613                         if (SvIVX(sv) == I_V(nv)) {
2614                             SvNOK_on(sv);
2615                         } else {
2616                             /* It had no "." so it must be integer.  */
2617                         }
2618                         SvIOK_on(sv);
2619                     } else {
2620                         /* between IV_MAX and NV(UV_MAX).
2621                            Could be slightly > UV_MAX */
2622
2623                         if (numtype & IS_NUMBER_NOT_INT) {
2624                             /* UV and NV both imprecise.  */
2625                         } else {
2626                             const UV nv_as_uv = U_V(nv);
2627
2628                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2629                                 SvNOK_on(sv);
2630                             }
2631                             SvIOK_on(sv);
2632                         }
2633                     }
2634                 }
2635             }
2636         }
2637         /* It might be more code efficient to go through the entire logic above
2638            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2639            gets complex and potentially buggy, so more programmer efficient
2640            to do it this way, by turning off the public flags:  */
2641         if (!numtype)
2642             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2643 #endif /* NV_PRESERVES_UV */
2644     }
2645     else  {
2646         if (isGV_with_GP(sv)) {
2647             glob_2number(MUTABLE_GV(sv));
2648             return 0.0;
2649         }
2650
2651         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2652             report_uninit(sv);
2653         assert (SvTYPE(sv) >= SVt_NV);
2654         /* Typically the caller expects that sv_any is not NULL now.  */
2655         /* XXX Ilya implies that this is a bug in callers that assume this
2656            and ideally should be fixed.  */
2657         return 0.0;
2658     }
2659 #if defined(USE_LONG_DOUBLE)
2660     DEBUG_c({
2661         STORE_NUMERIC_LOCAL_SET_STANDARD();
2662         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2663                       PTR2UV(sv), SvNVX(sv));
2664         RESTORE_NUMERIC_LOCAL();
2665     });
2666 #else
2667     DEBUG_c({
2668         STORE_NUMERIC_LOCAL_SET_STANDARD();
2669         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2670                       PTR2UV(sv), SvNVX(sv));
2671         RESTORE_NUMERIC_LOCAL();
2672     });
2673 #endif
2674     return SvNVX(sv);
2675 }
2676
2677 /*
2678 =for apidoc sv_2num
2679
2680 Return an SV with the numeric value of the source SV, doing any necessary
2681 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2682 access this function.
2683
2684 =cut
2685 */
2686
2687 SV *
2688 Perl_sv_2num(pTHX_ register SV *const sv)
2689 {
2690     PERL_ARGS_ASSERT_SV_2NUM;
2691
2692     if (!SvROK(sv))
2693         return sv;
2694     if (SvAMAGIC(sv)) {
2695         SV * const tmpsv = AMG_CALLun(sv,numer);
2696         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2697             return sv_2num(tmpsv);
2698     }
2699     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2700 }
2701
2702 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2703  * UV as a string towards the end of buf, and return pointers to start and
2704  * end of it.
2705  *
2706  * We assume that buf is at least TYPE_CHARS(UV) long.
2707  */
2708
2709 static char *
2710 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2711 {
2712     char *ptr = buf + TYPE_CHARS(UV);
2713     char * const ebuf = ptr;
2714     int sign;
2715
2716     PERL_ARGS_ASSERT_UIV_2BUF;
2717
2718     if (is_uv)
2719         sign = 0;
2720     else if (iv >= 0) {
2721         uv = iv;
2722         sign = 0;
2723     } else {
2724         uv = -iv;
2725         sign = 1;
2726     }
2727     do {
2728         *--ptr = '0' + (char)(uv % 10);
2729     } while (uv /= 10);
2730     if (sign)
2731         *--ptr = '-';
2732     *peob = ebuf;
2733     return ptr;
2734 }
2735
2736 /*
2737 =for apidoc sv_2pv_flags
2738
2739 Returns a pointer to the string value of an SV, and sets *lp to its length.
2740 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2741 if necessary.
2742 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2743 usually end up here too.
2744
2745 =cut
2746 */
2747
2748 char *
2749 Perl_sv_2pv_flags(pTHX_ register SV *const sv, STRLEN *const lp, const I32 flags)
2750 {
2751     dVAR;
2752     register char *s;
2753
2754     if (!sv) {
2755         if (lp)
2756             *lp = 0;
2757         return (char *)"";
2758     }
2759     if (SvGMAGICAL(sv)) {
2760         if (flags & SV_GMAGIC)
2761             mg_get(sv);
2762         if (SvPOKp(sv)) {
2763             if (lp)
2764                 *lp = SvCUR(sv);
2765             if (flags & SV_MUTABLE_RETURN)
2766                 return SvPVX_mutable(sv);
2767             if (flags & SV_CONST_RETURN)
2768                 return (char *)SvPVX_const(sv);
2769             return SvPVX(sv);
2770         }
2771         if (SvIOKp(sv) || SvNOKp(sv)) {
2772             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2773             STRLEN len;
2774
2775             if (SvIOKp(sv)) {
2776                 len = SvIsUV(sv)
2777                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2778                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2779             } else {
2780                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2781                 len = strlen(tbuf);
2782             }
2783             assert(!SvROK(sv));
2784             {
2785                 dVAR;
2786
2787 #ifdef FIXNEGATIVEZERO
2788                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2789                     tbuf[0] = '0';
2790                     tbuf[1] = 0;
2791                     len = 1;
2792                 }
2793 #endif
2794                 SvUPGRADE(sv, SVt_PV);
2795                 if (lp)
2796                     *lp = len;
2797                 s = SvGROW_mutable(sv, len + 1);
2798                 SvCUR_set(sv, len);
2799                 SvPOKp_on(sv);
2800                 return (char*)memcpy(s, tbuf, len + 1);
2801             }
2802         }
2803         if (SvROK(sv)) {
2804             goto return_rok;
2805         }
2806         assert(SvTYPE(sv) >= SVt_PVMG);
2807         /* This falls through to the report_uninit near the end of the
2808            function. */
2809     } else if (SvTHINKFIRST(sv)) {
2810         if (SvROK(sv)) {
2811         return_rok:
2812             if (SvAMAGIC(sv)) {
2813                 SV *const tmpstr = AMG_CALLun(sv,string);
2814                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2815                     /* Unwrap this:  */
2816                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2817                      */
2818
2819                     char *pv;
2820                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2821                         if (flags & SV_CONST_RETURN) {
2822                             pv = (char *) SvPVX_const(tmpstr);
2823                         } else {
2824                             pv = (flags & SV_MUTABLE_RETURN)
2825                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2826                         }
2827                         if (lp)
2828                             *lp = SvCUR(tmpstr);
2829                     } else {
2830                         pv = sv_2pv_flags(tmpstr, lp, flags);
2831                     }
2832                     if (SvUTF8(tmpstr))
2833                         SvUTF8_on(sv);
2834                     else
2835                         SvUTF8_off(sv);
2836                     return pv;
2837                 }
2838             }
2839             {
2840                 STRLEN len;
2841                 char *retval;
2842                 char *buffer;
2843                 SV *const referent = SvRV(sv);
2844
2845                 if (!referent) {
2846                     len = 7;
2847                     retval = buffer = savepvn("NULLREF", len);
2848                 } else if (SvTYPE(referent) == SVt_REGEXP) {
2849                     REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2850                     I32 seen_evals = 0;
2851
2852                     assert(re);
2853                         
2854                     /* If the regex is UTF-8 we want the containing scalar to
2855                        have an UTF-8 flag too */
2856                     if (RX_UTF8(re))
2857                         SvUTF8_on(sv);
2858                     else
2859                         SvUTF8_off(sv); 
2860
2861                     if ((seen_evals = RX_SEEN_EVALS(re)))
2862                         PL_reginterp_cnt += seen_evals;
2863
2864                     if (lp)
2865                         *lp = RX_WRAPLEN(re);
2866  
2867                     return RX_WRAPPED(re);
2868                 } else {
2869                     const char *const typestr = sv_reftype(referent, 0);
2870                     const STRLEN typelen = strlen(typestr);
2871                     UV addr = PTR2UV(referent);
2872                     const char *stashname = NULL;
2873                     STRLEN stashnamelen = 0; /* hush, gcc */
2874                     const char *buffer_end;
2875
2876                     if (SvOBJECT(referent)) {
2877                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2878
2879                         if (name) {
2880                             stashname = HEK_KEY(name);
2881                             stashnamelen = HEK_LEN(name);
2882
2883                             if (HEK_UTF8(name)) {
2884                                 SvUTF8_on(sv);
2885                             } else {
2886                                 SvUTF8_off(sv);
2887                             }
2888                         } else {
2889                             stashname = "__ANON__";
2890                             stashnamelen = 8;
2891                         }
2892                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2893                             + 2 * sizeof(UV) + 2 /* )\0 */;
2894                     } else {
2895                         len = typelen + 3 /* (0x */
2896                             + 2 * sizeof(UV) + 2 /* )\0 */;
2897                     }
2898
2899                     Newx(buffer, len, char);
2900                     buffer_end = retval = buffer + len;
2901
2902                     /* Working backwards  */
2903                     *--retval = '\0';
2904                     *--retval = ')';
2905                     do {
2906                         *--retval = PL_hexdigit[addr & 15];
2907                     } while (addr >>= 4);
2908                     *--retval = 'x';
2909                     *--retval = '0';
2910                     *--retval = '(';
2911
2912                     retval -= typelen;
2913                     memcpy(retval, typestr, typelen);
2914
2915                     if (stashname) {
2916                         *--retval = '=';
2917                         retval -= stashnamelen;
2918                         memcpy(retval, stashname, stashnamelen);
2919                     }
2920                     /* retval may not neccesarily have reached the start of the
2921                        buffer here.  */
2922                     assert (retval >= buffer);
2923
2924                     len = buffer_end - retval - 1; /* -1 for that \0  */
2925                 }
2926                 if (lp)
2927                     *lp = len;
2928                 SAVEFREEPV(buffer);
2929                 return retval;
2930             }
2931         }
2932         if (SvREADONLY(sv) && !SvOK(sv)) {
2933             if (lp)
2934                 *lp = 0;
2935             if (flags & SV_UNDEF_RETURNS_NULL)
2936                 return NULL;
2937             if (ckWARN(WARN_UNINITIALIZED))
2938                 report_uninit(sv);
2939             return (char *)"";
2940         }
2941     }
2942     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2943         /* I'm assuming that if both IV and NV are equally valid then
2944            converting the IV is going to be more efficient */
2945         const U32 isUIOK = SvIsUV(sv);
2946         char buf[TYPE_CHARS(UV)];
2947         char *ebuf, *ptr;
2948         STRLEN len;
2949
2950         if (SvTYPE(sv) < SVt_PVIV)
2951             sv_upgrade(sv, SVt_PVIV);
2952         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2953         len = ebuf - ptr;
2954         /* inlined from sv_setpvn */
2955         s = SvGROW_mutable(sv, len + 1);
2956         Move(ptr, s, len, char);
2957         s += len;
2958         *s = '\0';
2959     }
2960     else if (SvNOKp(sv)) {
2961         dSAVE_ERRNO;
2962         if (SvTYPE(sv) < SVt_PVNV)
2963             sv_upgrade(sv, SVt_PVNV);
2964         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2965         s = SvGROW_mutable(sv, NV_DIG + 20);
2966         /* some Xenix systems wipe out errno here */
2967 #ifdef apollo
2968         if (SvNVX(sv) == 0.0)
2969             my_strlcpy(s, "0", SvLEN(sv));
2970         else
2971 #endif /*apollo*/
2972         {
2973             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2974         }
2975         RESTORE_ERRNO;
2976 #ifdef FIXNEGATIVEZERO
2977         if (*s == '-' && s[1] == '0' && !s[2]) {
2978             s[0] = '0';
2979             s[1] = 0;
2980         }
2981 #endif
2982         while (*s) s++;
2983 #ifdef hcx
2984         if (s[-1] == '.')
2985             *--s = '\0';
2986 #endif
2987     }
2988     else {
2989         if (isGV_with_GP(sv))
2990             return glob_2pv(MUTABLE_GV(sv), lp);
2991
2992         if (lp)
2993             *lp = 0;
2994         if (flags & SV_UNDEF_RETURNS_NULL)
2995             return NULL;
2996         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2997             report_uninit(sv);
2998         if (SvTYPE(sv) < SVt_PV)
2999             /* Typically the caller expects that sv_any is not NULL now.  */
3000             sv_upgrade(sv, SVt_PV);
3001         return (char *)"";
3002     }
3003     {
3004         const STRLEN len = s - SvPVX_const(sv);
3005         if (lp) 
3006             *lp = len;
3007         SvCUR_set(sv, len);
3008     }
3009     SvPOK_on(sv);
3010     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
3011                           PTR2UV(sv),SvPVX_const(sv)));
3012     if (flags & SV_CONST_RETURN)
3013         return (char *)SvPVX_const(sv);
3014     if (flags & SV_MUTABLE_RETURN)
3015         return SvPVX_mutable(sv);
3016     return SvPVX(sv);
3017 }
3018
3019 /*
3020 =for apidoc sv_copypv
3021
3022 Copies a stringified representation of the source SV into the
3023 destination SV.  Automatically performs any necessary mg_get and
3024 coercion of numeric values into strings.  Guaranteed to preserve
3025 UTF8 flag even from overloaded objects.  Similar in nature to
3026 sv_2pv[_flags] but operates directly on an SV instead of just the
3027 string.  Mostly uses sv_2pv_flags to do its work, except when that
3028 would lose the UTF-8'ness of the PV.
3029
3030 =cut
3031 */
3032
3033 void
3034 Perl_sv_copypv(pTHX_ SV *const dsv, register SV *const ssv)
3035 {
3036     STRLEN len;
3037     const char * const s = SvPV_const(ssv,len);
3038
3039     PERL_ARGS_ASSERT_SV_COPYPV;
3040
3041     sv_setpvn(dsv,s,len);
3042     if (SvUTF8(ssv))
3043         SvUTF8_on(dsv);
3044     else
3045         SvUTF8_off(dsv);
3046 }
3047
3048 /*
3049 =for apidoc sv_2pvbyte
3050
3051 Return a pointer to the byte-encoded representation of the SV, and set *lp
3052 to its length.  May cause the SV to be downgraded from UTF-8 as a
3053 side-effect.
3054
3055 Usually accessed via the C<SvPVbyte> macro.
3056
3057 =cut
3058 */
3059
3060 char *
3061 Perl_sv_2pvbyte(pTHX_ register SV *const sv, STRLEN *const lp)
3062 {
3063     PERL_ARGS_ASSERT_SV_2PVBYTE;
3064
3065     sv_utf8_downgrade(sv,0);
3066     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3067 }
3068
3069 /*
3070 =for apidoc sv_2pvutf8
3071
3072 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3073 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3074
3075 Usually accessed via the C<SvPVutf8> macro.
3076
3077 =cut
3078 */
3079
3080 char *
3081 Perl_sv_2pvutf8(pTHX_ register SV *const sv, STRLEN *const lp)
3082 {
3083     PERL_ARGS_ASSERT_SV_2PVUTF8;
3084
3085     sv_utf8_upgrade(sv);
3086     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3087 }
3088
3089
3090 /*
3091 =for apidoc sv_2bool
3092
3093 This function is only called on magical items, and is only used by
3094 sv_true() or its macro equivalent.
3095
3096 =cut
3097 */
3098
3099 bool
3100 Perl_sv_2bool(pTHX_ register SV *const sv)
3101 {
3102     dVAR;
3103
3104     PERL_ARGS_ASSERT_SV_2BOOL;
3105
3106     SvGETMAGIC(sv);
3107
3108     if (!SvOK(sv))
3109         return 0;
3110     if (SvROK(sv)) {
3111         if (SvAMAGIC(sv)) {
3112             SV * const tmpsv = AMG_CALLun(sv,bool_);
3113             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3114                 return (bool)SvTRUE(tmpsv);
3115         }
3116         return SvRV(sv) != 0;
3117     }
3118     if (SvPOKp(sv)) {
3119         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
3120         if (Xpvtmp &&
3121                 (*sv->sv_u.svu_pv > '0' ||
3122                 Xpvtmp->xpv_cur > 1 ||
3123                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
3124             return 1;
3125         else
3126             return 0;
3127     }
3128     else {
3129         if (SvIOKp(sv))
3130             return SvIVX(sv) != 0;
3131         else {
3132             if (SvNOKp(sv))
3133                 return SvNVX(sv) != 0.0;
3134             else {
3135                 if (isGV_with_GP(sv))
3136                     return TRUE;
3137                 else
3138                     return FALSE;
3139             }
3140         }
3141     }
3142 }
3143
3144 /*
3145 =for apidoc sv_utf8_upgrade
3146
3147 Converts the PV of an SV to its UTF-8-encoded form.
3148 Forces the SV to string form if it is not already.
3149 Will C<mg_get> on C<sv> if appropriate.
3150 Always sets the SvUTF8 flag to avoid future validity checks even
3151 if the whole string is the same in UTF-8 as not.
3152 Returns the number of bytes in the converted string
3153
3154 This is not as a general purpose byte encoding to Unicode interface:
3155 use the Encode extension for that.
3156
3157 =for apidoc sv_utf8_upgrade_nomg
3158
3159 Like sv_utf8_upgrade, but doesn't do magic on C<sv>
3160
3161 =for apidoc sv_utf8_upgrade_flags
3162
3163 Converts the PV of an SV to its UTF-8-encoded form.
3164 Forces the SV to string form if it is not already.
3165 Always sets the SvUTF8 flag to avoid future validity checks even
3166 if all the bytes are invariant in UTF-8. If C<flags> has C<SV_GMAGIC> bit set,
3167 will C<mg_get> on C<sv> if appropriate, else not.
3168 Returns the number of bytes in the converted string
3169 C<sv_utf8_upgrade> and
3170 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3171
3172 This is not as a general purpose byte encoding to Unicode interface:
3173 use the Encode extension for that.
3174
3175 =cut
3176 */
3177
3178 STRLEN
3179 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *const sv, const I32 flags)
3180 {
3181     dVAR;
3182
3183     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS;
3184
3185     if (sv == &PL_sv_undef)
3186         return 0;
3187     if (!SvPOK(sv)) {
3188         STRLEN len = 0;
3189         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3190             (void) sv_2pv_flags(sv,&len, flags);
3191             if (SvUTF8(sv))
3192                 return len;
3193         } else {
3194             (void) SvPV_force(sv,len);
3195         }
3196     }
3197
3198     if (SvUTF8(sv)) {
3199         return SvCUR(sv);
3200     }
3201
3202     if (SvIsCOW(sv)) {
3203         sv_force_normal_flags(sv, 0);
3204     }
3205
3206     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
3207         sv_recode_to_utf8(sv, PL_encoding);
3208     else { /* Assume Latin-1/EBCDIC */
3209         /* This function could be much more efficient if we
3210          * had a FLAG in SVs to signal if there are any variant
3211          * chars in the PV.  Given that there isn't such a flag
3212          * make the loop as fast as possible. */
3213         const U8 * const s = (U8 *) SvPVX_const(sv);
3214         const U8 * const e = (U8 *) SvEND(sv);
3215         const U8 *t = s;
3216         
3217         while (t < e) {
3218             const U8 ch = *t++;
3219             /* Check for variant */
3220             if (!NATIVE_IS_INVARIANT(ch)) {
3221                 STRLEN len = SvCUR(sv);
3222                 /* *Currently* bytes_to_utf8() adds a '\0' after every string
3223                    it converts. This isn't documented. It's not clear if it's
3224                    a bad thing to be doing, and should be changed to do exactly
3225                    what the documentation says. If so, this code will have to
3226                    be changed.
3227                    As is, we mustn't rely on our incoming SV being well formed
3228                    and having a trailing '\0', as certain code in pp_formline
3229                    can send us partially built SVs. */
3230                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
3231
3232                 SvPV_free(sv); /* No longer using what was there before. */
3233                 SvPV_set(sv, (char*)recoded);
3234                 SvCUR_set(sv, len);
3235                 SvLEN_set(sv, len + 1); /* No longer know the real size. */
3236                 break;
3237             }
3238         }
3239         /* Mark as UTF-8 even if no variant - saves scanning loop */
3240         SvUTF8_on(sv);
3241     }
3242     return SvCUR(sv);
3243 }
3244
3245 /*
3246 =for apidoc sv_utf8_downgrade
3247
3248 Attempts to convert the PV of an SV from characters to bytes.
3249 If the PV contains a character that cannot fit
3250 in a byte, this conversion will fail;
3251 in this case, either returns false or, if C<fail_ok> is not
3252 true, croaks.
3253
3254 This is not as a general purpose Unicode to byte encoding interface:
3255 use the Encode extension for that.
3256
3257 =cut
3258 */
3259
3260 bool
3261 Perl_sv_utf8_downgrade(pTHX_ register SV *const sv, const bool fail_ok)
3262 {
3263     dVAR;
3264
3265     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3266
3267     if (SvPOKp(sv) && SvUTF8(sv)) {
3268         if (SvCUR(sv)) {
3269             U8 *s;
3270             STRLEN len;
3271
3272             if (SvIsCOW(sv)) {
3273                 sv_force_normal_flags(sv, 0);
3274             }
3275             s = (U8 *) SvPV(sv, len);
3276             if (!utf8_to_bytes(s, &len)) {
3277                 if (fail_ok)
3278                     return FALSE;
3279                 else {
3280                     if (PL_op)
3281                         Perl_croak(aTHX_ "Wide character in %s",
3282                                    OP_DESC(PL_op));
3283                     else
3284                         Perl_croak(aTHX_ "Wide character");
3285                 }
3286             }
3287             SvCUR_set(sv, len);
3288         }
3289     }
3290     SvUTF8_off(sv);
3291     return TRUE;
3292 }
3293
3294 /*
3295 =for apidoc sv_utf8_encode
3296
3297 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3298 flag off so that it looks like octets again.
3299
3300 =cut
3301 */
3302
3303 void
3304 Perl_sv_utf8_encode(pTHX_ register SV *const sv)
3305 {
3306     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3307
3308     if (SvIsCOW(sv)) {
3309         sv_force_normal_flags(sv, 0);
3310     }
3311     if (SvREADONLY(sv)) {
3312         Perl_croak(aTHX_ "%s", PL_no_modify);
3313     }
3314     (void) sv_utf8_upgrade(sv);
3315     SvUTF8_off(sv);
3316 }
3317
3318 /*
3319 =for apidoc sv_utf8_decode
3320
3321 If the PV of the SV is an octet sequence in UTF-8
3322 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3323 so that it looks like a character. If the PV contains only single-byte
3324 characters, the C<SvUTF8> flag stays being off.
3325 Scans PV for validity and returns false if the PV is invalid UTF-8.
3326
3327 =cut
3328 */
3329
3330 bool
3331 Perl_sv_utf8_decode(pTHX_ register SV *const sv)
3332 {
3333     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3334
3335     if (SvPOKp(sv)) {
3336         const U8 *c;
3337         const U8 *e;
3338
3339         /* The octets may have got themselves encoded - get them back as
3340          * bytes
3341          */
3342         if (!sv_utf8_downgrade(sv, TRUE))
3343             return FALSE;
3344
3345         /* it is actually just a matter of turning the utf8 flag on, but
3346          * we want to make sure everything inside is valid utf8 first.
3347          */
3348         c = (const U8 *) SvPVX_const(sv);
3349         if (!is_utf8_string(c, SvCUR(sv)+1))
3350             return FALSE;
3351         e = (const U8 *) SvEND(sv);
3352         while (c < e) {
3353             const U8 ch = *c++;
3354             if (!UTF8_IS_INVARIANT(ch)) {
3355                 SvUTF8_on(sv);
3356                 break;
3357             }
3358         }
3359     }
3360     return TRUE;
3361 }
3362
3363 /*
3364 =for apidoc sv_setsv
3365
3366 Copies the contents of the source SV C<ssv> into the destination SV
3367 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3368 function if the source SV needs to be reused. Does not handle 'set' magic.
3369 Loosely speaking, it performs a copy-by-value, obliterating any previous
3370 content of the destination.
3371
3372 You probably want to use one of the assortment of wrappers, such as
3373 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3374 C<SvSetMagicSV_nosteal>.
3375
3376 =for apidoc sv_setsv_flags
3377
3378 Copies the contents of the source SV C<ssv> into the destination SV
3379 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3380 function if the source SV needs to be reused. Does not handle 'set' magic.
3381 Loosely speaking, it performs a copy-by-value, obliterating any previous
3382 content of the destination.
3383 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3384 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3385 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3386 and C<sv_setsv_nomg> are implemented in terms of this function.
3387
3388 You probably want to use one of the assortment of wrappers, such as
3389 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3390 C<SvSetMagicSV_nosteal>.
3391
3392 This is the primary function for copying scalars, and most other
3393 copy-ish functions and macros use this underneath.
3394
3395 =cut
3396 */
3397
3398 static void
3399 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3400 {
3401     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3402
3403     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3404
3405     if (dtype != SVt_PVGV) {
3406         const char * const name = GvNAME(sstr);
3407         const STRLEN len = GvNAMELEN(sstr);
3408         {
3409             if (dtype >= SVt_PV) {
3410                 SvPV_free(dstr);
3411                 SvPV_set(dstr, 0);
3412                 SvLEN_set(dstr, 0);
3413                 SvCUR_set(dstr, 0);
3414             }
3415             SvUPGRADE(dstr, SVt_PVGV);
3416             (void)SvOK_off(dstr);
3417             /* FIXME - why are we doing this, then turning it off and on again
3418                below?  */
3419             isGV_with_GP_on(dstr);
3420         }
3421         GvSTASH(dstr) = GvSTASH(sstr);
3422         if (GvSTASH(dstr))
3423             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3424         gv_name_set(MUTABLE_GV(dstr), name, len, GV_ADD);
3425         SvFAKE_on(dstr);        /* can coerce to non-glob */
3426     }
3427
3428 #ifdef GV_UNIQUE_CHECK
3429     if (GvUNIQUE((const GV *)dstr)) {
3430         Perl_croak(aTHX_ "%s", PL_no_modify);
3431     }
3432 #endif
3433
3434     if(GvGP(MUTABLE_GV(sstr))) {
3435         /* If source has method cache entry, clear it */
3436         if(GvCVGEN(sstr)) {
3437             SvREFCNT_dec(GvCV(sstr));
3438             GvCV(sstr) = NULL;
3439             GvCVGEN(sstr) = 0;
3440         }
3441         /* If source has a real method, then a method is
3442            going to change */
3443         else if(GvCV((const GV *)sstr)) {
3444             mro_changes = 1;
3445         }
3446     }
3447
3448     /* If dest already had a real method, that's a change as well */
3449     if(!mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)) {
3450         mro_changes = 1;
3451     }
3452
3453     if(strEQ(GvNAME((const GV *)dstr),"ISA"))
3454         mro_changes = 2;
3455
3456     gp_free(MUTABLE_GV(dstr));
3457     isGV_with_GP_off(dstr);
3458     (void)SvOK_off(dstr);
3459     isGV_with_GP_on(dstr);
3460     GvINTRO_off(dstr);          /* one-shot flag */
3461     GvGP(dstr) = gp_ref(GvGP(sstr));
3462     if (SvTAINTED(sstr))
3463         SvTAINT(dstr);
3464     if (GvIMPORTED(dstr) != GVf_IMPORTED
3465         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3466         {
3467             GvIMPORTED_on(dstr);
3468         }
3469     GvMULTI_on(dstr);
3470     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3471     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3472     return;
3473 }
3474
3475 static void
3476 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3477 {
3478     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3479     SV *dref = NULL;
3480     const int intro = GvINTRO(dstr);
3481     SV **location;
3482     U8 import_flag = 0;
3483     const U32 stype = SvTYPE(sref);
3484
3485     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3486
3487 #ifdef GV_UNIQUE_CHECK
3488     if (GvUNIQUE((const GV *)dstr)) {
3489         Perl_croak(aTHX_ "%s", PL_no_modify);
3490     }
3491 #endif
3492
3493     if (intro) {
3494         GvINTRO_off(dstr);      /* one-shot flag */
3495         GvLINE(dstr) = CopLINE(PL_curcop);
3496         GvEGV(dstr) = MUTABLE_GV(dstr);
3497     }
3498     GvMULTI_on(dstr);
3499     switch (stype) {
3500     case SVt_PVCV:
3501         location = (SV **) &GvCV(dstr);
3502         import_flag = GVf_IMPORTED_CV;
3503         goto common;
3504     case SVt_PVHV:
3505         location = (SV **) &GvHV(dstr);
3506         import_flag = GVf_IMPORTED_HV;
3507         goto common;
3508     case SVt_PVAV:
3509         location = (SV **) &GvAV(dstr);
3510         import_flag = GVf_IMPORTED_AV;
3511         goto common;
3512     case SVt_PVIO:
3513         location = (SV **) &GvIOp(dstr);
3514         goto common;
3515     case SVt_PVFM:
3516         location = (SV **) &GvFORM(dstr);
3517     default:
3518         location = &GvSV(dstr);
3519         import_flag = GVf_IMPORTED_SV;
3520     common:
3521         if (intro) {
3522             if (stype == SVt_PVCV) {
3523                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3524                 if (GvCVGEN(dstr)) {
3525                     SvREFCNT_dec(GvCV(dstr));
3526                     GvCV(dstr) = NULL;
3527                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3528                 }
3529             }
3530             SAVEGENERICSV(*location);
3531         }
3532         else
3533             dref = *location;
3534         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3535             CV* const cv = MUTABLE_CV(*location);
3536             if (cv) {
3537                 if (!GvCVGEN((const GV *)dstr) &&
3538                     (CvROOT(cv) || CvXSUB(cv)))
3539                     {
3540                         /* Redefining a sub - warning is mandatory if
3541                            it was a const and its value changed. */
3542                         if (CvCONST(cv) && CvCONST((const CV *)sref)
3543                             && cv_const_sv(cv)
3544                             == cv_const_sv((const CV *)sref)) {
3545                             NOOP;
3546                             /* They are 2 constant subroutines generated from
3547                                the same constant. This probably means that
3548                                they are really the "same" proxy subroutine
3549                                instantiated in 2 places. Most likely this is
3550                                when a constant is exported twice.  Don't warn.
3551                             */
3552                         }
3553                         else if (ckWARN(WARN_REDEFINE)
3554                                  || (CvCONST(cv)
3555                                      && (!CvCONST((const CV *)sref)
3556                                          || sv_cmp(cv_const_sv(cv),
3557                                                    cv_const_sv((const CV *)
3558                                                                sref))))) {
3559                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3560                                         (const char *)
3561                                         (CvCONST(cv)
3562                                          ? "Constant subroutine %s::%s redefined"
3563                                          : "Subroutine %s::%s redefined"),
3564                                         HvNAME_get(GvSTASH((const GV *)dstr)),
3565                                         GvENAME(MUTABLE_GV(dstr)));
3566                         }
3567                     }
3568                 if (!intro)
3569                     cv_ckproto_len(cv, (const GV *)dstr,
3570                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3571                                    SvPOK(sref) ? SvCUR(sref) : 0);
3572             }
3573             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3574             GvASSUMECV_on(dstr);
3575             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3576         }
3577         *location = sref;
3578         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3579             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3580             GvFLAGS(dstr) |= import_flag;
3581         }
3582         break;
3583     }
3584     SvREFCNT_dec(dref);
3585     if (SvTAINTED(sstr))
3586         SvTAINT(dstr);
3587     return;
3588 }
3589
3590 void
3591 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV* sstr, const I32 flags)
3592 {
3593     dVAR;
3594     register U32 sflags;
3595     register int dtype;
3596     register svtype stype;
3597
3598     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
3599
3600     if (sstr == dstr)
3601         return;
3602
3603     if (SvIS_FREED(dstr)) {
3604         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3605                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3606     }
3607     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3608     if (!sstr)
3609         sstr = &PL_sv_undef;
3610     if (SvIS_FREED(sstr)) {
3611         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3612                    (void*)sstr, (void*)dstr);
3613     }
3614     stype = SvTYPE(sstr);
3615     dtype = SvTYPE(dstr);
3616
3617     (void)SvAMAGIC_off(dstr);
3618     if ( SvVOK(dstr) )
3619     {
3620         /* need to nuke the magic */
3621         mg_free(dstr);
3622     }
3623
3624     /* There's a lot of redundancy below but we're going for speed here */
3625
3626     switch (stype) {
3627     case SVt_NULL:
3628       undef_sstr:
3629         if (dtype != SVt_PVGV) {
3630             (void)SvOK_off(dstr);
3631             return;
3632         }
3633         break;
3634     case SVt_IV:
3635         if (SvIOK(sstr)) {
3636             switch (dtype) {
3637             case SVt_NULL:
3638                 sv_upgrade(dstr, SVt_IV);
3639                 break;
3640             case SVt_NV:
3641             case SVt_PV:
3642                 sv_upgrade(dstr, SVt_PVIV);
3643                 break;
3644             case SVt_PVGV:
3645                 goto end_of_first_switch;
3646             }
3647             (void)SvIOK_only(dstr);
3648             SvIV_set(dstr,  SvIVX(sstr));
3649             if (SvIsUV(sstr))
3650                 SvIsUV_on(dstr);
3651             /* SvTAINTED can only be true if the SV has taint magic, which in
3652                turn means that the SV type is PVMG (or greater). This is the
3653                case statement for SVt_IV, so this cannot be true (whatever gcov
3654                may say).  */
3655             assert(!SvTAINTED(sstr));
3656             return;
3657         }
3658         if (!SvROK(sstr))
3659             goto undef_sstr;
3660         if (dtype < SVt_PV && dtype != SVt_IV)
3661             sv_upgrade(dstr, SVt_IV);
3662         break;
3663
3664     case SVt_NV:
3665         if (SvNOK(sstr)) {
3666             switch (dtype) {
3667             case SVt_NULL:
3668             case SVt_IV:
3669                 sv_upgrade(dstr, SVt_NV);
3670                 break;
3671             case SVt_PV:
3672             case SVt_PVIV:
3673                 sv_upgrade(dstr, SVt_PVNV);
3674                 break;
3675             case SVt_PVGV:
3676                 goto end_of_first_switch;
3677             }
3678             SvNV_set(dstr, SvNVX(sstr));
3679             (void)SvNOK_only(dstr);
3680             /* SvTAINTED can only be true if the SV has taint magic, which in
3681                turn means that the SV type is PVMG (or greater). This is the
3682                case statement for SVt_NV, so this cannot be true (whatever gcov
3683                may say).  */
3684             assert(!SvTAINTED(sstr));
3685             return;
3686         }
3687         goto undef_sstr;
3688
3689     case SVt_PVFM:
3690 #ifdef PERL_OLD_COPY_ON_WRITE
3691         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3692             if (dtype < SVt_PVIV)
3693                 sv_upgrade(dstr, SVt_PVIV);
3694             break;
3695         }
3696         /* Fall through */
3697 #endif
3698     case SVt_REGEXP:
3699     case SVt_PV:
3700         if (dtype < SVt_PV)
3701             sv_upgrade(dstr, SVt_PV);
3702         break;
3703     case SVt_PVIV:
3704         if (dtype < SVt_PVIV)
3705             sv_upgrade(dstr, SVt_PVIV);
3706         break;
3707     case SVt_PVNV:
3708         if (dtype < SVt_PVNV)
3709             sv_upgrade(dstr, SVt_PVNV);
3710         break;
3711     default:
3712         {
3713         const char * const type = sv_reftype(sstr,0);
3714         if (PL_op)
3715             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3716         else
3717             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3718         }
3719         break;
3720
3721         /* case SVt_BIND: */
3722     case SVt_PVLV:
3723     case SVt_PVGV:
3724         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3725             glob_assign_glob(dstr, sstr, dtype);
3726             return;
3727         }
3728         /* SvVALID means that this PVGV is playing at being an FBM.  */
3729         /*FALLTHROUGH*/
3730
3731     case SVt_PVMG:
3732         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3733             mg_get(sstr);
3734             if (SvTYPE(sstr) != stype) {
3735                 stype = SvTYPE(sstr);
3736                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3737                     glob_assign_glob(dstr, sstr, dtype);
3738                     return;
3739                 }
3740             }
3741         }
3742         if (stype == SVt_PVLV)
3743             SvUPGRADE(dstr, SVt_PVNV);
3744         else
3745             SvUPGRADE(dstr, (svtype)stype);
3746     }
3747  end_of_first_switch:
3748
3749     /* dstr may have been upgraded.  */
3750     dtype = SvTYPE(dstr);
3751     sflags = SvFLAGS(sstr);
3752
3753     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3754         /* Assigning to a subroutine sets the prototype.  */
3755         if (SvOK(sstr)) {
3756             STRLEN len;
3757             const char *const ptr = SvPV_const(sstr, len);
3758
3759             SvGROW(dstr, len + 1);
3760             Copy(ptr, SvPVX(dstr), len + 1, char);
3761             SvCUR_set(dstr, len);
3762             SvPOK_only(dstr);
3763             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3764         } else {
3765             SvOK_off(dstr);
3766         }
3767     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3768         const char * const type = sv_reftype(dstr,0);
3769         if (PL_op)
3770             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3771         else
3772             Perl_croak(aTHX_ "Cannot copy to %s", type);
3773     } else if (sflags & SVf_ROK) {
3774         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3775             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
3776             sstr = SvRV(sstr);
3777             if (sstr == dstr) {
3778                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3779                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3780                 {
3781                     GvIMPORTED_on(dstr);
3782                 }
3783                 GvMULTI_on(dstr);
3784                 return;
3785             }
3786             glob_assign_glob(dstr, sstr, dtype);
3787             return;
3788         }
3789
3790         if (dtype >= SVt_PV) {
3791             if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3792                 glob_assign_ref(dstr, sstr);
3793                 return;
3794             }
3795             if (SvPVX_const(dstr)) {
3796                 SvPV_free(dstr);
3797                 SvLEN_set(dstr, 0);
3798                 SvCUR_set(dstr, 0);
3799             }
3800         }
3801         (void)SvOK_off(dstr);
3802         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3803         SvFLAGS(dstr) |= sflags & SVf_ROK;
3804         assert(!(sflags & SVp_NOK));
3805         assert(!(sflags & SVp_IOK));
3806         assert(!(sflags & SVf_NOK));
3807         assert(!(sflags & SVf_IOK));
3808     }
3809     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3810         if (!(sflags & SVf_OK)) {
3811             if (ckWARN(WARN_MISC))
3812                 Perl_warner(aTHX_ packWARN(WARN_MISC),
3813                             "Undefined value assigned to typeglob");
3814         }
3815         else {
3816             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
3817             if (dstr != (const SV *)gv) {
3818                 if (GvGP(dstr))
3819                     gp_free(MUTABLE_GV(dstr));
3820                 GvGP(dstr) = gp_ref(GvGP(gv));
3821             }
3822         }
3823     }
3824     else if (sflags & SVp_POK) {
3825         bool isSwipe = 0;
3826
3827         /*
3828          * Check to see if we can just swipe the string.  If so, it's a
3829          * possible small lose on short strings, but a big win on long ones.
3830          * It might even be a win on short strings if SvPVX_const(dstr)
3831          * has to be allocated and SvPVX_const(sstr) has to be freed.
3832          * Likewise if we can set up COW rather than doing an actual copy, we
3833          * drop to the else clause, as the swipe code and the COW setup code
3834          * have much in common.
3835          */
3836
3837         /* Whichever path we take through the next code, we want this true,
3838            and doing it now facilitates the COW check.  */
3839         (void)SvPOK_only(dstr);
3840
3841         if (
3842             /* If we're already COW then this clause is not true, and if COW
3843                is allowed then we drop down to the else and make dest COW 
3844                with us.  If caller hasn't said that we're allowed to COW
3845                shared hash keys then we don't do the COW setup, even if the
3846                source scalar is a shared hash key scalar.  */
3847             (((flags & SV_COW_SHARED_HASH_KEYS)
3848                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
3849                : 1 /* If making a COW copy is forbidden then the behaviour we
3850                        desire is as if the source SV isn't actually already
3851                        COW, even if it is.  So we act as if the source flags
3852                        are not COW, rather than actually testing them.  */
3853               )
3854 #ifndef PERL_OLD_COPY_ON_WRITE
3855              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
3856                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
3857                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
3858                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
3859                 but in turn, it's somewhat dead code, never expected to go
3860                 live, but more kept as a placeholder on how to do it better
3861                 in a newer implementation.  */
3862              /* If we are COW and dstr is a suitable target then we drop down
3863                 into the else and make dest a COW of us.  */
3864              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3865 #endif
3866              )
3867             &&
3868             !(isSwipe =
3869                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3870                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3871                  (!(flags & SV_NOSTEAL)) &&
3872                                         /* and we're allowed to steal temps */
3873                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3874                  SvLEN(sstr)    &&        /* and really is a string */
3875                                 /* and won't be needed again, potentially */
3876               !(PL_op && PL_op->op_type == OP_AASSIGN))
3877 #ifdef PERL_OLD_COPY_ON_WRITE
3878             && ((flags & SV_COW_SHARED_HASH_KEYS)
3879                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3880                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3881                      && SvTYPE(sstr) >= SVt_PVIV))
3882                 : 1)
3883 #endif
3884             ) {
3885             /* Failed the swipe test, and it's not a shared hash key either.
3886                Have to copy the string.  */
3887             STRLEN len = SvCUR(sstr);
3888             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3889             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3890             SvCUR_set(dstr, len);
3891             *SvEND(dstr) = '\0';
3892         } else {
3893             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3894                be true in here.  */
3895             /* Either it's a shared hash key, or it's suitable for
3896                copy-on-write or we can swipe the string.  */
3897             if (DEBUG_C_TEST) {
3898                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3899                 sv_dump(sstr);
3900                 sv_dump(dstr);
3901             }
3902 #ifdef PERL_OLD_COPY_ON_WRITE
3903             if (!isSwipe) {
3904                 /* I believe I should acquire a global SV mutex if
3905                    it's a COW sv (not a shared hash key) to stop
3906                    it going un copy-on-write.
3907                    If the source SV has gone un copy on write between up there
3908                    and down here, then (assert() that) it is of the correct
3909                    form to make it copy on write again */
3910                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3911                     != (SVf_FAKE | SVf_READONLY)) {
3912                     SvREADONLY_on(sstr);
3913                     SvFAKE_on(sstr);
3914                     /* Make the source SV into a loop of 1.
3915                        (about to become 2) */
3916                     SV_COW_NEXT_SV_SET(sstr, sstr);
3917                 }
3918             }
3919 #endif
3920             /* Initial code is common.  */
3921             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3922                 SvPV_free(dstr);
3923             }
3924
3925             if (!isSwipe) {
3926                 /* making another shared SV.  */
3927                 STRLEN cur = SvCUR(sstr);
3928                 STRLEN len = SvLEN(sstr);
3929 #ifdef PERL_OLD_COPY_ON_WRITE
3930                 if (len) {
3931                     assert (SvTYPE(dstr) >= SVt_PVIV);
3932                     /* SvIsCOW_normal */
3933                     /* splice us in between source and next-after-source.  */
3934                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3935                     SV_COW_NEXT_SV_SET(sstr, dstr);
3936                     SvPV_set(dstr, SvPVX_mutable(sstr));
3937                 } else
3938 #endif
3939                 {
3940                     /* SvIsCOW_shared_hash */
3941                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3942                                           "Copy on write: Sharing hash\n"));
3943
3944                     assert (SvTYPE(dstr) >= SVt_PV);
3945                     SvPV_set(dstr,
3946                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3947                 }
3948                 SvLEN_set(dstr, len);
3949                 SvCUR_set(dstr, cur);
3950                 SvREADONLY_on(dstr);
3951                 SvFAKE_on(dstr);
3952                 /* Relesase a global SV mutex.  */
3953             }
3954             else
3955                 {       /* Passes the swipe test.  */
3956                 SvPV_set(dstr, SvPVX_mutable(sstr));
3957                 SvLEN_set(dstr, SvLEN(sstr));
3958                 SvCUR_set(dstr, SvCUR(sstr));
3959
3960                 SvTEMP_off(dstr);
3961                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3962                 SvPV_set(sstr, NULL);
3963                 SvLEN_set(sstr, 0);
3964                 SvCUR_set(sstr, 0);
3965                 SvTEMP_off(sstr);
3966             }
3967         }
3968         if (sflags & SVp_NOK) {
3969             SvNV_set(dstr, SvNVX(sstr));
3970         }
3971         if (sflags & SVp_IOK) {
3972             SvIV_set(dstr, SvIVX(sstr));
3973             /* Must do this otherwise some other overloaded use of 0x80000000
3974                gets confused. I guess SVpbm_VALID */
3975             if (sflags & SVf_IVisUV)
3976                 SvIsUV_on(dstr);
3977         }
3978         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
3979         {
3980             const MAGIC * const smg = SvVSTRING_mg(sstr);
3981             if (smg) {
3982                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3983                          smg->mg_ptr, smg->mg_len);
3984                 SvRMAGICAL_on(dstr);
3985             }
3986         }
3987     }
3988     else if (sflags & (SVp_IOK|SVp_NOK)) {
3989         (void)SvOK_off(dstr);
3990         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
3991         if (sflags & SVp_IOK) {
3992             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3993             SvIV_set(dstr, SvIVX(sstr));
3994         }
3995         if (sflags & SVp_NOK) {
3996             SvNV_set(dstr, SvNVX(sstr));
3997         }
3998     }
3999     else {
4000         if (isGV_with_GP(sstr)) {
4001             /* This stringification rule for globs is spread in 3 places.
4002                This feels bad. FIXME.  */
4003             const U32 wasfake = sflags & SVf_FAKE;
4004
4005             /* FAKE globs can get coerced, so need to turn this off
4006                temporarily if it is on.  */
4007             SvFAKE_off(sstr);
4008             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4009             SvFLAGS(sstr) |= wasfake;
4010         }
4011         else
4012             (void)SvOK_off(dstr);
4013     }
4014     if (SvTAINTED(sstr))
4015         SvTAINT(dstr);
4016 }
4017
4018 /*
4019 =for apidoc sv_setsv_mg
4020
4021 Like C<sv_setsv>, but also handles 'set' magic.
4022
4023 =cut
4024 */
4025
4026 void
4027 Perl_sv_setsv_mg(pTHX_ SV *const dstr, register SV *const sstr)
4028 {
4029     PERL_ARGS_ASSERT_SV_SETSV_MG;
4030
4031     sv_setsv(dstr,sstr);
4032     SvSETMAGIC(dstr);
4033 }
4034
4035 #ifdef PERL_OLD_COPY_ON_WRITE
4036 SV *
4037 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4038 {
4039     STRLEN cur = SvCUR(sstr);
4040     STRLEN len = SvLEN(sstr);
4041     register char *new_pv;
4042
4043     PERL_ARGS_ASSERT_SV_SETSV_COW;
4044
4045     if (DEBUG_C_TEST) {
4046         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4047                       (void*)sstr, (void*)dstr);
4048         sv_dump(sstr);
4049         if (dstr)
4050                     sv_dump(dstr);
4051     }
4052
4053     if (dstr) {
4054         if (SvTHINKFIRST(dstr))
4055             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4056         else if (SvPVX_const(dstr))
4057             Safefree(SvPVX_const(dstr));
4058     }
4059     else
4060         new_SV(dstr);
4061     SvUPGRADE(dstr, SVt_PVIV);
4062
4063     assert (SvPOK(sstr));
4064     assert (SvPOKp(sstr));
4065     assert (!SvIOK(sstr));
4066     assert (!SvIOKp(sstr));
4067     assert (!SvNOK(sstr));
4068     assert (!SvNOKp(sstr));
4069
4070     if (SvIsCOW(sstr)) {
4071
4072         if (SvLEN(sstr) == 0) {
4073             /* source is a COW shared hash key.  */
4074             DEBUG_C(PerlIO_printf(Perl_debug_log,
4075                                   "Fast copy on write: Sharing hash\n"));
4076             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4077             goto common_exit;
4078         }
4079         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4080     } else {
4081         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4082         SvUPGRADE(sstr, SVt_PVIV);
4083         SvREADONLY_on(sstr);
4084         SvFAKE_on(sstr);
4085         DEBUG_C(PerlIO_printf(Perl_debug_log,
4086                               "Fast copy on write: Converting sstr to COW\n"));
4087         SV_COW_NEXT_SV_SET(dstr, sstr);
4088     }
4089     SV_COW_NEXT_SV_SET(sstr, dstr);
4090     new_pv = SvPVX_mutable(sstr);
4091
4092   common_exit:
4093     SvPV_set(dstr, new_pv);
4094     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
4095     if (SvUTF8(sstr))
4096         SvUTF8_on(dstr);
4097     SvLEN_set(dstr, len);
4098     SvCUR_set(dstr, cur);
4099     if (DEBUG_C_TEST) {
4100         sv_dump(dstr);
4101     }
4102     return dstr;
4103 }
4104 #endif
4105
4106 /*
4107 =for apidoc sv_setpvn
4108
4109 Copies a string into an SV.  The C<len> parameter indicates the number of
4110 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4111 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4112
4113 =cut
4114 */
4115
4116 void
4117 Perl_sv_setpvn(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4118 {
4119     dVAR;
4120     register char *dptr;
4121
4122     PERL_ARGS_ASSERT_SV_SETPVN;
4123
4124     SV_CHECK_THINKFIRST_COW_DROP(sv);
4125     if (!ptr) {
4126         (void)SvOK_off(sv);
4127         return;
4128     }
4129     else {
4130         /* len is STRLEN which is unsigned, need to copy to signed */
4131         const IV iv = len;
4132         if (iv < 0)
4133             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
4134     }
4135     SvUPGRADE(sv, SVt_PV);
4136
4137     dptr = SvGROW(sv, len + 1);
4138     Move(ptr,dptr,len,char);
4139     dptr[len] = '\0';
4140     SvCUR_set(sv, len);
4141     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4142     SvTAINT(sv);
4143 }
4144
4145 /*
4146 =for apidoc sv_setpvn_mg
4147
4148 Like C<sv_setpvn>, but also handles 'set' magic.
4149
4150 =cut
4151 */
4152
4153 void
4154 Perl_sv_setpvn_mg(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4155 {
4156     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4157
4158     sv_setpvn(sv,ptr,len);
4159     SvSETMAGIC(sv);
4160 }
4161
4162 /*
4163 =for apidoc sv_setpv
4164
4165 Copies a string into an SV.  The string must be null-terminated.  Does not
4166 handle 'set' magic.  See C<sv_setpv_mg>.
4167
4168 =cut
4169 */
4170
4171 void
4172 Perl_sv_setpv(pTHX_ register SV *const sv, register const char *const ptr)
4173 {
4174     dVAR;
4175     register STRLEN len;
4176
4177     PERL_ARGS_ASSERT_SV_SETPV;
4178
4179     SV_CHECK_THINKFIRST_COW_DROP(sv);
4180     if (!ptr) {
4181         (void)SvOK_off(sv);
4182         return;
4183     }
4184     len = strlen(ptr);
4185     SvUPGRADE(sv, SVt_PV);
4186
4187     SvGROW(sv, len + 1);
4188     Move(ptr,SvPVX(sv),len+1,char);
4189     SvCUR_set(sv, len);
4190     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4191     SvTAINT(sv);
4192 }
4193
4194 /*
4195 =for apidoc sv_setpv_mg
4196
4197 Like C<sv_setpv>, but also handles 'set' magic.
4198
4199 =cut
4200 */
4201
4202 void
4203 Perl_sv_setpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4204 {
4205     PERL_ARGS_ASSERT_SV_SETPV_MG;
4206
4207     sv_setpv(sv,ptr);
4208     SvSETMAGIC(sv);
4209 }
4210
4211 /*
4212 =for apidoc sv_usepvn_flags
4213
4214 Tells an SV to use C<ptr> to find its string value.  Normally the
4215 string is stored inside the SV but sv_usepvn allows the SV to use an
4216 outside string.  The C<ptr> should point to memory that was allocated
4217 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4218 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4219 so that pointer should not be freed or used by the programmer after
4220 giving it to sv_usepvn, and neither should any pointers from "behind"
4221 that pointer (e.g. ptr + 1) be used.
4222
4223 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4224 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4225 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4226 C<len>, and already meets the requirements for storing in C<SvPVX>)
4227
4228 =cut
4229 */
4230
4231 void
4232 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
4233 {
4234     dVAR;
4235     STRLEN allocate;
4236
4237     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
4238
4239     SV_CHECK_THINKFIRST_COW_DROP(sv);
4240     SvUPGRADE(sv, SVt_PV);
4241     if (!ptr) {
4242         (void)SvOK_off(sv);
4243         if (flags & SV_SMAGIC)
4244             SvSETMAGIC(sv);
4245         return;
4246     }
4247     if (SvPVX_const(sv))
4248         SvPV_free(sv);
4249
4250 #ifdef DEBUGGING
4251     if (flags & SV_HAS_TRAILING_NUL)
4252         assert(ptr[len] == '\0');
4253 #endif
4254
4255     allocate = (flags & SV_HAS_TRAILING_NUL)
4256         ? len + 1 :
4257 #ifdef Perl_safesysmalloc_size
4258         len + 1;
4259 #else 
4260         PERL_STRLEN_ROUNDUP(len + 1);
4261 #endif
4262     if (flags & SV_HAS_TRAILING_NUL) {
4263         /* It's long enough - do nothing.
4264            Specfically Perl_newCONSTSUB is relying on this.  */
4265     } else {
4266 #ifdef DEBUGGING
4267         /* Force a move to shake out bugs in callers.  */
4268         char *new_ptr = (char*)safemalloc(allocate);
4269         Copy(ptr, new_ptr, len, char);
4270         PoisonFree(ptr,len,char);
4271         Safefree(ptr);
4272         ptr = new_ptr;
4273 #else
4274         ptr = (char*) saferealloc (ptr, allocate);
4275 #endif
4276     }
4277 #ifdef Perl_safesysmalloc_size
4278     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
4279 #else
4280     SvLEN_set(sv, allocate);
4281 #endif
4282     SvCUR_set(sv, len);
4283     SvPV_set(sv, ptr);
4284     if (!(flags & SV_HAS_TRAILING_NUL)) {
4285         ptr[len] = '\0';
4286     }
4287     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4288     SvTAINT(sv);
4289     if (flags & SV_SMAGIC)
4290         SvSETMAGIC(sv);
4291 }
4292
4293 #ifdef PERL_OLD_COPY_ON_WRITE
4294 /* Need to do this *after* making the SV normal, as we need the buffer
4295    pointer to remain valid until after we've copied it.  If we let go too early,
4296    another thread could invalidate it by unsharing last of the same hash key
4297    (which it can do by means other than releasing copy-on-write Svs)
4298    or by changing the other copy-on-write SVs in the loop.  */
4299 STATIC void
4300 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4301 {
4302     PERL_ARGS_ASSERT_SV_RELEASE_COW;
4303
4304     { /* this SV was SvIsCOW_normal(sv) */
4305          /* we need to find the SV pointing to us.  */
4306         SV *current = SV_COW_NEXT_SV(after);
4307
4308         if (current == sv) {
4309             /* The SV we point to points back to us (there were only two of us
4310                in the loop.)
4311                Hence other SV is no longer copy on write either.  */
4312             SvFAKE_off(after);
4313             SvREADONLY_off(after);
4314         } else {
4315             /* We need to follow the pointers around the loop.  */
4316             SV *next;
4317             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4318                 assert (next);
4319                 current = next;
4320                  /* don't loop forever if the structure is bust, and we have
4321                     a pointer into a closed loop.  */
4322                 assert (current != after);
4323                 assert (SvPVX_const(current) == pvx);
4324             }
4325             /* Make the SV before us point to the SV after us.  */
4326             SV_COW_NEXT_SV_SET(current, after);
4327         }
4328     }
4329 }
4330 #endif
4331 /*
4332 =for apidoc sv_force_normal_flags
4333
4334 Undo various types of fakery on an SV: if the PV is a shared string, make
4335 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4336 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4337 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4338 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4339 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4340 set to some other value.) In addition, the C<flags> parameter gets passed to
4341 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4342 with flags set to 0.
4343
4344 =cut
4345 */
4346
4347 void
4348 Perl_sv_force_normal_flags(pTHX_ register SV *const sv, const U32 flags)
4349 {
4350     dVAR;
4351
4352     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
4353
4354 #ifdef PERL_OLD_COPY_ON_WRITE
4355     if (SvREADONLY(sv)) {
4356         /* At this point I believe I should acquire a global SV mutex.  */
4357         if (SvFAKE(sv)) {
4358             const char * const pvx = SvPVX_const(sv);
4359             const STRLEN len = SvLEN(sv);
4360             const STRLEN cur = SvCUR(sv);
4361             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4362                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4363                we'll fail an assertion.  */
4364             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4365
4366             if (DEBUG_C_TEST) {
4367                 PerlIO_printf(Perl_debug_log,
4368                               "Copy on write: Force normal %ld\n",
4369                               (long) flags);
4370                 sv_dump(sv);
4371             }
4372             SvFAKE_off(sv);
4373             SvREADONLY_off(sv);
4374             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4375             SvPV_set(sv, NULL);
4376             SvLEN_set(sv, 0);
4377             if (flags & SV_COW_DROP_PV) {
4378                 /* OK, so we don't need to copy our buffer.  */
4379                 SvPOK_off(sv);
4380             } else {
4381                 SvGROW(sv, cur + 1);
4382                 Move(pvx,SvPVX(sv),cur,char);
4383                 SvCUR_set(sv, cur);
4384                 *SvEND(sv) = '\0';
4385             }
4386             if (len) {
4387                 sv_release_COW(sv, pvx, next);
4388             } else {
4389                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4390             }
4391             if (DEBUG_C_TEST) {
4392                 sv_dump(sv);
4393             }
4394         }
4395         else if (IN_PERL_RUNTIME)
4396             Perl_croak(aTHX_ "%s", PL_no_modify);
4397         /* At this point I believe that I can drop the global SV mutex.  */
4398     }
4399 #else
4400     if (SvREADONLY(sv)) {
4401         if (SvFAKE(sv)) {
4402             const char * const pvx = SvPVX_const(sv);
4403             const STRLEN len = SvCUR(sv);
4404             SvFAKE_off(sv);
4405             SvREADONLY_off(sv);
4406             SvPV_set(sv, NULL);
4407             SvLEN_set(sv, 0);
4408             SvGROW(sv, len + 1);
4409             Move(pvx,SvPVX(sv),len,char);
4410             *SvEND(sv) = '\0';
4411             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4412         }
4413         else if (IN_PERL_RUNTIME)
4414             Perl_croak(aTHX_ "%s", PL_no_modify);
4415     }
4416 #endif
4417     if (SvROK(sv))
4418         sv_unref_flags(sv, flags);
4419     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4420         sv_unglob(sv);
4421 }
4422
4423 /*
4424 =for apidoc sv_chop
4425
4426 Efficient removal of characters from the beginning of the string buffer.
4427 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4428 the string buffer.  The C<ptr> becomes the first character of the adjusted
4429 string. Uses the "OOK hack".
4430 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4431 refer to the same chunk of data.
4432
4433 =cut
4434 */
4435
4436 void
4437 Perl_sv_chop(pTHX_ register SV *const sv, register const char *const ptr)
4438 {
4439     STRLEN delta;
4440     STRLEN old_delta;
4441     U8 *p;
4442 #ifdef DEBUGGING
4443     const U8 *real_start;
4444 #endif
4445     STRLEN max_delta;
4446
4447     PERL_ARGS_ASSERT_SV_CHOP;
4448
4449     if (!ptr || !SvPOKp(sv))
4450         return;
4451     delta = ptr - SvPVX_const(sv);
4452     if (!delta) {
4453         /* Nothing to do.  */
4454         return;
4455     }
4456     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), but after this line,
4457        nothing uses the value of ptr any more.  */
4458     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
4459     if (ptr <= SvPVX_const(sv))
4460         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
4461                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
4462     SV_CHECK_THINKFIRST(sv);
4463     if (delta > max_delta)
4464         Perl_croak(aTHX_ "panic: sv_chop ptr=%p (was %p), start=%p, end=%p",
4465                    SvPVX_const(sv) + delta, ptr, SvPVX_const(sv),
4466                    SvPVX_const(sv) + max_delta);
4467
4468     if (!SvOOK(sv)) {
4469         if (!SvLEN(sv)) { /* make copy of shared string */
4470             const char *pvx = SvPVX_const(sv);
4471             const STRLEN len = SvCUR(sv);
4472             SvGROW(sv, len + 1);
4473             Move(pvx,SvPVX(sv),len,char);
4474             *SvEND(sv) = '\0';
4475         }
4476         SvFLAGS(sv) |= SVf_OOK;
4477         old_delta = 0;
4478     } else {
4479         SvOOK_offset(sv, old_delta);
4480     }
4481     SvLEN_set(sv, SvLEN(sv) - delta);
4482     SvCUR_set(sv, SvCUR(sv) - delta);
4483     SvPV_set(sv, SvPVX(sv) + delta);
4484
4485     p = (U8 *)SvPVX_const(sv);
4486
4487     delta += old_delta;
4488
4489 #ifdef DEBUGGING
4490     real_start = p - delta;
4491 #endif
4492
4493     assert(delta);
4494     if (delta < 0x100) {
4495         *--p = (U8) delta;
4496     } else {
4497         *--p = 0;
4498         p -= sizeof(STRLEN);
4499         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
4500     }
4501
4502 #ifdef DEBUGGING
4503     /* Fill the preceding buffer with sentinals to verify that no-one is
4504        using it.  */
4505     while (p > real_start) {
4506         --p;
4507         *p = (U8)PTR2UV(p);
4508     }
4509 #endif
4510 }
4511
4512 /*
4513 =for apidoc sv_catpvn
4514
4515 Concatenates the string onto the end of the string which is in the SV.  The
4516 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4517 status set, then the bytes appended should be valid UTF-8.
4518 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4519
4520 =for apidoc sv_catpvn_flags
4521
4522 Concatenates the string onto the end of the string which is in the SV.  The
4523 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4524 status set, then the bytes appended should be valid UTF-8.
4525 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4526 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4527 in terms of this function.
4528
4529 =cut
4530 */
4531
4532 void
4533 Perl_sv_catpvn_flags(pTHX_ register SV *const dsv, register const char *sstr, register const STRLEN slen, const I32 flags)
4534 {
4535     dVAR;
4536     STRLEN dlen;
4537     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4538
4539     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
4540
4541     SvGROW(dsv, dlen + slen + 1);
4542     if (sstr == dstr)
4543         sstr = SvPVX_const(dsv);
4544     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4545     SvCUR_set(dsv, SvCUR(dsv) + slen);
4546     *SvEND(dsv) = '\0';
4547     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4548     SvTAINT(dsv);
4549     if (flags & SV_SMAGIC)
4550         SvSETMAGIC(dsv);
4551 }
4552
4553 /*
4554 =for apidoc sv_catsv
4555
4556 Concatenates the string from SV C<ssv> onto the end of the string in
4557 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4558 not 'set' magic.  See C<sv_catsv_mg>.
4559
4560 =for apidoc sv_catsv_flags
4561
4562 Concatenates the string from SV C<ssv> onto the end of the string in
4563 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4564 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4565 and C<sv_catsv_nomg> are implemented in terms of this function.
4566
4567 =cut */
4568
4569 void
4570 Perl_sv_catsv_flags(pTHX_ SV *const dsv, register SV *const ssv, const I32 flags)
4571 {
4572     dVAR;
4573  
4574     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
4575
4576    if (ssv) {
4577         STRLEN slen;
4578         const char *spv = SvPV_const(ssv, slen);
4579         if (spv) {
4580             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4581                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4582                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4583                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4584                 dsv->sv_flags doesn't have that bit set.
4585                 Andy Dougherty  12 Oct 2001
4586             */
4587             const I32 sutf8 = DO_UTF8(ssv);
4588             I32 dutf8;
4589
4590             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4591                 mg_get(dsv);
4592             dutf8 = DO_UTF8(dsv);
4593
4594             if (dutf8 != sutf8) {
4595                 if (dutf8) {
4596                     /* Not modifying source SV, so taking a temporary copy. */
4597                     SV* const csv = newSVpvn_flags(spv, slen, SVs_TEMP);
4598
4599                     sv_utf8_upgrade(csv);
4600                     spv = SvPV_const(csv, slen);
4601                 }
4602                 else
4603                     sv_utf8_upgrade_nomg(dsv);
4604             }
4605             sv_catpvn_nomg(dsv, spv, slen);
4606         }
4607     }
4608     if (flags & SV_SMAGIC)
4609         SvSETMAGIC(dsv);
4610 }
4611
4612 /*
4613 =for apidoc sv_catpv
4614
4615 Concatenates the string onto the end of the string which is in the SV.
4616 If the SV has the UTF-8 status set, then the bytes appended should be
4617 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4618
4619 =cut */
4620
4621 void
4622 Perl_sv_catpv(pTHX_ register SV *const sv, register const char *ptr)
4623 {
4624     dVAR;
4625     register STRLEN len;
4626     STRLEN tlen;
4627     char *junk;
4628
4629     PERL_ARGS_ASSERT_SV_CATPV;
4630
4631     if (!ptr)
4632         return;
4633     junk = SvPV_force(sv, tlen);
4634     len = strlen(ptr);
4635     SvGROW(sv, tlen + len + 1);
4636     if (ptr == junk)
4637         ptr = SvPVX_const(sv);
4638     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4639     SvCUR_set(sv, SvCUR(sv) + len);
4640     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4641     SvTAINT(sv);
4642 }
4643
4644 /*
4645 =for apidoc sv_catpv_mg
4646
4647 Like C<sv_catpv>, but also handles 'set' magic.
4648
4649 =cut
4650 */
4651
4652 void
4653 Perl_sv_catpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4654 {
4655     PERL_ARGS_ASSERT_SV_CATPV_MG;
4656
4657     sv_catpv(sv,ptr);
4658     SvSETMAGIC(sv);
4659 }
4660
4661 /*
4662 =for apidoc newSV
4663
4664 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4665 bytes of preallocated string space the SV should have.  An extra byte for a
4666 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4667 space is allocated.)  The reference count for the new SV is set to 1.
4668
4669 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4670 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4671 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4672 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4673 modules supporting older perls.
4674
4675 =cut
4676 */
4677
4678 SV *
4679 Perl_newSV(pTHX_ const STRLEN len)
4680 {
4681     dVAR;
4682     register SV *sv;
4683
4684     new_SV(sv);
4685     if (len) {
4686         sv_upgrade(sv, SVt_PV);
4687         SvGROW(sv, len + 1);
4688     }
4689     return sv;
4690 }
4691 /*
4692 =for apidoc sv_magicext
4693
4694 Adds magic to an SV, upgrading it if necessary. Applies the
4695 supplied vtable and returns a pointer to the magic added.
4696
4697 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4698 In particular, you can add magic to SvREADONLY SVs, and add more than
4699 one instance of the same 'how'.
4700
4701 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4702 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4703 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4704 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4705
4706 (This is now used as a subroutine by C<sv_magic>.)
4707
4708 =cut
4709 */
4710 MAGIC * 
4711 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
4712                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
4713 {
4714     dVAR;
4715     MAGIC* mg;
4716
4717     PERL_ARGS_ASSERT_SV_MAGICEXT;
4718
4719     SvUPGRADE(sv, SVt_PVMG);
4720     Newxz(mg, 1, MAGIC);
4721     mg->mg_moremagic = SvMAGIC(sv);
4722     SvMAGIC_set(sv, mg);
4723
4724     /* Sometimes a magic contains a reference loop, where the sv and
4725        object refer to each other.  To prevent a reference loop that
4726        would prevent such objects being freed, we look for such loops
4727        and if we find one we avoid incrementing the object refcount.
4728
4729        Note we cannot do this to avoid self-tie loops as intervening RV must
4730        have its REFCNT incremented to keep it in existence.
4731
4732     */
4733     if (!obj || obj == sv ||
4734         how == PERL_MAGIC_arylen ||
4735         how == PERL_MAGIC_symtab ||
4736         (SvTYPE(obj) == SVt_PVGV &&
4737             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
4738              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
4739              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
4740     {
4741         mg->mg_obj = obj;
4742     }
4743     else {
4744         mg->mg_obj = SvREFCNT_inc_simple(obj);
4745         mg->mg_flags |= MGf_REFCOUNTED;
4746     }
4747
4748     /* Normal self-ties simply pass a null object, and instead of
4749        using mg_obj directly, use the SvTIED_obj macro to produce a
4750        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4751        with an RV obj pointing to the glob containing the PVIO.  In
4752        this case, to avoid a reference loop, we need to weaken the
4753        reference.
4754     */
4755
4756     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4757         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
4758     {
4759       sv_rvweaken(obj);
4760     }
4761
4762     mg->mg_type = how;
4763     mg->mg_len = namlen;
4764     if (name) {
4765         if (namlen > 0)
4766             mg->mg_ptr = savepvn(name, namlen);
4767         else if (namlen == HEf_SVKEY) {
4768             /* Yes, this is casting away const. This is only for the case of
4769                HEf_SVKEY. I think we need to document this abberation of the
4770                constness of the API, rather than making name non-const, as
4771                that change propagating outwards a long way.  */
4772             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
4773         } else
4774             mg->mg_ptr = (char *) name;
4775     }
4776     mg->mg_virtual = (MGVTBL *) vtable;
4777
4778     mg_magical(sv);
4779     if (SvGMAGICAL(sv))
4780         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4781     return mg;
4782 }
4783
4784 /*
4785 =for apidoc sv_magic
4786
4787 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4788 then adds a new magic item of type C<how> to the head of the magic list.
4789
4790 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4791 handling of the C<name> and C<namlen> arguments.
4792
4793 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4794 to add more than one instance of the same 'how'.
4795
4796 =cut
4797 */
4798
4799 void
4800 Perl_sv_magic(pTHX_ register SV *const sv, SV *const obj, const int how, 
4801              const char *const name, const I32 namlen)
4802 {
4803     dVAR;
4804     const MGVTBL *vtable;
4805     MAGIC* mg;
4806
4807     PERL_ARGS_ASSERT_SV_MAGIC;
4808
4809 #ifdef PERL_OLD_COPY_ON_WRITE
4810     if (SvIsCOW(sv))
4811         sv_force_normal_flags(sv, 0);
4812 #endif
4813     if (SvREADONLY(sv)) {
4814         if (
4815             /* its okay to attach magic to shared strings; the subsequent
4816              * upgrade to PVMG will unshare the string */
4817             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4818
4819             && IN_PERL_RUNTIME
4820             && how != PERL_MAGIC_regex_global
4821             && how != PERL_MAGIC_bm
4822             && how != PERL_MAGIC_fm
4823             && how != PERL_MAGIC_sv
4824             && how != PERL_MAGIC_backref
4825            )
4826         {
4827             Perl_croak(aTHX_ "%s", PL_no_modify);
4828         }
4829     }
4830     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4831         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4832             /* sv_magic() refuses to add a magic of the same 'how' as an
4833                existing one
4834              */
4835             if (how == PERL_MAGIC_taint) {
4836                 mg->mg_len |= 1;
4837                 /* Any scalar which already had taint magic on which someone
4838                    (erroneously?) did SvIOK_on() or similar will now be
4839                    incorrectly sporting public "OK" flags.  */
4840                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4841             }
4842             return;
4843         }
4844     }
4845
4846     switch (how) {
4847     case PERL_MAGIC_sv:
4848         vtable = &PL_vtbl_sv;
4849         break;
4850     case PERL_MAGIC_overload:
4851         vtable = &PL_vtbl_amagic;
4852         break;
4853     case PERL_MAGIC_overload_elem:
4854         vtable = &PL_vtbl_amagicelem;
4855         break;
4856     case PERL_MAGIC_overload_table:
4857         vtable = &PL_vtbl_ovrld;
4858         break;
4859     case PERL_MAGIC_bm:
4860         vtable = &PL_vtbl_bm;
4861         break;
4862     case PERL_MAGIC_regdata:
4863         vtable = &PL_vtbl_regdata;
4864         break;
4865     case PERL_MAGIC_regdatum:
4866         vtable = &PL_vtbl_regdatum;
4867         break;
4868     case PERL_MAGIC_env:
4869         vtable = &PL_vtbl_env;
4870         break;
4871     case PERL_MAGIC_fm:
4872         vtable = &PL_vtbl_fm;
4873         break;
4874     case PERL_MAGIC_envelem:
4875         vtable = &PL_vtbl_envelem;
4876         break;
4877     case PERL_MAGIC_regex_global:
4878         vtable = &PL_vtbl_mglob;
4879         break;
4880     case PERL_MAGIC_isa:
4881         vtable = &PL_vtbl_isa;
4882         break;
4883     case PERL_MAGIC_isaelem:
4884         vtable = &PL_vtbl_isaelem;
4885         break;
4886     case PERL_MAGIC_nkeys:
4887         vtable = &PL_vtbl_nkeys;
4888         break;
4889     case PERL_MAGIC_dbfile:
4890         vtable = NULL;
4891         break;
4892     case PERL_MAGIC_dbline:
4893         vtable = &PL_vtbl_dbline;
4894         break;
4895 #ifdef USE_LOCALE_COLLATE
4896     case PERL_MAGIC_collxfrm:
4897         vtable = &PL_vtbl_collxfrm;
4898         break;
4899 #endif /* USE_LOCALE_COLLATE */
4900     case PERL_MAGIC_tied:
4901         vtable = &PL_vtbl_pack;
4902         break;
4903     case PERL_MAGIC_tiedelem:
4904     case PERL_MAGIC_tiedscalar:
4905         vtable = &PL_vtbl_packelem;
4906         break;
4907     case PERL_MAGIC_qr:
4908         vtable = &PL_vtbl_regexp;
4909         break;
4910     case PERL_MAGIC_hints:
4911         /* As this vtable is all NULL, we can reuse it.  */
4912     case PERL_MAGIC_sig:
4913         vtable = &PL_vtbl_sig;
4914         break;
4915     case PERL_MAGIC_sigelem:
4916         vtable = &PL_vtbl_sigelem;
4917         break;
4918     case PERL_MAGIC_taint:
4919         vtable = &PL_vtbl_taint;
4920         break;
4921     case PERL_MAGIC_uvar:
4922         vtable = &PL_vtbl_uvar;
4923         break;
4924     case PERL_MAGIC_vec:
4925         vtable = &PL_vtbl_vec;
4926         break;
4927     case PERL_MAGIC_arylen_p:
4928     case PERL_MAGIC_rhash:
4929     case PERL_MAGIC_symtab:
4930     case PERL_MAGIC_vstring:
4931         vtable = NULL;
4932         break;
4933     case PERL_MAGIC_utf8:
4934         vtable = &PL_vtbl_utf8;
4935         break;
4936     case PERL_MAGIC_substr:
4937         vtable = &PL_vtbl_substr;
4938         break;
4939     case PERL_MAGIC_defelem:
4940         vtable = &PL_vtbl_defelem;
4941         break;
4942     case PERL_MAGIC_arylen:
4943         vtable = &PL_vtbl_arylen;
4944         break;
4945     case PERL_MAGIC_pos:
4946         vtable = &PL_vtbl_pos;
4947         break;
4948     case PERL_MAGIC_backref:
4949         vtable = &PL_vtbl_backref;
4950         break;
4951     case PERL_MAGIC_hintselem:
4952         vtable = &PL_vtbl_hintselem;
4953         break;
4954     case PERL_MAGIC_ext:
4955         /* Reserved for use by extensions not perl internals.           */
4956         /* Useful for attaching extension internal data to perl vars.   */
4957         /* Note that multiple extensions may clash if magical scalars   */
4958         /* etc holding private data from one are passed to another.     */
4959         vtable = NULL;
4960         break;
4961     default:
4962         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4963     }
4964
4965     /* Rest of work is done else where */
4966     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4967
4968     switch (how) {
4969     case PERL_MAGIC_taint:
4970         mg->mg_len = 1;
4971         break;
4972     case PERL_MAGIC_ext:
4973     case PERL_MAGIC_dbfile:
4974         SvRMAGICAL_on(sv);
4975         break;
4976     }
4977 }
4978
4979 /*
4980 =for apidoc sv_unmagic
4981
4982 Removes all magic of type C<type> from an SV.
4983
4984 =cut
4985 */
4986
4987 int
4988 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
4989 {
4990     MAGIC* mg;
4991     MAGIC** mgp;
4992
4993     PERL_ARGS_ASSERT_SV_UNMAGIC;
4994
4995     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4996         return 0;
4997     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
4998     for (mg = *mgp; mg; mg = *mgp) {
4999         if (mg->mg_type == type) {
5000             const MGVTBL* const vtbl = mg->mg_virtual;
5001             *mgp = mg->mg_moremagic;
5002             if (vtbl && vtbl->svt_free)
5003                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
5004             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5005                 if (mg->mg_len > 0)
5006                     Safefree(mg->mg_ptr);
5007                 else if (mg->mg_len == HEf_SVKEY)
5008                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5009                 else if (mg->mg_type == PERL_MAGIC_utf8)
5010                     Safefree(mg->mg_ptr);
5011             }
5012             if (mg->mg_flags & MGf_REFCOUNTED)
5013                 SvREFCNT_dec(mg->mg_obj);
5014             Safefree(mg);
5015         }
5016         else
5017             mgp = &mg->mg_moremagic;
5018     }
5019     if (!SvMAGIC(sv)) {
5020         SvMAGICAL_off(sv);
5021         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
5022         SvMAGIC_set(sv, NULL);
5023     }
5024
5025     return 0;
5026 }
5027
5028 /*
5029 =for apidoc sv_rvweaken
5030
5031 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5032 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5033 push a back-reference to this RV onto the array of backreferences
5034 associated with that magic. If the RV is magical, set magic will be
5035 called after the RV is cleared.
5036
5037 =cut
5038 */
5039
5040 SV *
5041 Perl_sv_rvweaken(pTHX_ SV *const sv)
5042 {
5043     SV *tsv;
5044
5045     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5046
5047     if (!SvOK(sv))  /* let undefs pass */
5048         return sv;
5049     if (!SvROK(sv))
5050         Perl_croak(aTHX_ "Can't weaken a nonreference");
5051     else if (SvWEAKREF(sv)) {
5052         if (ckWARN(WARN_MISC))
5053             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5054         return sv;
5055     }
5056     tsv = SvRV(sv);
5057     Perl_sv_add_backref(aTHX_ tsv, sv);
5058     SvWEAKREF_on(sv);
5059     SvREFCNT_dec(tsv);
5060     return sv;
5061 }
5062
5063 /* Give tsv backref magic if it hasn't already got it, then push a
5064  * back-reference to sv onto the array associated with the backref magic.
5065  */
5066
5067 /* A discussion about the backreferences array and its refcount:
5068  *
5069  * The AV holding the backreferences is pointed to either as the mg_obj of
5070  * PERL_MAGIC_backref, or in the specific case of a HV that has the hv_aux
5071  * structure, from the xhv_backreferences field. (A HV without hv_aux will
5072  * have the standard magic instead.) The array is created with a refcount
5073  * of 2. This means that if during global destruction the array gets
5074  * picked on first to have its refcount decremented by the random zapper,
5075  * it won't actually be freed, meaning it's still theere for when its
5076  * parent gets freed.
5077  * When the parent SV is freed, in the case of magic, the magic is freed,
5078  * Perl_magic_killbackrefs is called which decrements one refcount, then
5079  * mg_obj is freed which kills the second count.
5080  * In the vase of a HV being freed, one ref is removed by
5081  * Perl_hv_kill_backrefs, the other by Perl_sv_kill_backrefs, which it
5082  * calls.
5083  */
5084
5085 void
5086 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5087 {
5088     dVAR;
5089     AV *av;
5090
5091     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5092
5093     if (SvTYPE(tsv) == SVt_PVHV) {
5094         AV **const avp = Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5095
5096         av = *avp;
5097         if (!av) {
5098             /* There is no AV in the offical place - try a fixup.  */
5099             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
5100
5101             if (mg) {
5102                 /* Aha. They've got it stowed in magic.  Bring it back.  */
5103                 av = MUTABLE_AV(mg->mg_obj);
5104                 /* Stop mg_free decreasing the refernce count.  */
5105                 mg->mg_obj = NULL;
5106                 /* Stop mg_free even calling the destructor, given that
5107                    there's no AV to free up.  */
5108                 mg->mg_virtual = 0;
5109                 sv_unmagic(tsv, PERL_MAGIC_backref);
5110             } else {
5111                 av = newAV();
5112                 AvREAL_off(av);
5113                 SvREFCNT_inc_simple_void(av); /* see discussion above */
5114             }
5115             *avp = av;
5116         }
5117     } else {
5118         const MAGIC *const mg
5119             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5120         if (mg)
5121             av = MUTABLE_AV(mg->mg_obj);
5122         else {
5123             av = newAV();
5124             AvREAL_off(av);
5125             sv_magic(tsv, MUTABLE_SV(av), PERL_MAGIC_backref, NULL, 0);
5126             /* av now has a refcnt of 2; see discussion above */
5127         }
5128     }
5129     if (AvFILLp(av) >= AvMAX(av)) {
5130         av_extend(av, AvFILLp(av)+1);
5131     }
5132     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5133 }
5134
5135 /* delete a back-reference to ourselves from the backref magic associated
5136  * with the SV we point to.
5137  */
5138
5139 STATIC void
5140 S_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5141 {
5142     dVAR;
5143     AV *av = NULL;
5144     SV **svp;
5145     I32 i;
5146
5147     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
5148
5149     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
5150         av = *Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5151         /* We mustn't attempt to "fix up" the hash here by moving the
5152            backreference array back to the hv_aux structure, as that is stored
5153            in the main HvARRAY(), and hfreentries assumes that no-one
5154            reallocates HvARRAY() while it is running.  */
5155     }
5156     if (!av) {
5157         const MAGIC *const mg
5158             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5159         if (mg)
5160             av = MUTABLE_AV(mg->mg_obj);
5161     }
5162
5163     if (!av)
5164         Perl_croak(aTHX_ "panic: del_backref");
5165
5166     assert(!SvIS_FREED(av));
5167
5168     svp = AvARRAY(av);
5169     /* We shouldn't be in here more than once, but for paranoia reasons lets
5170        not assume this.  */
5171     for (i = AvFILLp(av); i >= 0; i--) {
5172         if (svp[i] == sv) {
5173             const SSize_t fill = AvFILLp(av);
5174             if (i != fill) {
5175                 /* We weren't the last entry.
5176                    An unordered list has this property that you can take the
5177                    last element off the end to fill the hole, and it's still
5178                    an unordered list :-)
5179                 */
5180                 svp[i] = svp[fill];
5181             }
5182             svp[fill] = NULL;
5183             AvFILLp(av) = fill - 1;
5184         }
5185     }
5186 }
5187
5188 int
5189 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
5190 {
5191     SV **svp = AvARRAY(av);
5192
5193     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
5194     PERL_UNUSED_ARG(sv);
5195
5196     assert(!svp || !SvIS_FREED(av));
5197     if (svp) {
5198         SV *const *const last = svp + AvFILLp(av);
5199
5200         while (svp <= last) {
5201             if (*svp) {
5202                 SV *const referrer = *svp;
5203                 if (SvWEAKREF(referrer)) {
5204                     /* XXX Should we check that it hasn't changed? */
5205                     SvRV_set(referrer, 0);
5206                     SvOK_off(referrer);
5207                     SvWEAKREF_off(referrer);
5208                     SvSETMAGIC(referrer);
5209                 } else if (SvTYPE(referrer) == SVt_PVGV ||
5210                            SvTYPE(referrer) == SVt_PVLV) {
5211                     /* You lookin' at me?  */
5212                     assert(GvSTASH(referrer));
5213                     assert(GvSTASH(referrer) == (const HV *)sv);
5214                     GvSTASH(referrer) = 0;
5215                 } else {
5216                     Perl_croak(aTHX_
5217                                "panic: magic_killbackrefs (flags=%"UVxf")",
5218                                (UV)SvFLAGS(referrer));
5219                 }
5220
5221                 *svp = NULL;
5222             }
5223             svp++;
5224         }
5225     }
5226     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
5227     return 0;
5228 }
5229
5230 /*
5231 =for apidoc sv_insert
5232
5233 Inserts a string at the specified offset/length within the SV. Similar to
5234 the Perl substr() function. Handles get magic.
5235
5236 =for apidoc sv_insert_flags
5237
5238 Same as C<sv_insert>, but the extra C<flags> are passed the C<SvPV_force_flags> that applies to C<bigstr>.
5239
5240 =cut
5241 */
5242
5243 void
5244 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
5245 {
5246     dVAR;
5247     register char *big;
5248     register char *mid;
5249     register char *midend;
5250     register char *bigend;
5251     register I32 i;
5252     STRLEN curlen;
5253
5254     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
5255
5256     if (!bigstr)
5257         Perl_croak(aTHX_ "Can't modify non-existent substring");
5258     SvPV_force_flags(bigstr, curlen, flags);
5259     (void)SvPOK_only_UTF8(bigstr);
5260     if (offset + len > curlen) {
5261         SvGROW(bigstr, offset+len+1);
5262         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
5263         SvCUR_set(bigstr, offset+len);
5264     }
5265
5266     SvTAINT(bigstr);
5267     i = littlelen - len;
5268     if (i > 0) {                        /* string might grow */
5269         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
5270         mid = big + offset + len;
5271         midend = bigend = big + SvCUR(bigstr);
5272         bigend += i;
5273         *bigend = '\0';
5274         while (midend > mid)            /* shove everything down */
5275             *--bigend = *--midend;
5276         Move(little,big+offset,littlelen,char);
5277         SvCUR_set(bigstr, SvCUR(bigstr) + i);
5278         SvSETMAGIC(bigstr);
5279         return;
5280     }
5281     else if (i == 0) {
5282         Move(little,SvPVX(bigstr)+offset,len,char);
5283         SvSETMAGIC(bigstr);
5284         return;
5285     }
5286
5287     big = SvPVX(bigstr);
5288     mid = big + offset;
5289     midend = mid + len;
5290     bigend = big + SvCUR(bigstr);
5291
5292     if (midend > bigend)
5293         Perl_croak(aTHX_ "panic: sv_insert");
5294
5295     if (mid - big > bigend - midend) {  /* faster to shorten from end */
5296         if (littlelen) {
5297             Move(little, mid, littlelen,char);
5298             mid += littlelen;
5299         }
5300         i = bigend - midend;
5301         if (i > 0) {
5302             Move(midend, mid, i,char);
5303             mid += i;
5304         }
5305         *mid = '\0';
5306         SvCUR_set(bigstr, mid - big);
5307     }
5308     else if ((i = mid - big)) { /* faster from front */
5309         midend -= littlelen;
5310         mid = midend;
5311         Move(big, midend - i, i, char);
5312         sv_chop(bigstr,midend-i);
5313         if (littlelen)
5314             Move(little, mid, littlelen,char);
5315     }
5316     else if (littlelen) {
5317         midend -= littlelen;
5318         sv_chop(bigstr,midend);
5319         Move(little,midend,littlelen,char);
5320     }
5321     else {
5322         sv_chop(bigstr,midend);
5323     }
5324     SvSETMAGIC(bigstr);
5325 }
5326
5327 /*
5328 =for apidoc sv_replace
5329
5330 Make the first argument a copy of the second, then delete the original.
5331 The target SV physically takes over ownership of the body of the source SV
5332 and inherits its flags; however, the target keeps any magic it owns,
5333 and any magic in the source is discarded.
5334 Note that this is a rather specialist SV copying operation; most of the
5335 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5336
5337 =cut
5338 */
5339
5340 void
5341 Perl_sv_replace(pTHX_ register SV *const sv, register SV *const nsv)
5342 {
5343     dVAR;
5344     const U32 refcnt = SvREFCNT(sv);
5345
5346     PERL_ARGS_ASSERT_SV_REPLACE;
5347
5348     SV_CHECK_THINKFIRST_COW_DROP(sv);
5349     if (SvREFCNT(nsv) != 1) {
5350         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
5351                    UVuf " != 1)", (UV) SvREFCNT(nsv));
5352     }
5353     if (SvMAGICAL(sv)) {
5354         if (SvMAGICAL(nsv))
5355             mg_free(nsv);
5356         else
5357             sv_upgrade(nsv, SVt_PVMG);
5358         SvMAGIC_set(nsv, SvMAGIC(sv));
5359         SvFLAGS(nsv) |= SvMAGICAL(sv);
5360         SvMAGICAL_off(sv);
5361         SvMAGIC_set(sv, NULL);
5362     }
5363     SvREFCNT(sv) = 0;
5364     sv_clear(sv);
5365     assert(!SvREFCNT(sv));
5366 #ifdef DEBUG_LEAKING_SCALARS
5367     sv->sv_flags  = nsv->sv_flags;
5368     sv->sv_any    = nsv->sv_any;
5369     sv->sv_refcnt = nsv->sv_refcnt;
5370     sv->sv_u      = nsv->sv_u;
5371 #else
5372     StructCopy(nsv,sv,SV);
5373 #endif
5374     if(SvTYPE(sv) == SVt_IV) {
5375         SvANY(sv)
5376             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5377     }
5378         
5379
5380 #ifdef PERL_OLD_COPY_ON_WRITE
5381     if (SvIsCOW_normal(nsv)) {
5382         /* We need to follow the pointers around the loop to make the
5383            previous SV point to sv, rather than nsv.  */
5384         SV *next;
5385         SV *current = nsv;
5386         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5387             assert(next);
5388             current = next;
5389             assert(SvPVX_const(current) == SvPVX_const(nsv));
5390         }
5391         /* Make the SV before us point to the SV after us.  */
5392         if (DEBUG_C_TEST) {
5393             PerlIO_printf(Perl_debug_log, "previous is\n");
5394             sv_dump(current);
5395             PerlIO_printf(Perl_debug_log,
5396                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5397                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5398         }
5399         SV_COW_NEXT_SV_SET(current, sv);
5400     }
5401 #endif
5402     SvREFCNT(sv) = refcnt;
5403     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5404     SvREFCNT(nsv) = 0;
5405     del_SV(nsv);
5406 }
5407
5408 /*
5409 =for apidoc sv_clear
5410
5411 Clear an SV: call any destructors, free up any memory used by the body,
5412 and free the body itself. The SV's head is I<not> freed, although
5413 its type is set to all 1's so that it won't inadvertently be assumed
5414 to be live during global destruction etc.
5415 This function should only be called when REFCNT is zero. Most of the time
5416 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5417 instead.
5418
5419 =cut
5420 */
5421
5422 void
5423 Perl_sv_clear(pTHX_ register SV *const sv)
5424 {
5425     dVAR;
5426     const U32 type = SvTYPE(sv);
5427     const struct body_details *const sv_type_details
5428         = bodies_by_type + type;
5429     HV *stash;
5430
5431     PERL_ARGS_ASSERT_SV_CLEAR;
5432     assert(SvREFCNT(sv) == 0);
5433     assert(SvTYPE(sv) != SVTYPEMASK);
5434
5435     if (type <= SVt_IV) {
5436         /* See the comment in sv.h about the collusion between this early
5437            return and the overloading of the NULL and IV slots in the size
5438            table.  */
5439         if (SvROK(sv)) {
5440             SV * const target = SvRV(sv);
5441             if (SvWEAKREF(sv))
5442                 sv_del_backref(target, sv);
5443             else
5444                 SvREFCNT_dec(target);
5445         }
5446         SvFLAGS(sv) &= SVf_BREAK;
5447         SvFLAGS(sv) |= SVTYPEMASK;
5448         return;
5449     }
5450
5451     if (SvOBJECT(sv)) {
5452         if (PL_defstash &&      /* Still have a symbol table? */
5453             SvDESTROYABLE(sv))
5454         {
5455             dSP;
5456             HV* stash;
5457             do {        
5458                 CV* destructor;
5459                 stash = SvSTASH(sv);
5460                 destructor = StashHANDLER(stash,DESTROY);
5461                 if (destructor) {
5462                     SV* const tmpref = newRV(sv);
5463                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5464                     ENTER;
5465                     PUSHSTACKi(PERLSI_DESTROY);
5466                     EXTEND(SP, 2);
5467                     PUSHMARK(SP);
5468                     PUSHs(tmpref);
5469                     PUTBACK;
5470                     call_sv(MUTABLE_SV(destructor), G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5471                 
5472                 
5473                     POPSTACK;
5474                     SPAGAIN;
5475                     LEAVE;
5476                     if(SvREFCNT(tmpref) < 2) {
5477                         /* tmpref is not kept alive! */
5478                         SvREFCNT(sv)--;
5479                         SvRV_set(tmpref, NULL);
5480                         SvROK_off(tmpref);
5481                     }
5482                     SvREFCNT_dec(tmpref);
5483                 }
5484             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5485
5486
5487             if (SvREFCNT(sv)) {
5488                 if (PL_in_clean_objs)
5489                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5490                           HvNAME_get(stash));
5491                 /* DESTROY gave object new lease on life */
5492                 return;
5493             }
5494         }
5495
5496         if (SvOBJECT(sv)) {
5497             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5498             SvOBJECT_off(sv);   /* Curse the object. */
5499             if (type != SVt_PVIO)
5500                 --PL_sv_objcount;       /* XXX Might want something more general */
5501         }
5502     }
5503     if (type >= SVt_PVMG) {
5504         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5505             SvREFCNT_dec(SvOURSTASH(sv));
5506         } else if (SvMAGIC(sv))
5507             mg_free(sv);
5508         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5509             SvREFCNT_dec(SvSTASH(sv));
5510     }
5511     switch (type) {
5512         /* case SVt_BIND: */
5513     case SVt_PVIO:
5514         if (IoIFP(sv) &&
5515             IoIFP(sv) != PerlIO_stdin() &&
5516             IoIFP(sv) != PerlIO_stdout() &&
5517             IoIFP(sv) != PerlIO_stderr())
5518         {
5519             io_close(MUTABLE_IO(sv), FALSE);
5520         }
5521         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5522             PerlDir_close(IoDIRP(sv));
5523         IoDIRP(sv) = (DIR*)NULL;
5524         Safefree(IoTOP_NAME(sv));
5525         Safefree(IoFMT_NAME(sv));
5526         Safefree(IoBOTTOM_NAME(sv));
5527         goto freescalar;
5528     case SVt_REGEXP:
5529         /* FIXME for plugins */
5530         pregfree2((REGEXP*) sv);
5531         goto freescalar;
5532     case SVt_PVCV:
5533     case SVt_PVFM:
5534         cv_undef(MUTABLE_CV(sv));
5535         goto freescalar;
5536     case SVt_PVHV:
5537         if (PL_last_swash_hv == (const HV *)sv) {
5538             PL_last_swash_hv = NULL;
5539         }
5540         Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
5541         hv_undef(MUTABLE_HV(sv));
5542         break;
5543     case SVt_PVAV:
5544         if (PL_comppad == MUTABLE_AV(sv)) {
5545             PL_comppad = NULL;
5546             PL_curpad = NULL;
5547         }
5548         av_undef(MUTABLE_AV(sv));
5549         break;
5550     case SVt_PVLV:
5551         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5552             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5553             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5554             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5555         }
5556         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5557             SvREFCNT_dec(LvTARG(sv));
5558     case SVt_PVGV:
5559         if (isGV_with_GP(sv)) {
5560             if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
5561                && HvNAME_get(stash))
5562                 mro_method_changed_in(stash);
5563             gp_free(MUTABLE_GV(sv));
5564             if (GvNAME_HEK(sv))
5565                 unshare_hek(GvNAME_HEK(sv));
5566             /* If we're in a stash, we don't own a reference to it. However it does
5567                have a back reference to us, which needs to be cleared.  */
5568             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5569                     sv_del_backref(MUTABLE_SV(stash), sv);
5570         }
5571         /* FIXME. There are probably more unreferenced pointers to SVs in the
5572            interpreter struct that we should check and tidy in a similar
5573            fashion to this:  */
5574         if ((const GV *)sv == PL_last_in_gv)
5575             PL_last_in_gv = NULL;
5576     case SVt_PVMG:
5577     case SVt_PVNV:
5578     case SVt_PVIV:
5579     case SVt_PV:
5580       freescalar:
5581         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5582         if (SvOOK(sv)) {
5583             STRLEN offset;
5584             SvOOK_offset(sv, offset);
5585             SvPV_set(sv, SvPVX_mutable(sv) - offset);
5586             /* Don't even bother with turning off the OOK flag.  */
5587         }
5588         if (SvROK(sv)) {
5589             SV * const target = SvRV(sv);
5590             if (SvWEAKREF(sv))
5591                 sv_del_backref(target, sv);
5592             else
5593                 SvREFCNT_dec(target);
5594         }
5595 #ifdef PERL_OLD_COPY_ON_WRITE
5596         else if (SvPVX_const(sv)) {
5597             if (SvIsCOW(sv)) {
5598                 /* I believe I need to grab the global SV mutex here and
5599                    then recheck the COW status.  */
5600                 if (DEBUG_C_TEST) {
5601                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5602                     sv_dump(sv);
5603                 }
5604                 if (SvLEN(sv)) {
5605                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5606                 } else {
5607                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5608                 }
5609
5610                 /* And drop it here.  */
5611                 SvFAKE_off(sv);
5612             } else if (SvLEN(sv)) {
5613                 Safefree(SvPVX_const(sv));
5614             }
5615         }
5616 #else
5617         else if (SvPVX_const(sv) && SvLEN(sv))
5618             Safefree(SvPVX_mutable(sv));
5619         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5620             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5621             SvFAKE_off(sv);
5622         }
5623 #endif
5624         break;
5625     case SVt_NV:
5626         break;
5627     }
5628
5629     SvFLAGS(sv) &= SVf_BREAK;
5630     SvFLAGS(sv) |= SVTYPEMASK;
5631
5632     if (sv_type_details->arena) {
5633         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5634                  &PL_body_roots[type]);
5635     }
5636     else if (sv_type_details->body_size) {
5637         my_safefree(SvANY(sv));
5638     }
5639 }
5640
5641 /*
5642 =for apidoc sv_newref
5643
5644 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5645 instead.
5646
5647 =cut
5648 */
5649
5650 SV *
5651 Perl_sv_newref(pTHX_ SV *const sv)
5652 {
5653     PERL_UNUSED_CONTEXT;
5654     if (sv)
5655         (SvREFCNT(sv))++;
5656     return sv;
5657 }
5658
5659 /*
5660 =for apidoc sv_free
5661
5662 Decrement an SV's reference count, and if it drops to zero, call
5663 C<sv_clear> to invoke destructors and free up any memory used by
5664 the body; finally, deallocate the SV's head itself.
5665 Normally called via a wrapper macro C<SvREFCNT_dec>.
5666
5667 =cut
5668 */
5669
5670 void
5671 Perl_sv_free(pTHX_ SV *const sv)
5672 {
5673     dVAR;
5674     if (!sv)
5675         return;
5676     if (SvREFCNT(sv) == 0) {
5677         if (SvFLAGS(sv) & SVf_BREAK)
5678             /* this SV's refcnt has been artificially decremented to
5679              * trigger cleanup */
5680             return;
5681         if (PL_in_clean_all) /* All is fair */
5682             return;
5683         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5684             /* make sure SvREFCNT(sv)==0 happens very seldom */
5685             SvREFCNT(sv) = (~(U32)0)/2;
5686             return;
5687         }
5688         if (ckWARN_d(WARN_INTERNAL)) {
5689 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5690             Perl_dump_sv_child(aTHX_ sv);
5691 #else
5692   #ifdef DEBUG_LEAKING_SCALARS
5693             sv_dump(sv);
5694   #endif
5695 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5696             if (PL_warnhook == PERL_WARNHOOK_FATAL
5697                 || ckDEAD(packWARN(WARN_INTERNAL))) {
5698                 /* Don't let Perl_warner cause us to escape our fate:  */
5699                 abort();
5700             }
5701 #endif
5702             /* This may not return:  */
5703             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5704                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5705                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5706 #endif
5707         }
5708 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5709         abort();
5710 #endif
5711         return;
5712     }
5713     if (--(SvREFCNT(sv)) > 0)
5714         return;
5715     Perl_sv_free2(aTHX_ sv);
5716 }
5717
5718 void
5719 Perl_sv_free2(pTHX_ SV *const sv)
5720 {
5721     dVAR;
5722
5723     PERL_ARGS_ASSERT_SV_FREE2;
5724
5725 #ifdef DEBUGGING
5726     if (SvTEMP(sv)) {
5727         if (ckWARN_d(WARN_DEBUGGING))
5728             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5729                         "Attempt to free temp prematurely: SV 0x%"UVxf
5730                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5731         return;
5732     }
5733 #endif
5734     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5735         /* make sure SvREFCNT(sv)==0 happens very seldom */
5736         SvREFCNT(sv) = (~(U32)0)/2;
5737         return;
5738     }
5739     sv_clear(sv);
5740     if (! SvREFCNT(sv))
5741         del_SV(sv);
5742 }
5743
5744 /*
5745 =for apidoc sv_len
5746
5747 Returns the length of the string in the SV. Handles magic and type
5748 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5749
5750 =cut
5751 */
5752
5753 STRLEN
5754 Perl_sv_len(pTHX_ register SV *const sv)
5755 {
5756     STRLEN len;
5757
5758     if (!sv)
5759         return 0;
5760
5761     if (SvGMAGICAL(sv))
5762         len = mg_length(sv);
5763     else
5764         (void)SvPV_const(sv, len);
5765     return len;
5766 }
5767
5768 /*
5769 =for apidoc sv_len_utf8
5770
5771 Returns the number of characters in the string in an SV, counting wide
5772 UTF-8 bytes as a single character. Handles magic and type coercion.
5773
5774 =cut
5775 */
5776
5777 /*
5778  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5779  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5780  * (Note that the mg_len is not the length of the mg_ptr field.
5781  * This allows the cache to store the character length of the string without
5782  * needing to malloc() extra storage to attach to the mg_ptr.)
5783  *
5784  */
5785
5786 STRLEN
5787 Perl_sv_len_utf8(pTHX_ register SV *const sv)
5788 {
5789     if (!sv)
5790         return 0;
5791
5792     if (SvGMAGICAL(sv))
5793         return mg_length(sv);
5794     else
5795     {
5796         STRLEN len;
5797         const U8 *s = (U8*)SvPV_const(sv, len);
5798
5799         if (PL_utf8cache) {
5800             STRLEN ulen;
5801             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
5802
5803             if (mg && mg->mg_len != -1) {
5804                 ulen = mg->mg_len;
5805                 if (PL_utf8cache < 0) {
5806                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
5807                     if (real != ulen) {
5808                         /* Need to turn the assertions off otherwise we may
5809                            recurse infinitely while printing error messages.
5810                         */
5811                         SAVEI8(PL_utf8cache);
5812                         PL_utf8cache = 0;
5813                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
5814                                    " real %"UVuf" for %"SVf,
5815                                    (UV) ulen, (UV) real, SVfARG(sv));
5816                     }
5817                 }
5818             }
5819             else {
5820                 ulen = Perl_utf8_length(aTHX_ s, s + len);
5821                 if (!SvREADONLY(sv)) {
5822                     if (!mg) {
5823                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
5824                                          &PL_vtbl_utf8, 0, 0);
5825                     }
5826                     assert(mg);
5827                     mg->mg_len = ulen;
5828                 }
5829             }
5830             return ulen;
5831         }
5832         return Perl_utf8_length(aTHX_ s, s + len);
5833     }
5834 }
5835
5836 /* Walk forwards to find the byte corresponding to the passed in UTF-8
5837    offset.  */
5838 static STRLEN
5839 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
5840                       STRLEN uoffset)
5841 {
5842     const U8 *s = start;
5843
5844     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
5845
5846     while (s < send && uoffset--)
5847         s += UTF8SKIP(s);
5848     if (s > send) {
5849         /* This is the existing behaviour. Possibly it should be a croak, as
5850            it's actually a bounds error  */
5851         s = send;
5852     }
5853     return s - start;
5854 }
5855
5856 /* Given the length of the string in both bytes and UTF-8 characters, decide
5857    whether to walk forwards or backwards to find the byte corresponding to
5858    the passed in UTF-8 offset.  */
5859 static STRLEN
5860 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
5861                       const STRLEN uoffset, const STRLEN uend)
5862 {
5863     STRLEN backw = uend - uoffset;
5864
5865     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
5866
5867     if (uoffset < 2 * backw) {
5868         /* The assumption is that going forwards is twice the speed of going
5869            forward (that's where the 2 * backw comes from).
5870            (The real figure of course depends on the UTF-8 data.)  */
5871         return sv_pos_u2b_forwards(start, send, uoffset);
5872     }
5873
5874     while (backw--) {
5875         send--;
5876         while (UTF8_IS_CONTINUATION(*send))
5877             send--;
5878     }
5879     return send - start;
5880 }
5881
5882 /* For the string representation of the given scalar, find the byte
5883    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
5884    give another position in the string, *before* the sought offset, which
5885    (which is always true, as 0, 0 is a valid pair of positions), which should
5886    help reduce the amount of linear searching.
5887    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
5888    will be used to reduce the amount of linear searching. The cache will be
5889    created if necessary, and the found value offered to it for update.  */
5890 static STRLEN
5891 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
5892                     const U8 *const send, const STRLEN uoffset,
5893                     STRLEN uoffset0, STRLEN boffset0)
5894 {
5895     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
5896     bool found = FALSE;
5897
5898     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
5899
5900     assert (uoffset >= uoffset0);
5901
5902     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5903         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
5904         if ((*mgp)->mg_ptr) {
5905             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
5906             if (cache[0] == uoffset) {
5907                 /* An exact match. */
5908                 return cache[1];
5909             }
5910             if (cache[2] == uoffset) {
5911                 /* An exact match. */
5912                 return cache[3];
5913             }
5914
5915             if (cache[0] < uoffset) {
5916                 /* The cache already knows part of the way.   */
5917                 if (cache[0] > uoffset0) {
5918                     /* The cache knows more than the passed in pair  */
5919                     uoffset0 = cache[0];
5920                     boffset0 = cache[1];
5921                 }
5922                 if ((*mgp)->mg_len != -1) {
5923                     /* And we know the end too.  */
5924                     boffset = boffset0
5925                         + sv_pos_u2b_midway(start + boffset0, send,
5926                                               uoffset - uoffset0,
5927                                               (*mgp)->mg_len - uoffset0);
5928                 } else {
5929                     boffset = boffset0
5930                         + sv_pos_u2b_forwards(start + boffset0,
5931                                                 send, uoffset - uoffset0);
5932                 }
5933             }
5934             else if (cache[2] < uoffset) {
5935                 /* We're between the two cache entries.  */
5936                 if (cache[2] > uoffset0) {
5937                     /* and the cache knows more than the passed in pair  */
5938                     uoffset0 = cache[2];
5939                     boffset0 = cache[3];
5940                 }
5941
5942                 boffset = boffset0
5943                     + sv_pos_u2b_midway(start + boffset0,
5944                                           start + cache[1],
5945                                           uoffset - uoffset0,
5946                                           cache[0] - uoffset0);
5947             } else {
5948                 boffset = boffset0
5949                     + sv_pos_u2b_midway(start + boffset0,
5950                                           start + cache[3],
5951                                           uoffset - uoffset0,
5952                                           cache[2] - uoffset0);
5953             }
5954             found = TRUE;
5955         }
5956         else if ((*mgp)->mg_len != -1) {
5957             /* If we can take advantage of a passed in offset, do so.  */
5958             /* In fact, offset0 is either 0, or less than offset, so don't
5959                need to worry about the other possibility.  */
5960             boffset = boffset0
5961                 + sv_pos_u2b_midway(start + boffset0, send,
5962                                       uoffset - uoffset0,
5963                                       (*mgp)->mg_len - uoffset0);
5964             found = TRUE;
5965         }
5966     }
5967
5968     if (!found || PL_utf8cache < 0) {
5969         const STRLEN real_boffset
5970             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
5971                                                send, uoffset - uoffset0);
5972
5973         if (found && PL_utf8cache < 0) {
5974             if (real_boffset != boffset) {
5975                 /* Need to turn the assertions off otherwise we may recurse
5976                    infinitely while printing error messages.  */
5977                 SAVEI8(PL_utf8cache);
5978                 PL_utf8cache = 0;
5979                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
5980                            " real %"UVuf" for %"SVf,
5981                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
5982             }
5983         }
5984         boffset = real_boffset;
5985     }
5986
5987     if (PL_utf8cache)
5988         utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
5989     return boffset;
5990 }
5991
5992
5993 /*
5994 =for apidoc sv_pos_u2b
5995
5996 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5997 the start of the string, to a count of the equivalent number of bytes; if
5998 lenp is non-zero, it does the same to lenp, but this time starting from
5999 the offset, rather than from the start of the string. Handles magic and
6000 type coercion.
6001
6002 =cut
6003 */
6004
6005 /*
6006  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
6007  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
6008  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
6009  *
6010  */
6011
6012 void
6013 Perl_sv_pos_u2b(pTHX_ register SV *const sv, I32 *const offsetp, I32 *const lenp)
6014 {
6015     const U8 *start;
6016     STRLEN len;
6017
6018     PERL_ARGS_ASSERT_SV_POS_U2B;
6019
6020     if (!sv)
6021         return;
6022
6023     start = (U8*)SvPV_const(sv, len);
6024     if (len) {
6025         STRLEN uoffset = (STRLEN) *offsetp;
6026         const U8 * const send = start + len;
6027         MAGIC *mg = NULL;
6028         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
6029                                              uoffset, 0, 0);
6030
6031         *offsetp = (I32) boffset;
6032
6033         if (lenp) {
6034             /* Convert the relative offset to absolute.  */
6035             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
6036             const STRLEN boffset2
6037                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
6038                                       uoffset, boffset) - boffset;
6039
6040             *lenp = boffset2;
6041         }
6042     }
6043     else {
6044          *offsetp = 0;
6045          if (lenp)
6046               *lenp = 0;
6047     }
6048
6049     return;
6050 }
6051
6052 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
6053    byte length pairing. The (byte) length of the total SV is passed in too,
6054    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
6055    may not have updated SvCUR, so we can't rely on reading it directly.
6056
6057    The proffered utf8/byte length pairing isn't used if the cache already has
6058    two pairs, and swapping either for the proffered pair would increase the
6059    RMS of the intervals between known byte offsets.
6060
6061    The cache itself consists of 4 STRLEN values
6062    0: larger UTF-8 offset
6063    1: corresponding byte offset
6064    2: smaller UTF-8 offset
6065    3: corresponding byte offset
6066
6067    Unused cache pairs have the value 0, 0.
6068    Keeping the cache "backwards" means that the invariant of
6069    cache[0] >= cache[2] is maintained even with empty slots, which means that
6070    the code that uses it doesn't need to worry if only 1 entry has actually
6071    been set to non-zero.  It also makes the "position beyond the end of the
6072    cache" logic much simpler, as the first slot is always the one to start
6073    from.   
6074 */
6075 static void
6076 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
6077                            const STRLEN utf8, const STRLEN blen)
6078 {
6079     STRLEN *cache;
6080
6081     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
6082
6083     if (SvREADONLY(sv))
6084         return;
6085
6086     if (!*mgp) {
6087         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
6088                            0);
6089         (*mgp)->mg_len = -1;
6090     }
6091     assert(*mgp);
6092
6093     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
6094         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
6095         (*mgp)->mg_ptr = (char *) cache;
6096     }
6097     assert(cache);
6098
6099     if (PL_utf8cache < 0) {
6100         const U8 *start = (const U8 *) SvPVX_const(sv);
6101         const STRLEN realutf8 = utf8_length(start, start + byte);
6102
6103         if (realutf8 != utf8) {
6104             /* Need to turn the assertions off otherwise we may recurse
6105                infinitely while printing error messages.  */
6106             SAVEI8(PL_utf8cache);
6107             PL_utf8cache = 0;
6108             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
6109                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
6110         }
6111     }
6112
6113     /* Cache is held with the later position first, to simplify the code
6114        that deals with unbounded ends.  */
6115        
6116     ASSERT_UTF8_CACHE(cache);
6117     if (cache[1] == 0) {
6118         /* Cache is totally empty  */
6119         cache[0] = utf8;
6120         cache[1] = byte;
6121     } else if (cache[3] == 0) {
6122         if (byte > cache[1]) {
6123             /* New one is larger, so goes first.  */
6124             cache[2] = cache[0];
6125             cache[3] = cache[1];
6126             cache[0] = utf8;
6127             cache[1] = byte;
6128         } else {
6129             cache[2] = utf8;
6130             cache[3] = byte;
6131         }
6132     } else {
6133 #define THREEWAY_SQUARE(a,b,c,d) \
6134             ((float)((d) - (c))) * ((float)((d) - (c))) \
6135             + ((float)((c) - (b))) * ((float)((c) - (b))) \
6136                + ((float)((b) - (a))) * ((float)((b) - (a)))
6137
6138         /* Cache has 2 slots in use, and we know three potential pairs.
6139            Keep the two that give the lowest RMS distance. Do the
6140            calcualation in bytes simply because we always know the byte
6141            length.  squareroot has the same ordering as the positive value,
6142            so don't bother with the actual square root.  */
6143         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
6144         if (byte > cache[1]) {
6145             /* New position is after the existing pair of pairs.  */
6146             const float keep_earlier
6147                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6148             const float keep_later
6149                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
6150
6151             if (keep_later < keep_earlier) {
6152                 if (keep_later < existing) {
6153                     cache[2] = cache[0];
6154                     cache[3] = cache[1];
6155                     cache[0] = utf8;
6156                     cache[1] = byte;
6157                 }
6158             }
6159             else {
6160                 if (keep_earlier < existing) {
6161                     cache[0] = utf8;
6162                     cache[1] = byte;
6163                 }
6164             }
6165         }
6166         else if (byte > cache[3]) {
6167             /* New position is between the existing pair of pairs.  */
6168             const float keep_earlier
6169                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6170             const float keep_later
6171                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6172
6173             if (keep_later < keep_earlier) {
6174                 if (keep_later < existing) {
6175                     cache[2] = utf8;
6176                     cache[3] = byte;
6177                 }
6178             }
6179             else {
6180                 if (keep_earlier < existing) {
6181                     cache[0] = utf8;
6182                     cache[1] = byte;
6183                 }
6184             }
6185         }
6186         else {
6187             /* New position is before the existing pair of pairs.  */
6188             const float keep_earlier
6189                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
6190             const float keep_later
6191                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6192
6193             if (keep_later < keep_earlier) {
6194                 if (keep_later < existing) {
6195                     cache[2] = utf8;
6196                     cache[3] = byte;
6197                 }
6198             }
6199             else {
6200                 if (keep_earlier < existing) {
6201                     cache[0] = cache[2];
6202                     cache[1] = cache[3];
6203                     cache[2] = utf8;
6204                     cache[3] = byte;
6205                 }
6206             }
6207         }
6208     }
6209     ASSERT_UTF8_CACHE(cache);
6210 }
6211
6212 /* We already know all of the way, now we may be able to walk back.  The same
6213    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
6214    backward is half the speed of walking forward. */
6215 static STRLEN
6216 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
6217                     const U8 *end, STRLEN endu)
6218 {
6219     const STRLEN forw = target - s;
6220     STRLEN backw = end - target;
6221
6222     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
6223
6224     if (forw < 2 * backw) {
6225         return utf8_length(s, target);
6226     }
6227
6228     while (end > target) {
6229         end--;
6230         while (UTF8_IS_CONTINUATION(*end)) {
6231             end--;
6232         }
6233         endu--;
6234     }
6235     return endu;
6236 }
6237
6238 /*
6239 =for apidoc sv_pos_b2u
6240
6241 Converts the value pointed to by offsetp from a count of bytes from the
6242 start of the string, to a count of the equivalent number of UTF-8 chars.
6243 Handles magic and type coercion.
6244
6245 =cut
6246 */
6247
6248 /*
6249  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
6250  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
6251  * byte offsets.
6252  *
6253  */
6254 void
6255 Perl_sv_pos_b2u(pTHX_ register SV *const sv, I32 *const offsetp)
6256 {
6257     const U8* s;
6258     const STRLEN byte = *offsetp;
6259     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
6260     STRLEN blen;
6261     MAGIC* mg = NULL;
6262     const U8* send;
6263     bool found = FALSE;
6264
6265     PERL_ARGS_ASSERT_SV_POS_B2U;
6266
6267     if (!sv)
6268         return;
6269
6270     s = (const U8*)SvPV_const(sv, blen);
6271
6272     if (blen < byte)
6273         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
6274
6275     send = s + byte;
6276
6277     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
6278         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
6279         if (mg->mg_ptr) {
6280             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
6281             if (cache[1] == byte) {
6282                 /* An exact match. */
6283                 *offsetp = cache[0];
6284                 return;
6285             }
6286             if (cache[3] == byte) {
6287                 /* An exact match. */
6288                 *offsetp = cache[2];
6289                 return;
6290             }
6291
6292             if (cache[1] < byte) {
6293                 /* We already know part of the way. */
6294                 if (mg->mg_len != -1) {
6295                     /* Actually, we know the end too.  */
6296                     len = cache[0]
6297                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
6298                                               s + blen, mg->mg_len - cache[0]);
6299                 } else {
6300                     len = cache[0] + utf8_length(s + cache[1], send);
6301                 }
6302             }
6303             else if (cache[3] < byte) {
6304                 /* We're between the two cached pairs, so we do the calculation
6305                    offset by the byte/utf-8 positions for the earlier pair,
6306                    then add the utf-8 characters from the string start to
6307                    there.  */
6308                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
6309                                           s + cache[1], cache[0] - cache[2])
6310                     + cache[2];
6311
6312             }
6313             else { /* cache[3] > byte */
6314                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
6315                                           cache[2]);
6316
6317             }
6318             ASSERT_UTF8_CACHE(cache);
6319             found = TRUE;
6320         } else if (mg->mg_len != -1) {
6321             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
6322             found = TRUE;
6323         }
6324     }
6325     if (!found || PL_utf8cache < 0) {
6326         const STRLEN real_len = utf8_length(s, send);
6327
6328         if (found && PL_utf8cache < 0) {
6329             if (len != real_len) {
6330                 /* Need to turn the assertions off otherwise we may recurse
6331                    infinitely while printing error messages.  */
6332                 SAVEI8(PL_utf8cache);
6333                 PL_utf8cache = 0;
6334                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
6335                            " real %"UVuf" for %"SVf,
6336                            (UV) len, (UV) real_len, SVfARG(sv));
6337             }
6338         }
6339         len = real_len;
6340     }
6341     *offsetp = len;
6342
6343     if (PL_utf8cache)
6344         utf8_mg_pos_cache_update(sv, &mg, byte, len, blen);
6345 }
6346
6347 /*
6348 =for apidoc sv_eq
6349
6350 Returns a boolean indicating whether the strings in the two SVs are
6351 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6352 coerce its args to strings if necessary.
6353
6354 =cut
6355 */
6356
6357 I32
6358 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
6359 {
6360     dVAR;
6361     const char *pv1;
6362     STRLEN cur1;
6363     const char *pv2;
6364     STRLEN cur2;
6365     I32  eq     = 0;
6366     char *tpv   = NULL;
6367     SV* svrecode = NULL;
6368
6369     if (!sv1) {
6370         pv1 = "";
6371         cur1 = 0;
6372     }
6373     else {
6374         /* if pv1 and pv2 are the same, second SvPV_const call may
6375          * invalidate pv1, so we may need to make a copy */
6376         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
6377             pv1 = SvPV_const(sv1, cur1);
6378             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
6379         }
6380         pv1 = SvPV_const(sv1, cur1);
6381     }
6382
6383     if (!sv2){
6384         pv2 = "";
6385         cur2 = 0;
6386     }
6387     else
6388         pv2 = SvPV_const(sv2, cur2);
6389
6390     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6391         /* Differing utf8ness.
6392          * Do not UTF8size the comparands as a side-effect. */
6393          if (PL_encoding) {
6394               if (SvUTF8(sv1)) {
6395                    svrecode = newSVpvn(pv2, cur2);
6396                    sv_recode_to_utf8(svrecode, PL_encoding);
6397                    pv2 = SvPV_const(svrecode, cur2);
6398               }
6399               else {
6400                    svrecode = newSVpvn(pv1, cur1);
6401                    sv_recode_to_utf8(svrecode, PL_encoding);
6402                    pv1 = SvPV_const(svrecode, cur1);
6403               }
6404               /* Now both are in UTF-8. */
6405               if (cur1 != cur2) {
6406                    SvREFCNT_dec(svrecode);
6407                    return FALSE;
6408               }
6409          }
6410          else {
6411               bool is_utf8 = TRUE;
6412
6413               if (SvUTF8(sv1)) {
6414                    /* sv1 is the UTF-8 one,
6415                     * if is equal it must be downgrade-able */
6416                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
6417                                                      &cur1, &is_utf8);
6418                    if (pv != pv1)
6419                         pv1 = tpv = pv;
6420               }
6421               else {
6422                    /* sv2 is the UTF-8 one,
6423                     * if is equal it must be downgrade-able */
6424                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6425                                                       &cur2, &is_utf8);
6426                    if (pv != pv2)
6427                         pv2 = tpv = pv;
6428               }
6429               if (is_utf8) {
6430                    /* Downgrade not possible - cannot be eq */
6431                    assert (tpv == 0);
6432                    return FALSE;
6433               }
6434          }
6435     }
6436
6437     if (cur1 == cur2)
6438         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6439         
6440     SvREFCNT_dec(svrecode);
6441     if (tpv)
6442         Safefree(tpv);
6443
6444     return eq;
6445 }
6446
6447 /*
6448 =for apidoc sv_cmp
6449
6450 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6451 string in C<sv1> is less than, equal to, or greater than the string in
6452 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6453 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6454
6455 =cut
6456 */
6457
6458 I32
6459 Perl_sv_cmp(pTHX_ register SV *const sv1, register SV *const sv2)
6460 {
6461     dVAR;
6462     STRLEN cur1, cur2;
6463     const char *pv1, *pv2;
6464     char *tpv = NULL;
6465     I32  cmp;
6466     SV *svrecode = NULL;
6467
6468     if (!sv1) {
6469         pv1 = "";
6470         cur1 = 0;
6471     }
6472     else
6473         pv1 = SvPV_const(sv1, cur1);
6474
6475     if (!sv2) {
6476         pv2 = "";
6477         cur2 = 0;
6478     }
6479     else
6480         pv2 = SvPV_const(sv2, cur2);
6481
6482     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6483         /* Differing utf8ness.
6484          * Do not UTF8size the comparands as a side-effect. */
6485         if (SvUTF8(sv1)) {
6486             if (PL_encoding) {
6487                  svrecode = newSVpvn(pv2, cur2);
6488                  sv_recode_to_utf8(svrecode, PL_encoding);
6489                  pv2 = SvPV_const(svrecode, cur2);
6490             }
6491             else {
6492                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6493             }
6494         }
6495         else {
6496             if (PL_encoding) {
6497                  svrecode = newSVpvn(pv1, cur1);
6498                  sv_recode_to_utf8(svrecode, PL_encoding);
6499                  pv1 = SvPV_const(svrecode, cur1);
6500             }
6501             else {
6502                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6503             }
6504         }
6505     }
6506
6507     if (!cur1) {
6508         cmp = cur2 ? -1 : 0;
6509     } else if (!cur2) {
6510         cmp = 1;
6511     } else {
6512         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6513
6514         if (retval) {
6515             cmp = retval < 0 ? -1 : 1;
6516         } else if (cur1 == cur2) {
6517             cmp = 0;
6518         } else {
6519             cmp = cur1 < cur2 ? -1 : 1;
6520         }
6521     }
6522
6523     SvREFCNT_dec(svrecode);
6524     if (tpv)
6525         Safefree(tpv);
6526
6527     return cmp;
6528 }
6529
6530 /*
6531 =for apidoc sv_cmp_locale
6532
6533 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6534 'use bytes' aware, handles get magic, and will coerce its args to strings
6535 if necessary.  See also C<sv_cmp>.
6536
6537 =cut
6538 */
6539
6540 I32
6541 Perl_sv_cmp_locale(pTHX_ register SV *const sv1, register SV *const sv2)
6542 {
6543     dVAR;
6544 #ifdef USE_LOCALE_COLLATE
6545
6546     char *pv1, *pv2;
6547     STRLEN len1, len2;
6548     I32 retval;
6549
6550     if (PL_collation_standard)
6551         goto raw_compare;
6552
6553     len1 = 0;
6554     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6555     len2 = 0;
6556     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6557
6558     if (!pv1 || !len1) {
6559         if (pv2 && len2)
6560             return -1;
6561         else
6562             goto raw_compare;
6563     }
6564     else {
6565         if (!pv2 || !len2)
6566             return 1;
6567     }
6568
6569     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6570
6571     if (retval)
6572         return retval < 0 ? -1 : 1;
6573
6574     /*
6575      * When the result of collation is equality, that doesn't mean
6576      * that there are no differences -- some locales exclude some
6577      * characters from consideration.  So to avoid false equalities,
6578      * we use the raw string as a tiebreaker.
6579      */
6580
6581   raw_compare:
6582     /*FALLTHROUGH*/
6583
6584 #endif /* USE_LOCALE_COLLATE */
6585
6586     return sv_cmp(sv1, sv2);
6587 }
6588
6589
6590 #ifdef USE_LOCALE_COLLATE
6591
6592 /*
6593 =for apidoc sv_collxfrm
6594
6595 Add Collate Transform magic to an SV if it doesn't already have it.
6596
6597 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6598 scalar data of the variable, but transformed to such a format that a normal
6599 memory comparison can be used to compare the data according to the locale
6600 settings.
6601
6602 =cut
6603 */
6604
6605 char *
6606 Perl_sv_collxfrm(pTHX_ SV *const sv, STRLEN *const nxp)
6607 {
6608     dVAR;
6609     MAGIC *mg;
6610
6611     PERL_ARGS_ASSERT_SV_COLLXFRM;
6612
6613     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6614     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6615         const char *s;
6616         char *xf;
6617         STRLEN len, xlen;
6618
6619         if (mg)
6620             Safefree(mg->mg_ptr);
6621         s = SvPV_const(sv, len);
6622         if ((xf = mem_collxfrm(s, len, &xlen))) {
6623             if (! mg) {
6624 #ifdef PERL_OLD_COPY_ON_WRITE
6625                 if (SvIsCOW(sv))
6626                     sv_force_normal_flags(sv, 0);
6627 #endif
6628                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6629                                  0, 0);
6630                 assert(mg);
6631             }
6632             mg->mg_ptr = xf;
6633             mg->mg_len = xlen;
6634         }
6635         else {
6636             if (mg) {
6637                 mg->mg_ptr = NULL;
6638                 mg->mg_len = -1;
6639             }
6640         }
6641     }
6642     if (mg && mg->mg_ptr) {
6643         *nxp = mg->mg_len;
6644         return mg->mg_ptr + sizeof(PL_collation_ix);
6645     }
6646     else {
6647         *nxp = 0;
6648         return NULL;
6649     }
6650 }
6651
6652 #endif /* USE_LOCALE_COLLATE */
6653
6654 /*
6655 =for apidoc sv_gets
6656
6657 Get a line from the filehandle and store it into the SV, optionally
6658 appending to the currently-stored string.
6659
6660 =cut
6661 */
6662
6663 char *
6664 Perl_sv_gets(pTHX_ register SV *const sv, register PerlIO *const fp, I32 append)
6665 {
6666     dVAR;
6667     const char *rsptr;
6668     STRLEN rslen;
6669     register STDCHAR rslast;
6670     register STDCHAR *bp;
6671     register I32 cnt;
6672     I32 i = 0;
6673     I32 rspara = 0;
6674
6675     PERL_ARGS_ASSERT_SV_GETS;
6676
6677     if (SvTHINKFIRST(sv))
6678         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6679     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6680        from <>.
6681        However, perlbench says it's slower, because the existing swipe code
6682        is faster than copy on write.
6683        Swings and roundabouts.  */
6684     SvUPGRADE(sv, SVt_PV);
6685
6686     SvSCREAM_off(sv);
6687
6688     if (append) {
6689         if (PerlIO_isutf8(fp)) {
6690             if (!SvUTF8(sv)) {
6691                 sv_utf8_upgrade_nomg(sv);
6692                 sv_pos_u2b(sv,&append,0);
6693             }
6694         } else if (SvUTF8(sv)) {
6695             SV * const tsv = newSV(0);
6696             sv_gets(tsv, fp, 0);
6697             sv_utf8_upgrade_nomg(tsv);
6698             SvCUR_set(sv,append);
6699             sv_catsv(sv,tsv);
6700             sv_free(tsv);
6701             goto return_string_or_null;
6702         }
6703     }
6704
6705     SvPOK_only(sv);
6706     if (PerlIO_isutf8(fp))
6707         SvUTF8_on(sv);
6708
6709     if (IN_PERL_COMPILETIME) {
6710         /* we always read code in line mode */
6711         rsptr = "\n";
6712         rslen = 1;
6713     }
6714     else if (RsSNARF(PL_rs)) {
6715         /* If it is a regular disk file use size from stat() as estimate
6716            of amount we are going to read -- may result in mallocing
6717            more memory than we really need if the layers below reduce
6718            the size we read (e.g. CRLF or a gzip layer).
6719          */
6720         Stat_t st;
6721         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6722             const Off_t offset = PerlIO_tell(fp);
6723             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6724                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6725             }
6726         }
6727         rsptr = NULL;
6728         rslen = 0;
6729     }
6730     else if (RsRECORD(PL_rs)) {
6731       I32 bytesread;
6732       char *buffer;
6733       U32 recsize;
6734 #ifdef VMS
6735       int fd;
6736 #endif
6737
6738       /* Grab the size of the record we're getting */
6739       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6740       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6741       /* Go yank in */
6742 #ifdef VMS
6743       /* VMS wants read instead of fread, because fread doesn't respect */
6744       /* RMS record boundaries. This is not necessarily a good thing to be */
6745       /* doing, but we've got no other real choice - except avoid stdio
6746          as implementation - perhaps write a :vms layer ?
6747        */
6748       fd = PerlIO_fileno(fp);
6749       if (fd == -1) { /* in-memory file from PerlIO::Scalar */
6750           bytesread = PerlIO_read(fp, buffer, recsize);
6751       }
6752       else {
6753           bytesread = PerlLIO_read(fd, buffer, recsize);
6754       }
6755 #else
6756       bytesread = PerlIO_read(fp, buffer, recsize);
6757 #endif
6758       if (bytesread < 0)
6759           bytesread = 0;
6760       SvCUR_set(sv, bytesread + append);
6761       buffer[bytesread] = '\0';
6762       goto return_string_or_null;
6763     }
6764     else if (RsPARA(PL_rs)) {
6765         rsptr = "\n\n";
6766         rslen = 2;
6767         rspara = 1;
6768     }
6769     else {
6770         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6771         if (PerlIO_isutf8(fp)) {
6772             rsptr = SvPVutf8(PL_rs, rslen);
6773         }
6774         else {
6775             if (SvUTF8(PL_rs)) {
6776                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6777                     Perl_croak(aTHX_ "Wide character in $/");
6778                 }
6779             }
6780             rsptr = SvPV_const(PL_rs, rslen);
6781         }
6782     }
6783
6784     rslast = rslen ? rsptr[rslen - 1] : '\0';
6785
6786     if (rspara) {               /* have to do this both before and after */
6787         do {                    /* to make sure file boundaries work right */
6788             if (PerlIO_eof(fp))
6789                 return 0;
6790             i = PerlIO_getc(fp);
6791             if (i != '\n') {
6792                 if (i == -1)
6793                     return 0;
6794                 PerlIO_ungetc(fp,i);
6795                 break;
6796             }
6797         } while (i != EOF);
6798     }
6799
6800     /* See if we know enough about I/O mechanism to cheat it ! */
6801
6802     /* This used to be #ifdef test - it is made run-time test for ease
6803        of abstracting out stdio interface. One call should be cheap
6804        enough here - and may even be a macro allowing compile
6805        time optimization.
6806      */
6807
6808     if (PerlIO_fast_gets(fp)) {
6809
6810     /*
6811      * We're going to steal some values from the stdio struct
6812      * and put EVERYTHING in the innermost loop into registers.
6813      */
6814     register STDCHAR *ptr;
6815     STRLEN bpx;
6816     I32 shortbuffered;
6817
6818 #if defined(VMS) && defined(PERLIO_IS_STDIO)
6819     /* An ungetc()d char is handled separately from the regular
6820      * buffer, so we getc() it back out and stuff it in the buffer.
6821      */
6822     i = PerlIO_getc(fp);
6823     if (i == EOF) return 0;
6824     *(--((*fp)->_ptr)) = (unsigned char) i;
6825     (*fp)->_cnt++;
6826 #endif
6827
6828     /* Here is some breathtakingly efficient cheating */
6829
6830     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
6831     /* make sure we have the room */
6832     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
6833         /* Not room for all of it
6834            if we are looking for a separator and room for some
6835          */
6836         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
6837             /* just process what we have room for */
6838             shortbuffered = cnt - SvLEN(sv) + append + 1;
6839             cnt -= shortbuffered;
6840         }
6841         else {
6842             shortbuffered = 0;
6843             /* remember that cnt can be negative */
6844             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
6845         }
6846     }
6847     else
6848         shortbuffered = 0;
6849     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
6850     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
6851     DEBUG_P(PerlIO_printf(Perl_debug_log,
6852         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6853     DEBUG_P(PerlIO_printf(Perl_debug_log,
6854         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6855                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6856                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
6857     for (;;) {
6858       screamer:
6859         if (cnt > 0) {
6860             if (rslen) {
6861                 while (cnt > 0) {                    /* this     |  eat */
6862                     cnt--;
6863                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
6864                         goto thats_all_folks;        /* screams  |  sed :-) */
6865                 }
6866             }
6867             else {
6868                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
6869                 bp += cnt;                           /* screams  |  dust */
6870                 ptr += cnt;                          /* louder   |  sed :-) */
6871                 cnt = 0;
6872             }
6873         }
6874         
6875         if (shortbuffered) {            /* oh well, must extend */
6876             cnt = shortbuffered;
6877             shortbuffered = 0;
6878             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
6879             SvCUR_set(sv, bpx);
6880             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
6881             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
6882             continue;
6883         }
6884
6885         DEBUG_P(PerlIO_printf(Perl_debug_log,
6886                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
6887                               PTR2UV(ptr),(long)cnt));
6888         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
6889 #if 0
6890         DEBUG_P(PerlIO_printf(Perl_debug_log,
6891             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6892             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6893             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6894 #endif
6895         /* This used to call 'filbuf' in stdio form, but as that behaves like
6896            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
6897            another abstraction.  */
6898         i   = PerlIO_getc(fp);          /* get more characters */
6899 #if 0
6900         DEBUG_P(PerlIO_printf(Perl_debug_log,
6901             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6902             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6903             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6904 #endif
6905         cnt = PerlIO_get_cnt(fp);
6906         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
6907         DEBUG_P(PerlIO_printf(Perl_debug_log,
6908             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6909
6910         if (i == EOF)                   /* all done for ever? */
6911             goto thats_really_all_folks;
6912
6913         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
6914         SvCUR_set(sv, bpx);
6915         SvGROW(sv, bpx + cnt + 2);
6916         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
6917
6918         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
6919
6920         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
6921             goto thats_all_folks;
6922     }
6923
6924 thats_all_folks:
6925     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
6926           memNE((char*)bp - rslen, rsptr, rslen))
6927         goto screamer;                          /* go back to the fray */
6928 thats_really_all_folks:
6929     if (shortbuffered)
6930         cnt += shortbuffered;
6931         DEBUG_P(PerlIO_printf(Perl_debug_log,
6932             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6933     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6934     DEBUG_P(PerlIO_printf(Perl_debug_log,
6935         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6936         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6937         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6938     *bp = '\0';
6939     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6940     DEBUG_P(PerlIO_printf(Perl_debug_log,
6941         "Screamer: done, len=%ld, string=|%.*s|\n",
6942         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6943     }
6944    else
6945     {
6946        /*The big, slow, and stupid way. */
6947 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6948         STDCHAR *buf = NULL;
6949         Newx(buf, 8192, STDCHAR);
6950         assert(buf);
6951 #else
6952         STDCHAR buf[8192];
6953 #endif
6954
6955 screamer2:
6956         if (rslen) {
6957             register const STDCHAR * const bpe = buf + sizeof(buf);
6958             bp = buf;
6959             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6960                 ; /* keep reading */
6961             cnt = bp - buf;
6962         }
6963         else {
6964             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6965             /* Accomodate broken VAXC compiler, which applies U8 cast to
6966              * both args of ?: operator, causing EOF to change into 255
6967              */
6968             if (cnt > 0)
6969                  i = (U8)buf[cnt - 1];
6970             else
6971                  i = EOF;
6972         }
6973
6974         if (cnt < 0)
6975             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6976         if (append)
6977              sv_catpvn(sv, (char *) buf, cnt);
6978         else
6979              sv_setpvn(sv, (char *) buf, cnt);
6980
6981         if (i != EOF &&                 /* joy */
6982             (!rslen ||
6983              SvCUR(sv) < rslen ||
6984              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6985         {
6986             append = -1;
6987             /*
6988              * If we're reading from a TTY and we get a short read,
6989              * indicating that the user hit his EOF character, we need
6990              * to notice it now, because if we try to read from the TTY
6991              * again, the EOF condition will disappear.
6992              *
6993              * The comparison of cnt to sizeof(buf) is an optimization
6994              * that prevents unnecessary calls to feof().
6995              *
6996              * - jik 9/25/96
6997              */
6998             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
6999                 goto screamer2;
7000         }
7001
7002 #ifdef USE_HEAP_INSTEAD_OF_STACK
7003         Safefree(buf);
7004 #endif
7005     }
7006
7007     if (rspara) {               /* have to do this both before and after */
7008         while (i != EOF) {      /* to make sure file boundaries work right */
7009             i = PerlIO_getc(fp);
7010             if (i != '\n') {
7011                 PerlIO_ungetc(fp,i);
7012                 break;
7013             }
7014         }
7015     }
7016
7017 return_string_or_null:
7018     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7019 }
7020
7021 /*
7022 =for apidoc sv_inc
7023
7024 Auto-increment of the value in the SV, doing string to numeric conversion
7025 if necessary. Handles 'get' magic.
7026
7027 =cut
7028 */
7029
7030 void
7031 Perl_sv_inc(pTHX_ register SV *const sv)
7032 {
7033     dVAR;
7034     register char *d;
7035     int flags;
7036
7037     if (!sv)
7038         return;
7039     SvGETMAGIC(sv);
7040     if (SvTHINKFIRST(sv)) {
7041         if (SvIsCOW(sv))
7042             sv_force_normal_flags(sv, 0);
7043         if (SvREADONLY(sv)) {
7044             if (IN_PERL_RUNTIME)
7045                 Perl_croak(aTHX_ "%s", PL_no_modify);
7046         }
7047         if (SvROK(sv)) {
7048             IV i;
7049             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
7050                 return;
7051             i = PTR2IV(SvRV(sv));
7052             sv_unref(sv);
7053             sv_setiv(sv, i);
7054         }
7055     }
7056     flags = SvFLAGS(sv);
7057     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
7058         /* It's (privately or publicly) a float, but not tested as an
7059            integer, so test it to see. */
7060         (void) SvIV(sv);
7061         flags = SvFLAGS(sv);
7062     }
7063     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7064         /* It's publicly an integer, or privately an integer-not-float */
7065 #ifdef PERL_PRESERVE_IVUV
7066       oops_its_int:
7067 #endif
7068         if (SvIsUV(sv)) {
7069             if (SvUVX(sv) == UV_MAX)
7070                 sv_setnv(sv, UV_MAX_P1);
7071             else
7072                 (void)SvIOK_only_UV(sv);
7073                 SvUV_set(sv, SvUVX(sv) + 1);
7074         } else {
7075             if (SvIVX(sv) == IV_MAX)
7076                 sv_setuv(sv, (UV)IV_MAX + 1);
7077             else {
7078                 (void)SvIOK_only(sv);
7079                 SvIV_set(sv, SvIVX(sv) + 1);
7080             }   
7081         }
7082         return;
7083     }
7084     if (flags & SVp_NOK) {
7085         const NV was = SvNVX(sv);
7086         if (NV_OVERFLOWS_INTEGERS_AT &&
7087             was >= NV_OVERFLOWS_INTEGERS_AT && ckWARN(WARN_IMPRECISION)) {
7088             Perl_warner(aTHX_ packWARN(WARN_IMPRECISION),
7089                         "Lost precision when incrementing %" NVff " by 1",
7090                         was);
7091         }
7092         (void)SvNOK_only(sv);
7093         SvNV_set(sv, was + 1.0);
7094         return;
7095     }
7096
7097     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
7098         if ((flags & SVTYPEMASK) < SVt_PVIV)
7099             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
7100         (void)SvIOK_only(sv);
7101         SvIV_set(sv, 1);
7102         return;
7103     }
7104     d = SvPVX(sv);
7105     while (isALPHA(*d)) d++;
7106     while (isDIGIT(*d)) d++;
7107     if (*d) {
7108 #ifdef PERL_PRESERVE_IVUV
7109         /* Got to punt this as an integer if needs be, but we don't issue
7110            warnings. Probably ought to make the sv_iv_please() that does
7111            the conversion if possible, and silently.  */
7112         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7113         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7114             /* Need to try really hard to see if it's an integer.
7115                9.22337203685478e+18 is an integer.
7116                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7117                so $a="9.22337203685478e+18"; $a+0; $a++
7118                needs to be the same as $a="9.22337203685478e+18"; $a++
7119                or we go insane. */
7120         
7121             (void) sv_2iv(sv);
7122             if (SvIOK(sv))
7123                 goto oops_its_int;
7124
7125             /* sv_2iv *should* have made this an NV */
7126             if (flags & SVp_NOK) {
7127                 (void)SvNOK_only(sv);
7128                 SvNV_set(sv, SvNVX(sv) + 1.0);
7129                 return;
7130             }
7131             /* I don't think we can get here. Maybe I should assert this
7132                And if we do get here I suspect that sv_setnv will croak. NWC
7133                Fall through. */
7134 #if defined(USE_LONG_DOUBLE)
7135             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7136                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7137 #else
7138             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7139                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7140 #endif
7141         }
7142 #endif /* PERL_PRESERVE_IVUV */
7143         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
7144         return;
7145     }
7146     d--;
7147     while (d >= SvPVX_const(sv)) {
7148         if (isDIGIT(*d)) {
7149             if (++*d <= '9')
7150                 return;
7151             *(d--) = '0';
7152         }
7153         else {
7154 #ifdef EBCDIC
7155             /* MKS: The original code here died if letters weren't consecutive.
7156              * at least it didn't have to worry about non-C locales.  The
7157              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
7158              * arranged in order (although not consecutively) and that only
7159              * [A-Za-z] are accepted by isALPHA in the C locale.
7160              */
7161             if (*d != 'z' && *d != 'Z') {
7162                 do { ++*d; } while (!isALPHA(*d));
7163                 return;
7164             }
7165             *(d--) -= 'z' - 'a';
7166 #else
7167             ++*d;
7168             if (isALPHA(*d))
7169                 return;
7170             *(d--) -= 'z' - 'a' + 1;
7171 #endif
7172         }
7173     }
7174     /* oh,oh, the number grew */
7175     SvGROW(sv, SvCUR(sv) + 2);
7176     SvCUR_set(sv, SvCUR(sv) + 1);
7177     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
7178         *d = d[-1];
7179     if (isDIGIT(d[1]))
7180         *d = '1';
7181     else
7182         *d = d[1];
7183 }
7184
7185 /*
7186 =for apidoc sv_dec
7187
7188 Auto-decrement of the value in the SV, doing string to numeric conversion
7189 if necessary. Handles 'get' magic.
7190
7191 =cut
7192 */
7193
7194 void
7195 Perl_sv_dec(pTHX_ register SV *const sv)
7196 {
7197     dVAR;
7198     int flags;
7199
7200     if (!sv)
7201         return;
7202     SvGETMAGIC(sv);
7203     if (SvTHINKFIRST(sv)) {
7204         if (SvIsCOW(sv))
7205             sv_force_normal_flags(sv, 0);
7206         if (SvREADONLY(sv)) {
7207             if (IN_PERL_RUNTIME)
7208                 Perl_croak(aTHX_ "%s", PL_no_modify);
7209         }
7210         if (SvROK(sv)) {
7211             IV i;
7212             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
7213                 return;
7214             i = PTR2IV(SvRV(sv));
7215             sv_unref(sv);
7216             sv_setiv(sv, i);
7217         }
7218     }
7219     /* Unlike sv_inc we don't have to worry about string-never-numbers
7220        and keeping them magic. But we mustn't warn on punting */
7221     flags = SvFLAGS(sv);
7222     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7223         /* It's publicly an integer, or privately an integer-not-float */
7224 #ifdef PERL_PRESERVE_IVUV
7225       oops_its_int:
7226 #endif
7227         if (SvIsUV(sv)) {
7228             if (SvUVX(sv) == 0) {
7229                 (void)SvIOK_only(sv);
7230                 SvIV_set(sv, -1);
7231             }
7232             else {
7233                 (void)SvIOK_only_UV(sv);
7234                 SvUV_set(sv, SvUVX(sv) - 1);
7235             }   
7236         } else {
7237             if (SvIVX(sv) == IV_MIN) {
7238                 sv_setnv(sv, (NV)IV_MIN);
7239                 goto oops_its_num;
7240             }
7241             else {
7242                 (void)SvIOK_only(sv);
7243                 SvIV_set(sv, SvIVX(sv) - 1);
7244             }   
7245         }
7246         return;
7247     }
7248     if (flags & SVp_NOK) {
7249     oops_its_num:
7250         {
7251             const NV was = SvNVX(sv);
7252             if (NV_OVERFLOWS_INTEGERS_AT &&
7253                 was <= -NV_OVERFLOWS_INTEGERS_AT && ckWARN(WARN_IMPRECISION)) {
7254                 Perl_warner(aTHX_ packWARN(WARN_IMPRECISION),
7255                             "Lost precision when decrementing %" NVff " by 1",
7256                             was);
7257             }
7258             (void)SvNOK_only(sv);
7259             SvNV_set(sv, was - 1.0);
7260             return;
7261         }
7262     }
7263     if (!(flags & SVp_POK)) {
7264         if ((flags & SVTYPEMASK) < SVt_PVIV)
7265             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
7266         SvIV_set(sv, -1);
7267         (void)SvIOK_only(sv);
7268         return;
7269     }
7270 #ifdef PERL_PRESERVE_IVUV
7271     {
7272         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7273         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7274             /* Need to try really hard to see if it's an integer.
7275                9.22337203685478e+18 is an integer.
7276                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7277                so $a="9.22337203685478e+18"; $a+0; $a--
7278                needs to be the same as $a="9.22337203685478e+18"; $a--
7279                or we go insane. */
7280         
7281             (void) sv_2iv(sv);
7282             if (SvIOK(sv))
7283                 goto oops_its_int;
7284
7285             /* sv_2iv *should* have made this an NV */
7286             if (flags & SVp_NOK) {
7287                 (void)SvNOK_only(sv);
7288                 SvNV_set(sv, SvNVX(sv) - 1.0);
7289                 return;
7290             }
7291             /* I don't think we can get here. Maybe I should assert this
7292                And if we do get here I suspect that sv_setnv will croak. NWC
7293                Fall through. */
7294 #if defined(USE_LONG_DOUBLE)
7295             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7296                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7297 #else
7298             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7299                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7300 #endif
7301         }
7302     }
7303 #endif /* PERL_PRESERVE_IVUV */
7304     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
7305 }
7306
7307 /*
7308 =for apidoc sv_mortalcopy
7309
7310 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
7311 The new SV is marked as mortal. It will be destroyed "soon", either by an
7312 explicit call to FREETMPS, or by an implicit call at places such as
7313 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
7314
7315 =cut
7316 */
7317
7318 /* Make a string that will exist for the duration of the expression
7319  * evaluation.  Actually, it may have to last longer than that, but
7320  * hopefully we won't free it until it has been assigned to a
7321  * permanent location. */
7322
7323 SV *
7324 Perl_sv_mortalcopy(pTHX_ SV *const oldstr)
7325 {
7326     dVAR;
7327     register SV *sv;
7328
7329     new_SV(sv);
7330     sv_setsv(sv,oldstr);
7331     EXTEND_MORTAL(1);
7332     PL_tmps_stack[++PL_tmps_ix] = sv;
7333     SvTEMP_on(sv);
7334     return sv;
7335 }
7336
7337 /*
7338 =for apidoc sv_newmortal
7339
7340 Creates a new null SV which is mortal.  The reference count of the SV is
7341 set to 1. It will be destroyed "soon", either by an explicit call to
7342 FREETMPS, or by an implicit call at places such as statement boundaries.
7343 See also C<sv_mortalcopy> and C<sv_2mortal>.
7344
7345 =cut
7346 */
7347
7348 SV *
7349 Perl_sv_newmortal(pTHX)
7350 {
7351     dVAR;
7352     register SV *sv;
7353
7354     new_SV(sv);
7355     SvFLAGS(sv) = SVs_TEMP;
7356     EXTEND_MORTAL(1);
7357     PL_tmps_stack[++PL_tmps_ix] = sv;
7358     return sv;
7359 }
7360
7361
7362 /*
7363 =for apidoc newSVpvn_flags
7364
7365 Creates a new SV and copies a string into it.  The reference count for the
7366 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7367 string.  You are responsible for ensuring that the source string is at least
7368 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7369 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
7370 If C<SVs_TEMP> is set, then C<sv2mortal()> is called on the result before
7371 returning. If C<SVf_UTF8> is set, then it will be set on the new SV.
7372 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
7373
7374     #define newSVpvn_utf8(s, len, u)                    \
7375         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
7376
7377 =cut
7378 */
7379
7380 SV *
7381 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
7382 {
7383     dVAR;
7384     register SV *sv;
7385
7386     /* All the flags we don't support must be zero.
7387        And we're new code so I'm going to assert this from the start.  */
7388     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
7389     new_SV(sv);
7390     sv_setpvn(sv,s,len);
7391     SvFLAGS(sv) |= (flags & SVf_UTF8);
7392     return (flags & SVs_TEMP) ? sv_2mortal(sv) : sv;
7393 }
7394
7395 /*
7396 =for apidoc sv_2mortal
7397
7398 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
7399 by an explicit call to FREETMPS, or by an implicit call at places such as
7400 statement boundaries.  SvTEMP() is turned on which means that the SV's
7401 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
7402 and C<sv_mortalcopy>.
7403
7404 =cut
7405 */
7406
7407 SV *
7408 Perl_sv_2mortal(pTHX_ register SV *const sv)
7409 {
7410     dVAR;
7411     if (!sv)
7412         return NULL;
7413     if (SvREADONLY(sv) && SvIMMORTAL(sv))
7414         return sv;
7415     EXTEND_MORTAL(1);
7416     PL_tmps_stack[++PL_tmps_ix] = sv;
7417     SvTEMP_on(sv);
7418     return sv;
7419 }
7420
7421 /*
7422 =for apidoc newSVpv
7423
7424 Creates a new SV and copies a string into it.  The reference count for the
7425 SV is set to 1.  If C<len> is zero, Perl will compute the length using
7426 strlen().  For efficiency, consider using C<newSVpvn> instead.
7427
7428 =cut
7429 */
7430
7431 SV *
7432 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
7433 {
7434     dVAR;
7435     register SV *sv;
7436
7437     new_SV(sv);
7438     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
7439     return sv;
7440 }
7441
7442 /*
7443 =for apidoc newSVpvn
7444
7445 Creates a new SV and copies a string into it.  The reference count for the
7446 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7447 string.  You are responsible for ensuring that the source string is at least
7448 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7449
7450 =cut
7451 */
7452
7453 SV *
7454 Perl_newSVpvn(pTHX_ const char *const s, const STRLEN len)
7455 {
7456     dVAR;
7457     register SV *sv;
7458
7459     new_SV(sv);
7460     sv_setpvn(sv,s,len);
7461     return sv;
7462 }
7463
7464 /*
7465 =for apidoc newSVhek
7466
7467 Creates a new SV from the hash key structure.  It will generate scalars that
7468 point to the shared string table where possible. Returns a new (undefined)
7469 SV if the hek is NULL.
7470
7471 =cut
7472 */
7473
7474 SV *
7475 Perl_newSVhek(pTHX_ const HEK *const hek)
7476 {
7477     dVAR;
7478     if (!hek) {
7479         SV *sv;
7480
7481         new_SV(sv);
7482         return sv;
7483     }
7484
7485     if (HEK_LEN(hek) == HEf_SVKEY) {
7486         return newSVsv(*(SV**)HEK_KEY(hek));
7487     } else {
7488         const int flags = HEK_FLAGS(hek);
7489         if (flags & HVhek_WASUTF8) {
7490             /* Trouble :-)
7491                Andreas would like keys he put in as utf8 to come back as utf8
7492             */
7493             STRLEN utf8_len = HEK_LEN(hek);
7494             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7495             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7496
7497             SvUTF8_on (sv);
7498             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7499             return sv;
7500         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7501             /* We don't have a pointer to the hv, so we have to replicate the
7502                flag into every HEK. This hv is using custom a hasing
7503                algorithm. Hence we can't return a shared string scalar, as
7504                that would contain the (wrong) hash value, and might get passed
7505                into an hv routine with a regular hash.
7506                Similarly, a hash that isn't using shared hash keys has to have
7507                the flag in every key so that we know not to try to call
7508                share_hek_kek on it.  */
7509
7510             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7511             if (HEK_UTF8(hek))
7512                 SvUTF8_on (sv);
7513             return sv;
7514         }
7515         /* This will be overwhelminly the most common case.  */
7516         {
7517             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7518                more efficient than sharepvn().  */
7519             SV *sv;
7520
7521             new_SV(sv);
7522             sv_upgrade(sv, SVt_PV);
7523             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7524             SvCUR_set(sv, HEK_LEN(hek));
7525             SvLEN_set(sv, 0);
7526             SvREADONLY_on(sv);
7527             SvFAKE_on(sv);
7528             SvPOK_on(sv);
7529             if (HEK_UTF8(hek))
7530                 SvUTF8_on(sv);
7531             return sv;
7532         }
7533     }
7534 }
7535
7536 /*
7537 =for apidoc newSVpvn_share
7538
7539 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7540 table. If the string does not already exist in the table, it is created
7541 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
7542 value is used; otherwise the hash is computed. The string's hash can be later
7543 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
7544 that as the string table is used for shared hash keys these strings will have
7545 SvPVX_const == HeKEY and hash lookup will avoid string compare.
7546
7547 =cut
7548 */
7549
7550 SV *
7551 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7552 {
7553     dVAR;
7554     register SV *sv;
7555     bool is_utf8 = FALSE;
7556     const char *const orig_src = src;
7557
7558     if (len < 0) {
7559         STRLEN tmplen = -len;
7560         is_utf8 = TRUE;
7561         /* See the note in hv.c:hv_fetch() --jhi */
7562         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7563         len = tmplen;
7564     }
7565     if (!hash)
7566         PERL_HASH(hash, src, len);
7567     new_SV(sv);
7568     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
7569        changes here, update it there too.  */
7570     sv_upgrade(sv, SVt_PV);
7571     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7572     SvCUR_set(sv, len);
7573     SvLEN_set(sv, 0);
7574     SvREADONLY_on(sv);
7575     SvFAKE_on(sv);
7576     SvPOK_on(sv);
7577     if (is_utf8)
7578         SvUTF8_on(sv);
7579     if (src != orig_src)
7580         Safefree(src);
7581     return sv;
7582 }
7583
7584
7585 #if defined(PERL_IMPLICIT_CONTEXT)
7586
7587 /* pTHX_ magic can't cope with varargs, so this is a no-context
7588  * version of the main function, (which may itself be aliased to us).
7589  * Don't access this version directly.
7590  */
7591
7592 SV *
7593 Perl_newSVpvf_nocontext(const char *const pat, ...)
7594 {
7595     dTHX;
7596     register SV *sv;
7597     va_list args;
7598
7599     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
7600
7601     va_start(args, pat);
7602     sv = vnewSVpvf(pat, &args);
7603     va_end(args);
7604     return sv;
7605 }
7606 #endif
7607
7608 /*
7609 =for apidoc newSVpvf
7610
7611 Creates a new SV and initializes it with the string formatted like
7612 C<sprintf>.
7613
7614 =cut
7615 */
7616
7617 SV *
7618 Perl_newSVpvf(pTHX_ const char *const pat, ...)
7619 {
7620     register SV *sv;
7621     va_list args;
7622
7623     PERL_ARGS_ASSERT_NEWSVPVF;
7624
7625     va_start(args, pat);
7626     sv = vnewSVpvf(pat, &args);
7627     va_end(args);
7628     return sv;
7629 }
7630
7631 /* backend for newSVpvf() and newSVpvf_nocontext() */
7632
7633 SV *
7634 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
7635 {
7636     dVAR;
7637     register SV *sv;
7638
7639     PERL_ARGS_ASSERT_VNEWSVPVF;
7640
7641     new_SV(sv);
7642     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7643     return sv;
7644 }
7645
7646 /*
7647 =for apidoc newSVnv
7648
7649 Creates a new SV and copies a floating point value into it.
7650 The reference count for the SV is set to 1.
7651
7652 =cut
7653 */
7654
7655 SV *
7656 Perl_newSVnv(pTHX_ const NV n)
7657 {
7658     dVAR;
7659     register SV *sv;
7660
7661     new_SV(sv);
7662     sv_setnv(sv,n);
7663     return sv;
7664 }
7665
7666 /*
7667 =for apidoc newSViv
7668
7669 Creates a new SV and copies an integer into it.  The reference count for the
7670 SV is set to 1.
7671
7672 =cut
7673 */
7674
7675 SV *
7676 Perl_newSViv(pTHX_ const IV i)
7677 {
7678     dVAR;
7679     register SV *sv;
7680
7681     new_SV(sv);
7682     sv_setiv(sv,i);
7683     return sv;
7684 }
7685
7686 /*
7687 =for apidoc newSVuv
7688
7689 Creates a new SV and copies an unsigned integer into it.
7690 The reference count for the SV is set to 1.
7691
7692 =cut
7693 */
7694
7695 SV *
7696 Perl_newSVuv(pTHX_ const UV u)
7697 {
7698     dVAR;
7699     register SV *sv;
7700
7701     new_SV(sv);
7702     sv_setuv(sv,u);
7703     return sv;
7704 }
7705
7706 /*
7707 =for apidoc newSV_type
7708
7709 Creates a new SV, of the type specified.  The reference count for the new SV
7710 is set to 1.
7711
7712 =cut
7713 */
7714
7715 SV *
7716 Perl_newSV_type(pTHX_ const svtype type)
7717 {
7718     register SV *sv;
7719
7720     new_SV(sv);
7721     sv_upgrade(sv, type);
7722     return sv;
7723 }
7724
7725 /*
7726 =for apidoc newRV_noinc
7727
7728 Creates an RV wrapper for an SV.  The reference count for the original
7729 SV is B<not> incremented.
7730
7731 =cut
7732 */
7733
7734 SV *
7735 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
7736 {
7737     dVAR;
7738     register SV *sv = newSV_type(SVt_IV);
7739
7740     PERL_ARGS_ASSERT_NEWRV_NOINC;
7741
7742     SvTEMP_off(tmpRef);
7743     SvRV_set(sv, tmpRef);
7744     SvROK_on(sv);
7745     return sv;
7746 }
7747
7748 /* newRV_inc is the official function name to use now.
7749  * newRV_inc is in fact #defined to newRV in sv.h
7750  */
7751
7752 SV *
7753 Perl_newRV(pTHX_ SV *const sv)
7754 {
7755     dVAR;
7756
7757     PERL_ARGS_ASSERT_NEWRV;
7758
7759     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7760 }
7761
7762 /*
7763 =for apidoc newSVsv
7764
7765 Creates a new SV which is an exact duplicate of the original SV.
7766 (Uses C<sv_setsv>).
7767
7768 =cut
7769 */
7770
7771 SV *
7772 Perl_newSVsv(pTHX_ register SV *const old)
7773 {
7774     dVAR;
7775     register SV *sv;
7776
7777     if (!old)
7778         return NULL;
7779     if (SvTYPE(old) == SVTYPEMASK) {
7780         if (ckWARN_d(WARN_INTERNAL))
7781             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7782         return NULL;
7783     }
7784     new_SV(sv);
7785     /* SV_GMAGIC is the default for sv_setv()
7786        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7787        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
7788     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
7789     return sv;
7790 }
7791
7792 /*
7793 =for apidoc sv_reset
7794
7795 Underlying implementation for the C<reset> Perl function.
7796 Note that the perl-level function is vaguely deprecated.
7797
7798 =cut
7799 */
7800
7801 void
7802 Perl_sv_reset(pTHX_ register const char *s, HV *const stash)
7803 {
7804     dVAR;
7805     char todo[PERL_UCHAR_MAX+1];
7806
7807     PERL_ARGS_ASSERT_SV_RESET;
7808
7809     if (!stash)
7810         return;
7811
7812     if (!*s) {          /* reset ?? searches */
7813         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
7814         if (mg) {
7815             const U32 count = mg->mg_len / sizeof(PMOP**);
7816             PMOP **pmp = (PMOP**) mg->mg_ptr;
7817             PMOP *const *const end = pmp + count;
7818
7819             while (pmp < end) {
7820 #ifdef USE_ITHREADS
7821                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
7822 #else
7823                 (*pmp)->op_pmflags &= ~PMf_USED;
7824 #endif
7825                 ++pmp;
7826             }
7827         }
7828         return;
7829     }
7830
7831     /* reset variables */
7832
7833     if (!HvARRAY(stash))
7834         return;
7835
7836     Zero(todo, 256, char);
7837     while (*s) {
7838         I32 max;
7839         I32 i = (unsigned char)*s;
7840         if (s[1] == '-') {
7841             s += 2;
7842         }
7843         max = (unsigned char)*s++;
7844         for ( ; i <= max; i++) {
7845             todo[i] = 1;
7846         }
7847         for (i = 0; i <= (I32) HvMAX(stash); i++) {
7848             HE *entry;
7849             for (entry = HvARRAY(stash)[i];
7850                  entry;
7851                  entry = HeNEXT(entry))
7852             {
7853                 register GV *gv;
7854                 register SV *sv;
7855
7856                 if (!todo[(U8)*HeKEY(entry)])
7857                     continue;
7858                 gv = MUTABLE_GV(HeVAL(entry));
7859                 sv = GvSV(gv);
7860                 if (sv) {
7861                     if (SvTHINKFIRST(sv)) {
7862                         if (!SvREADONLY(sv) && SvROK(sv))
7863                             sv_unref(sv);
7864                         /* XXX Is this continue a bug? Why should THINKFIRST
7865                            exempt us from resetting arrays and hashes?  */
7866                         continue;
7867                     }
7868                     SvOK_off(sv);
7869                     if (SvTYPE(sv) >= SVt_PV) {
7870                         SvCUR_set(sv, 0);
7871                         if (SvPVX_const(sv) != NULL)
7872                             *SvPVX(sv) = '\0';
7873                         SvTAINT(sv);
7874                     }
7875                 }
7876                 if (GvAV(gv)) {
7877                     av_clear(GvAV(gv));
7878                 }
7879                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
7880 #if defined(VMS)
7881                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
7882 #else /* ! VMS */
7883                     hv_clear(GvHV(gv));
7884 #  if defined(USE_ENVIRON_ARRAY)
7885                     if (gv == PL_envgv)
7886                         my_clearenv();
7887 #  endif /* USE_ENVIRON_ARRAY */
7888 #endif /* VMS */
7889                 }
7890             }
7891         }
7892     }
7893 }
7894
7895 /*
7896 =for apidoc sv_2io
7897
7898 Using various gambits, try to get an IO from an SV: the IO slot if its a
7899 GV; or the recursive result if we're an RV; or the IO slot of the symbol
7900 named after the PV if we're a string.
7901
7902 =cut
7903 */
7904
7905 IO*
7906 Perl_sv_2io(pTHX_ SV *const sv)
7907 {
7908     IO* io;
7909     GV* gv;
7910
7911     PERL_ARGS_ASSERT_SV_2IO;
7912
7913     switch (SvTYPE(sv)) {
7914     case SVt_PVIO:
7915         io = MUTABLE_IO(sv);
7916         break;
7917     case SVt_PVGV:
7918         if (isGV_with_GP(sv)) {
7919             gv = MUTABLE_GV(sv);
7920             io = GvIO(gv);
7921             if (!io)
7922                 Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
7923             break;
7924         }
7925         /* FALL THROUGH */
7926     default:
7927         if (!SvOK(sv))
7928             Perl_croak(aTHX_ PL_no_usym, "filehandle");
7929         if (SvROK(sv))
7930             return sv_2io(SvRV(sv));
7931         gv = gv_fetchsv(sv, 0, SVt_PVIO);
7932         if (gv)
7933             io = GvIO(gv);
7934         else
7935             io = 0;
7936         if (!io)
7937             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
7938         break;
7939     }
7940     return io;
7941 }
7942
7943 /*
7944 =for apidoc sv_2cv
7945
7946 Using various gambits, try to get a CV from an SV; in addition, try if
7947 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
7948 The flags in C<lref> are passed to sv_fetchsv.
7949
7950 =cut
7951 */
7952
7953 CV *
7954 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
7955 {
7956     dVAR;
7957     GV *gv = NULL;
7958     CV *cv = NULL;
7959
7960     PERL_ARGS_ASSERT_SV_2CV;
7961
7962     if (!sv) {
7963         *st = NULL;
7964         *gvp = NULL;
7965         return NULL;
7966     }
7967     switch (SvTYPE(sv)) {
7968     case SVt_PVCV:
7969         *st = CvSTASH(sv);
7970         *gvp = NULL;
7971         return MUTABLE_CV(sv);
7972     case SVt_PVHV:
7973     case SVt_PVAV:
7974         *st = NULL;
7975         *gvp = NULL;
7976         return NULL;
7977     case SVt_PVGV:
7978         if (isGV_with_GP(sv)) {
7979             gv = MUTABLE_GV(sv);
7980             *gvp = gv;
7981             *st = GvESTASH(gv);
7982             goto fix_gv;
7983         }
7984         /* FALL THROUGH */
7985
7986     default:
7987         if (SvROK(sv)) {
7988             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
7989             SvGETMAGIC(sv);
7990             tryAMAGICunDEREF(to_cv);
7991
7992             sv = SvRV(sv);
7993             if (SvTYPE(sv) == SVt_PVCV) {
7994                 cv = MUTABLE_CV(sv);
7995                 *gvp = NULL;
7996                 *st = CvSTASH(cv);
7997                 return cv;
7998             }
7999             else if(isGV_with_GP(sv))
8000                 gv = MUTABLE_GV(sv);
8001             else
8002                 Perl_croak(aTHX_ "Not a subroutine reference");
8003         }
8004         else if (isGV_with_GP(sv)) {
8005             SvGETMAGIC(sv);
8006             gv = MUTABLE_GV(sv);
8007         }
8008         else
8009             gv = gv_fetchsv(sv, lref, SVt_PVCV); /* Calls get magic */
8010         *gvp = gv;
8011         if (!gv) {
8012             *st = NULL;
8013             return NULL;
8014         }
8015         /* Some flags to gv_fetchsv mean don't really create the GV  */
8016         if (!isGV_with_GP(gv)) {
8017             *st = NULL;
8018             return NULL;
8019         }
8020         *st = GvESTASH(gv);
8021     fix_gv:
8022         if (lref && !GvCVu(gv)) {
8023             SV *tmpsv;
8024             ENTER;
8025             tmpsv = newSV(0);
8026             gv_efullname3(tmpsv, gv, NULL);
8027             /* XXX this is probably not what they think they're getting.
8028              * It has the same effect as "sub name;", i.e. just a forward
8029              * declaration! */
8030             newSUB(start_subparse(FALSE, 0),
8031                    newSVOP(OP_CONST, 0, tmpsv),
8032                    NULL, NULL);
8033             LEAVE;
8034             if (!GvCVu(gv))
8035                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
8036                            SVfARG(SvOK(sv) ? sv : &PL_sv_no));
8037         }
8038         return GvCVu(gv);
8039     }
8040 }
8041
8042 /*
8043 =for apidoc sv_true
8044
8045 Returns true if the SV has a true value by Perl's rules.
8046 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
8047 instead use an in-line version.
8048
8049 =cut
8050 */
8051
8052 I32
8053 Perl_sv_true(pTHX_ register SV *const sv)
8054 {
8055     if (!sv)
8056         return 0;
8057     if (SvPOK(sv)) {
8058         register const XPV* const tXpv = (XPV*)SvANY(sv);
8059         if (tXpv &&
8060                 (tXpv->xpv_cur > 1 ||
8061                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
8062             return 1;
8063         else
8064             return 0;
8065     }
8066     else {
8067         if (SvIOK(sv))
8068             return SvIVX(sv) != 0;
8069         else {
8070             if (SvNOK(sv))
8071                 return SvNVX(sv) != 0.0;
8072             else
8073                 return sv_2bool(sv);
8074         }
8075     }
8076 }
8077
8078 /*
8079 =for apidoc sv_pvn_force
8080
8081 Get a sensible string out of the SV somehow.
8082 A private implementation of the C<SvPV_force> macro for compilers which
8083 can't cope with complex macro expressions. Always use the macro instead.
8084
8085 =for apidoc sv_pvn_force_flags
8086
8087 Get a sensible string out of the SV somehow.
8088 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
8089 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
8090 implemented in terms of this function.
8091 You normally want to use the various wrapper macros instead: see
8092 C<SvPV_force> and C<SvPV_force_nomg>
8093
8094 =cut
8095 */
8096
8097 char *
8098 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
8099 {
8100     dVAR;
8101
8102     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
8103
8104     if (SvTHINKFIRST(sv) && !SvROK(sv))
8105         sv_force_normal_flags(sv, 0);
8106
8107     if (SvPOK(sv)) {
8108         if (lp)
8109             *lp = SvCUR(sv);
8110     }
8111     else {
8112         char *s;
8113         STRLEN len;
8114  
8115         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
8116             const char * const ref = sv_reftype(sv,0);
8117             if (PL_op)
8118                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
8119                            ref, OP_NAME(PL_op));
8120             else
8121                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
8122         }
8123         if ((SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
8124             || isGV_with_GP(sv))
8125             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
8126                 OP_NAME(PL_op));
8127         s = sv_2pv_flags(sv, &len, flags);
8128         if (lp)
8129             *lp = len;
8130
8131         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
8132             if (SvROK(sv))
8133                 sv_unref(sv);
8134             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
8135             SvGROW(sv, len + 1);
8136             Move(s,SvPVX(sv),len,char);
8137             SvCUR_set(sv, len);
8138             SvPVX(sv)[len] = '\0';
8139         }
8140         if (!SvPOK(sv)) {
8141             SvPOK_on(sv);               /* validate pointer */
8142             SvTAINT(sv);
8143             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
8144                                   PTR2UV(sv),SvPVX_const(sv)));
8145         }
8146     }
8147     return SvPVX_mutable(sv);
8148 }
8149
8150 /*
8151 =for apidoc sv_pvbyten_force
8152
8153 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
8154
8155 =cut
8156 */
8157
8158 char *
8159 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
8160 {
8161     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
8162
8163     sv_pvn_force(sv,lp);
8164     sv_utf8_downgrade(sv,0);
8165     *lp = SvCUR(sv);
8166     return SvPVX(sv);
8167 }
8168
8169 /*
8170 =for apidoc sv_pvutf8n_force
8171
8172 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
8173
8174 =cut
8175 */
8176
8177 char *
8178 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
8179 {
8180     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
8181
8182     sv_pvn_force(sv,lp);
8183     sv_utf8_upgrade(sv);
8184     *lp = SvCUR(sv);
8185     return SvPVX(sv);
8186 }
8187
8188 /*
8189 =for apidoc sv_reftype
8190
8191 Returns a string describing what the SV is a reference to.
8192
8193 =cut
8194 */
8195
8196 const char *
8197 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
8198 {
8199     PERL_ARGS_ASSERT_SV_REFTYPE;
8200
8201     /* The fact that I don't need to downcast to char * everywhere, only in ?:
8202        inside return suggests a const propagation bug in g++.  */
8203     if (ob && SvOBJECT(sv)) {
8204         char * const name = HvNAME_get(SvSTASH(sv));
8205         return name ? name : (char *) "__ANON__";
8206     }
8207     else {
8208         switch (SvTYPE(sv)) {
8209         case SVt_NULL:
8210         case SVt_IV:
8211         case SVt_NV:
8212         case SVt_PV:
8213         case SVt_PVIV:
8214         case SVt_PVNV:
8215         case SVt_PVMG:
8216                                 if (SvVOK(sv))
8217                                     return "VSTRING";
8218                                 if (SvROK(sv))
8219                                     return "REF";
8220                                 else
8221                                     return "SCALAR";
8222
8223         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
8224                                 /* tied lvalues should appear to be
8225                                  * scalars for backwards compatitbility */
8226                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
8227                                     ? "SCALAR" : "LVALUE");
8228         case SVt_PVAV:          return "ARRAY";
8229         case SVt_PVHV:          return "HASH";
8230         case SVt_PVCV:          return "CODE";
8231         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
8232                                     ? "GLOB" : "SCALAR");
8233         case SVt_PVFM:          return "FORMAT";
8234         case SVt_PVIO:          return "IO";
8235         case SVt_BIND:          return "BIND";
8236         case SVt_REGEXP:        return "REGEXP"; 
8237         default:                return "UNKNOWN";
8238         }
8239     }
8240 }
8241
8242 /*
8243 =for apidoc sv_isobject
8244
8245 Returns a boolean indicating whether the SV is an RV pointing to a blessed
8246 object.  If the SV is not an RV, or if the object is not blessed, then this
8247 will return false.
8248
8249 =cut
8250 */
8251
8252 int
8253 Perl_sv_isobject(pTHX_ SV *sv)
8254 {
8255     if (!sv)
8256         return 0;
8257     SvGETMAGIC(sv);
8258     if (!SvROK(sv))
8259         return 0;
8260     sv = SvRV(sv);
8261     if (!SvOBJECT(sv))
8262         return 0;
8263     return 1;
8264 }
8265
8266 /*
8267 =for apidoc sv_isa
8268
8269 Returns a boolean indicating whether the SV is blessed into the specified
8270 class.  This does not check for subtypes; use C<sv_derived_from> to verify
8271 an inheritance relationship.
8272
8273 =cut
8274 */
8275
8276 int
8277 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
8278 {
8279     const char *hvname;
8280
8281     PERL_ARGS_ASSERT_SV_ISA;
8282
8283     if (!sv)
8284         return 0;
8285     SvGETMAGIC(sv);
8286     if (!SvROK(sv))
8287         return 0;
8288     sv = SvRV(sv);
8289     if (!SvOBJECT(sv))
8290         return 0;
8291     hvname = HvNAME_get(SvSTASH(sv));
8292     if (!hvname)
8293         return 0;
8294
8295     return strEQ(hvname, name);
8296 }
8297
8298 /*
8299 =for apidoc newSVrv
8300
8301 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
8302 it will be upgraded to one.  If C<classname> is non-null then the new SV will
8303 be blessed in the specified package.  The new SV is returned and its
8304 reference count is 1.
8305
8306 =cut
8307 */
8308
8309 SV*
8310 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
8311 {
8312     dVAR;
8313     SV *sv;
8314
8315     PERL_ARGS_ASSERT_NEWSVRV;
8316
8317     new_SV(sv);
8318
8319     SV_CHECK_THINKFIRST_COW_DROP(rv);
8320     (void)SvAMAGIC_off(rv);
8321
8322     if (SvTYPE(rv) >= SVt_PVMG) {
8323         const U32 refcnt = SvREFCNT(rv);
8324         SvREFCNT(rv) = 0;
8325         sv_clear(rv);
8326         SvFLAGS(rv) = 0;
8327         SvREFCNT(rv) = refcnt;
8328
8329         sv_upgrade(rv, SVt_IV);
8330     } else if (SvROK(rv)) {
8331         SvREFCNT_dec(SvRV(rv));
8332     } else {
8333         prepare_SV_for_RV(rv);
8334     }
8335
8336     SvOK_off(rv);
8337     SvRV_set(rv, sv);
8338     SvROK_on(rv);
8339
8340     if (classname) {
8341         HV* const stash = gv_stashpv(classname, GV_ADD);
8342         (void)sv_bless(rv, stash);
8343     }
8344     return sv;
8345 }
8346
8347 /*
8348 =for apidoc sv_setref_pv
8349
8350 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
8351 argument will be upgraded to an RV.  That RV will be modified to point to
8352 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
8353 into the SV.  The C<classname> argument indicates the package for the
8354 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8355 will have a reference count of 1, and the RV will be returned.
8356
8357 Do not use with other Perl types such as HV, AV, SV, CV, because those
8358 objects will become corrupted by the pointer copy process.
8359
8360 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
8361
8362 =cut
8363 */
8364
8365 SV*
8366 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
8367 {
8368     dVAR;
8369
8370     PERL_ARGS_ASSERT_SV_SETREF_PV;
8371
8372     if (!pv) {
8373         sv_setsv(rv, &PL_sv_undef);
8374         SvSETMAGIC(rv);
8375     }
8376     else
8377         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
8378     return rv;
8379 }
8380
8381 /*
8382 =for apidoc sv_setref_iv
8383
8384 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
8385 argument will be upgraded to an RV.  That RV will be modified to point to
8386 the new SV.  The C<classname> argument indicates the package for the
8387 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8388 will have a reference count of 1, and the RV will be returned.
8389
8390 =cut
8391 */
8392
8393 SV*
8394 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
8395 {
8396     PERL_ARGS_ASSERT_SV_SETREF_IV;
8397
8398     sv_setiv(newSVrv(rv,classname), iv);
8399     return rv;
8400 }
8401
8402 /*
8403 =for apidoc sv_setref_uv
8404
8405 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
8406 argument will be upgraded to an RV.  That RV will be modified to point to
8407 the new SV.  The C<classname> argument indicates the package for the
8408 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8409 will have a reference count of 1, and the RV will be returned.
8410
8411 =cut
8412 */
8413
8414 SV*
8415 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
8416 {
8417     PERL_ARGS_ASSERT_SV_SETREF_UV;
8418
8419     sv_setuv(newSVrv(rv,classname), uv);
8420     return rv;
8421 }
8422
8423 /*
8424 =for apidoc sv_setref_nv
8425
8426 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
8427 argument will be upgraded to an RV.  That RV will be modified to point to
8428 the new SV.  The C<classname> argument indicates the package for the
8429 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8430 will have a reference count of 1, and the RV will be returned.
8431
8432 =cut
8433 */
8434
8435 SV*
8436 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
8437 {
8438     PERL_ARGS_ASSERT_SV_SETREF_NV;
8439
8440     sv_setnv(newSVrv(rv,classname), nv);
8441     return rv;
8442 }
8443
8444 /*
8445 =for apidoc sv_setref_pvn
8446
8447 Copies a string into a new SV, optionally blessing the SV.  The length of the
8448 string must be specified with C<n>.  The C<rv> argument will be upgraded to
8449 an RV.  That RV will be modified to point to the new SV.  The C<classname>
8450 argument indicates the package for the blessing.  Set C<classname> to
8451 C<NULL> to avoid the blessing.  The new SV will have a reference count
8452 of 1, and the RV will be returned.
8453
8454 Note that C<sv_setref_pv> copies the pointer while this copies the string.
8455
8456 =cut
8457 */
8458
8459 SV*
8460 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
8461                    const char *const pv, const STRLEN n)
8462 {
8463     PERL_ARGS_ASSERT_SV_SETREF_PVN;
8464
8465     sv_setpvn(newSVrv(rv,classname), pv, n);
8466     return rv;
8467 }
8468
8469 /*
8470 =for apidoc sv_bless
8471
8472 Blesses an SV into a specified package.  The SV must be an RV.  The package
8473 must be designated by its stash (see C<gv_stashpv()>).  The reference count
8474 of the SV is unaffected.
8475
8476 =cut
8477 */
8478
8479 SV*
8480 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
8481 {
8482     dVAR;
8483     SV *tmpRef;
8484
8485     PERL_ARGS_ASSERT_SV_BLESS;
8486
8487     if (!SvROK(sv))
8488         Perl_croak(aTHX_ "Can't bless non-reference value");
8489     tmpRef = SvRV(sv);
8490     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
8491         if (SvIsCOW(tmpRef))
8492             sv_force_normal_flags(tmpRef, 0);
8493         if (SvREADONLY(tmpRef))
8494             Perl_croak(aTHX_ "%s", PL_no_modify);
8495         if (SvOBJECT(tmpRef)) {
8496             if (SvTYPE(tmpRef) != SVt_PVIO)
8497                 --PL_sv_objcount;
8498             SvREFCNT_dec(SvSTASH(tmpRef));
8499         }
8500     }
8501     SvOBJECT_on(tmpRef);
8502     if (SvTYPE(tmpRef) != SVt_PVIO)
8503         ++PL_sv_objcount;
8504     SvUPGRADE(tmpRef, SVt_PVMG);
8505     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
8506
8507     if (Gv_AMG(stash))
8508         SvAMAGIC_on(sv);
8509     else
8510         (void)SvAMAGIC_off(sv);
8511
8512     if(SvSMAGICAL(tmpRef))
8513         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
8514             mg_set(tmpRef);
8515
8516
8517
8518     return sv;
8519 }
8520
8521 /* Downgrades a PVGV to a PVMG.
8522  */
8523
8524 STATIC void
8525 S_sv_unglob(pTHX_ SV *const sv)
8526 {
8527     dVAR;
8528     void *xpvmg;
8529     HV *stash;
8530     SV * const temp = sv_newmortal();
8531
8532     PERL_ARGS_ASSERT_SV_UNGLOB;
8533
8534     assert(SvTYPE(sv) == SVt_PVGV);
8535     SvFAKE_off(sv);
8536     gv_efullname3(temp, MUTABLE_GV(sv), "*");
8537
8538     if (GvGP(sv)) {
8539         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
8540            && HvNAME_get(stash))
8541             mro_method_changed_in(stash);
8542         gp_free(MUTABLE_GV(sv));
8543     }
8544     if (GvSTASH(sv)) {
8545         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
8546         GvSTASH(sv) = NULL;
8547     }
8548     GvMULTI_off(sv);
8549     if (GvNAME_HEK(sv)) {
8550         unshare_hek(GvNAME_HEK(sv));
8551     }
8552     isGV_with_GP_off(sv);
8553
8554     /* need to keep SvANY(sv) in the right arena */
8555     xpvmg = new_XPVMG();
8556     StructCopy(SvANY(sv), xpvmg, XPVMG);
8557     del_XPVGV(SvANY(sv));
8558     SvANY(sv) = xpvmg;
8559
8560     SvFLAGS(sv) &= ~SVTYPEMASK;
8561     SvFLAGS(sv) |= SVt_PVMG;
8562
8563     /* Intentionally not calling any local SET magic, as this isn't so much a
8564        set operation as merely an internal storage change.  */
8565     sv_setsv_flags(sv, temp, 0);
8566 }
8567
8568 /*
8569 =for apidoc sv_unref_flags
8570
8571 Unsets the RV status of the SV, and decrements the reference count of
8572 whatever was being referenced by the RV.  This can almost be thought of
8573 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8574 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8575 (otherwise the decrementing is conditional on the reference count being
8576 different from one or the reference being a readonly SV).
8577 See C<SvROK_off>.
8578
8579 =cut
8580 */
8581
8582 void
8583 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
8584 {
8585     SV* const target = SvRV(ref);
8586
8587     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
8588
8589     if (SvWEAKREF(ref)) {
8590         sv_del_backref(target, ref);
8591         SvWEAKREF_off(ref);
8592         SvRV_set(ref, NULL);
8593         return;
8594     }
8595     SvRV_set(ref, NULL);
8596     SvROK_off(ref);
8597     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8598        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8599     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8600         SvREFCNT_dec(target);
8601     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8602         sv_2mortal(target);     /* Schedule for freeing later */
8603 }
8604
8605 /*
8606 =for apidoc sv_untaint
8607
8608 Untaint an SV. Use C<SvTAINTED_off> instead.
8609 =cut
8610 */
8611
8612 void
8613 Perl_sv_untaint(pTHX_ SV *const sv)
8614 {
8615     PERL_ARGS_ASSERT_SV_UNTAINT;
8616
8617     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8618         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8619         if (mg)
8620             mg->mg_len &= ~1;
8621     }
8622 }
8623
8624 /*
8625 =for apidoc sv_tainted
8626
8627 Test an SV for taintedness. Use C<SvTAINTED> instead.
8628 =cut
8629 */
8630
8631 bool
8632 Perl_sv_tainted(pTHX_ SV *const sv)
8633 {
8634     PERL_ARGS_ASSERT_SV_TAINTED;
8635
8636     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8637         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8638         if (mg && (mg->mg_len & 1) )
8639             return TRUE;
8640     }
8641     return FALSE;
8642 }
8643
8644 /*
8645 =for apidoc sv_setpviv
8646
8647 Copies an integer into the given SV, also updating its string value.
8648 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8649
8650 =cut
8651 */
8652
8653 void
8654 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
8655 {
8656     char buf[TYPE_CHARS(UV)];
8657     char *ebuf;
8658     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8659
8660     PERL_ARGS_ASSERT_SV_SETPVIV;
8661
8662     sv_setpvn(sv, ptr, ebuf - ptr);
8663 }
8664
8665 /*
8666 =for apidoc sv_setpviv_mg
8667
8668 Like C<sv_setpviv>, but also handles 'set' magic.
8669
8670 =cut
8671 */
8672
8673 void
8674 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
8675 {
8676     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
8677
8678     sv_setpviv(sv, iv);
8679     SvSETMAGIC(sv);
8680 }
8681
8682 #if defined(PERL_IMPLICIT_CONTEXT)
8683
8684 /* pTHX_ magic can't cope with varargs, so this is a no-context
8685  * version of the main function, (which may itself be aliased to us).
8686  * Don't access this version directly.
8687  */
8688
8689 void
8690 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
8691 {
8692     dTHX;
8693     va_list args;
8694
8695     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
8696
8697     va_start(args, pat);
8698     sv_vsetpvf(sv, pat, &args);
8699     va_end(args);
8700 }
8701
8702 /* pTHX_ magic can't cope with varargs, so this is a no-context
8703  * version of the main function, (which may itself be aliased to us).
8704  * Don't access this version directly.
8705  */
8706
8707 void
8708 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
8709 {
8710     dTHX;
8711     va_list args;
8712
8713     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
8714
8715     va_start(args, pat);
8716     sv_vsetpvf_mg(sv, pat, &args);
8717     va_end(args);
8718 }
8719 #endif
8720
8721 /*
8722 =for apidoc sv_setpvf
8723
8724 Works like C<sv_catpvf> but copies the text into the SV instead of
8725 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8726
8727 =cut
8728 */
8729
8730 void
8731 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
8732 {
8733     va_list args;
8734
8735     PERL_ARGS_ASSERT_SV_SETPVF;
8736
8737     va_start(args, pat);
8738     sv_vsetpvf(sv, pat, &args);
8739     va_end(args);
8740 }
8741
8742 /*
8743 =for apidoc sv_vsetpvf
8744
8745 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8746 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8747
8748 Usually used via its frontend C<sv_setpvf>.
8749
8750 =cut
8751 */
8752
8753 void
8754 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8755 {
8756     PERL_ARGS_ASSERT_SV_VSETPVF;
8757
8758     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8759 }
8760
8761 /*
8762 =for apidoc sv_setpvf_mg
8763
8764 Like C<sv_setpvf>, but also handles 'set' magic.
8765
8766 =cut
8767 */
8768
8769 void
8770 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
8771 {
8772     va_list args;
8773
8774     PERL_ARGS_ASSERT_SV_SETPVF_MG;
8775
8776     va_start(args, pat);
8777     sv_vsetpvf_mg(sv, pat, &args);
8778     va_end(args);
8779 }
8780
8781 /*
8782 =for apidoc sv_vsetpvf_mg
8783
8784 Like C<sv_vsetpvf>, but also handles 'set' magic.
8785
8786 Usually used via its frontend C<sv_setpvf_mg>.
8787
8788 =cut
8789 */
8790
8791 void
8792 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8793 {
8794     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
8795
8796     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8797     SvSETMAGIC(sv);
8798 }
8799
8800 #if defined(PERL_IMPLICIT_CONTEXT)
8801
8802 /* pTHX_ magic can't cope with varargs, so this is a no-context
8803  * version of the main function, (which may itself be aliased to us).
8804  * Don't access this version directly.
8805  */
8806
8807 void
8808 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
8809 {
8810     dTHX;
8811     va_list args;
8812
8813     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
8814
8815     va_start(args, pat);
8816     sv_vcatpvf(sv, pat, &args);
8817     va_end(args);
8818 }
8819
8820 /* pTHX_ magic can't cope with varargs, so this is a no-context
8821  * version of the main function, (which may itself be aliased to us).
8822  * Don't access this version directly.
8823  */
8824
8825 void
8826 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
8827 {
8828     dTHX;
8829     va_list args;
8830
8831     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
8832
8833     va_start(args, pat);
8834     sv_vcatpvf_mg(sv, pat, &args);
8835     va_end(args);
8836 }
8837 #endif
8838
8839 /*
8840 =for apidoc sv_catpvf
8841
8842 Processes its arguments like C<sprintf> and appends the formatted
8843 output to an SV.  If the appended data contains "wide" characters
8844 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
8845 and characters >255 formatted with %c), the original SV might get
8846 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
8847 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
8848 valid UTF-8; if the original SV was bytes, the pattern should be too.
8849
8850 =cut */
8851
8852 void
8853 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
8854 {
8855     va_list args;
8856
8857     PERL_ARGS_ASSERT_SV_CATPVF;
8858
8859     va_start(args, pat);
8860     sv_vcatpvf(sv, pat, &args);
8861     va_end(args);
8862 }
8863
8864 /*
8865 =for apidoc sv_vcatpvf
8866
8867 Processes its arguments like C<vsprintf> and appends the formatted output
8868 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
8869
8870 Usually used via its frontend C<sv_catpvf>.
8871
8872 =cut
8873 */
8874
8875 void
8876 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8877 {
8878     PERL_ARGS_ASSERT_SV_VCATPVF;
8879
8880     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8881 }
8882
8883 /*
8884 =for apidoc sv_catpvf_mg
8885
8886 Like C<sv_catpvf>, but also handles 'set' magic.
8887
8888 =cut
8889 */
8890
8891 void
8892 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
8893 {
8894     va_list args;
8895
8896     PERL_ARGS_ASSERT_SV_CATPVF_MG;
8897
8898     va_start(args, pat);
8899     sv_vcatpvf_mg(sv, pat, &args);
8900     va_end(args);
8901 }
8902
8903 /*
8904 =for apidoc sv_vcatpvf_mg
8905
8906 Like C<sv_vcatpvf>, but also handles 'set' magic.
8907
8908 Usually used via its frontend C<sv_catpvf_mg>.
8909
8910 =cut
8911 */
8912
8913 void
8914 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8915 {
8916     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
8917
8918     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8919     SvSETMAGIC(sv);
8920 }
8921
8922 /*
8923 =for apidoc sv_vsetpvfn
8924
8925 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
8926 appending it.
8927
8928 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
8929
8930 =cut
8931 */
8932
8933 void
8934 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
8935                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
8936 {
8937     PERL_ARGS_ASSERT_SV_VSETPVFN;
8938
8939     sv_setpvs(sv, "");
8940     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
8941 }
8942
8943 STATIC I32
8944 S_expect_number(pTHX_ char **const pattern)
8945 {
8946     dVAR;
8947     I32 var = 0;
8948
8949     PERL_ARGS_ASSERT_EXPECT_NUMBER;
8950
8951     switch (**pattern) {
8952     case '1': case '2': case '3':
8953     case '4': case '5': case '6':
8954     case '7': case '8': case '9':
8955         var = *(*pattern)++ - '0';
8956         while (isDIGIT(**pattern)) {
8957             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
8958             if (tmp < var)
8959                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
8960             var = tmp;
8961         }
8962     }
8963     return var;
8964 }
8965
8966 STATIC char *
8967 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
8968 {
8969     const int neg = nv < 0;
8970     UV uv;
8971
8972     PERL_ARGS_ASSERT_F0CONVERT;
8973
8974     if (neg)
8975         nv = -nv;
8976     if (nv < UV_MAX) {
8977         char *p = endbuf;
8978         nv += 0.5;
8979         uv = (UV)nv;
8980         if (uv & 1 && uv == nv)
8981             uv--;                       /* Round to even */
8982         do {
8983             const unsigned dig = uv % 10;
8984             *--p = '0' + dig;
8985         } while (uv /= 10);
8986         if (neg)
8987             *--p = '-';
8988         *len = endbuf - p;
8989         return p;
8990     }
8991     return NULL;
8992 }
8993
8994
8995 /*
8996 =for apidoc sv_vcatpvfn
8997
8998 Processes its arguments like C<vsprintf> and appends the formatted output
8999 to an SV.  Uses an array of SVs if the C style variable argument list is
9000 missing (NULL).  When running with taint checks enabled, indicates via
9001 C<maybe_tainted> if results are untrustworthy (often due to the use of
9002 locales).
9003
9004 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
9005
9006 =cut
9007 */
9008
9009
9010 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
9011                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
9012                         vec_utf8 = DO_UTF8(vecsv);
9013
9014 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
9015
9016 void
9017 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9018                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9019 {
9020     dVAR;
9021     char *p;
9022     char *q;
9023     const char *patend;
9024     STRLEN origlen;
9025     I32 svix = 0;
9026     static const char nullstr[] = "(null)";
9027     SV *argsv = NULL;
9028     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
9029     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
9030     SV *nsv = NULL;
9031     /* Times 4: a decimal digit takes more than 3 binary digits.
9032      * NV_DIG: mantissa takes than many decimal digits.
9033      * Plus 32: Playing safe. */
9034     char ebuf[IV_DIG * 4 + NV_DIG + 32];
9035     /* large enough for "%#.#f" --chip */
9036     /* what about long double NVs? --jhi */
9037
9038     PERL_ARGS_ASSERT_SV_VCATPVFN;
9039     PERL_UNUSED_ARG(maybe_tainted);
9040
9041     /* no matter what, this is a string now */
9042     (void)SvPV_force(sv, origlen);
9043
9044     /* special-case "", "%s", and "%-p" (SVf - see below) */
9045     if (patlen == 0)
9046         return;
9047     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
9048         if (args) {
9049             const char * const s = va_arg(*args, char*);
9050             sv_catpv(sv, s ? s : nullstr);
9051         }
9052         else if (svix < svmax) {
9053             sv_catsv(sv, *svargs);
9054         }
9055         return;
9056     }
9057     if (args && patlen == 3 && pat[0] == '%' &&
9058                 pat[1] == '-' && pat[2] == 'p') {
9059         argsv = MUTABLE_SV(va_arg(*args, void*));
9060         sv_catsv(sv, argsv);
9061         return;
9062     }
9063
9064 #ifndef USE_LONG_DOUBLE
9065     /* special-case "%.<number>[gf]" */
9066     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
9067          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
9068         unsigned digits = 0;
9069         const char *pp;
9070
9071         pp = pat + 2;
9072         while (*pp >= '0' && *pp <= '9')
9073             digits = 10 * digits + (*pp++ - '0');
9074         if (pp - pat == (int)patlen - 1) {
9075             NV nv;
9076
9077             if (svix < svmax)
9078                 nv = SvNV(*svargs);
9079             else
9080                 return;
9081             if (*pp == 'g') {
9082                 /* Add check for digits != 0 because it seems that some
9083                    gconverts are buggy in this case, and we don't yet have
9084                    a Configure test for this.  */
9085                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
9086                      /* 0, point, slack */
9087                     Gconvert(nv, (int)digits, 0, ebuf);
9088                     sv_catpv(sv, ebuf);
9089                     if (*ebuf)  /* May return an empty string for digits==0 */
9090                         return;
9091                 }
9092             } else if (!digits) {
9093                 STRLEN l;
9094
9095                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
9096                     sv_catpvn(sv, p, l);
9097                     return;
9098                 }
9099             }
9100         }
9101     }
9102 #endif /* !USE_LONG_DOUBLE */
9103
9104     if (!args && svix < svmax && DO_UTF8(*svargs))
9105         has_utf8 = TRUE;
9106
9107     patend = (char*)pat + patlen;
9108     for (p = (char*)pat; p < patend; p = q) {
9109         bool alt = FALSE;
9110         bool left = FALSE;
9111         bool vectorize = FALSE;
9112         bool vectorarg = FALSE;
9113         bool vec_utf8 = FALSE;
9114         char fill = ' ';
9115         char plus = 0;
9116         char intsize = 0;
9117         STRLEN width = 0;
9118         STRLEN zeros = 0;
9119         bool has_precis = FALSE;
9120         STRLEN precis = 0;
9121         const I32 osvix = svix;
9122         bool is_utf8 = FALSE;  /* is this item utf8?   */
9123 #ifdef HAS_LDBL_SPRINTF_BUG
9124         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9125            with sfio - Allen <allens@cpan.org> */
9126         bool fix_ldbl_sprintf_bug = FALSE;
9127 #endif
9128
9129         char esignbuf[4];
9130         U8 utf8buf[UTF8_MAXBYTES+1];
9131         STRLEN esignlen = 0;
9132
9133         const char *eptr = NULL;
9134         const char *fmtstart;
9135         STRLEN elen = 0;
9136         SV *vecsv = NULL;
9137         const U8 *vecstr = NULL;
9138         STRLEN veclen = 0;
9139         char c = 0;
9140         int i;
9141         unsigned base = 0;
9142         IV iv = 0;
9143         UV uv = 0;
9144         /* we need a long double target in case HAS_LONG_DOUBLE but
9145            not USE_LONG_DOUBLE
9146         */
9147 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
9148         long double nv;
9149 #else
9150         NV nv;
9151 #endif
9152         STRLEN have;
9153         STRLEN need;
9154         STRLEN gap;
9155         const char *dotstr = ".";
9156         STRLEN dotstrlen = 1;
9157         I32 efix = 0; /* explicit format parameter index */
9158         I32 ewix = 0; /* explicit width index */
9159         I32 epix = 0; /* explicit precision index */
9160         I32 evix = 0; /* explicit vector index */
9161         bool asterisk = FALSE;
9162
9163         /* echo everything up to the next format specification */
9164         for (q = p; q < patend && *q != '%'; ++q) ;
9165         if (q > p) {
9166             if (has_utf8 && !pat_utf8)
9167                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
9168             else
9169                 sv_catpvn(sv, p, q - p);
9170             p = q;
9171         }
9172         if (q++ >= patend)
9173             break;
9174
9175         fmtstart = q;
9176
9177 /*
9178     We allow format specification elements in this order:
9179         \d+\$              explicit format parameter index
9180         [-+ 0#]+           flags
9181         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
9182         0                  flag (as above): repeated to allow "v02"     
9183         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
9184         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
9185         [hlqLV]            size
9186     [%bcdefginopsuxDFOUX] format (mandatory)
9187 */
9188
9189         if (args) {
9190 /*  
9191         As of perl5.9.3, printf format checking is on by default.
9192         Internally, perl uses %p formats to provide an escape to
9193         some extended formatting.  This block deals with those
9194         extensions: if it does not match, (char*)q is reset and
9195         the normal format processing code is used.
9196
9197         Currently defined extensions are:
9198                 %p              include pointer address (standard)      
9199                 %-p     (SVf)   include an SV (previously %_)
9200                 %-<num>p        include an SV with precision <num>      
9201                 %<num>p         reserved for future extensions
9202
9203         Robin Barker 2005-07-14
9204
9205                 %1p     (VDf)   removed.  RMB 2007-10-19
9206 */
9207             char* r = q; 
9208             bool sv = FALSE;    
9209             STRLEN n = 0;
9210             if (*q == '-')
9211                 sv = *q++;
9212             n = expect_number(&q);
9213             if (*q++ == 'p') {
9214                 if (sv) {                       /* SVf */
9215                     if (n) {
9216                         precis = n;
9217                         has_precis = TRUE;
9218                     }
9219                     argsv = MUTABLE_SV(va_arg(*args, void*));
9220                     eptr = SvPV_const(argsv, elen);
9221                     if (DO_UTF8(argsv))
9222                         is_utf8 = TRUE;
9223                     goto string;
9224                 }
9225                 else if (n) {
9226                     if (ckWARN_d(WARN_INTERNAL))
9227                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9228                         "internal %%<num>p might conflict with future printf extensions");
9229                 }
9230             }
9231             q = r; 
9232         }
9233
9234         if ( (width = expect_number(&q)) ) {
9235             if (*q == '$') {
9236                 ++q;
9237                 efix = width;
9238             } else {
9239                 goto gotwidth;
9240             }
9241         }
9242
9243         /* FLAGS */
9244
9245         while (*q) {
9246             switch (*q) {
9247             case ' ':
9248             case '+':
9249                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
9250                     q++;
9251                 else
9252                     plus = *q++;
9253                 continue;
9254
9255             case '-':
9256                 left = TRUE;
9257                 q++;
9258                 continue;
9259
9260             case '0':
9261                 fill = *q++;
9262                 continue;
9263
9264             case '#':
9265                 alt = TRUE;
9266                 q++;
9267                 continue;
9268
9269             default:
9270                 break;
9271             }
9272             break;
9273         }
9274
9275       tryasterisk:
9276         if (*q == '*') {
9277             q++;
9278             if ( (ewix = expect_number(&q)) )
9279                 if (*q++ != '$')
9280                     goto unknown;
9281             asterisk = TRUE;
9282         }
9283         if (*q == 'v') {
9284             q++;
9285             if (vectorize)
9286                 goto unknown;
9287             if ((vectorarg = asterisk)) {
9288                 evix = ewix;
9289                 ewix = 0;
9290                 asterisk = FALSE;
9291             }
9292             vectorize = TRUE;
9293             goto tryasterisk;
9294         }
9295
9296         if (!asterisk)
9297         {
9298             if( *q == '0' )
9299                 fill = *q++;
9300             width = expect_number(&q);
9301         }
9302
9303         if (vectorize) {
9304             if (vectorarg) {
9305                 if (args)
9306                     vecsv = va_arg(*args, SV*);
9307                 else if (evix) {
9308                     vecsv = (evix > 0 && evix <= svmax)
9309                         ? svargs[evix-1] : &PL_sv_undef;
9310                 } else {
9311                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
9312                 }
9313                 dotstr = SvPV_const(vecsv, dotstrlen);
9314                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
9315                    bad with tied or overloaded values that return UTF8.  */
9316                 if (DO_UTF8(vecsv))
9317                     is_utf8 = TRUE;
9318                 else if (has_utf8) {
9319                     vecsv = sv_mortalcopy(vecsv);
9320                     sv_utf8_upgrade(vecsv);
9321                     dotstr = SvPV_const(vecsv, dotstrlen);
9322                     is_utf8 = TRUE;
9323                 }                   
9324             }
9325             if (args) {
9326                 VECTORIZE_ARGS
9327             }
9328             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
9329                 vecsv = svargs[efix ? efix-1 : svix++];
9330                 vecstr = (U8*)SvPV_const(vecsv,veclen);
9331                 vec_utf8 = DO_UTF8(vecsv);
9332
9333                 /* if this is a version object, we need to convert
9334                  * back into v-string notation and then let the
9335                  * vectorize happen normally
9336                  */
9337                 if (sv_derived_from(vecsv, "version")) {
9338                     char *version = savesvpv(vecsv);
9339                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
9340                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9341                         "vector argument not supported with alpha versions");
9342                         goto unknown;
9343                     }
9344                     vecsv = sv_newmortal();
9345                     scan_vstring(version, version + veclen, vecsv);
9346                     vecstr = (U8*)SvPV_const(vecsv, veclen);
9347                     vec_utf8 = DO_UTF8(vecsv);
9348                     Safefree(version);
9349                 }
9350             }
9351             else {
9352                 vecstr = (U8*)"";
9353                 veclen = 0;
9354             }
9355         }
9356
9357         if (asterisk) {
9358             if (args)
9359                 i = va_arg(*args, int);
9360             else
9361                 i = (ewix ? ewix <= svmax : svix < svmax) ?
9362                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9363             left |= (i < 0);
9364             width = (i < 0) ? -i : i;
9365         }
9366       gotwidth:
9367
9368         /* PRECISION */
9369
9370         if (*q == '.') {
9371             q++;
9372             if (*q == '*') {
9373                 q++;
9374                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
9375                     goto unknown;
9376                 /* XXX: todo, support specified precision parameter */
9377                 if (epix)
9378                     goto unknown;
9379                 if (args)
9380                     i = va_arg(*args, int);
9381                 else
9382                     i = (ewix ? ewix <= svmax : svix < svmax)
9383                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9384                 precis = i;
9385                 has_precis = !(i < 0);
9386             }
9387             else {
9388                 precis = 0;
9389                 while (isDIGIT(*q))
9390                     precis = precis * 10 + (*q++ - '0');
9391                 has_precis = TRUE;
9392             }
9393         }
9394
9395         /* SIZE */
9396
9397         switch (*q) {
9398 #ifdef WIN32
9399         case 'I':                       /* Ix, I32x, and I64x */
9400 #  ifdef WIN64
9401             if (q[1] == '6' && q[2] == '4') {
9402                 q += 3;
9403                 intsize = 'q';
9404                 break;
9405             }
9406 #  endif
9407             if (q[1] == '3' && q[2] == '2') {
9408                 q += 3;
9409                 break;
9410             }
9411 #  ifdef WIN64
9412             intsize = 'q';
9413 #  endif
9414             q++;
9415             break;
9416 #endif
9417 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9418         case 'L':                       /* Ld */
9419             /*FALLTHROUGH*/
9420 #ifdef HAS_QUAD
9421         case 'q':                       /* qd */
9422 #endif
9423             intsize = 'q';
9424             q++;
9425             break;
9426 #endif
9427         case 'l':
9428 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9429             if (*(q + 1) == 'l') {      /* lld, llf */
9430                 intsize = 'q';
9431                 q += 2;
9432                 break;
9433              }
9434 #endif
9435             /*FALLTHROUGH*/
9436         case 'h':
9437             /*FALLTHROUGH*/
9438         case 'V':
9439             intsize = *q++;
9440             break;
9441         }
9442
9443         /* CONVERSION */
9444
9445         if (*q == '%') {
9446             eptr = q++;
9447             elen = 1;
9448             if (vectorize) {
9449                 c = '%';
9450                 goto unknown;
9451             }
9452             goto string;
9453         }
9454
9455         if (!vectorize && !args) {
9456             if (efix) {
9457                 const I32 i = efix-1;
9458                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
9459             } else {
9460                 argsv = (svix >= 0 && svix < svmax)
9461                     ? svargs[svix++] : &PL_sv_undef;
9462             }
9463         }
9464
9465         switch (c = *q++) {
9466
9467             /* STRINGS */
9468
9469         case 'c':
9470             if (vectorize)
9471                 goto unknown;
9472             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
9473             if ((uv > 255 ||
9474                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
9475                 && !IN_BYTES) {
9476                 eptr = (char*)utf8buf;
9477                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
9478                 is_utf8 = TRUE;
9479             }
9480             else {
9481                 c = (char)uv;
9482                 eptr = &c;
9483                 elen = 1;
9484             }
9485             goto string;
9486
9487         case 's':
9488             if (vectorize)
9489                 goto unknown;
9490             if (args) {
9491                 eptr = va_arg(*args, char*);
9492                 if (eptr)
9493 #ifdef MACOS_TRADITIONAL
9494                   /* On MacOS, %#s format is used for Pascal strings */
9495                   if (alt)
9496                     elen = *eptr++;
9497                   else
9498 #endif
9499                     elen = strlen(eptr);
9500                 else {
9501                     eptr = (char *)nullstr;
9502                     elen = sizeof nullstr - 1;
9503                 }
9504             }
9505             else {
9506                 eptr = SvPV_const(argsv, elen);
9507                 if (DO_UTF8(argsv)) {
9508                     I32 old_precis = precis;
9509                     if (has_precis && precis < elen) {
9510                         I32 p = precis;
9511                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
9512                         precis = p;
9513                     }
9514                     if (width) { /* fudge width (can't fudge elen) */
9515                         if (has_precis && precis < elen)
9516                             width += precis - old_precis;
9517                         else
9518                             width += elen - sv_len_utf8(argsv);
9519                     }
9520                     is_utf8 = TRUE;
9521                 }
9522             }
9523
9524         string:
9525             if (has_precis && elen > precis)
9526                 elen = precis;
9527             break;
9528
9529             /* INTEGERS */
9530
9531         case 'p':
9532             if (alt || vectorize)
9533                 goto unknown;
9534             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
9535             base = 16;
9536             goto integer;
9537
9538         case 'D':
9539 #ifdef IV_IS_QUAD
9540             intsize = 'q';
9541 #else
9542             intsize = 'l';
9543 #endif
9544             /*FALLTHROUGH*/
9545         case 'd':
9546         case 'i':
9547 #if vdNUMBER
9548         format_vd:
9549 #endif
9550             if (vectorize) {
9551                 STRLEN ulen;
9552                 if (!veclen)
9553                     continue;
9554                 if (vec_utf8)
9555                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9556                                         UTF8_ALLOW_ANYUV);
9557                 else {
9558                     uv = *vecstr;
9559                     ulen = 1;
9560                 }
9561                 vecstr += ulen;
9562                 veclen -= ulen;
9563                 if (plus)
9564                      esignbuf[esignlen++] = plus;
9565             }
9566             else if (args) {
9567                 switch (intsize) {
9568                 case 'h':       iv = (short)va_arg(*args, int); break;
9569                 case 'l':       iv = va_arg(*args, long); break;
9570                 case 'V':       iv = va_arg(*args, IV); break;
9571                 default:        iv = va_arg(*args, int); break;
9572                 case 'q':
9573 #ifdef HAS_QUAD
9574                                 iv = va_arg(*args, Quad_t); break;
9575 #else
9576                                 goto unknown;
9577 #endif
9578                 }
9579             }
9580             else {
9581                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
9582                 switch (intsize) {
9583                 case 'h':       iv = (short)tiv; break;
9584                 case 'l':       iv = (long)tiv; break;
9585                 case 'V':
9586                 default:        iv = tiv; break;
9587                 case 'q':
9588 #ifdef HAS_QUAD
9589                                 iv = (Quad_t)tiv; break;
9590 #else
9591                                 goto unknown;
9592 #endif
9593                 }
9594             }
9595             if ( !vectorize )   /* we already set uv above */
9596             {
9597                 if (iv >= 0) {
9598                     uv = iv;
9599                     if (plus)
9600                         esignbuf[esignlen++] = plus;
9601                 }
9602                 else {
9603                     uv = -iv;
9604                     esignbuf[esignlen++] = '-';
9605                 }
9606             }
9607             base = 10;
9608             goto integer;
9609
9610         case 'U':
9611 #ifdef IV_IS_QUAD
9612             intsize = 'q';
9613 #else
9614             intsize = 'l';
9615 #endif
9616             /*FALLTHROUGH*/
9617         case 'u':
9618             base = 10;
9619             goto uns_integer;
9620
9621         case 'B':
9622         case 'b':
9623             base = 2;
9624             goto uns_integer;
9625
9626         case 'O':
9627 #ifdef IV_IS_QUAD
9628             intsize = 'q';
9629 #else
9630             intsize = 'l';
9631 #endif
9632             /*FALLTHROUGH*/
9633         case 'o':
9634             base = 8;
9635             goto uns_integer;
9636
9637         case 'X':
9638         case 'x':
9639             base = 16;
9640
9641         uns_integer:
9642             if (vectorize) {
9643                 STRLEN ulen;
9644         vector:
9645                 if (!veclen)
9646                     continue;
9647                 if (vec_utf8)
9648                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9649                                         UTF8_ALLOW_ANYUV);
9650                 else {
9651                     uv = *vecstr;
9652                     ulen = 1;
9653                 }
9654                 vecstr += ulen;
9655                 veclen -= ulen;
9656             }
9657             else if (args) {
9658                 switch (intsize) {
9659                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9660                 case 'l':  uv = va_arg(*args, unsigned long); break;
9661                 case 'V':  uv = va_arg(*args, UV); break;
9662                 default:   uv = va_arg(*args, unsigned); break;
9663                 case 'q':
9664 #ifdef HAS_QUAD
9665                            uv = va_arg(*args, Uquad_t); break;
9666 #else
9667                            goto unknown;
9668 #endif
9669                 }
9670             }
9671             else {
9672                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9673                 switch (intsize) {
9674                 case 'h':       uv = (unsigned short)tuv; break;
9675                 case 'l':       uv = (unsigned long)tuv; break;
9676                 case 'V':
9677                 default:        uv = tuv; break;
9678                 case 'q':
9679 #ifdef HAS_QUAD
9680                                 uv = (Uquad_t)tuv; break;
9681 #else
9682                                 goto unknown;
9683 #endif
9684                 }
9685             }
9686
9687         integer:
9688             {
9689                 char *ptr = ebuf + sizeof ebuf;
9690                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9691                 zeros = 0;
9692
9693                 switch (base) {
9694                     unsigned dig;
9695                 case 16:
9696                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9697                     do {
9698                         dig = uv & 15;
9699                         *--ptr = p[dig];
9700                     } while (uv >>= 4);
9701                     if (tempalt) {
9702                         esignbuf[esignlen++] = '0';
9703                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9704                     }
9705                     break;
9706                 case 8:
9707                     do {
9708                         dig = uv & 7;
9709                         *--ptr = '0' + dig;
9710                     } while (uv >>= 3);
9711                     if (alt && *ptr != '0')
9712                         *--ptr = '0';
9713                     break;
9714                 case 2:
9715                     do {
9716                         dig = uv & 1;
9717                         *--ptr = '0' + dig;
9718                     } while (uv >>= 1);
9719                     if (tempalt) {
9720                         esignbuf[esignlen++] = '0';
9721                         esignbuf[esignlen++] = c;
9722                     }
9723                     break;
9724                 default:                /* it had better be ten or less */
9725                     do {
9726                         dig = uv % base;
9727                         *--ptr = '0' + dig;
9728                     } while (uv /= base);
9729                     break;
9730                 }
9731                 elen = (ebuf + sizeof ebuf) - ptr;
9732                 eptr = ptr;
9733                 if (has_precis) {
9734                     if (precis > elen)
9735                         zeros = precis - elen;
9736                     else if (precis == 0 && elen == 1 && *eptr == '0'
9737                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9738                         elen = 0;
9739
9740                 /* a precision nullifies the 0 flag. */
9741                     if (fill == '0')
9742                         fill = ' ';
9743                 }
9744             }
9745             break;
9746
9747             /* FLOATING POINT */
9748
9749         case 'F':
9750             c = 'f';            /* maybe %F isn't supported here */
9751             /*FALLTHROUGH*/
9752         case 'e': case 'E':
9753         case 'f':
9754         case 'g': case 'G':
9755             if (vectorize)
9756                 goto unknown;
9757
9758             /* This is evil, but floating point is even more evil */
9759
9760             /* for SV-style calling, we can only get NV
9761                for C-style calling, we assume %f is double;
9762                for simplicity we allow any of %Lf, %llf, %qf for long double
9763             */
9764             switch (intsize) {
9765             case 'V':
9766 #if defined(USE_LONG_DOUBLE)
9767                 intsize = 'q';
9768 #endif
9769                 break;
9770 /* [perl #20339] - we should accept and ignore %lf rather than die */
9771             case 'l':
9772                 /*FALLTHROUGH*/
9773             default:
9774 #if defined(USE_LONG_DOUBLE)
9775                 intsize = args ? 0 : 'q';
9776 #endif
9777                 break;
9778             case 'q':
9779 #if defined(HAS_LONG_DOUBLE)
9780                 break;
9781 #else
9782                 /*FALLTHROUGH*/
9783 #endif
9784             case 'h':
9785                 goto unknown;
9786             }
9787
9788             /* now we need (long double) if intsize == 'q', else (double) */
9789             nv = (args) ?
9790 #if LONG_DOUBLESIZE > DOUBLESIZE
9791                 intsize == 'q' ?
9792                     va_arg(*args, long double) :
9793                     va_arg(*args, double)
9794 #else
9795                     va_arg(*args, double)
9796 #endif
9797                 : SvNV(argsv);
9798
9799             need = 0;
9800             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
9801                else. frexp() has some unspecified behaviour for those three */
9802             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
9803                 i = PERL_INT_MIN;
9804                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
9805                    will cast our (long double) to (double) */
9806                 (void)Perl_frexp(nv, &i);
9807                 if (i == PERL_INT_MIN)
9808                     Perl_die(aTHX_ "panic: frexp");
9809                 if (i > 0)
9810                     need = BIT_DIGITS(i);
9811             }
9812             need += has_precis ? precis : 6; /* known default */
9813
9814             if (need < width)
9815                 need = width;
9816
9817 #ifdef HAS_LDBL_SPRINTF_BUG
9818             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9819                with sfio - Allen <allens@cpan.org> */
9820
9821 #  ifdef DBL_MAX
9822 #    define MY_DBL_MAX DBL_MAX
9823 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
9824 #    if DOUBLESIZE >= 8
9825 #      define MY_DBL_MAX 1.7976931348623157E+308L
9826 #    else
9827 #      define MY_DBL_MAX 3.40282347E+38L
9828 #    endif
9829 #  endif
9830
9831 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
9832 #    define MY_DBL_MAX_BUG 1L
9833 #  else
9834 #    define MY_DBL_MAX_BUG MY_DBL_MAX
9835 #  endif
9836
9837 #  ifdef DBL_MIN
9838 #    define MY_DBL_MIN DBL_MIN
9839 #  else  /* XXX guessing! -Allen */
9840 #    if DOUBLESIZE >= 8
9841 #      define MY_DBL_MIN 2.2250738585072014E-308L
9842 #    else
9843 #      define MY_DBL_MIN 1.17549435E-38L
9844 #    endif
9845 #  endif
9846
9847             if ((intsize == 'q') && (c == 'f') &&
9848                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
9849                 (need < DBL_DIG)) {
9850                 /* it's going to be short enough that
9851                  * long double precision is not needed */
9852
9853                 if ((nv <= 0L) && (nv >= -0L))
9854                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
9855                 else {
9856                     /* would use Perl_fp_class as a double-check but not
9857                      * functional on IRIX - see perl.h comments */
9858
9859                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
9860                         /* It's within the range that a double can represent */
9861 #if defined(DBL_MAX) && !defined(DBL_MIN)
9862                         if ((nv >= ((long double)1/DBL_MAX)) ||
9863                             (nv <= (-(long double)1/DBL_MAX)))
9864 #endif
9865                         fix_ldbl_sprintf_bug = TRUE;
9866                     }
9867                 }
9868                 if (fix_ldbl_sprintf_bug == TRUE) {
9869                     double temp;
9870
9871                     intsize = 0;
9872                     temp = (double)nv;
9873                     nv = (NV)temp;
9874                 }
9875             }
9876
9877 #  undef MY_DBL_MAX
9878 #  undef MY_DBL_MAX_BUG
9879 #  undef MY_DBL_MIN
9880
9881 #endif /* HAS_LDBL_SPRINTF_BUG */
9882
9883             need += 20; /* fudge factor */
9884             if (PL_efloatsize < need) {
9885                 Safefree(PL_efloatbuf);
9886                 PL_efloatsize = need + 20; /* more fudge */
9887                 Newx(PL_efloatbuf, PL_efloatsize, char);
9888                 PL_efloatbuf[0] = '\0';
9889             }
9890
9891             if ( !(width || left || plus || alt) && fill != '0'
9892                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
9893                 /* See earlier comment about buggy Gconvert when digits,
9894                    aka precis is 0  */
9895                 if ( c == 'g' && precis) {
9896                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
9897                     /* May return an empty string for digits==0 */
9898                     if (*PL_efloatbuf) {
9899                         elen = strlen(PL_efloatbuf);
9900                         goto float_converted;
9901                     }
9902                 } else if ( c == 'f' && !precis) {
9903                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
9904                         break;
9905                 }
9906             }
9907             {
9908                 char *ptr = ebuf + sizeof ebuf;
9909                 *--ptr = '\0';
9910                 *--ptr = c;
9911                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
9912 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
9913                 if (intsize == 'q') {
9914                     /* Copy the one or more characters in a long double
9915                      * format before the 'base' ([efgEFG]) character to
9916                      * the format string. */
9917                     static char const prifldbl[] = PERL_PRIfldbl;
9918                     char const *p = prifldbl + sizeof(prifldbl) - 3;
9919                     while (p >= prifldbl) { *--ptr = *p--; }
9920                 }
9921 #endif
9922                 if (has_precis) {
9923                     base = precis;
9924                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9925                     *--ptr = '.';
9926                 }
9927                 if (width) {
9928                     base = width;
9929                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9930                 }
9931                 if (fill == '0')
9932                     *--ptr = fill;
9933                 if (left)
9934                     *--ptr = '-';
9935                 if (plus)
9936                     *--ptr = plus;
9937                 if (alt)
9938                     *--ptr = '#';
9939                 *--ptr = '%';
9940
9941                 /* No taint.  Otherwise we are in the strange situation
9942                  * where printf() taints but print($float) doesn't.
9943                  * --jhi */
9944 #if defined(HAS_LONG_DOUBLE)
9945                 elen = ((intsize == 'q')
9946                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
9947                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
9948 #else
9949                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
9950 #endif
9951             }
9952         float_converted:
9953             eptr = PL_efloatbuf;
9954             break;
9955
9956             /* SPECIAL */
9957
9958         case 'n':
9959             if (vectorize)
9960                 goto unknown;
9961             i = SvCUR(sv) - origlen;
9962             if (args) {
9963                 switch (intsize) {
9964                 case 'h':       *(va_arg(*args, short*)) = i; break;
9965                 default:        *(va_arg(*args, int*)) = i; break;
9966                 case 'l':       *(va_arg(*args, long*)) = i; break;
9967                 case 'V':       *(va_arg(*args, IV*)) = i; break;
9968                 case 'q':
9969 #ifdef HAS_QUAD
9970                                 *(va_arg(*args, Quad_t*)) = i; break;
9971 #else
9972                                 goto unknown;
9973 #endif
9974                 }
9975             }
9976             else
9977                 sv_setuv_mg(argsv, (UV)i);
9978             continue;   /* not "break" */
9979
9980             /* UNKNOWN */
9981
9982         default:
9983       unknown:
9984             if (!args
9985                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
9986                 && ckWARN(WARN_PRINTF))
9987             {
9988                 SV * const msg = sv_newmortal();
9989                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
9990                           (PL_op->op_type == OP_PRTF) ? "" : "s");
9991                 if (fmtstart < patend) {
9992                     const char * const fmtend = q < patend ? q : patend;
9993                     const char * f;
9994                     sv_catpvs(msg, "\"%");
9995                     for (f = fmtstart; f < fmtend; f++) {
9996                         if (isPRINT(*f)) {
9997                             sv_catpvn(msg, f, 1);
9998                         } else {
9999                             Perl_sv_catpvf(aTHX_ msg,
10000                                            "\\%03"UVof, (UV)*f & 0xFF);
10001                         }
10002                     }
10003                     sv_catpvs(msg, "\"");
10004                 } else {
10005                     sv_catpvs(msg, "end of string");
10006                 }
10007                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
10008             }
10009
10010             /* output mangled stuff ... */
10011             if (c == '\0')
10012                 --q;
10013             eptr = p;
10014             elen = q - p;
10015
10016             /* ... right here, because formatting flags should not apply */
10017             SvGROW(sv, SvCUR(sv) + elen + 1);
10018             p = SvEND(sv);
10019             Copy(eptr, p, elen, char);
10020             p += elen;
10021             *p = '\0';
10022             SvCUR_set(sv, p - SvPVX_const(sv));
10023             svix = osvix;
10024             continue;   /* not "break" */
10025         }
10026
10027         if (is_utf8 != has_utf8) {
10028             if (is_utf8) {
10029                 if (SvCUR(sv))
10030                     sv_utf8_upgrade(sv);
10031             }
10032             else {
10033                 const STRLEN old_elen = elen;
10034                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
10035                 sv_utf8_upgrade(nsv);
10036                 eptr = SvPVX_const(nsv);
10037                 elen = SvCUR(nsv);
10038
10039                 if (width) { /* fudge width (can't fudge elen) */
10040                     width += elen - old_elen;
10041                 }
10042                 is_utf8 = TRUE;
10043             }
10044         }
10045
10046         have = esignlen + zeros + elen;
10047         if (have < zeros)
10048             Perl_croak_nocontext("%s", PL_memory_wrap);
10049
10050         need = (have > width ? have : width);
10051         gap = need - have;
10052
10053         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
10054             Perl_croak_nocontext("%s", PL_memory_wrap);
10055         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
10056         p = SvEND(sv);
10057         if (esignlen && fill == '0') {
10058             int i;
10059             for (i = 0; i < (int)esignlen; i++)
10060                 *p++ = esignbuf[i];
10061         }
10062         if (gap && !left) {
10063             memset(p, fill, gap);
10064             p += gap;
10065         }
10066         if (esignlen && fill != '0') {
10067             int i;
10068             for (i = 0; i < (int)esignlen; i++)
10069                 *p++ = esignbuf[i];
10070         }
10071         if (zeros) {
10072             int i;
10073             for (i = zeros; i; i--)
10074                 *p++ = '0';
10075         }
10076         if (elen) {
10077             Copy(eptr, p, elen, char);
10078             p += elen;
10079         }
10080         if (gap && left) {
10081             memset(p, ' ', gap);
10082             p += gap;
10083         }
10084         if (vectorize) {
10085             if (veclen) {
10086                 Copy(dotstr, p, dotstrlen, char);
10087                 p += dotstrlen;
10088             }
10089             else
10090                 vectorize = FALSE;              /* done iterating over vecstr */
10091         }
10092         if (is_utf8)
10093             has_utf8 = TRUE;
10094         if (has_utf8)
10095             SvUTF8_on(sv);
10096         *p = '\0';
10097         SvCUR_set(sv, p - SvPVX_const(sv));
10098         if (vectorize) {
10099             esignlen = 0;
10100             goto vector;
10101         }
10102     }
10103 }
10104
10105 /* =========================================================================
10106
10107 =head1 Cloning an interpreter
10108
10109 All the macros and functions in this section are for the private use of
10110 the main function, perl_clone().
10111
10112 The foo_dup() functions make an exact copy of an existing foo thingy.
10113 During the course of a cloning, a hash table is used to map old addresses
10114 to new addresses. The table is created and manipulated with the
10115 ptr_table_* functions.
10116
10117 =cut
10118
10119 ============================================================================*/
10120
10121
10122 #if defined(USE_ITHREADS)
10123
10124 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
10125 #ifndef GpREFCNT_inc
10126 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
10127 #endif
10128
10129
10130 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
10131    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
10132    If this changes, please unmerge ss_dup.  */
10133 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
10134 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
10135 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
10136 #define av_dup_inc(s,t) MUTABLE_AV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10137 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
10138 #define hv_dup_inc(s,t) MUTABLE_HV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10139 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
10140 #define cv_dup_inc(s,t) MUTABLE_CV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10141 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
10142 #define io_dup_inc(s,t) MUTABLE_IO(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10143 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
10144 #define gv_dup_inc(s,t) MUTABLE_GV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10145 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
10146 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
10147
10148 /* clone a parser */
10149
10150 yy_parser *
10151 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
10152 {
10153     yy_parser *parser;
10154
10155     PERL_ARGS_ASSERT_PARSER_DUP;
10156
10157     if (!proto)
10158         return NULL;
10159
10160     /* look for it in the table first */
10161     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
10162     if (parser)
10163         return parser;
10164
10165     /* create anew and remember what it is */
10166     Newxz(parser, 1, yy_parser);
10167     ptr_table_store(PL_ptr_table, proto, parser);
10168
10169     parser->yyerrstatus = 0;
10170     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
10171
10172     /* XXX these not yet duped */
10173     parser->old_parser = NULL;
10174     parser->stack = NULL;
10175     parser->ps = NULL;
10176     parser->stack_size = 0;
10177     /* XXX parser->stack->state = 0; */
10178
10179     /* XXX eventually, just Copy() most of the parser struct ? */
10180
10181     parser->lex_brackets = proto->lex_brackets;
10182     parser->lex_casemods = proto->lex_casemods;
10183     parser->lex_brackstack = savepvn(proto->lex_brackstack,
10184                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
10185     parser->lex_casestack = savepvn(proto->lex_casestack,
10186                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
10187     parser->lex_defer   = proto->lex_defer;
10188     parser->lex_dojoin  = proto->lex_dojoin;
10189     parser->lex_expect  = proto->lex_expect;
10190     parser->lex_formbrack = proto->lex_formbrack;
10191     parser->lex_inpat   = proto->lex_inpat;
10192     parser->lex_inwhat  = proto->lex_inwhat;
10193     parser->lex_op      = proto->lex_op;
10194     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
10195     parser->lex_starts  = proto->lex_starts;
10196     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
10197     parser->multi_close = proto->multi_close;
10198     parser->multi_open  = proto->multi_open;
10199     parser->multi_start = proto->multi_start;
10200     parser->multi_end   = proto->multi_end;
10201     parser->pending_ident = proto->pending_ident;
10202     parser->preambled   = proto->preambled;
10203     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
10204     parser->linestr     = sv_dup_inc(proto->linestr, param);
10205     parser->expect      = proto->expect;
10206     parser->copline     = proto->copline;
10207     parser->last_lop_op = proto->last_lop_op;
10208     parser->lex_state   = proto->lex_state;
10209     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
10210     /* rsfp_filters entries have fake IoDIRP() */
10211     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
10212     parser->in_my       = proto->in_my;
10213     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
10214     parser->error_count = proto->error_count;
10215
10216
10217     parser->linestr     = sv_dup_inc(proto->linestr, param);
10218
10219     {
10220         char * const ols = SvPVX(proto->linestr);
10221         char * const ls  = SvPVX(parser->linestr);
10222
10223         parser->bufptr      = ls + (proto->bufptr >= ols ?
10224                                     proto->bufptr -  ols : 0);
10225         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
10226                                     proto->oldbufptr -  ols : 0);
10227         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
10228                                     proto->oldoldbufptr -  ols : 0);
10229         parser->linestart   = ls + (proto->linestart >= ols ?
10230                                     proto->linestart -  ols : 0);
10231         parser->last_uni    = ls + (proto->last_uni >= ols ?
10232                                     proto->last_uni -  ols : 0);
10233         parser->last_lop    = ls + (proto->last_lop >= ols ?
10234                                     proto->last_lop -  ols : 0);
10235
10236         parser->bufend      = ls + SvCUR(parser->linestr);
10237     }
10238
10239     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
10240
10241
10242 #ifdef PERL_MAD
10243     parser->endwhite    = proto->endwhite;
10244     parser->faketokens  = proto->faketokens;
10245     parser->lasttoke    = proto->lasttoke;
10246     parser->nextwhite   = proto->nextwhite;
10247     parser->realtokenstart = proto->realtokenstart;
10248     parser->skipwhite   = proto->skipwhite;
10249     parser->thisclose   = proto->thisclose;
10250     parser->thismad     = proto->thismad;
10251     parser->thisopen    = proto->thisopen;
10252     parser->thisstuff   = proto->thisstuff;
10253     parser->thistoken   = proto->thistoken;
10254     parser->thiswhite   = proto->thiswhite;
10255
10256     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
10257     parser->curforce    = proto->curforce;
10258 #else
10259     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
10260     Copy(proto->nexttype, parser->nexttype, 5,  I32);
10261     parser->nexttoke    = proto->nexttoke;
10262 #endif
10263     return parser;
10264 }
10265
10266
10267 /* duplicate a file handle */
10268
10269 PerlIO *
10270 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
10271 {
10272     PerlIO *ret;
10273
10274     PERL_ARGS_ASSERT_FP_DUP;
10275     PERL_UNUSED_ARG(type);
10276
10277     if (!fp)
10278         return (PerlIO*)NULL;
10279
10280     /* look for it in the table first */
10281     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
10282     if (ret)
10283         return ret;
10284
10285     /* create anew and remember what it is */
10286     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
10287     ptr_table_store(PL_ptr_table, fp, ret);
10288     return ret;
10289 }
10290
10291 /* duplicate a directory handle */
10292
10293 DIR *
10294 Perl_dirp_dup(pTHX_ DIR *const dp)
10295 {
10296     PERL_UNUSED_CONTEXT;
10297     if (!dp)
10298         return (DIR*)NULL;
10299     /* XXX TODO */
10300     return dp;
10301 }
10302
10303 /* duplicate a typeglob */
10304
10305 GP *
10306 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
10307 {
10308     GP *ret;
10309
10310     PERL_ARGS_ASSERT_GP_DUP;
10311
10312     if (!gp)
10313         return (GP*)NULL;
10314     /* look for it in the table first */
10315     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
10316     if (ret)
10317         return ret;
10318
10319     /* create anew and remember what it is */
10320     Newxz(ret, 1, GP);
10321     ptr_table_store(PL_ptr_table, gp, ret);
10322
10323     /* clone */
10324     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
10325     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
10326     ret->gp_io          = io_dup_inc(gp->gp_io, param);
10327     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
10328     ret->gp_av          = av_dup_inc(gp->gp_av, param);
10329     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
10330     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
10331     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
10332     ret->gp_cvgen       = gp->gp_cvgen;
10333     ret->gp_line        = gp->gp_line;
10334     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
10335     return ret;
10336 }
10337
10338 /* duplicate a chain of magic */
10339
10340 MAGIC *
10341 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
10342 {
10343     MAGIC *mgprev = (MAGIC*)NULL;
10344     MAGIC *mgret;
10345
10346     PERL_ARGS_ASSERT_MG_DUP;
10347
10348     if (!mg)
10349         return (MAGIC*)NULL;
10350     /* look for it in the table first */
10351     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
10352     if (mgret)
10353         return mgret;
10354
10355     for (; mg; mg = mg->mg_moremagic) {
10356         MAGIC *nmg;
10357         Newxz(nmg, 1, MAGIC);
10358         if (mgprev)
10359             mgprev->mg_moremagic = nmg;
10360         else
10361             mgret = nmg;
10362         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
10363         nmg->mg_private = mg->mg_private;
10364         nmg->mg_type    = mg->mg_type;
10365         nmg->mg_flags   = mg->mg_flags;
10366         /* FIXME for plugins
10367         if (mg->mg_type == PERL_MAGIC_qr) {
10368             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)mg->mg_obj, param));
10369         }
10370         else
10371         */
10372         if(mg->mg_type == PERL_MAGIC_backref) {
10373             /* The backref AV has its reference count deliberately bumped by
10374                1.  */
10375             nmg->mg_obj
10376                 = SvREFCNT_inc(av_dup_inc((const AV *) mg->mg_obj, param));
10377         }
10378         else {
10379             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
10380                               ? sv_dup_inc(mg->mg_obj, param)
10381                               : sv_dup(mg->mg_obj, param);
10382         }
10383         nmg->mg_len     = mg->mg_len;
10384         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
10385         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
10386             if (mg->mg_len > 0) {
10387                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
10388                 if (mg->mg_type == PERL_MAGIC_overload_table &&
10389                         AMT_AMAGIC((AMT*)mg->mg_ptr))
10390                 {
10391                     const AMT * const amtp = (AMT*)mg->mg_ptr;
10392                     AMT * const namtp = (AMT*)nmg->mg_ptr;
10393                     I32 i;
10394                     for (i = 1; i < NofAMmeth; i++) {
10395                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
10396                     }
10397                 }
10398             }
10399             else if (mg->mg_len == HEf_SVKEY)
10400                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)mg->mg_ptr, param);
10401         }
10402         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
10403             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
10404         }
10405         mgprev = nmg;
10406     }
10407     return mgret;
10408 }
10409
10410 #endif /* USE_ITHREADS */
10411
10412 /* create a new pointer-mapping table */
10413
10414 PTR_TBL_t *
10415 Perl_ptr_table_new(pTHX)
10416 {
10417     PTR_TBL_t *tbl;
10418     PERL_UNUSED_CONTEXT;
10419
10420     Newxz(tbl, 1, PTR_TBL_t);
10421     tbl->tbl_max        = 511;
10422     tbl->tbl_items      = 0;
10423     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
10424     return tbl;
10425 }
10426
10427 #define PTR_TABLE_HASH(ptr) \
10428   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
10429
10430 /* 
10431    we use the PTE_SVSLOT 'reservation' made above, both here (in the
10432    following define) and at call to new_body_inline made below in 
10433    Perl_ptr_table_store()
10434  */
10435
10436 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
10437
10438 /* map an existing pointer using a table */
10439
10440 STATIC PTR_TBL_ENT_t *
10441 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
10442 {
10443     PTR_TBL_ENT_t *tblent;
10444     const UV hash = PTR_TABLE_HASH(sv);
10445
10446     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
10447
10448     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
10449     for (; tblent; tblent = tblent->next) {
10450         if (tblent->oldval == sv)
10451             return tblent;
10452     }
10453     return NULL;
10454 }
10455
10456 void *
10457 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
10458 {
10459     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
10460
10461     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
10462     PERL_UNUSED_CONTEXT;
10463
10464     return tblent ? tblent->newval : NULL;
10465 }
10466
10467 /* add a new entry to a pointer-mapping table */
10468
10469 void
10470 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
10471 {
10472     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
10473
10474     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
10475     PERL_UNUSED_CONTEXT;
10476
10477     if (tblent) {
10478         tblent->newval = newsv;
10479     } else {
10480         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
10481
10482         new_body_inline(tblent, PTE_SVSLOT);
10483
10484         tblent->oldval = oldsv;
10485         tblent->newval = newsv;
10486         tblent->next = tbl->tbl_ary[entry];
10487         tbl->tbl_ary[entry] = tblent;
10488         tbl->tbl_items++;
10489         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
10490             ptr_table_split(tbl);
10491     }
10492 }
10493
10494 /* double the hash bucket size of an existing ptr table */
10495
10496 void
10497 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
10498 {
10499     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
10500     const UV oldsize = tbl->tbl_max + 1;
10501     UV newsize = oldsize * 2;
10502     UV i;
10503
10504     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
10505     PERL_UNUSED_CONTEXT;
10506
10507     Renew(ary, newsize, PTR_TBL_ENT_t*);
10508     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
10509     tbl->tbl_max = --newsize;
10510     tbl->tbl_ary = ary;
10511     for (i=0; i < oldsize; i++, ary++) {
10512         PTR_TBL_ENT_t **curentp, **entp, *ent;
10513         if (!*ary)
10514             continue;
10515         curentp = ary + oldsize;
10516         for (entp = ary, ent = *ary; ent; ent = *entp) {
10517             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
10518                 *entp = ent->next;
10519                 ent->next = *curentp;
10520                 *curentp = ent;
10521                 continue;
10522             }
10523             else
10524                 entp = &ent->next;
10525         }
10526     }
10527 }
10528
10529 /* remove all the entries from a ptr table */
10530
10531 void
10532 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
10533 {
10534     if (tbl && tbl->tbl_items) {
10535         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
10536         UV riter = tbl->tbl_max;
10537
10538         do {
10539             PTR_TBL_ENT_t *entry = array[riter];
10540
10541             while (entry) {
10542                 PTR_TBL_ENT_t * const oentry = entry;
10543                 entry = entry->next;
10544                 del_pte(oentry);
10545             }
10546         } while (riter--);
10547
10548         tbl->tbl_items = 0;
10549     }
10550 }
10551
10552 /* clear and free a ptr table */
10553
10554 void
10555 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
10556 {
10557     if (!tbl) {
10558         return;
10559     }
10560     ptr_table_clear(tbl);
10561     Safefree(tbl->tbl_ary);
10562     Safefree(tbl);
10563 }
10564
10565 #if defined(USE_ITHREADS)
10566
10567 void
10568 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
10569 {
10570     PERL_ARGS_ASSERT_RVPV_DUP;
10571
10572     if (SvROK(sstr)) {
10573         SvRV_set(dstr, SvWEAKREF(sstr)
10574                        ? sv_dup(SvRV_const(sstr), param)
10575                        : sv_dup_inc(SvRV_const(sstr), param));
10576
10577     }
10578     else if (SvPVX_const(sstr)) {
10579         /* Has something there */
10580         if (SvLEN(sstr)) {
10581             /* Normal PV - clone whole allocated space */
10582             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
10583             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
10584                 /* Not that normal - actually sstr is copy on write.
10585                    But we are a true, independant SV, so:  */
10586                 SvREADONLY_off(dstr);
10587                 SvFAKE_off(dstr);
10588             }
10589         }
10590         else {
10591             /* Special case - not normally malloced for some reason */
10592             if (isGV_with_GP(sstr)) {
10593                 /* Don't need to do anything here.  */
10594             }
10595             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
10596                 /* A "shared" PV - clone it as "shared" PV */
10597                 SvPV_set(dstr,
10598                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
10599                                          param)));
10600             }
10601             else {
10602                 /* Some other special case - random pointer */
10603                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
10604             }
10605         }
10606     }
10607     else {
10608         /* Copy the NULL */
10609         SvPV_set(dstr, NULL);
10610     }
10611 }
10612
10613 /* duplicate an SV of any type (including AV, HV etc) */
10614
10615 SV *
10616 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
10617 {
10618     dVAR;
10619     SV *dstr;
10620
10621     PERL_ARGS_ASSERT_SV_DUP;
10622
10623     if (!sstr)
10624         return NULL;
10625     if (SvTYPE(sstr) == SVTYPEMASK) {
10626 #ifdef DEBUG_LEAKING_SCALARS_ABORT
10627         abort();
10628 #endif
10629         return NULL;
10630     }
10631     /* look for it in the table first */
10632     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
10633     if (dstr)
10634         return dstr;
10635
10636     if(param->flags & CLONEf_JOIN_IN) {
10637         /** We are joining here so we don't want do clone
10638             something that is bad **/
10639         if (SvTYPE(sstr) == SVt_PVHV) {
10640             const HEK * const hvname = HvNAME_HEK(sstr);
10641             if (hvname)
10642                 /** don't clone stashes if they already exist **/
10643                 return MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0));
10644         }
10645     }
10646
10647     /* create anew and remember what it is */
10648     new_SV(dstr);
10649
10650 #ifdef DEBUG_LEAKING_SCALARS
10651     dstr->sv_debug_optype = sstr->sv_debug_optype;
10652     dstr->sv_debug_line = sstr->sv_debug_line;
10653     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10654     dstr->sv_debug_cloned = 1;
10655     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10656 #endif
10657
10658     ptr_table_store(PL_ptr_table, sstr, dstr);
10659
10660     /* clone */
10661     SvFLAGS(dstr)       = SvFLAGS(sstr);
10662     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10663     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10664
10665 #ifdef DEBUGGING
10666     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10667         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10668                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10669 #endif
10670
10671     /* don't clone objects whose class has asked us not to */
10672     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10673         SvFLAGS(dstr) = 0;
10674         return dstr;
10675     }
10676
10677     switch (SvTYPE(sstr)) {
10678     case SVt_NULL:
10679         SvANY(dstr)     = NULL;
10680         break;
10681     case SVt_IV:
10682         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10683         if(SvROK(sstr)) {
10684             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10685         } else {
10686             SvIV_set(dstr, SvIVX(sstr));
10687         }
10688         break;
10689     case SVt_NV:
10690         SvANY(dstr)     = new_XNV();
10691         SvNV_set(dstr, SvNVX(sstr));
10692         break;
10693         /* case SVt_BIND: */
10694     default:
10695         {
10696             /* These are all the types that need complex bodies allocating.  */
10697             void *new_body;
10698             const svtype sv_type = SvTYPE(sstr);
10699             const struct body_details *const sv_type_details
10700                 = bodies_by_type + sv_type;
10701
10702             switch (sv_type) {
10703             default:
10704                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10705                 break;
10706
10707             case SVt_PVGV:
10708                 if (GvUNIQUE((const GV *)sstr)) {
10709                     NOOP;   /* Do sharing here, and fall through */
10710                 }
10711             case SVt_PVIO:
10712             case SVt_PVFM:
10713             case SVt_PVHV:
10714             case SVt_PVAV:
10715             case SVt_PVCV:
10716             case SVt_PVLV:
10717             case SVt_REGEXP:
10718             case SVt_PVMG:
10719             case SVt_PVNV:
10720             case SVt_PVIV:
10721             case SVt_PV:
10722                 assert(sv_type_details->body_size);
10723                 if (sv_type_details->arena) {
10724                     new_body_inline(new_body, sv_type);
10725                     new_body
10726                         = (void*)((char*)new_body - sv_type_details->offset);
10727                 } else {
10728                     new_body = new_NOARENA(sv_type_details);
10729                 }
10730             }
10731             assert(new_body);
10732             SvANY(dstr) = new_body;
10733
10734 #ifndef PURIFY
10735             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10736                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10737                  sv_type_details->copy, char);
10738 #else
10739             Copy(((char*)SvANY(sstr)),
10740                  ((char*)SvANY(dstr)),
10741                  sv_type_details->body_size + sv_type_details->offset, char);
10742 #endif
10743
10744             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10745                 && !isGV_with_GP(dstr))
10746                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10747
10748             /* The Copy above means that all the source (unduplicated) pointers
10749                are now in the destination.  We can check the flags and the
10750                pointers in either, but it's possible that there's less cache
10751                missing by always going for the destination.
10752                FIXME - instrument and check that assumption  */
10753             if (sv_type >= SVt_PVMG) {
10754                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10755                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10756                 } else if (SvMAGIC(dstr))
10757                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10758                 if (SvSTASH(dstr))
10759                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10760             }
10761
10762             /* The cast silences a GCC warning about unhandled types.  */
10763             switch ((int)sv_type) {
10764             case SVt_PV:
10765                 break;
10766             case SVt_PVIV:
10767                 break;
10768             case SVt_PVNV:
10769                 break;
10770             case SVt_PVMG:
10771                 break;
10772             case SVt_REGEXP:
10773                 /* FIXME for plugins */
10774                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
10775                 break;
10776             case SVt_PVLV:
10777                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
10778                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
10779                     LvTARG(dstr) = dstr;
10780                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
10781                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
10782                 else
10783                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
10784             case SVt_PVGV:
10785                 if(isGV_with_GP(sstr)) {
10786                     if (GvNAME_HEK(dstr))
10787                         GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
10788                     /* Don't call sv_add_backref here as it's going to be
10789                        created as part of the magic cloning of the symbol
10790                        table.  */
10791                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
10792                        at the point of this comment.  */
10793                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
10794                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
10795                     (void)GpREFCNT_inc(GvGP(dstr));
10796                 } else
10797                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10798                 break;
10799             case SVt_PVIO:
10800                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
10801                 if (IoOFP(dstr) == IoIFP(sstr))
10802                     IoOFP(dstr) = IoIFP(dstr);
10803                 else
10804                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
10805                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
10806                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
10807                     /* I have no idea why fake dirp (rsfps)
10808                        should be treated differently but otherwise
10809                        we end up with leaks -- sky*/
10810                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
10811                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
10812                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
10813                 } else {
10814                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
10815                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
10816                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
10817                     if (IoDIRP(dstr)) {
10818                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
10819                     } else {
10820                         NOOP;
10821                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
10822                     }
10823                 }
10824                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
10825                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
10826                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
10827                 break;
10828             case SVt_PVAV:
10829                 if (AvARRAY((const AV *)sstr)) {
10830                     SV **dst_ary, **src_ary;
10831                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
10832
10833                     src_ary = AvARRAY((const AV *)sstr);
10834                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
10835                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
10836                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
10837                     AvALLOC((const AV *)dstr) = dst_ary;
10838                     if (AvREAL((const AV *)sstr)) {
10839                         while (items-- > 0)
10840                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
10841                     }
10842                     else {
10843                         while (items-- > 0)
10844                             *dst_ary++ = sv_dup(*src_ary++, param);
10845                     }
10846                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
10847                     while (items-- > 0) {
10848                         *dst_ary++ = &PL_sv_undef;
10849                     }
10850                 }
10851                 else {
10852                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
10853                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
10854                 }
10855                 break;
10856             case SVt_PVHV:
10857                 if (HvARRAY((const HV *)sstr)) {
10858                     STRLEN i = 0;
10859                     const bool sharekeys = !!HvSHAREKEYS(sstr);
10860                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
10861                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
10862                     char *darray;
10863                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
10864                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
10865                         char);
10866                     HvARRAY(dstr) = (HE**)darray;
10867                     while (i <= sxhv->xhv_max) {
10868                         const HE * const source = HvARRAY(sstr)[i];
10869                         HvARRAY(dstr)[i] = source
10870                             ? he_dup(source, sharekeys, param) : 0;
10871                         ++i;
10872                     }
10873                     if (SvOOK(sstr)) {
10874                         HEK *hvname;
10875                         const struct xpvhv_aux * const saux = HvAUX(sstr);
10876                         struct xpvhv_aux * const daux = HvAUX(dstr);
10877                         /* This flag isn't copied.  */
10878                         /* SvOOK_on(hv) attacks the IV flags.  */
10879                         SvFLAGS(dstr) |= SVf_OOK;
10880
10881                         hvname = saux->xhv_name;
10882                         daux->xhv_name = hvname ? hek_dup(hvname, param) : hvname;
10883
10884                         daux->xhv_riter = saux->xhv_riter;
10885                         daux->xhv_eiter = saux->xhv_eiter
10886                             ? he_dup(saux->xhv_eiter,
10887                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
10888                         /* backref array needs refcnt=2; see sv_add_backref */
10889                         daux->xhv_backreferences =
10890                             saux->xhv_backreferences
10891                             ? MUTABLE_AV(SvREFCNT_inc(
10892                                                       sv_dup_inc((const SV *)saux->xhv_backreferences, param)))
10893                                 : 0;
10894
10895                         daux->xhv_mro_meta = saux->xhv_mro_meta
10896                             ? mro_meta_dup(saux->xhv_mro_meta, param)
10897                             : 0;
10898
10899                         /* Record stashes for possible cloning in Perl_clone(). */
10900                         if (hvname)
10901                             av_push(param->stashes, dstr);
10902                     }
10903                 }
10904                 else
10905                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
10906                 break;
10907             case SVt_PVCV:
10908                 if (!(param->flags & CLONEf_COPY_STACKS)) {
10909                     CvDEPTH(dstr) = 0;
10910                 }
10911             case SVt_PVFM:
10912                 /* NOTE: not refcounted */
10913                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
10914                 OP_REFCNT_LOCK;
10915                 if (!CvISXSUB(dstr))
10916                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
10917                 OP_REFCNT_UNLOCK;
10918                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
10919                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
10920                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
10921                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
10922                 }
10923                 /* don't dup if copying back - CvGV isn't refcounted, so the
10924                  * duped GV may never be freed. A bit of a hack! DAPM */
10925                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
10926                     NULL : gv_dup(CvGV(dstr), param) ;
10927                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
10928                 CvOUTSIDE(dstr) =
10929                     CvWEAKOUTSIDE(sstr)
10930                     ? cv_dup(    CvOUTSIDE(dstr), param)
10931                     : cv_dup_inc(CvOUTSIDE(dstr), param);
10932                 if (!CvISXSUB(dstr))
10933                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
10934                 break;
10935             }
10936         }
10937     }
10938
10939     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
10940         ++PL_sv_objcount;
10941
10942     return dstr;
10943  }
10944
10945 /* duplicate a context */
10946
10947 PERL_CONTEXT *
10948 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
10949 {
10950     PERL_CONTEXT *ncxs;
10951
10952     PERL_ARGS_ASSERT_CX_DUP;
10953
10954     if (!cxs)
10955         return (PERL_CONTEXT*)NULL;
10956
10957     /* look for it in the table first */
10958     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
10959     if (ncxs)
10960         return ncxs;
10961
10962     /* create anew and remember what it is */
10963     Newx(ncxs, max + 1, PERL_CONTEXT);
10964     ptr_table_store(PL_ptr_table, cxs, ncxs);
10965     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
10966
10967     while (ix >= 0) {
10968         PERL_CONTEXT * const ncx = &ncxs[ix];
10969         if (CxTYPE(ncx) == CXt_SUBST) {
10970             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
10971         }
10972         else {
10973             switch (CxTYPE(ncx)) {
10974             case CXt_SUB:
10975                 ncx->blk_sub.cv         = (ncx->blk_sub.olddepth == 0
10976                                            ? cv_dup_inc(ncx->blk_sub.cv, param)
10977                                            : cv_dup(ncx->blk_sub.cv,param));
10978                 ncx->blk_sub.argarray   = (CxHASARGS(ncx)
10979                                            ? av_dup_inc(ncx->blk_sub.argarray,
10980                                                         param)
10981                                            : NULL);
10982                 ncx->blk_sub.savearray  = av_dup_inc(ncx->blk_sub.savearray,
10983                                                      param);
10984                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
10985                                            ncx->blk_sub.oldcomppad);
10986                 break;
10987             case CXt_EVAL:
10988                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
10989                                                       param);
10990                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
10991                 break;
10992             case CXt_LOOP_LAZYSV:
10993                 ncx->blk_loop.state_u.lazysv.end
10994                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
10995                 /* We are taking advantage of av_dup_inc and sv_dup_inc
10996                    actually being the same function, and order equivalance of
10997                    the two unions.
10998                    We can assert the later [but only at run time :-(]  */
10999                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
11000                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
11001             case CXt_LOOP_FOR:
11002                 ncx->blk_loop.state_u.ary.ary
11003                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
11004             case CXt_LOOP_LAZYIV:
11005             case CXt_LOOP_PLAIN:
11006                 if (CxPADLOOP(ncx)) {
11007                     ncx->blk_loop.oldcomppad
11008                         = (PAD*)ptr_table_fetch(PL_ptr_table,
11009                                                 ncx->blk_loop.oldcomppad);
11010                 } else {
11011                     ncx->blk_loop.oldcomppad
11012                         = (PAD*)gv_dup((const GV *)ncx->blk_loop.oldcomppad,
11013                                        param);
11014                 }
11015                 break;
11016             case CXt_FORMAT:
11017                 ncx->blk_format.cv      = cv_dup(ncx->blk_format.cv, param);
11018                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
11019                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
11020                                                      param);
11021                 break;
11022             case CXt_BLOCK:
11023             case CXt_NULL:
11024                 break;
11025             }
11026         }
11027         --ix;
11028     }
11029     return ncxs;
11030 }
11031
11032 /* duplicate a stack info structure */
11033
11034 PERL_SI *
11035 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
11036 {
11037     PERL_SI *nsi;
11038
11039     PERL_ARGS_ASSERT_SI_DUP;
11040
11041     if (!si)
11042         return (PERL_SI*)NULL;
11043
11044     /* look for it in the table first */
11045     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
11046     if (nsi)
11047         return nsi;
11048
11049     /* create anew and remember what it is */
11050     Newxz(nsi, 1, PERL_SI);
11051     ptr_table_store(PL_ptr_table, si, nsi);
11052
11053     nsi->si_stack       = av_dup_inc(si->si_stack, param);
11054     nsi->si_cxix        = si->si_cxix;
11055     nsi->si_cxmax       = si->si_cxmax;
11056     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
11057     nsi->si_type        = si->si_type;
11058     nsi->si_prev        = si_dup(si->si_prev, param);
11059     nsi->si_next        = si_dup(si->si_next, param);
11060     nsi->si_markoff     = si->si_markoff;
11061
11062     return nsi;
11063 }
11064
11065 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
11066 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
11067 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
11068 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
11069 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
11070 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
11071 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
11072 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
11073 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
11074 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
11075 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
11076 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
11077 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
11078 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
11079
11080 /* XXXXX todo */
11081 #define pv_dup_inc(p)   SAVEPV(p)
11082 #define pv_dup(p)       SAVEPV(p)
11083 #define svp_dup_inc(p,pp)       any_dup(p,pp)
11084
11085 /* map any object to the new equivent - either something in the
11086  * ptr table, or something in the interpreter structure
11087  */
11088
11089 void *
11090 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
11091 {
11092     void *ret;
11093
11094     PERL_ARGS_ASSERT_ANY_DUP;
11095
11096     if (!v)
11097         return (void*)NULL;
11098
11099     /* look for it in the table first */
11100     ret = ptr_table_fetch(PL_ptr_table, v);
11101     if (ret)
11102         return ret;
11103
11104     /* see if it is part of the interpreter structure */
11105     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
11106         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
11107     else {
11108         ret = v;
11109     }
11110
11111     return ret;
11112 }
11113
11114 /* duplicate the save stack */
11115
11116 ANY *
11117 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
11118 {
11119     dVAR;
11120     ANY * const ss      = proto_perl->Isavestack;
11121     const I32 max       = proto_perl->Isavestack_max;
11122     I32 ix              = proto_perl->Isavestack_ix;
11123     ANY *nss;
11124     const SV *sv;
11125     const GV *gv;
11126     const AV *av;
11127     const HV *hv;
11128     void* ptr;
11129     int intval;
11130     long longval;
11131     GP *gp;
11132     IV iv;
11133     I32 i;
11134     char *c = NULL;
11135     void (*dptr) (void*);
11136     void (*dxptr) (pTHX_ void*);
11137
11138     PERL_ARGS_ASSERT_SS_DUP;
11139
11140     Newxz(nss, max, ANY);
11141
11142     while (ix > 0) {
11143         const I32 type = POPINT(ss,ix);
11144         TOPINT(nss,ix) = type;
11145         switch (type) {
11146         case SAVEt_HELEM:               /* hash element */
11147             sv = (const SV *)POPPTR(ss,ix);
11148             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11149             /* fall through */
11150         case SAVEt_ITEM:                        /* normal string */
11151         case SAVEt_SV:                          /* scalar reference */
11152             sv = (const SV *)POPPTR(ss,ix);
11153             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11154             /* fall through */
11155         case SAVEt_FREESV:
11156         case SAVEt_MORTALIZESV:
11157             sv = (const SV *)POPPTR(ss,ix);
11158             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11159             break;
11160         case SAVEt_SHARED_PVREF:                /* char* in shared space */
11161             c = (char*)POPPTR(ss,ix);
11162             TOPPTR(nss,ix) = savesharedpv(c);
11163             ptr = POPPTR(ss,ix);
11164             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11165             break;
11166         case SAVEt_GENERIC_SVREF:               /* generic sv */
11167         case SAVEt_SVREF:                       /* scalar reference */
11168             sv = (const SV *)POPPTR(ss,ix);
11169             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11170             ptr = POPPTR(ss,ix);
11171             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
11172             break;
11173         case SAVEt_HV:                          /* hash reference */
11174         case SAVEt_AV:                          /* array reference */
11175             sv = (const SV *) POPPTR(ss,ix);
11176             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11177             /* fall through */
11178         case SAVEt_COMPPAD:
11179         case SAVEt_NSTAB:
11180             sv = (const SV *) POPPTR(ss,ix);
11181             TOPPTR(nss,ix) = sv_dup(sv, param);
11182             break;
11183         case SAVEt_INT:                         /* int reference */
11184             ptr = POPPTR(ss,ix);
11185             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11186             intval = (int)POPINT(ss,ix);
11187             TOPINT(nss,ix) = intval;
11188             break;
11189         case SAVEt_LONG:                        /* long reference */
11190             ptr = POPPTR(ss,ix);
11191             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11192             /* fall through */
11193         case SAVEt_CLEARSV:
11194             longval = (long)POPLONG(ss,ix);
11195             TOPLONG(nss,ix) = longval;
11196             break;
11197         case SAVEt_I32:                         /* I32 reference */
11198         case SAVEt_I16:                         /* I16 reference */
11199         case SAVEt_I8:                          /* I8 reference */
11200         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
11201             ptr = POPPTR(ss,ix);
11202             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11203             i = POPINT(ss,ix);
11204             TOPINT(nss,ix) = i;
11205             break;
11206         case SAVEt_IV:                          /* IV reference */
11207             ptr = POPPTR(ss,ix);
11208             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11209             iv = POPIV(ss,ix);
11210             TOPIV(nss,ix) = iv;
11211             break;
11212         case SAVEt_HPTR:                        /* HV* reference */
11213         case SAVEt_APTR:                        /* AV* reference */
11214         case SAVEt_SPTR:                        /* SV* reference */
11215             ptr = POPPTR(ss,ix);
11216             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11217             sv = (const SV *)POPPTR(ss,ix);
11218             TOPPTR(nss,ix) = sv_dup(sv, param);
11219             break;
11220         case SAVEt_VPTR:                        /* random* reference */
11221             ptr = POPPTR(ss,ix);
11222             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11223             ptr = POPPTR(ss,ix);
11224             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11225             break;
11226         case SAVEt_GENERIC_PVREF:               /* generic char* */
11227         case SAVEt_PPTR:                        /* char* reference */
11228             ptr = POPPTR(ss,ix);
11229             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11230             c = (char*)POPPTR(ss,ix);
11231             TOPPTR(nss,ix) = pv_dup(c);
11232             break;
11233         case SAVEt_GP:                          /* scalar reference */
11234             gp = (GP*)POPPTR(ss,ix);
11235             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
11236             (void)GpREFCNT_inc(gp);
11237             gv = (const GV *)POPPTR(ss,ix);
11238             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
11239             break;
11240         case SAVEt_FREEOP:
11241             ptr = POPPTR(ss,ix);
11242             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
11243                 /* these are assumed to be refcounted properly */
11244                 OP *o;
11245                 switch (((OP*)ptr)->op_type) {
11246                 case OP_LEAVESUB:
11247                 case OP_LEAVESUBLV:
11248                 case OP_LEAVEEVAL:
11249                 case OP_LEAVE:
11250                 case OP_SCOPE:
11251                 case OP_LEAVEWRITE:
11252                     TOPPTR(nss,ix) = ptr;
11253                     o = (OP*)ptr;
11254                     OP_REFCNT_LOCK;
11255                     (void) OpREFCNT_inc(o);
11256                     OP_REFCNT_UNLOCK;
11257                     break;
11258                 default:
11259                     TOPPTR(nss,ix) = NULL;
11260                     break;
11261                 }
11262             }
11263             else
11264                 TOPPTR(nss,ix) = NULL;
11265             break;
11266         case SAVEt_DELETE:
11267             hv = (const HV *)POPPTR(ss,ix);
11268             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11269             i = POPINT(ss,ix);
11270             TOPINT(nss,ix) = i;
11271             /* Fall through */
11272         case SAVEt_FREEPV:
11273             c = (char*)POPPTR(ss,ix);
11274             TOPPTR(nss,ix) = pv_dup_inc(c);
11275             break;
11276         case SAVEt_STACK_POS:           /* Position on Perl stack */
11277             i = POPINT(ss,ix);
11278             TOPINT(nss,ix) = i;
11279             break;
11280         case SAVEt_DESTRUCTOR:
11281             ptr = POPPTR(ss,ix);
11282             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11283             dptr = POPDPTR(ss,ix);
11284             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
11285                                         any_dup(FPTR2DPTR(void *, dptr),
11286                                                 proto_perl));
11287             break;
11288         case SAVEt_DESTRUCTOR_X:
11289             ptr = POPPTR(ss,ix);
11290             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11291             dxptr = POPDXPTR(ss,ix);
11292             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
11293                                          any_dup(FPTR2DPTR(void *, dxptr),
11294                                                  proto_perl));
11295             break;
11296         case SAVEt_REGCONTEXT:
11297         case SAVEt_ALLOC:
11298             i = POPINT(ss,ix);
11299             TOPINT(nss,ix) = i;
11300             ix -= i;
11301             break;
11302         case SAVEt_AELEM:               /* array element */
11303             sv = (const SV *)POPPTR(ss,ix);
11304             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11305             i = POPINT(ss,ix);
11306             TOPINT(nss,ix) = i;
11307             av = (const AV *)POPPTR(ss,ix);
11308             TOPPTR(nss,ix) = av_dup_inc(av, param);
11309             break;
11310         case SAVEt_OP:
11311             ptr = POPPTR(ss,ix);
11312             TOPPTR(nss,ix) = ptr;
11313             break;
11314         case SAVEt_HINTS:
11315             ptr = POPPTR(ss,ix);
11316             if (ptr) {
11317                 HINTS_REFCNT_LOCK;
11318                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
11319                 HINTS_REFCNT_UNLOCK;
11320             }
11321             TOPPTR(nss,ix) = ptr;
11322             i = POPINT(ss,ix);
11323             TOPINT(nss,ix) = i;
11324             if (i & HINT_LOCALIZE_HH) {
11325                 hv = (const HV *)POPPTR(ss,ix);
11326                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11327             }
11328             break;
11329         case SAVEt_PADSV_AND_MORTALIZE:
11330             longval = (long)POPLONG(ss,ix);
11331             TOPLONG(nss,ix) = longval;
11332             ptr = POPPTR(ss,ix);
11333             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11334             sv = (const SV *)POPPTR(ss,ix);
11335             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11336             break;
11337         case SAVEt_BOOL:
11338             ptr = POPPTR(ss,ix);
11339             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11340             longval = (long)POPBOOL(ss,ix);
11341             TOPBOOL(nss,ix) = (bool)longval;
11342             break;
11343         case SAVEt_SET_SVFLAGS:
11344             i = POPINT(ss,ix);
11345             TOPINT(nss,ix) = i;
11346             i = POPINT(ss,ix);
11347             TOPINT(nss,ix) = i;
11348             sv = (const SV *)POPPTR(ss,ix);
11349             TOPPTR(nss,ix) = sv_dup(sv, param);
11350             break;
11351         case SAVEt_RE_STATE:
11352             {
11353                 const struct re_save_state *const old_state
11354                     = (struct re_save_state *)
11355                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11356                 struct re_save_state *const new_state
11357                     = (struct re_save_state *)
11358                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11359
11360                 Copy(old_state, new_state, 1, struct re_save_state);
11361                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
11362
11363                 new_state->re_state_bostr
11364                     = pv_dup(old_state->re_state_bostr);
11365                 new_state->re_state_reginput
11366                     = pv_dup(old_state->re_state_reginput);
11367                 new_state->re_state_regeol
11368                     = pv_dup(old_state->re_state_regeol);
11369                 new_state->re_state_regoffs
11370                     = (regexp_paren_pair*)
11371                         any_dup(old_state->re_state_regoffs, proto_perl);
11372                 new_state->re_state_reglastparen
11373                     = (U32*) any_dup(old_state->re_state_reglastparen, 
11374                               proto_perl);
11375                 new_state->re_state_reglastcloseparen
11376                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
11377                               proto_perl);
11378                 /* XXX This just has to be broken. The old save_re_context
11379                    code did SAVEGENERICPV(PL_reg_start_tmp);
11380                    PL_reg_start_tmp is char **.
11381                    Look above to what the dup code does for
11382                    SAVEt_GENERIC_PVREF
11383                    It can never have worked.
11384                    So this is merely a faithful copy of the exiting bug:  */
11385                 new_state->re_state_reg_start_tmp
11386                     = (char **) pv_dup((char *)
11387                                       old_state->re_state_reg_start_tmp);
11388                 /* I assume that it only ever "worked" because no-one called
11389                    (pseudo)fork while the regexp engine had re-entered itself.
11390                 */
11391 #ifdef PERL_OLD_COPY_ON_WRITE
11392                 new_state->re_state_nrs
11393                     = sv_dup(old_state->re_state_nrs, param);
11394 #endif
11395                 new_state->re_state_reg_magic
11396                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
11397                                proto_perl);
11398                 new_state->re_state_reg_oldcurpm
11399                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
11400                               proto_perl);
11401                 new_state->re_state_reg_curpm
11402                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
11403                                proto_perl);
11404                 new_state->re_state_reg_oldsaved
11405                     = pv_dup(old_state->re_state_reg_oldsaved);
11406                 new_state->re_state_reg_poscache
11407                     = pv_dup(old_state->re_state_reg_poscache);
11408                 new_state->re_state_reg_starttry
11409                     = pv_dup(old_state->re_state_reg_starttry);
11410                 break;
11411             }
11412         case SAVEt_COMPILE_WARNINGS:
11413             ptr = POPPTR(ss,ix);
11414             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
11415             break;
11416         case SAVEt_PARSER:
11417             ptr = POPPTR(ss,ix);
11418             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
11419             break;
11420         default:
11421             Perl_croak(aTHX_
11422                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
11423         }
11424     }
11425
11426     return nss;
11427 }
11428
11429
11430 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
11431  * flag to the result. This is done for each stash before cloning starts,
11432  * so we know which stashes want their objects cloned */
11433
11434 static void
11435 do_mark_cloneable_stash(pTHX_ SV *const sv)
11436 {
11437     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
11438     if (hvname) {
11439         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
11440         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
11441         if (cloner && GvCV(cloner)) {
11442             dSP;
11443             UV status;
11444
11445             ENTER;
11446             SAVETMPS;
11447             PUSHMARK(SP);
11448             mXPUSHs(newSVhek(hvname));
11449             PUTBACK;
11450             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
11451             SPAGAIN;
11452             status = POPu;
11453             PUTBACK;
11454             FREETMPS;
11455             LEAVE;
11456             if (status)
11457                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
11458         }
11459     }
11460 }
11461
11462
11463
11464 /*
11465 =for apidoc perl_clone
11466
11467 Create and return a new interpreter by cloning the current one.
11468
11469 perl_clone takes these flags as parameters:
11470
11471 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
11472 without it we only clone the data and zero the stacks,
11473 with it we copy the stacks and the new perl interpreter is
11474 ready to run at the exact same point as the previous one.
11475 The pseudo-fork code uses COPY_STACKS while the
11476 threads->create doesn't.
11477
11478 CLONEf_KEEP_PTR_TABLE
11479 perl_clone keeps a ptr_table with the pointer of the old
11480 variable as a key and the new variable as a value,
11481 this allows it to check if something has been cloned and not
11482 clone it again but rather just use the value and increase the
11483 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
11484 the ptr_table using the function
11485 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
11486 reason to keep it around is if you want to dup some of your own
11487 variable who are outside the graph perl scans, example of this
11488 code is in threads.xs create
11489
11490 CLONEf_CLONE_HOST
11491 This is a win32 thing, it is ignored on unix, it tells perls
11492 win32host code (which is c++) to clone itself, this is needed on
11493 win32 if you want to run two threads at the same time,
11494 if you just want to do some stuff in a separate perl interpreter
11495 and then throw it away and return to the original one,
11496 you don't need to do anything.
11497
11498 =cut
11499 */
11500
11501 /* XXX the above needs expanding by someone who actually understands it ! */
11502 EXTERN_C PerlInterpreter *
11503 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
11504
11505 PerlInterpreter *
11506 perl_clone(PerlInterpreter *proto_perl, UV flags)
11507 {
11508    dVAR;
11509 #ifdef PERL_IMPLICIT_SYS
11510
11511     PERL_ARGS_ASSERT_PERL_CLONE;
11512
11513    /* perlhost.h so we need to call into it
11514    to clone the host, CPerlHost should have a c interface, sky */
11515
11516    if (flags & CLONEf_CLONE_HOST) {
11517        return perl_clone_host(proto_perl,flags);
11518    }
11519    return perl_clone_using(proto_perl, flags,
11520                             proto_perl->IMem,
11521                             proto_perl->IMemShared,
11522                             proto_perl->IMemParse,
11523                             proto_perl->IEnv,
11524                             proto_perl->IStdIO,
11525                             proto_perl->ILIO,
11526                             proto_perl->IDir,
11527                             proto_perl->ISock,
11528                             proto_perl->IProc);
11529 }
11530
11531 PerlInterpreter *
11532 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
11533                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
11534                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
11535                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
11536                  struct IPerlDir* ipD, struct IPerlSock* ipS,
11537                  struct IPerlProc* ipP)
11538 {
11539     /* XXX many of the string copies here can be optimized if they're
11540      * constants; they need to be allocated as common memory and just
11541      * their pointers copied. */
11542
11543     IV i;
11544     CLONE_PARAMS clone_params;
11545     CLONE_PARAMS* const param = &clone_params;
11546
11547     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
11548
11549     PERL_ARGS_ASSERT_PERL_CLONE_USING;
11550
11551     /* for each stash, determine whether its objects should be cloned */
11552     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11553     PERL_SET_THX(my_perl);
11554
11555 #  ifdef DEBUGGING
11556     PoisonNew(my_perl, 1, PerlInterpreter);
11557     PL_op = NULL;
11558     PL_curcop = NULL;
11559     PL_markstack = 0;
11560     PL_scopestack = 0;
11561     PL_savestack = 0;
11562     PL_savestack_ix = 0;
11563     PL_savestack_max = -1;
11564     PL_sig_pending = 0;
11565     PL_parser = NULL;
11566     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11567 #  else /* !DEBUGGING */
11568     Zero(my_perl, 1, PerlInterpreter);
11569 #  endif        /* DEBUGGING */
11570
11571     /* host pointers */
11572     PL_Mem              = ipM;
11573     PL_MemShared        = ipMS;
11574     PL_MemParse         = ipMP;
11575     PL_Env              = ipE;
11576     PL_StdIO            = ipStd;
11577     PL_LIO              = ipLIO;
11578     PL_Dir              = ipD;
11579     PL_Sock             = ipS;
11580     PL_Proc             = ipP;
11581 #else           /* !PERL_IMPLICIT_SYS */
11582     IV i;
11583     CLONE_PARAMS clone_params;
11584     CLONE_PARAMS* param = &clone_params;
11585     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
11586
11587     PERL_ARGS_ASSERT_PERL_CLONE;
11588
11589     /* for each stash, determine whether its objects should be cloned */
11590     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11591     PERL_SET_THX(my_perl);
11592
11593 #    ifdef DEBUGGING
11594     PoisonNew(my_perl, 1, PerlInterpreter);
11595     PL_op = NULL;
11596     PL_curcop = NULL;
11597     PL_markstack = 0;
11598     PL_scopestack = 0;
11599     PL_savestack = 0;
11600     PL_savestack_ix = 0;
11601     PL_savestack_max = -1;
11602     PL_sig_pending = 0;
11603     PL_parser = NULL;
11604     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11605 #    else       /* !DEBUGGING */
11606     Zero(my_perl, 1, PerlInterpreter);
11607 #    endif      /* DEBUGGING */
11608 #endif          /* PERL_IMPLICIT_SYS */
11609     param->flags = flags;
11610     param->proto_perl = proto_perl;
11611
11612     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
11613
11614     PL_body_arenas = NULL;
11615     Zero(&PL_body_roots, 1, PL_body_roots);
11616     
11617     PL_nice_chunk       = NULL;
11618     PL_nice_chunk_size  = 0;
11619     PL_sv_count         = 0;
11620     PL_sv_objcount      = 0;
11621     PL_sv_root          = NULL;
11622     PL_sv_arenaroot     = NULL;
11623
11624     PL_debug            = proto_perl->Idebug;
11625
11626     PL_hash_seed        = proto_perl->Ihash_seed;
11627     PL_rehash_seed      = proto_perl->Irehash_seed;
11628
11629 #ifdef USE_REENTRANT_API
11630     /* XXX: things like -Dm will segfault here in perlio, but doing
11631      *  PERL_SET_CONTEXT(proto_perl);
11632      * breaks too many other things
11633      */
11634     Perl_reentrant_init(aTHX);
11635 #endif
11636
11637     /* create SV map for pointer relocation */
11638     PL_ptr_table = ptr_table_new();
11639
11640     /* initialize these special pointers as early as possible */
11641     SvANY(&PL_sv_undef)         = NULL;
11642     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
11643     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
11644     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
11645
11646     SvANY(&PL_sv_no)            = new_XPVNV();
11647     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
11648     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11649                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11650     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
11651     SvCUR_set(&PL_sv_no, 0);
11652     SvLEN_set(&PL_sv_no, 1);
11653     SvIV_set(&PL_sv_no, 0);
11654     SvNV_set(&PL_sv_no, 0);
11655     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
11656
11657     SvANY(&PL_sv_yes)           = new_XPVNV();
11658     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11659     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11660                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11661     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11662     SvCUR_set(&PL_sv_yes, 1);
11663     SvLEN_set(&PL_sv_yes, 2);
11664     SvIV_set(&PL_sv_yes, 1);
11665     SvNV_set(&PL_sv_yes, 1);
11666     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11667
11668     /* create (a non-shared!) shared string table */
11669     PL_strtab           = newHV();
11670     HvSHAREKEYS_off(PL_strtab);
11671     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11672     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11673
11674     PL_compiling = proto_perl->Icompiling;
11675
11676     /* These two PVs will be free'd special way so must set them same way op.c does */
11677     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11678     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11679
11680     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11681     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11682
11683     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11684     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11685     if (PL_compiling.cop_hints_hash) {
11686         HINTS_REFCNT_LOCK;
11687         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11688         HINTS_REFCNT_UNLOCK;
11689     }
11690     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11691 #ifdef PERL_DEBUG_READONLY_OPS
11692     PL_slabs = NULL;
11693     PL_slab_count = 0;
11694 #endif
11695
11696     /* pseudo environmental stuff */
11697     PL_origargc         = proto_perl->Iorigargc;
11698     PL_origargv         = proto_perl->Iorigargv;
11699
11700     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11701
11702     /* Set tainting stuff before PerlIO_debug can possibly get called */
11703     PL_tainting         = proto_perl->Itainting;
11704     PL_taint_warn       = proto_perl->Itaint_warn;
11705
11706 #ifdef PERLIO_LAYERS
11707     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11708     PerlIO_clone(aTHX_ proto_perl, param);
11709 #endif
11710
11711     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11712     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11713     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11714     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11715     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11716     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11717
11718     /* switches */
11719     PL_minus_c          = proto_perl->Iminus_c;
11720     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11721     PL_localpatches     = proto_perl->Ilocalpatches;
11722     PL_splitstr         = proto_perl->Isplitstr;
11723     PL_minus_n          = proto_perl->Iminus_n;
11724     PL_minus_p          = proto_perl->Iminus_p;
11725     PL_minus_l          = proto_perl->Iminus_l;
11726     PL_minus_a          = proto_perl->Iminus_a;
11727     PL_minus_E          = proto_perl->Iminus_E;
11728     PL_minus_F          = proto_perl->Iminus_F;
11729     PL_doswitches       = proto_perl->Idoswitches;
11730     PL_dowarn           = proto_perl->Idowarn;
11731     PL_doextract        = proto_perl->Idoextract;
11732     PL_sawampersand     = proto_perl->Isawampersand;
11733     PL_unsafe           = proto_perl->Iunsafe;
11734     PL_inplace          = SAVEPV(proto_perl->Iinplace);
11735     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
11736     PL_perldb           = proto_perl->Iperldb;
11737     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
11738     PL_exit_flags       = proto_perl->Iexit_flags;
11739
11740     /* magical thingies */
11741     /* XXX time(&PL_basetime) when asked for? */
11742     PL_basetime         = proto_perl->Ibasetime;
11743     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
11744
11745     PL_maxsysfd         = proto_perl->Imaxsysfd;
11746     PL_statusvalue      = proto_perl->Istatusvalue;
11747 #ifdef VMS
11748     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
11749 #else
11750     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
11751 #endif
11752     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
11753
11754     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
11755     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
11756     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
11757
11758    
11759     /* RE engine related */
11760     Zero(&PL_reg_state, 1, struct re_save_state);
11761     PL_reginterp_cnt    = 0;
11762     PL_regmatch_slab    = NULL;
11763     
11764     /* Clone the regex array */
11765     /* ORANGE FIXME for plugins, probably in the SV dup code.
11766        newSViv(PTR2IV(CALLREGDUPE(
11767        INT2PTR(REGEXP *, SvIVX(regex)), param))))
11768     */
11769     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
11770     PL_regex_pad = AvARRAY(PL_regex_padav);
11771
11772     /* shortcuts to various I/O objects */
11773     PL_ofsgv            = gv_dup(proto_perl->Iofsgv, param);
11774     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
11775     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
11776     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
11777     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
11778     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
11779     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
11780
11781     /* shortcuts to regexp stuff */
11782     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
11783
11784     /* shortcuts to misc objects */
11785     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
11786
11787     /* shortcuts to debugging objects */
11788     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
11789     PL_DBline           = gv_dup(proto_perl->IDBline, param);
11790     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
11791     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
11792     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
11793     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
11794     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
11795
11796     /* symbol tables */
11797     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
11798     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
11799     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
11800     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
11801     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
11802
11803     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
11804     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
11805     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
11806     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
11807     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
11808     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
11809     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
11810     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
11811
11812     PL_sub_generation   = proto_perl->Isub_generation;
11813     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
11814
11815     /* funky return mechanisms */
11816     PL_forkprocess      = proto_perl->Iforkprocess;
11817
11818     /* subprocess state */
11819     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
11820
11821     /* internal state */
11822     PL_maxo             = proto_perl->Imaxo;
11823     if (proto_perl->Iop_mask)
11824         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
11825     else
11826         PL_op_mask      = NULL;
11827     /* PL_asserting        = proto_perl->Iasserting; */
11828
11829     /* current interpreter roots */
11830     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
11831     OP_REFCNT_LOCK;
11832     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
11833     OP_REFCNT_UNLOCK;
11834     PL_main_start       = proto_perl->Imain_start;
11835     PL_eval_root        = proto_perl->Ieval_root;
11836     PL_eval_start       = proto_perl->Ieval_start;
11837
11838     /* runtime control stuff */
11839     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
11840
11841     PL_filemode         = proto_perl->Ifilemode;
11842     PL_lastfd           = proto_perl->Ilastfd;
11843     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
11844     PL_Argv             = NULL;
11845     PL_Cmd              = NULL;
11846     PL_gensym           = proto_perl->Igensym;
11847     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
11848     PL_laststatval      = proto_perl->Ilaststatval;
11849     PL_laststype        = proto_perl->Ilaststype;
11850     PL_mess_sv          = NULL;
11851
11852     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
11853
11854     /* interpreter atexit processing */
11855     PL_exitlistlen      = proto_perl->Iexitlistlen;
11856     if (PL_exitlistlen) {
11857         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11858         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11859     }
11860     else
11861         PL_exitlist     = (PerlExitListEntry*)NULL;
11862
11863     PL_my_cxt_size = proto_perl->Imy_cxt_size;
11864     if (PL_my_cxt_size) {
11865         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
11866         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
11867 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11868         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
11869         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
11870 #endif
11871     }
11872     else {
11873         PL_my_cxt_list  = (void**)NULL;
11874 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
11875         PL_my_cxt_keys  = (const char**)NULL;
11876 #endif
11877     }
11878     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
11879     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
11880     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
11881
11882     PL_profiledata      = NULL;
11883
11884     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
11885
11886     PAD_CLONE_VARS(proto_perl, param);
11887
11888 #ifdef HAVE_INTERP_INTERN
11889     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
11890 #endif
11891
11892     /* more statics moved here */
11893     PL_generation       = proto_perl->Igeneration;
11894     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
11895
11896     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
11897     PL_in_clean_all     = proto_perl->Iin_clean_all;
11898
11899     PL_uid              = proto_perl->Iuid;
11900     PL_euid             = proto_perl->Ieuid;
11901     PL_gid              = proto_perl->Igid;
11902     PL_egid             = proto_perl->Iegid;
11903     PL_nomemok          = proto_perl->Inomemok;
11904     PL_an               = proto_perl->Ian;
11905     PL_evalseq          = proto_perl->Ievalseq;
11906     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
11907     PL_origalen         = proto_perl->Iorigalen;
11908 #ifdef PERL_USES_PL_PIDSTATUS
11909     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
11910 #endif
11911     PL_osname           = SAVEPV(proto_perl->Iosname);
11912     PL_sighandlerp      = proto_perl->Isighandlerp;
11913
11914     PL_runops           = proto_perl->Irunops;
11915
11916     PL_parser           = parser_dup(proto_perl->Iparser, param);
11917
11918     PL_subline          = proto_perl->Isubline;
11919     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
11920
11921 #ifdef FCRYPT
11922     PL_cryptseen        = proto_perl->Icryptseen;
11923 #endif
11924
11925     PL_hints            = proto_perl->Ihints;
11926
11927     PL_amagic_generation        = proto_perl->Iamagic_generation;
11928
11929 #ifdef USE_LOCALE_COLLATE
11930     PL_collation_ix     = proto_perl->Icollation_ix;
11931     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
11932     PL_collation_standard       = proto_perl->Icollation_standard;
11933     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
11934     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
11935 #endif /* USE_LOCALE_COLLATE */
11936
11937 #ifdef USE_LOCALE_NUMERIC
11938     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
11939     PL_numeric_standard = proto_perl->Inumeric_standard;
11940     PL_numeric_local    = proto_perl->Inumeric_local;
11941     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
11942 #endif /* !USE_LOCALE_NUMERIC */
11943
11944     /* utf8 character classes */
11945     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
11946     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
11947     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
11948     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
11949     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
11950     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
11951     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
11952     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
11953     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
11954     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
11955     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
11956     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
11957     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
11958     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
11959     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
11960     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
11961     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
11962     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
11963     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
11964     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
11965
11966     /* Did the locale setup indicate UTF-8? */
11967     PL_utf8locale       = proto_perl->Iutf8locale;
11968     /* Unicode features (see perlrun/-C) */
11969     PL_unicode          = proto_perl->Iunicode;
11970
11971     /* Pre-5.8 signals control */
11972     PL_signals          = proto_perl->Isignals;
11973
11974     /* times() ticks per second */
11975     PL_clocktick        = proto_perl->Iclocktick;
11976
11977     /* Recursion stopper for PerlIO_find_layer */
11978     PL_in_load_module   = proto_perl->Iin_load_module;
11979
11980     /* sort() routine */
11981     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
11982
11983     /* Not really needed/useful since the reenrant_retint is "volatile",
11984      * but do it for consistency's sake. */
11985     PL_reentrant_retint = proto_perl->Ireentrant_retint;
11986
11987     /* Hooks to shared SVs and locks. */
11988     PL_sharehook        = proto_perl->Isharehook;
11989     PL_lockhook         = proto_perl->Ilockhook;
11990     PL_unlockhook       = proto_perl->Iunlockhook;
11991     PL_threadhook       = proto_perl->Ithreadhook;
11992     PL_destroyhook      = proto_perl->Idestroyhook;
11993
11994 #ifdef THREADS_HAVE_PIDS
11995     PL_ppid             = proto_perl->Ippid;
11996 #endif
11997
11998     /* swatch cache */
11999     PL_last_swash_hv    = NULL; /* reinits on demand */
12000     PL_last_swash_klen  = 0;
12001     PL_last_swash_key[0]= '\0';
12002     PL_last_swash_tmps  = (U8*)NULL;
12003     PL_last_swash_slen  = 0;
12004
12005     PL_glob_index       = proto_perl->Iglob_index;
12006     PL_srand_called     = proto_perl->Isrand_called;
12007     PL_bitcount         = NULL; /* reinits on demand */
12008
12009     if (proto_perl->Ipsig_pend) {
12010         Newxz(PL_psig_pend, SIG_SIZE, int);
12011     }
12012     else {
12013         PL_psig_pend    = (int*)NULL;
12014     }
12015
12016     if (proto_perl->Ipsig_ptr) {
12017         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
12018         Newxz(PL_psig_name, SIG_SIZE, SV*);
12019         for (i = 1; i < SIG_SIZE; i++) {
12020             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
12021             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
12022         }
12023     }
12024     else {
12025         PL_psig_ptr     = (SV**)NULL;
12026         PL_psig_name    = (SV**)NULL;
12027     }
12028
12029     /* intrpvar.h stuff */
12030
12031     if (flags & CLONEf_COPY_STACKS) {
12032         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
12033         PL_tmps_ix              = proto_perl->Itmps_ix;
12034         PL_tmps_max             = proto_perl->Itmps_max;
12035         PL_tmps_floor           = proto_perl->Itmps_floor;
12036         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
12037         i = 0;
12038         while (i <= PL_tmps_ix) {
12039             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Itmps_stack[i], param);
12040             ++i;
12041         }
12042
12043         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
12044         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
12045         Newxz(PL_markstack, i, I32);
12046         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
12047                                                   - proto_perl->Imarkstack);
12048         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
12049                                                   - proto_perl->Imarkstack);
12050         Copy(proto_perl->Imarkstack, PL_markstack,
12051              PL_markstack_ptr - PL_markstack + 1, I32);
12052
12053         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
12054          * NOTE: unlike the others! */
12055         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
12056         PL_scopestack_max       = proto_perl->Iscopestack_max;
12057         Newxz(PL_scopestack, PL_scopestack_max, I32);
12058         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
12059
12060         /* NOTE: si_dup() looks at PL_markstack */
12061         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
12062
12063         /* PL_curstack          = PL_curstackinfo->si_stack; */
12064         PL_curstack             = av_dup(proto_perl->Icurstack, param);
12065         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
12066
12067         /* next PUSHs() etc. set *(PL_stack_sp+1) */
12068         PL_stack_base           = AvARRAY(PL_curstack);
12069         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
12070                                                    - proto_perl->Istack_base);
12071         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
12072
12073         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
12074          * NOTE: unlike the others! */
12075         PL_savestack_ix         = proto_perl->Isavestack_ix;
12076         PL_savestack_max        = proto_perl->Isavestack_max;
12077         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
12078         PL_savestack            = ss_dup(proto_perl, param);
12079     }
12080     else {
12081         init_stacks();
12082         ENTER;                  /* perl_destruct() wants to LEAVE; */
12083
12084         /* although we're not duplicating the tmps stack, we should still
12085          * add entries for any SVs on the tmps stack that got cloned by a
12086          * non-refcount means (eg a temp in @_); otherwise they will be
12087          * orphaned
12088          */
12089         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
12090             SV * const nsv = MUTABLE_SV(ptr_table_fetch(PL_ptr_table,
12091                     proto_perl->Itmps_stack[i]));
12092             if (nsv && !SvREFCNT(nsv)) {
12093                 EXTEND_MORTAL(1);
12094                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
12095             }
12096         }
12097     }
12098
12099     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
12100     PL_top_env          = &PL_start_env;
12101
12102     PL_op               = proto_perl->Iop;
12103
12104     PL_Sv               = NULL;
12105     PL_Xpv              = (XPV*)NULL;
12106     my_perl->Ina        = proto_perl->Ina;
12107
12108     PL_statbuf          = proto_perl->Istatbuf;
12109     PL_statcache        = proto_perl->Istatcache;
12110     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
12111     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
12112 #ifdef HAS_TIMES
12113     PL_timesbuf         = proto_perl->Itimesbuf;
12114 #endif
12115
12116     PL_tainted          = proto_perl->Itainted;
12117     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
12118     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
12119     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
12120     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
12121     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
12122     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
12123     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
12124     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
12125
12126     PL_restartop        = proto_perl->Irestartop;
12127     PL_in_eval          = proto_perl->Iin_eval;
12128     PL_delaymagic       = proto_perl->Idelaymagic;
12129     PL_dirty            = proto_perl->Idirty;
12130     PL_localizing       = proto_perl->Ilocalizing;
12131
12132     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
12133     PL_hv_fetch_ent_mh  = NULL;
12134     PL_modcount         = proto_perl->Imodcount;
12135     PL_lastgotoprobe    = NULL;
12136     PL_dumpindent       = proto_perl->Idumpindent;
12137
12138     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
12139     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
12140     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
12141     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
12142     PL_efloatbuf        = NULL;         /* reinits on demand */
12143     PL_efloatsize       = 0;                    /* reinits on demand */
12144
12145     /* regex stuff */
12146
12147     PL_screamfirst      = NULL;
12148     PL_screamnext       = NULL;
12149     PL_maxscream        = -1;                   /* reinits on demand */
12150     PL_lastscream       = NULL;
12151
12152
12153     PL_regdummy         = proto_perl->Iregdummy;
12154     PL_colorset         = 0;            /* reinits PL_colors[] */
12155     /*PL_colors[6]      = {0,0,0,0,0,0};*/
12156
12157
12158
12159     /* Pluggable optimizer */
12160     PL_peepp            = proto_perl->Ipeepp;
12161
12162     PL_stashcache       = newHV();
12163
12164     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
12165                                             proto_perl->Iwatchaddr);
12166     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
12167     if (PL_debug && PL_watchaddr) {
12168         PerlIO_printf(Perl_debug_log,
12169           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
12170           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
12171           PTR2UV(PL_watchok));
12172     }
12173
12174     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
12175         ptr_table_free(PL_ptr_table);
12176         PL_ptr_table = NULL;
12177     }
12178
12179     /* Call the ->CLONE method, if it exists, for each of the stashes
12180        identified by sv_dup() above.
12181     */
12182     while(av_len(param->stashes) != -1) {
12183         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
12184         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
12185         if (cloner && GvCV(cloner)) {
12186             dSP;
12187             ENTER;
12188             SAVETMPS;
12189             PUSHMARK(SP);
12190             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
12191             PUTBACK;
12192             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
12193             FREETMPS;
12194             LEAVE;
12195         }
12196     }
12197
12198     SvREFCNT_dec(param->stashes);
12199
12200     /* orphaned? eg threads->new inside BEGIN or use */
12201     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
12202         SvREFCNT_inc_simple_void(PL_compcv);
12203         SAVEFREESV(PL_compcv);
12204     }
12205
12206     return my_perl;
12207 }
12208
12209 #endif /* USE_ITHREADS */
12210
12211 /*
12212 =head1 Unicode Support
12213
12214 =for apidoc sv_recode_to_utf8
12215
12216 The encoding is assumed to be an Encode object, on entry the PV
12217 of the sv is assumed to be octets in that encoding, and the sv
12218 will be converted into Unicode (and UTF-8).
12219
12220 If the sv already is UTF-8 (or if it is not POK), or if the encoding
12221 is not a reference, nothing is done to the sv.  If the encoding is not
12222 an C<Encode::XS> Encoding object, bad things will happen.
12223 (See F<lib/encoding.pm> and L<Encode>).
12224
12225 The PV of the sv is returned.
12226
12227 =cut */
12228
12229 char *
12230 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
12231 {
12232     dVAR;
12233
12234     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
12235
12236     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
12237         SV *uni;
12238         STRLEN len;
12239         const char *s;
12240         dSP;
12241         ENTER;
12242         SAVETMPS;
12243         save_re_context();
12244         PUSHMARK(sp);
12245         EXTEND(SP, 3);
12246         XPUSHs(encoding);
12247         XPUSHs(sv);
12248 /*
12249   NI-S 2002/07/09
12250   Passing sv_yes is wrong - it needs to be or'ed set of constants
12251   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
12252   remove converted chars from source.
12253
12254   Both will default the value - let them.
12255
12256         XPUSHs(&PL_sv_yes);
12257 */
12258         PUTBACK;
12259         call_method("decode", G_SCALAR);
12260         SPAGAIN;
12261         uni = POPs;
12262         PUTBACK;
12263         s = SvPV_const(uni, len);
12264         if (s != SvPVX_const(sv)) {
12265             SvGROW(sv, len + 1);
12266             Move(s, SvPVX(sv), len + 1, char);
12267             SvCUR_set(sv, len);
12268         }
12269         FREETMPS;
12270         LEAVE;
12271         SvUTF8_on(sv);
12272         return SvPVX(sv);
12273     }
12274     return SvPOKp(sv) ? SvPVX(sv) : NULL;
12275 }
12276
12277 /*
12278 =for apidoc sv_cat_decode
12279
12280 The encoding is assumed to be an Encode object, the PV of the ssv is
12281 assumed to be octets in that encoding and decoding the input starts
12282 from the position which (PV + *offset) pointed to.  The dsv will be
12283 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
12284 when the string tstr appears in decoding output or the input ends on
12285 the PV of the ssv. The value which the offset points will be modified
12286 to the last input position on the ssv.
12287
12288 Returns TRUE if the terminator was found, else returns FALSE.
12289
12290 =cut */
12291
12292 bool
12293 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
12294                    SV *ssv, int *offset, char *tstr, int tlen)
12295 {
12296     dVAR;
12297     bool ret = FALSE;
12298
12299     PERL_ARGS_ASSERT_SV_CAT_DECODE;
12300
12301     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
12302         SV *offsv;
12303         dSP;
12304         ENTER;
12305         SAVETMPS;
12306         save_re_context();
12307         PUSHMARK(sp);
12308         EXTEND(SP, 6);
12309         XPUSHs(encoding);
12310         XPUSHs(dsv);
12311         XPUSHs(ssv);
12312         offsv = newSViv(*offset);
12313         mXPUSHs(offsv);
12314         mXPUSHp(tstr, tlen);
12315         PUTBACK;
12316         call_method("cat_decode", G_SCALAR);
12317         SPAGAIN;
12318         ret = SvTRUE(TOPs);
12319         *offset = SvIV(offsv);
12320         PUTBACK;
12321         FREETMPS;
12322         LEAVE;
12323     }
12324     else
12325         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
12326     return ret;
12327
12328 }
12329
12330 /* ---------------------------------------------------------------------
12331  *
12332  * support functions for report_uninit()
12333  */
12334
12335 /* the maxiumum size of array or hash where we will scan looking
12336  * for the undefined element that triggered the warning */
12337
12338 #define FUV_MAX_SEARCH_SIZE 1000
12339
12340 /* Look for an entry in the hash whose value has the same SV as val;
12341  * If so, return a mortal copy of the key. */
12342
12343 STATIC SV*
12344 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
12345 {
12346     dVAR;
12347     register HE **array;
12348     I32 i;
12349
12350     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
12351
12352     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
12353                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
12354         return NULL;
12355
12356     array = HvARRAY(hv);
12357
12358     for (i=HvMAX(hv); i>0; i--) {
12359         register HE *entry;
12360         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
12361             if (HeVAL(entry) != val)
12362                 continue;
12363             if (    HeVAL(entry) == &PL_sv_undef ||
12364                     HeVAL(entry) == &PL_sv_placeholder)
12365                 continue;
12366             if (!HeKEY(entry))
12367                 return NULL;
12368             if (HeKLEN(entry) == HEf_SVKEY)
12369                 return sv_mortalcopy(HeKEY_sv(entry));
12370             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
12371         }
12372     }
12373     return NULL;
12374 }
12375
12376 /* Look for an entry in the array whose value has the same SV as val;
12377  * If so, return the index, otherwise return -1. */
12378
12379 STATIC I32
12380 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
12381 {
12382     dVAR;
12383
12384     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
12385
12386     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
12387                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
12388         return -1;
12389
12390     if (val != &PL_sv_undef) {
12391         SV ** const svp = AvARRAY(av);
12392         I32 i;
12393
12394         for (i=AvFILLp(av); i>=0; i--)
12395             if (svp[i] == val)
12396                 return i;
12397     }
12398     return -1;
12399 }
12400
12401 /* S_varname(): return the name of a variable, optionally with a subscript.
12402  * If gv is non-zero, use the name of that global, along with gvtype (one
12403  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
12404  * targ.  Depending on the value of the subscript_type flag, return:
12405  */
12406
12407 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
12408 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
12409 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
12410 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
12411
12412 STATIC SV*
12413 S_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
12414         const SV *const keyname, I32 aindex, int subscript_type)
12415 {
12416
12417     SV * const name = sv_newmortal();
12418     if (gv) {
12419         char buffer[2];
12420         buffer[0] = gvtype;
12421         buffer[1] = 0;
12422
12423         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
12424
12425         gv_fullname4(name, gv, buffer, 0);
12426
12427         if ((unsigned int)SvPVX(name)[1] <= 26) {
12428             buffer[0] = '^';
12429             buffer[1] = SvPVX(name)[1] + 'A' - 1;
12430
12431             /* Swap the 1 unprintable control character for the 2 byte pretty
12432                version - ie substr($name, 1, 1) = $buffer; */
12433             sv_insert(name, 1, 1, buffer, 2);
12434         }
12435     }
12436     else {
12437         CV * const cv = find_runcv(NULL);
12438         SV *sv;
12439         AV *av;
12440
12441         if (!cv || !CvPADLIST(cv))
12442             return NULL;
12443         av = MUTABLE_AV((*av_fetch(CvPADLIST(cv), 0, FALSE)));
12444         sv = *av_fetch(av, targ, FALSE);
12445         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
12446     }
12447
12448     if (subscript_type == FUV_SUBSCRIPT_HASH) {
12449         SV * const sv = newSV(0);
12450         *SvPVX(name) = '$';
12451         Perl_sv_catpvf(aTHX_ name, "{%s}",
12452             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
12453         SvREFCNT_dec(sv);
12454     }
12455     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
12456         *SvPVX(name) = '$';
12457         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
12458     }
12459     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
12460         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
12461         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
12462     }
12463
12464     return name;
12465 }
12466
12467
12468 /*
12469 =for apidoc find_uninit_var
12470
12471 Find the name of the undefined variable (if any) that caused the operator o
12472 to issue a "Use of uninitialized value" warning.
12473 If match is true, only return a name if it's value matches uninit_sv.
12474 So roughly speaking, if a unary operator (such as OP_COS) generates a
12475 warning, then following the direct child of the op may yield an
12476 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
12477 other hand, with OP_ADD there are two branches to follow, so we only print
12478 the variable name if we get an exact match.
12479
12480 The name is returned as a mortal SV.
12481
12482 Assumes that PL_op is the op that originally triggered the error, and that
12483 PL_comppad/PL_curpad points to the currently executing pad.
12484
12485 =cut
12486 */
12487
12488 STATIC SV *
12489 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
12490                   bool match)
12491 {
12492     dVAR;
12493     SV *sv;
12494     const GV *gv;
12495     const OP *o, *o2, *kid;
12496
12497     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
12498                             uninit_sv == &PL_sv_placeholder)))
12499         return NULL;
12500
12501     switch (obase->op_type) {
12502
12503     case OP_RV2AV:
12504     case OP_RV2HV:
12505     case OP_PADAV:
12506     case OP_PADHV:
12507       {
12508         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
12509         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
12510         I32 index = 0;
12511         SV *keysv = NULL;
12512         int subscript_type = FUV_SUBSCRIPT_WITHIN;
12513
12514         if (pad) { /* @lex, %lex */
12515             sv = PAD_SVl(obase->op_targ);
12516             gv = NULL;
12517         }
12518         else {
12519             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
12520             /* @global, %global */
12521                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
12522                 if (!gv)
12523                     break;
12524                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
12525             }
12526             else /* @{expr}, %{expr} */
12527                 return find_uninit_var(cUNOPx(obase)->op_first,
12528                                                     uninit_sv, match);
12529         }
12530
12531         /* attempt to find a match within the aggregate */
12532         if (hash) {
12533             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12534             if (keysv)
12535                 subscript_type = FUV_SUBSCRIPT_HASH;
12536         }
12537         else {
12538             index = find_array_subscript((const AV *)sv, uninit_sv);
12539             if (index >= 0)
12540                 subscript_type = FUV_SUBSCRIPT_ARRAY;
12541         }
12542
12543         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
12544             break;
12545
12546         return varname(gv, hash ? '%' : '@', obase->op_targ,
12547                                     keysv, index, subscript_type);
12548       }
12549
12550     case OP_PADSV:
12551         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
12552             break;
12553         return varname(NULL, '$', obase->op_targ,
12554                                     NULL, 0, FUV_SUBSCRIPT_NONE);
12555
12556     case OP_GVSV:
12557         gv = cGVOPx_gv(obase);
12558         if (!gv || (match && GvSV(gv) != uninit_sv))
12559             break;
12560         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
12561
12562     case OP_AELEMFAST:
12563         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
12564             if (match) {
12565                 SV **svp;
12566                 AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
12567                 if (!av || SvRMAGICAL(av))
12568                     break;
12569                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12570                 if (!svp || *svp != uninit_sv)
12571                     break;
12572             }
12573             return varname(NULL, '$', obase->op_targ,
12574                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12575         }
12576         else {
12577             gv = cGVOPx_gv(obase);
12578             if (!gv)
12579                 break;
12580             if (match) {
12581                 SV **svp;
12582                 AV *const av = GvAV(gv);
12583                 if (!av || SvRMAGICAL(av))
12584                     break;
12585                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12586                 if (!svp || *svp != uninit_sv)
12587                     break;
12588             }
12589             return varname(gv, '$', 0,
12590                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12591         }
12592         break;
12593
12594     case OP_EXISTS:
12595         o = cUNOPx(obase)->op_first;
12596         if (!o || o->op_type != OP_NULL ||
12597                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
12598             break;
12599         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
12600
12601     case OP_AELEM:
12602     case OP_HELEM:
12603         if (PL_op == obase)
12604             /* $a[uninit_expr] or $h{uninit_expr} */
12605             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
12606
12607         gv = NULL;
12608         o = cBINOPx(obase)->op_first;
12609         kid = cBINOPx(obase)->op_last;
12610
12611         /* get the av or hv, and optionally the gv */
12612         sv = NULL;
12613         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
12614             sv = PAD_SV(o->op_targ);
12615         }
12616         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
12617                 && cUNOPo->op_first->op_type == OP_GV)
12618         {
12619             gv = cGVOPx_gv(cUNOPo->op_first);
12620             if (!gv)
12621                 break;
12622             sv = o->op_type
12623                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
12624         }
12625         if (!sv)
12626             break;
12627
12628         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
12629             /* index is constant */
12630             if (match) {
12631                 if (SvMAGICAL(sv))
12632                     break;
12633                 if (obase->op_type == OP_HELEM) {
12634                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), cSVOPx_sv(kid), 0, 0);
12635                     if (!he || HeVAL(he) != uninit_sv)
12636                         break;
12637                 }
12638                 else {
12639                     SV * const * const svp = av_fetch(MUTABLE_AV(sv), SvIV(cSVOPx_sv(kid)), FALSE);
12640                     if (!svp || *svp != uninit_sv)
12641                         break;
12642                 }
12643             }
12644             if (obase->op_type == OP_HELEM)
12645                 return varname(gv, '%', o->op_targ,
12646                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
12647             else
12648                 return varname(gv, '@', o->op_targ, NULL,
12649                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
12650         }
12651         else  {
12652             /* index is an expression;
12653              * attempt to find a match within the aggregate */
12654             if (obase->op_type == OP_HELEM) {
12655                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12656                 if (keysv)
12657                     return varname(gv, '%', o->op_targ,
12658                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12659             }
12660             else {
12661                 const I32 index
12662                     = find_array_subscript((const AV *)sv, uninit_sv);
12663                 if (index >= 0)
12664                     return varname(gv, '@', o->op_targ,
12665                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12666             }
12667             if (match)
12668                 break;
12669             return varname(gv,
12670                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12671                 ? '@' : '%',
12672                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12673         }
12674         break;
12675
12676     case OP_AASSIGN:
12677         /* only examine RHS */
12678         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12679
12680     case OP_OPEN:
12681         o = cUNOPx(obase)->op_first;
12682         if (o->op_type == OP_PUSHMARK)
12683             o = o->op_sibling;
12684
12685         if (!o->op_sibling) {
12686             /* one-arg version of open is highly magical */
12687
12688             if (o->op_type == OP_GV) { /* open FOO; */
12689                 gv = cGVOPx_gv(o);
12690                 if (match && GvSV(gv) != uninit_sv)
12691                     break;
12692                 return varname(gv, '$', 0,
12693                             NULL, 0, FUV_SUBSCRIPT_NONE);
12694             }
12695             /* other possibilities not handled are:
12696              * open $x; or open my $x;  should return '${*$x}'
12697              * open expr;               should return '$'.expr ideally
12698              */
12699              break;
12700         }
12701         goto do_op;
12702
12703     /* ops where $_ may be an implicit arg */
12704     case OP_TRANS:
12705     case OP_SUBST:
12706     case OP_MATCH:
12707         if ( !(obase->op_flags & OPf_STACKED)) {
12708             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12709                                  ? PAD_SVl(obase->op_targ)
12710                                  : DEFSV))
12711             {
12712                 sv = sv_newmortal();
12713                 sv_setpvs(sv, "$_");
12714                 return sv;
12715             }
12716         }
12717         goto do_op;
12718
12719     case OP_PRTF:
12720     case OP_PRINT:
12721     case OP_SAY:
12722         match = 1; /* print etc can return undef on defined args */
12723         /* skip filehandle as it can't produce 'undef' warning  */
12724         o = cUNOPx(obase)->op_first;
12725         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
12726             o = o->op_sibling->op_sibling;
12727         goto do_op2;
12728
12729
12730     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
12731     case OP_RV2SV:
12732     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
12733
12734         /* the following ops are capable of returning PL_sv_undef even for
12735          * defined arg(s) */
12736
12737     case OP_BACKTICK:
12738     case OP_PIPE_OP:
12739     case OP_FILENO:
12740     case OP_BINMODE:
12741     case OP_TIED:
12742     case OP_GETC:
12743     case OP_SYSREAD:
12744     case OP_SEND:
12745     case OP_IOCTL:
12746     case OP_SOCKET:
12747     case OP_SOCKPAIR:
12748     case OP_BIND:
12749     case OP_CONNECT:
12750     case OP_LISTEN:
12751     case OP_ACCEPT:
12752     case OP_SHUTDOWN:
12753     case OP_SSOCKOPT:
12754     case OP_GETPEERNAME:
12755     case OP_FTRREAD:
12756     case OP_FTRWRITE:
12757     case OP_FTREXEC:
12758     case OP_FTROWNED:
12759     case OP_FTEREAD:
12760     case OP_FTEWRITE:
12761     case OP_FTEEXEC:
12762     case OP_FTEOWNED:
12763     case OP_FTIS:
12764     case OP_FTZERO:
12765     case OP_FTSIZE:
12766     case OP_FTFILE:
12767     case OP_FTDIR:
12768     case OP_FTLINK:
12769     case OP_FTPIPE:
12770     case OP_FTSOCK:
12771     case OP_FTBLK:
12772     case OP_FTCHR:
12773     case OP_FTTTY:
12774     case OP_FTSUID:
12775     case OP_FTSGID:
12776     case OP_FTSVTX:
12777     case OP_FTTEXT:
12778     case OP_FTBINARY:
12779     case OP_FTMTIME:
12780     case OP_FTATIME:
12781     case OP_FTCTIME:
12782     case OP_READLINK:
12783     case OP_OPEN_DIR:
12784     case OP_READDIR:
12785     case OP_TELLDIR:
12786     case OP_SEEKDIR:
12787     case OP_REWINDDIR:
12788     case OP_CLOSEDIR:
12789     case OP_GMTIME:
12790     case OP_ALARM:
12791     case OP_SEMGET:
12792     case OP_GETLOGIN:
12793     case OP_UNDEF:
12794     case OP_SUBSTR:
12795     case OP_AEACH:
12796     case OP_EACH:
12797     case OP_SORT:
12798     case OP_CALLER:
12799     case OP_DOFILE:
12800     case OP_PROTOTYPE:
12801     case OP_NCMP:
12802     case OP_SMARTMATCH:
12803     case OP_UNPACK:
12804     case OP_SYSOPEN:
12805     case OP_SYSSEEK:
12806         match = 1;
12807         goto do_op;
12808
12809     case OP_ENTERSUB:
12810     case OP_GOTO:
12811         /* XXX tmp hack: these two may call an XS sub, and currently
12812           XS subs don't have a SUB entry on the context stack, so CV and
12813           pad determination goes wrong, and BAD things happen. So, just
12814           don't try to determine the value under those circumstances.
12815           Need a better fix at dome point. DAPM 11/2007 */
12816         break;
12817
12818
12819     case OP_POS:
12820         /* def-ness of rval pos() is independent of the def-ness of its arg */
12821         if ( !(obase->op_flags & OPf_MOD))
12822             break;
12823
12824     case OP_SCHOMP:
12825     case OP_CHOMP:
12826         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
12827             return newSVpvs_flags("${$/}", SVs_TEMP);
12828         /*FALLTHROUGH*/
12829
12830     default:
12831     do_op:
12832         if (!(obase->op_flags & OPf_KIDS))
12833             break;
12834         o = cUNOPx(obase)->op_first;
12835         
12836     do_op2:
12837         if (!o)
12838             break;
12839
12840         /* if all except one arg are constant, or have no side-effects,
12841          * or are optimized away, then it's unambiguous */
12842         o2 = NULL;
12843         for (kid=o; kid; kid = kid->op_sibling) {
12844             if (kid) {
12845                 const OPCODE type = kid->op_type;
12846                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
12847                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
12848                   || (type == OP_PUSHMARK)
12849                 )
12850                 continue;
12851             }
12852             if (o2) { /* more than one found */
12853                 o2 = NULL;
12854                 break;
12855             }
12856             o2 = kid;
12857         }
12858         if (o2)
12859             return find_uninit_var(o2, uninit_sv, match);
12860
12861         /* scan all args */
12862         while (o) {
12863             sv = find_uninit_var(o, uninit_sv, 1);
12864             if (sv)
12865                 return sv;
12866             o = o->op_sibling;
12867         }
12868         break;
12869     }
12870     return NULL;
12871 }
12872
12873
12874 /*
12875 =for apidoc report_uninit
12876
12877 Print appropriate "Use of uninitialized variable" warning
12878
12879 =cut
12880 */
12881
12882 void
12883 Perl_report_uninit(pTHX_ const SV *uninit_sv)
12884 {
12885     dVAR;
12886     if (PL_op) {
12887         SV* varname = NULL;
12888         if (uninit_sv) {
12889             varname = find_uninit_var(PL_op, uninit_sv,0);
12890             if (varname)
12891                 sv_insert(varname, 0, 0, " ", 1);
12892         }
12893         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12894                 varname ? SvPV_nolen_const(varname) : "",
12895                 " in ", OP_DESC(PL_op));
12896     }
12897     else
12898         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12899                     "", "", "");
12900 }
12901
12902 /*
12903  * Local variables:
12904  * c-indentation-style: bsd
12905  * c-basic-offset: 4
12906  * indent-tabs-mode: t
12907  * End:
12908  *
12909  * ex: set ts=8 sts=4 sw=4 noet:
12910  */