[PATCH] perlcommunity.pod: add information about OSDC.fr
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34
35 #define FCALL *f
36
37 #ifdef __Lynx__
38 /* Missing proto on LynxOS */
39   char *gconvert(double, int, int,  char *);
40 #endif
41
42 #ifdef PERL_UTF8_CACHE_ASSERT
43 /* if adding more checks watch out for the following tests:
44  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
45  *   lib/utf8.t lib/Unicode/Collate/t/index.t
46  * --jhi
47  */
48 #   define ASSERT_UTF8_CACHE(cache) \
49     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
50                               assert((cache)[2] <= (cache)[3]); \
51                               assert((cache)[3] <= (cache)[1]);} \
52                               } STMT_END
53 #else
54 #   define ASSERT_UTF8_CACHE(cache) NOOP
55 #endif
56
57 #ifdef PERL_OLD_COPY_ON_WRITE
58 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
59 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
60 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
61    on-write.  */
62 #endif
63
64 /* ============================================================================
65
66 =head1 Allocation and deallocation of SVs.
67
68 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
69 sv, av, hv...) contains type and reference count information, and for
70 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
71 contains fields specific to each type.  Some types store all they need
72 in the head, so don't have a body.
73
74 In all but the most memory-paranoid configuations (ex: PURIFY), heads
75 and bodies are allocated out of arenas, which by default are
76 approximately 4K chunks of memory parcelled up into N heads or bodies.
77 Sv-bodies are allocated by their sv-type, guaranteeing size
78 consistency needed to allocate safely from arrays.
79
80 For SV-heads, the first slot in each arena is reserved, and holds a
81 link to the next arena, some flags, and a note of the number of slots.
82 Snaked through each arena chain is a linked list of free items; when
83 this becomes empty, an extra arena is allocated and divided up into N
84 items which are threaded into the free list.
85
86 SV-bodies are similar, but they use arena-sets by default, which
87 separate the link and info from the arena itself, and reclaim the 1st
88 slot in the arena.  SV-bodies are further described later.
89
90 The following global variables are associated with arenas:
91
92     PL_sv_arenaroot     pointer to list of SV arenas
93     PL_sv_root          pointer to list of free SV structures
94
95     PL_body_arenas      head of linked-list of body arenas
96     PL_body_roots[]     array of pointers to list of free bodies of svtype
97                         arrays are indexed by the svtype needed
98
99 A few special SV heads are not allocated from an arena, but are
100 instead directly created in the interpreter structure, eg PL_sv_undef.
101 The size of arenas can be changed from the default by setting
102 PERL_ARENA_SIZE appropriately at compile time.
103
104 The SV arena serves the secondary purpose of allowing still-live SVs
105 to be located and destroyed during final cleanup.
106
107 At the lowest level, the macros new_SV() and del_SV() grab and free
108 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
109 to return the SV to the free list with error checking.) new_SV() calls
110 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
111 SVs in the free list have their SvTYPE field set to all ones.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 The function visit() scans the SV arenas list, and calls a specified
118 function for each SV it finds which is still live - ie which has an SvTYPE
119 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
120 following functions (specified as [function that calls visit()] / [function
121 called by visit() for each SV]):
122
123     sv_report_used() / do_report_used()
124                         dump all remaining SVs (debugging aid)
125
126     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
127                         Attempt to free all objects pointed to by RVs,
128                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
129                         try to do the same for all objects indirectly
130                         referenced by typeglobs too.  Called once from
131                         perl_destruct(), prior to calling sv_clean_all()
132                         below.
133
134     sv_clean_all() / do_clean_all()
135                         SvREFCNT_dec(sv) each remaining SV, possibly
136                         triggering an sv_free(). It also sets the
137                         SVf_BREAK flag on the SV to indicate that the
138                         refcnt has been artificially lowered, and thus
139                         stopping sv_free() from giving spurious warnings
140                         about SVs which unexpectedly have a refcnt
141                         of zero.  called repeatedly from perl_destruct()
142                         until there are no SVs left.
143
144 =head2 Arena allocator API Summary
145
146 Private API to rest of sv.c
147
148     new_SV(),  del_SV(),
149
150     new_XIV(), del_XIV(),
151     new_XNV(), del_XNV(),
152     etc
153
154 Public API:
155
156     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
157
158 =cut
159
160  * ========================================================================= */
161
162 /*
163  * "A time to plant, and a time to uproot what was planted..."
164  */
165
166 void
167 Perl_offer_nice_chunk(pTHX_ void *const chunk, const U32 chunk_size)
168 {
169     dVAR;
170     void *new_chunk;
171     U32 new_chunk_size;
172
173     PERL_ARGS_ASSERT_OFFER_NICE_CHUNK;
174
175     new_chunk = (void *)(chunk);
176     new_chunk_size = (chunk_size);
177     if (new_chunk_size > PL_nice_chunk_size) {
178         Safefree(PL_nice_chunk);
179         PL_nice_chunk = (char *) new_chunk;
180         PL_nice_chunk_size = new_chunk_size;
181     } else {
182         Safefree(chunk);
183     }
184 }
185
186 #ifdef PERL_MEM_LOG
187 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
188             Perl_mem_log_new_sv(sv, file, line, func)
189 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
190             Perl_mem_log_del_sv(sv, file, line, func)
191 #else
192 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
193 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
194 #endif
195
196 #ifdef DEBUG_LEAKING_SCALARS
197 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
198 #  define DEBUG_SV_SERIAL(sv)                                               \
199     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
200             PTR2UV(sv), (long)(sv)->sv_debug_serial))
201 #else
202 #  define FREE_SV_DEBUG_FILE(sv)
203 #  define DEBUG_SV_SERIAL(sv)   NOOP
204 #endif
205
206 #ifdef PERL_POISON
207 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
208 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
209 /* Whilst I'd love to do this, it seems that things like to check on
210    unreferenced scalars
211 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
212 */
213 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
214                                 PoisonNew(&SvREFCNT(sv), 1, U32)
215 #else
216 #  define SvARENA_CHAIN(sv)     SvANY(sv)
217 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
218 #  define POSION_SV_HEAD(sv)
219 #endif
220
221 /* Mark an SV head as unused, and add to free list.
222  *
223  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
224  * its refcount artificially decremented during global destruction, so
225  * there may be dangling pointers to it. The last thing we want in that
226  * case is for it to be reused. */
227
228 #define plant_SV(p) \
229     STMT_START {                                        \
230         const U32 old_flags = SvFLAGS(p);                       \
231         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
232         DEBUG_SV_SERIAL(p);                             \
233         FREE_SV_DEBUG_FILE(p);                          \
234         POSION_SV_HEAD(p);                              \
235         SvFLAGS(p) = SVTYPEMASK;                        \
236         if (!(old_flags & SVf_BREAK)) {         \
237             SvARENA_CHAIN_SET(p, PL_sv_root);   \
238             PL_sv_root = (p);                           \
239         }                                               \
240         --PL_sv_count;                                  \
241     } STMT_END
242
243 #define uproot_SV(p) \
244     STMT_START {                                        \
245         (p) = PL_sv_root;                               \
246         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
247         ++PL_sv_count;                                  \
248     } STMT_END
249
250
251 /* make some more SVs by adding another arena */
252
253 STATIC SV*
254 S_more_sv(pTHX)
255 {
256     dVAR;
257     SV* sv;
258
259     if (PL_nice_chunk) {
260         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
261         PL_nice_chunk = NULL;
262         PL_nice_chunk_size = 0;
263     }
264     else {
265         char *chunk;                /* must use New here to match call to */
266         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
267         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
268     }
269     uproot_SV(sv);
270     return sv;
271 }
272
273 /* new_SV(): return a new, empty SV head */
274
275 #ifdef DEBUG_LEAKING_SCALARS
276 /* provide a real function for a debugger to play with */
277 STATIC SV*
278 S_new_SV(pTHX_ const char *file, int line, const char *func)
279 {
280     SV* sv;
281
282     if (PL_sv_root)
283         uproot_SV(sv);
284     else
285         sv = S_more_sv(aTHX);
286     SvANY(sv) = 0;
287     SvREFCNT(sv) = 1;
288     SvFLAGS(sv) = 0;
289     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
290     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
291                 ? PL_parser->copline
292                 :  PL_curcop
293                     ? CopLINE(PL_curcop)
294                     : 0
295             );
296     sv->sv_debug_inpad = 0;
297     sv->sv_debug_cloned = 0;
298     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
299
300     sv->sv_debug_serial = PL_sv_serial++;
301
302     MEM_LOG_NEW_SV(sv, file, line, func);
303     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
304             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
305
306     return sv;
307 }
308 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
309
310 #else
311 #  define new_SV(p) \
312     STMT_START {                                        \
313         if (PL_sv_root)                                 \
314             uproot_SV(p);                               \
315         else                                            \
316             (p) = S_more_sv(aTHX);                      \
317         SvANY(p) = 0;                                   \
318         SvREFCNT(p) = 1;                                \
319         SvFLAGS(p) = 0;                                 \
320         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
321     } STMT_END
322 #endif
323
324
325 /* del_SV(): return an empty SV head to the free list */
326
327 #ifdef DEBUGGING
328
329 #define del_SV(p) \
330     STMT_START {                                        \
331         if (DEBUG_D_TEST)                               \
332             del_sv(p);                                  \
333         else                                            \
334             plant_SV(p);                                \
335     } STMT_END
336
337 STATIC void
338 S_del_sv(pTHX_ SV *p)
339 {
340     dVAR;
341
342     PERL_ARGS_ASSERT_DEL_SV;
343
344     if (DEBUG_D_TEST) {
345         SV* sva;
346         bool ok = 0;
347         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
348             const SV * const sv = sva + 1;
349             const SV * const svend = &sva[SvREFCNT(sva)];
350             if (p >= sv && p < svend) {
351                 ok = 1;
352                 break;
353             }
354         }
355         if (!ok) {
356             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
357                              "Attempt to free non-arena SV: 0x%"UVxf
358                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
359             return;
360         }
361     }
362     plant_SV(p);
363 }
364
365 #else /* ! DEBUGGING */
366
367 #define del_SV(p)   plant_SV(p)
368
369 #endif /* DEBUGGING */
370
371
372 /*
373 =head1 SV Manipulation Functions
374
375 =for apidoc sv_add_arena
376
377 Given a chunk of memory, link it to the head of the list of arenas,
378 and split it into a list of free SVs.
379
380 =cut
381 */
382
383 static void
384 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
385 {
386     dVAR;
387     SV *const sva = MUTABLE_SV(ptr);
388     register SV* sv;
389     register SV* svend;
390
391     PERL_ARGS_ASSERT_SV_ADD_ARENA;
392
393     /* The first SV in an arena isn't an SV. */
394     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
395     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
396     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
397
398     PL_sv_arenaroot = sva;
399     PL_sv_root = sva + 1;
400
401     svend = &sva[SvREFCNT(sva) - 1];
402     sv = sva + 1;
403     while (sv < svend) {
404         SvARENA_CHAIN_SET(sv, (sv + 1));
405 #ifdef DEBUGGING
406         SvREFCNT(sv) = 0;
407 #endif
408         /* Must always set typemask because it's always checked in on cleanup
409            when the arenas are walked looking for objects.  */
410         SvFLAGS(sv) = SVTYPEMASK;
411         sv++;
412     }
413     SvARENA_CHAIN_SET(sv, 0);
414 #ifdef DEBUGGING
415     SvREFCNT(sv) = 0;
416 #endif
417     SvFLAGS(sv) = SVTYPEMASK;
418 }
419
420 /* visit(): call the named function for each non-free SV in the arenas
421  * whose flags field matches the flags/mask args. */
422
423 STATIC I32
424 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
425 {
426     dVAR;
427     SV* sva;
428     I32 visited = 0;
429
430     PERL_ARGS_ASSERT_VISIT;
431
432     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
433         register const SV * const svend = &sva[SvREFCNT(sva)];
434         register SV* sv;
435         for (sv = sva + 1; sv < svend; ++sv) {
436             if (SvTYPE(sv) != SVTYPEMASK
437                     && (sv->sv_flags & mask) == flags
438                     && SvREFCNT(sv))
439             {
440                 (FCALL)(aTHX_ sv);
441                 ++visited;
442             }
443         }
444     }
445     return visited;
446 }
447
448 #ifdef DEBUGGING
449
450 /* called by sv_report_used() for each live SV */
451
452 static void
453 do_report_used(pTHX_ SV *const sv)
454 {
455     if (SvTYPE(sv) != SVTYPEMASK) {
456         PerlIO_printf(Perl_debug_log, "****\n");
457         sv_dump(sv);
458     }
459 }
460 #endif
461
462 /*
463 =for apidoc sv_report_used
464
465 Dump the contents of all SVs not yet freed. (Debugging aid).
466
467 =cut
468 */
469
470 void
471 Perl_sv_report_used(pTHX)
472 {
473 #ifdef DEBUGGING
474     visit(do_report_used, 0, 0);
475 #else
476     PERL_UNUSED_CONTEXT;
477 #endif
478 }
479
480 /* called by sv_clean_objs() for each live SV */
481
482 static void
483 do_clean_objs(pTHX_ SV *const ref)
484 {
485     dVAR;
486     assert (SvROK(ref));
487     {
488         SV * const target = SvRV(ref);
489         if (SvOBJECT(target)) {
490             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
491             if (SvWEAKREF(ref)) {
492                 sv_del_backref(target, ref);
493                 SvWEAKREF_off(ref);
494                 SvRV_set(ref, NULL);
495             } else {
496                 SvROK_off(ref);
497                 SvRV_set(ref, NULL);
498                 SvREFCNT_dec(target);
499             }
500         }
501     }
502
503     /* XXX Might want to check arrays, etc. */
504 }
505
506 /* called by sv_clean_objs() for each live SV */
507
508 #ifndef DISABLE_DESTRUCTOR_KLUDGE
509 static void
510 do_clean_named_objs(pTHX_ SV *const sv)
511 {
512     dVAR;
513     assert(SvTYPE(sv) == SVt_PVGV);
514     assert(isGV_with_GP(sv));
515     if (GvGP(sv)) {
516         if ((
517 #ifdef PERL_DONT_CREATE_GVSV
518              GvSV(sv) &&
519 #endif
520              SvOBJECT(GvSV(sv))) ||
521              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
522              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
523              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
524              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
525              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
526         {
527             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
528             SvFLAGS(sv) |= SVf_BREAK;
529             SvREFCNT_dec(sv);
530         }
531     }
532 }
533 #endif
534
535 /*
536 =for apidoc sv_clean_objs
537
538 Attempt to destroy all objects not yet freed
539
540 =cut
541 */
542
543 void
544 Perl_sv_clean_objs(pTHX)
545 {
546     dVAR;
547     PL_in_clean_objs = TRUE;
548     visit(do_clean_objs, SVf_ROK, SVf_ROK);
549 #ifndef DISABLE_DESTRUCTOR_KLUDGE
550     /* some barnacles may yet remain, clinging to typeglobs */
551     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
552 #endif
553     PL_in_clean_objs = FALSE;
554 }
555
556 /* called by sv_clean_all() for each live SV */
557
558 static void
559 do_clean_all(pTHX_ SV *const sv)
560 {
561     dVAR;
562     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
563         /* don't clean pid table and strtab */
564         return;
565     }
566     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
567     SvFLAGS(sv) |= SVf_BREAK;
568     SvREFCNT_dec(sv);
569 }
570
571 /*
572 =for apidoc sv_clean_all
573
574 Decrement the refcnt of each remaining SV, possibly triggering a
575 cleanup. This function may have to be called multiple times to free
576 SVs which are in complex self-referential hierarchies.
577
578 =cut
579 */
580
581 I32
582 Perl_sv_clean_all(pTHX)
583 {
584     dVAR;
585     I32 cleaned;
586     PL_in_clean_all = TRUE;
587     cleaned = visit(do_clean_all, 0,0);
588     PL_in_clean_all = FALSE;
589     return cleaned;
590 }
591
592 /*
593   ARENASETS: a meta-arena implementation which separates arena-info
594   into struct arena_set, which contains an array of struct
595   arena_descs, each holding info for a single arena.  By separating
596   the meta-info from the arena, we recover the 1st slot, formerly
597   borrowed for list management.  The arena_set is about the size of an
598   arena, avoiding the needless malloc overhead of a naive linked-list.
599
600   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
601   memory in the last arena-set (1/2 on average).  In trade, we get
602   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
603   smaller types).  The recovery of the wasted space allows use of
604   small arenas for large, rare body types, by changing array* fields
605   in body_details_by_type[] below.
606 */
607 struct arena_desc {
608     char       *arena;          /* the raw storage, allocated aligned */
609     size_t      size;           /* its size ~4k typ */
610     U32         misc;           /* type, and in future other things. */
611 };
612
613 struct arena_set;
614
615 /* Get the maximum number of elements in set[] such that struct arena_set
616    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
617    therefore likely to be 1 aligned memory page.  */
618
619 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
620                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
621
622 struct arena_set {
623     struct arena_set* next;
624     unsigned int   set_size;    /* ie ARENAS_PER_SET */
625     unsigned int   curr;        /* index of next available arena-desc */
626     struct arena_desc set[ARENAS_PER_SET];
627 };
628
629 /*
630 =for apidoc sv_free_arenas
631
632 Deallocate the memory used by all arenas. Note that all the individual SV
633 heads and bodies within the arenas must already have been freed.
634
635 =cut
636 */
637 void
638 Perl_sv_free_arenas(pTHX)
639 {
640     dVAR;
641     SV* sva;
642     SV* svanext;
643     unsigned int i;
644
645     /* Free arenas here, but be careful about fake ones.  (We assume
646        contiguity of the fake ones with the corresponding real ones.) */
647
648     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
649         svanext = MUTABLE_SV(SvANY(sva));
650         while (svanext && SvFAKE(svanext))
651             svanext = MUTABLE_SV(SvANY(svanext));
652
653         if (!SvFAKE(sva))
654             Safefree(sva);
655     }
656
657     {
658         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
659
660         while (aroot) {
661             struct arena_set *current = aroot;
662             i = aroot->curr;
663             while (i--) {
664                 assert(aroot->set[i].arena);
665                 Safefree(aroot->set[i].arena);
666             }
667             aroot = aroot->next;
668             Safefree(current);
669         }
670     }
671     PL_body_arenas = 0;
672
673     i = PERL_ARENA_ROOTS_SIZE;
674     while (i--)
675         PL_body_roots[i] = 0;
676
677     Safefree(PL_nice_chunk);
678     PL_nice_chunk = NULL;
679     PL_nice_chunk_size = 0;
680     PL_sv_arenaroot = 0;
681     PL_sv_root = 0;
682 }
683
684 /*
685   Here are mid-level routines that manage the allocation of bodies out
686   of the various arenas.  There are 5 kinds of arenas:
687
688   1. SV-head arenas, which are discussed and handled above
689   2. regular body arenas
690   3. arenas for reduced-size bodies
691   4. Hash-Entry arenas
692   5. pte arenas (thread related)
693
694   Arena types 2 & 3 are chained by body-type off an array of
695   arena-root pointers, which is indexed by svtype.  Some of the
696   larger/less used body types are malloced singly, since a large
697   unused block of them is wasteful.  Also, several svtypes dont have
698   bodies; the data fits into the sv-head itself.  The arena-root
699   pointer thus has a few unused root-pointers (which may be hijacked
700   later for arena types 4,5)
701
702   3 differs from 2 as an optimization; some body types have several
703   unused fields in the front of the structure (which are kept in-place
704   for consistency).  These bodies can be allocated in smaller chunks,
705   because the leading fields arent accessed.  Pointers to such bodies
706   are decremented to point at the unused 'ghost' memory, knowing that
707   the pointers are used with offsets to the real memory.
708
709   HE, HEK arenas are managed separately, with separate code, but may
710   be merge-able later..
711
712   PTE arenas are not sv-bodies, but they share these mid-level
713   mechanics, so are considered here.  The new mid-level mechanics rely
714   on the sv_type of the body being allocated, so we just reserve one
715   of the unused body-slots for PTEs, then use it in those (2) PTE
716   contexts below (line ~10k)
717 */
718
719 /* get_arena(size): this creates custom-sized arenas
720    TBD: export properly for hv.c: S_more_he().
721 */
722 void*
723 Perl_get_arena(pTHX_ const size_t arena_size, const U32 misc)
724 {
725     dVAR;
726     struct arena_desc* adesc;
727     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
728     unsigned int curr;
729
730     /* shouldnt need this
731     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
732     */
733
734     /* may need new arena-set to hold new arena */
735     if (!aroot || aroot->curr >= aroot->set_size) {
736         struct arena_set *newroot;
737         Newxz(newroot, 1, struct arena_set);
738         newroot->set_size = ARENAS_PER_SET;
739         newroot->next = aroot;
740         aroot = newroot;
741         PL_body_arenas = (void *) newroot;
742         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
743     }
744
745     /* ok, now have arena-set with at least 1 empty/available arena-desc */
746     curr = aroot->curr++;
747     adesc = &(aroot->set[curr]);
748     assert(!adesc->arena);
749     
750     Newx(adesc->arena, arena_size, char);
751     adesc->size = arena_size;
752     adesc->misc = misc;
753     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
754                           curr, (void*)adesc->arena, (UV)arena_size));
755
756     return adesc->arena;
757 }
758
759
760 /* return a thing to the free list */
761
762 #define del_body(thing, root)                   \
763     STMT_START {                                \
764         void ** const thing_copy = (void **)thing;\
765         *thing_copy = *root;                    \
766         *root = (void*)thing_copy;              \
767     } STMT_END
768
769 /* 
770
771 =head1 SV-Body Allocation
772
773 Allocation of SV-bodies is similar to SV-heads, differing as follows;
774 the allocation mechanism is used for many body types, so is somewhat
775 more complicated, it uses arena-sets, and has no need for still-live
776 SV detection.
777
778 At the outermost level, (new|del)_X*V macros return bodies of the
779 appropriate type.  These macros call either (new|del)_body_type or
780 (new|del)_body_allocated macro pairs, depending on specifics of the
781 type.  Most body types use the former pair, the latter pair is used to
782 allocate body types with "ghost fields".
783
784 "ghost fields" are fields that are unused in certain types, and
785 consequently don't need to actually exist.  They are declared because
786 they're part of a "base type", which allows use of functions as
787 methods.  The simplest examples are AVs and HVs, 2 aggregate types
788 which don't use the fields which support SCALAR semantics.
789
790 For these types, the arenas are carved up into appropriately sized
791 chunks, we thus avoid wasted memory for those unaccessed members.
792 When bodies are allocated, we adjust the pointer back in memory by the
793 size of the part not allocated, so it's as if we allocated the full
794 structure.  (But things will all go boom if you write to the part that
795 is "not there", because you'll be overwriting the last members of the
796 preceding structure in memory.)
797
798 We calculate the correction using the STRUCT_OFFSET macro on the first
799 member present. If the allocated structure is smaller (no initial NV
800 actually allocated) then the net effect is to subtract the size of the NV
801 from the pointer, to return a new pointer as if an initial NV were actually
802 allocated. (We were using structures named *_allocated for this, but
803 this turned out to be a subtle bug, because a structure without an NV
804 could have a lower alignment constraint, but the compiler is allowed to
805 optimised accesses based on the alignment constraint of the actual pointer
806 to the full structure, for example, using a single 64 bit load instruction
807 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
808
809 This is the same trick as was used for NV and IV bodies. Ironically it
810 doesn't need to be used for NV bodies any more, because NV is now at
811 the start of the structure. IV bodies don't need it either, because
812 they are no longer allocated.
813
814 In turn, the new_body_* allocators call S_new_body(), which invokes
815 new_body_inline macro, which takes a lock, and takes a body off the
816 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
817 necessary to refresh an empty list.  Then the lock is released, and
818 the body is returned.
819
820 S_more_bodies calls get_arena(), and carves it up into an array of N
821 bodies, which it strings into a linked list.  It looks up arena-size
822 and body-size from the body_details table described below, thus
823 supporting the multiple body-types.
824
825 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
826 the (new|del)_X*V macros are mapped directly to malloc/free.
827
828 */
829
830 /* 
831
832 For each sv-type, struct body_details bodies_by_type[] carries
833 parameters which control these aspects of SV handling:
834
835 Arena_size determines whether arenas are used for this body type, and if
836 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
837 zero, forcing individual mallocs and frees.
838
839 Body_size determines how big a body is, and therefore how many fit into
840 each arena.  Offset carries the body-pointer adjustment needed for
841 "ghost fields", and is used in *_allocated macros.
842
843 But its main purpose is to parameterize info needed in
844 Perl_sv_upgrade().  The info here dramatically simplifies the function
845 vs the implementation in 5.8.8, making it table-driven.  All fields
846 are used for this, except for arena_size.
847
848 For the sv-types that have no bodies, arenas are not used, so those
849 PL_body_roots[sv_type] are unused, and can be overloaded.  In
850 something of a special case, SVt_NULL is borrowed for HE arenas;
851 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
852 bodies_by_type[SVt_NULL] slot is not used, as the table is not
853 available in hv.c.
854
855 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
856 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
857 just use the same allocation semantics.  At first, PTEs were also
858 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
859 bugs, so was simplified by claiming a new slot.  This choice has no
860 consequence at this time.
861
862 */
863
864 struct body_details {
865     U8 body_size;       /* Size to allocate  */
866     U8 copy;            /* Size of structure to copy (may be shorter)  */
867     U8 offset;
868     unsigned int type : 4;          /* We have space for a sanity check.  */
869     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
870     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
871     unsigned int arena : 1;         /* Allocated from an arena */
872     size_t arena_size;              /* Size of arena to allocate */
873 };
874
875 #define HADNV FALSE
876 #define NONV TRUE
877
878
879 #ifdef PURIFY
880 /* With -DPURFIY we allocate everything directly, and don't use arenas.
881    This seems a rather elegant way to simplify some of the code below.  */
882 #define HASARENA FALSE
883 #else
884 #define HASARENA TRUE
885 #endif
886 #define NOARENA FALSE
887
888 /* Size the arenas to exactly fit a given number of bodies.  A count
889    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
890    simplifying the default.  If count > 0, the arena is sized to fit
891    only that many bodies, allowing arenas to be used for large, rare
892    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
893    limited by PERL_ARENA_SIZE, so we can safely oversize the
894    declarations.
895  */
896 #define FIT_ARENA0(body_size)                           \
897     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
898 #define FIT_ARENAn(count,body_size)                     \
899     ( count * body_size <= PERL_ARENA_SIZE)             \
900     ? count * body_size                                 \
901     : FIT_ARENA0 (body_size)
902 #define FIT_ARENA(count,body_size)                      \
903     count                                               \
904     ? FIT_ARENAn (count, body_size)                     \
905     : FIT_ARENA0 (body_size)
906
907 /* Calculate the length to copy. Specifically work out the length less any
908    final padding the compiler needed to add.  See the comment in sv_upgrade
909    for why copying the padding proved to be a bug.  */
910
911 #define copy_length(type, last_member) \
912         STRUCT_OFFSET(type, last_member) \
913         + sizeof (((type*)SvANY((const SV *)0))->last_member)
914
915 static const struct body_details bodies_by_type[] = {
916     { sizeof(HE), 0, 0, SVt_NULL,
917       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
918
919     /* The bind placeholder pretends to be an RV for now.
920        Also it's marked as "can't upgrade" to stop anyone using it before it's
921        implemented.  */
922     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
923
924     /* IVs are in the head, so the allocation size is 0.
925        However, the slot is overloaded for PTEs.  */
926     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
927       sizeof(IV), /* This is used to copy out the IV body.  */
928       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
929       NOARENA /* IVS don't need an arena  */,
930       /* But PTEs need to know the size of their arena  */
931       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
932     },
933
934     /* 8 bytes on most ILP32 with IEEE doubles */
935     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
936       FIT_ARENA(0, sizeof(NV)) },
937
938     /* 8 bytes on most ILP32 with IEEE doubles */
939     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
940       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
941       + STRUCT_OFFSET(XPV, xpv_cur),
942       SVt_PV, FALSE, NONV, HASARENA,
943       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
944
945     /* 12 */
946     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
947       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
948       + STRUCT_OFFSET(XPVIV, xpv_cur),
949       SVt_PVIV, FALSE, NONV, HASARENA,
950       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
951
952     /* 20 */
953     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
954       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
955
956     /* 28 */
957     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
958       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
959
960     /* something big */
961     { sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
962       sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
963       + STRUCT_OFFSET(regexp, xpv_cur),
964       SVt_REGEXP, FALSE, NONV, HASARENA,
965       FIT_ARENA(0, sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur))
966     },
967
968     /* 48 */
969     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
970       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
971     
972     /* 64 */
973     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
974       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
975
976     { sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill),
977       copy_length(XPVAV, xmg_stash) - STRUCT_OFFSET(XPVAV, xav_fill),
978       + STRUCT_OFFSET(XPVAV, xav_fill),
979       SVt_PVAV, TRUE, NONV, HASARENA,
980       FIT_ARENA(0, sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill)) },
981
982     { sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill),
983       copy_length(XPVHV, xmg_stash) - STRUCT_OFFSET(XPVHV, xhv_fill),
984       + STRUCT_OFFSET(XPVHV, xhv_fill),
985       SVt_PVHV, TRUE, NONV, HASARENA,
986       FIT_ARENA(0, sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill)) },
987
988     /* 56 */
989     { sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
990       sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
991       + STRUCT_OFFSET(XPVCV, xpv_cur),
992       SVt_PVCV, TRUE, NONV, HASARENA,
993       FIT_ARENA(0, sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur)) },
994
995     { sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
996       sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
997       + STRUCT_OFFSET(XPVFM, xpv_cur),
998       SVt_PVFM, TRUE, NONV, NOARENA,
999       FIT_ARENA(20, sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur)) },
1000
1001     /* XPVIO is 84 bytes, fits 48x */
1002     { sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1003       sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1004       + STRUCT_OFFSET(XPVIO, xpv_cur),
1005       SVt_PVIO, TRUE, NONV, HASARENA,
1006       FIT_ARENA(24, sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur)) },
1007 };
1008
1009 #define new_body_type(sv_type)          \
1010     (void *)((char *)S_new_body(aTHX_ sv_type))
1011
1012 #define del_body_type(p, sv_type)       \
1013     del_body(p, &PL_body_roots[sv_type])
1014
1015
1016 #define new_body_allocated(sv_type)             \
1017     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1018              - bodies_by_type[sv_type].offset)
1019
1020 #define del_body_allocated(p, sv_type)          \
1021     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
1022
1023
1024 #define my_safemalloc(s)        (void*)safemalloc(s)
1025 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
1026 #define my_safefree(p)  safefree((char*)p)
1027
1028 #ifdef PURIFY
1029
1030 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
1031 #define del_XNV(p)      my_safefree(p)
1032
1033 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
1034 #define del_XPVNV(p)    my_safefree(p)
1035
1036 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
1037 #define del_XPVAV(p)    my_safefree(p)
1038
1039 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
1040 #define del_XPVHV(p)    my_safefree(p)
1041
1042 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
1043 #define del_XPVMG(p)    my_safefree(p)
1044
1045 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
1046 #define del_XPVGV(p)    my_safefree(p)
1047
1048 #else /* !PURIFY */
1049
1050 #define new_XNV()       new_body_type(SVt_NV)
1051 #define del_XNV(p)      del_body_type(p, SVt_NV)
1052
1053 #define new_XPVNV()     new_body_type(SVt_PVNV)
1054 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1055
1056 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1057 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1058
1059 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1060 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1061
1062 #define new_XPVMG()     new_body_type(SVt_PVMG)
1063 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1064
1065 #define new_XPVGV()     new_body_type(SVt_PVGV)
1066 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1067
1068 #endif /* PURIFY */
1069
1070 /* no arena for you! */
1071
1072 #define new_NOARENA(details) \
1073         my_safemalloc((details)->body_size + (details)->offset)
1074 #define new_NOARENAZ(details) \
1075         my_safecalloc((details)->body_size + (details)->offset)
1076
1077 STATIC void *
1078 S_more_bodies (pTHX_ const svtype sv_type)
1079 {
1080     dVAR;
1081     void ** const root = &PL_body_roots[sv_type];
1082     const struct body_details * const bdp = &bodies_by_type[sv_type];
1083     const size_t body_size = bdp->body_size;
1084     char *start;
1085     const char *end;
1086     const size_t arena_size = Perl_malloc_good_size(bdp->arena_size);
1087 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1088     static bool done_sanity_check;
1089
1090     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1091      * variables like done_sanity_check. */
1092     if (!done_sanity_check) {
1093         unsigned int i = SVt_LAST;
1094
1095         done_sanity_check = TRUE;
1096
1097         while (i--)
1098             assert (bodies_by_type[i].type == i);
1099     }
1100 #endif
1101
1102     assert(bdp->arena_size);
1103
1104     start = (char*) Perl_get_arena(aTHX_ arena_size, sv_type);
1105
1106     end = start + arena_size - 2 * body_size;
1107
1108     /* computed count doesnt reflect the 1st slot reservation */
1109 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1110     DEBUG_m(PerlIO_printf(Perl_debug_log,
1111                           "arena %p end %p arena-size %d (from %d) type %d "
1112                           "size %d ct %d\n",
1113                           (void*)start, (void*)end, (int)arena_size,
1114                           (int)bdp->arena_size, sv_type, (int)body_size,
1115                           (int)arena_size / (int)body_size));
1116 #else
1117     DEBUG_m(PerlIO_printf(Perl_debug_log,
1118                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1119                           (void*)start, (void*)end,
1120                           (int)bdp->arena_size, sv_type, (int)body_size,
1121                           (int)bdp->arena_size / (int)body_size));
1122 #endif
1123     *root = (void *)start;
1124
1125     while (start <= end) {
1126         char * const next = start + body_size;
1127         *(void**) start = (void *)next;
1128         start = next;
1129     }
1130     *(void **)start = 0;
1131
1132     return *root;
1133 }
1134
1135 /* grab a new thing from the free list, allocating more if necessary.
1136    The inline version is used for speed in hot routines, and the
1137    function using it serves the rest (unless PURIFY).
1138 */
1139 #define new_body_inline(xpv, sv_type) \
1140     STMT_START { \
1141         void ** const r3wt = &PL_body_roots[sv_type]; \
1142         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1143           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1144         *(r3wt) = *(void**)(xpv); \
1145     } STMT_END
1146
1147 #ifndef PURIFY
1148
1149 STATIC void *
1150 S_new_body(pTHX_ const svtype sv_type)
1151 {
1152     dVAR;
1153     void *xpv;
1154     new_body_inline(xpv, sv_type);
1155     return xpv;
1156 }
1157
1158 #endif
1159
1160 static const struct body_details fake_rv =
1161     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1162
1163 /*
1164 =for apidoc sv_upgrade
1165
1166 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1167 SV, then copies across as much information as possible from the old body.
1168 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1169
1170 =cut
1171 */
1172
1173 void
1174 Perl_sv_upgrade(pTHX_ register SV *const sv, svtype new_type)
1175 {
1176     dVAR;
1177     void*       old_body;
1178     void*       new_body;
1179     const svtype old_type = SvTYPE(sv);
1180     const struct body_details *new_type_details;
1181     const struct body_details *old_type_details
1182         = bodies_by_type + old_type;
1183     SV *referant = NULL;
1184
1185     PERL_ARGS_ASSERT_SV_UPGRADE;
1186
1187     if (old_type == new_type)
1188         return;
1189
1190     /* This clause was purposefully added ahead of the early return above to
1191        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1192        inference by Nick I-S that it would fix other troublesome cases. See
1193        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1194
1195        Given that shared hash key scalars are no longer PVIV, but PV, there is
1196        no longer need to unshare so as to free up the IVX slot for its proper
1197        purpose. So it's safe to move the early return earlier.  */
1198
1199     if (new_type != SVt_PV && SvIsCOW(sv)) {
1200         sv_force_normal_flags(sv, 0);
1201     }
1202
1203     old_body = SvANY(sv);
1204
1205     /* Copying structures onto other structures that have been neatly zeroed
1206        has a subtle gotcha. Consider XPVMG
1207
1208        +------+------+------+------+------+-------+-------+
1209        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1210        +------+------+------+------+------+-------+-------+
1211        0      4      8     12     16     20      24      28
1212
1213        where NVs are aligned to 8 bytes, so that sizeof that structure is
1214        actually 32 bytes long, with 4 bytes of padding at the end:
1215
1216        +------+------+------+------+------+-------+-------+------+
1217        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1218        +------+------+------+------+------+-------+-------+------+
1219        0      4      8     12     16     20      24      28     32
1220
1221        so what happens if you allocate memory for this structure:
1222
1223        +------+------+------+------+------+-------+-------+------+------+...
1224        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1225        +------+------+------+------+------+-------+-------+------+------+...
1226        0      4      8     12     16     20      24      28     32     36
1227
1228        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1229        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1230        started out as zero once, but it's quite possible that it isn't. So now,
1231        rather than a nicely zeroed GP, you have it pointing somewhere random.
1232        Bugs ensue.
1233
1234        (In fact, GP ends up pointing at a previous GP structure, because the
1235        principle cause of the padding in XPVMG getting garbage is a copy of
1236        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1237        this happens to be moot because XPVGV has been re-ordered, with GP
1238        no longer after STASH)
1239
1240        So we are careful and work out the size of used parts of all the
1241        structures.  */
1242
1243     switch (old_type) {
1244     case SVt_NULL:
1245         break;
1246     case SVt_IV:
1247         if (SvROK(sv)) {
1248             referant = SvRV(sv);
1249             old_type_details = &fake_rv;
1250             if (new_type == SVt_NV)
1251                 new_type = SVt_PVNV;
1252         } else {
1253             if (new_type < SVt_PVIV) {
1254                 new_type = (new_type == SVt_NV)
1255                     ? SVt_PVNV : SVt_PVIV;
1256             }
1257         }
1258         break;
1259     case SVt_NV:
1260         if (new_type < SVt_PVNV) {
1261             new_type = SVt_PVNV;
1262         }
1263         break;
1264     case SVt_PV:
1265         assert(new_type > SVt_PV);
1266         assert(SVt_IV < SVt_PV);
1267         assert(SVt_NV < SVt_PV);
1268         break;
1269     case SVt_PVIV:
1270         break;
1271     case SVt_PVNV:
1272         break;
1273     case SVt_PVMG:
1274         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1275            there's no way that it can be safely upgraded, because perl.c
1276            expects to Safefree(SvANY(PL_mess_sv))  */
1277         assert(sv != PL_mess_sv);
1278         /* This flag bit is used to mean other things in other scalar types.
1279            Given that it only has meaning inside the pad, it shouldn't be set
1280            on anything that can get upgraded.  */
1281         assert(!SvPAD_TYPED(sv));
1282         break;
1283     default:
1284         if (old_type_details->cant_upgrade)
1285             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1286                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1287     }
1288
1289     if (old_type > new_type)
1290         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1291                 (int)old_type, (int)new_type);
1292
1293     new_type_details = bodies_by_type + new_type;
1294
1295     SvFLAGS(sv) &= ~SVTYPEMASK;
1296     SvFLAGS(sv) |= new_type;
1297
1298     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1299        the return statements above will have triggered.  */
1300     assert (new_type != SVt_NULL);
1301     switch (new_type) {
1302     case SVt_IV:
1303         assert(old_type == SVt_NULL);
1304         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1305         SvIV_set(sv, 0);
1306         return;
1307     case SVt_NV:
1308         assert(old_type == SVt_NULL);
1309         SvANY(sv) = new_XNV();
1310         SvNV_set(sv, 0);
1311         return;
1312     case SVt_PVHV:
1313     case SVt_PVAV:
1314         assert(new_type_details->body_size);
1315
1316 #ifndef PURIFY  
1317         assert(new_type_details->arena);
1318         assert(new_type_details->arena_size);
1319         /* This points to the start of the allocated area.  */
1320         new_body_inline(new_body, new_type);
1321         Zero(new_body, new_type_details->body_size, char);
1322         new_body = ((char *)new_body) - new_type_details->offset;
1323 #else
1324         /* We always allocated the full length item with PURIFY. To do this
1325            we fake things so that arena is false for all 16 types..  */
1326         new_body = new_NOARENAZ(new_type_details);
1327 #endif
1328         SvANY(sv) = new_body;
1329         if (new_type == SVt_PVAV) {
1330             AvMAX(sv)   = -1;
1331             AvFILLp(sv) = -1;
1332             AvREAL_only(sv);
1333             if (old_type_details->body_size) {
1334                 AvALLOC(sv) = 0;
1335             } else {
1336                 /* It will have been zeroed when the new body was allocated.
1337                    Lets not write to it, in case it confuses a write-back
1338                    cache.  */
1339             }
1340         } else {
1341             assert(!SvOK(sv));
1342             SvOK_off(sv);
1343 #ifndef NODEFAULT_SHAREKEYS
1344             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1345 #endif
1346             HvMAX(sv) = 7; /* (start with 8 buckets) */
1347             if (old_type_details->body_size) {
1348                 HvFILL(sv) = 0;
1349             } else {
1350                 /* It will have been zeroed when the new body was allocated.
1351                    Lets not write to it, in case it confuses a write-back
1352                    cache.  */
1353             }
1354         }
1355
1356         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1357            The target created by newSVrv also is, and it can have magic.
1358            However, it never has SvPVX set.
1359         */
1360         if (old_type == SVt_IV) {
1361             assert(!SvROK(sv));
1362         } else if (old_type >= SVt_PV) {
1363             assert(SvPVX_const(sv) == 0);
1364         }
1365
1366         if (old_type >= SVt_PVMG) {
1367             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1368             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1369         } else {
1370             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1371         }
1372         break;
1373
1374
1375     case SVt_PVIV:
1376         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1377            no route from NV to PVIV, NOK can never be true  */
1378         assert(!SvNOKp(sv));
1379         assert(!SvNOK(sv));
1380     case SVt_PVIO:
1381     case SVt_PVFM:
1382     case SVt_PVGV:
1383     case SVt_PVCV:
1384     case SVt_PVLV:
1385     case SVt_REGEXP:
1386     case SVt_PVMG:
1387     case SVt_PVNV:
1388     case SVt_PV:
1389
1390         assert(new_type_details->body_size);
1391         /* We always allocated the full length item with PURIFY. To do this
1392            we fake things so that arena is false for all 16 types..  */
1393         if(new_type_details->arena) {
1394             /* This points to the start of the allocated area.  */
1395             new_body_inline(new_body, new_type);
1396             Zero(new_body, new_type_details->body_size, char);
1397             new_body = ((char *)new_body) - new_type_details->offset;
1398         } else {
1399             new_body = new_NOARENAZ(new_type_details);
1400         }
1401         SvANY(sv) = new_body;
1402
1403         if (old_type_details->copy) {
1404             /* There is now the potential for an upgrade from something without
1405                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1406             int offset = old_type_details->offset;
1407             int length = old_type_details->copy;
1408
1409             if (new_type_details->offset > old_type_details->offset) {
1410                 const int difference
1411                     = new_type_details->offset - old_type_details->offset;
1412                 offset += difference;
1413                 length -= difference;
1414             }
1415             assert (length >= 0);
1416                 
1417             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1418                  char);
1419         }
1420
1421 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1422         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1423          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1424          * NV slot, but the new one does, then we need to initialise the
1425          * freshly created NV slot with whatever the correct bit pattern is
1426          * for 0.0  */
1427         if (old_type_details->zero_nv && !new_type_details->zero_nv
1428             && !isGV_with_GP(sv))
1429             SvNV_set(sv, 0);
1430 #endif
1431
1432         if (new_type == SVt_PVIO) {
1433             IO * const io = MUTABLE_IO(sv);
1434             GV *iogv = gv_fetchpvs("FileHandle::", 0, SVt_PVHV);
1435
1436             SvOBJECT_on(io);
1437             /* Clear the stashcache because a new IO could overrule a package
1438                name */
1439             hv_clear(PL_stashcache);
1440
1441             /* unless exists($main::{FileHandle}) and
1442                defined(%main::FileHandle::) */
1443             if (!(iogv && GvHV(iogv) && HvARRAY(GvHV(iogv))))
1444                 iogv = gv_fetchpvs("IO::Handle::", GV_ADD, SVt_PVHV);
1445             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1446             IoPAGE_LEN(sv) = 60;
1447         }
1448         if (old_type < SVt_PV) {
1449             /* referant will be NULL unless the old type was SVt_IV emulating
1450                SVt_RV */
1451             sv->sv_u.svu_rv = referant;
1452         }
1453         break;
1454     default:
1455         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1456                    (unsigned long)new_type);
1457     }
1458
1459     if (old_type_details->arena) {
1460         /* If there was an old body, then we need to free it.
1461            Note that there is an assumption that all bodies of types that
1462            can be upgraded came from arenas. Only the more complex non-
1463            upgradable types are allowed to be directly malloc()ed.  */
1464 #ifdef PURIFY
1465         my_safefree(old_body);
1466 #else
1467         del_body((void*)((char*)old_body + old_type_details->offset),
1468                  &PL_body_roots[old_type]);
1469 #endif
1470     }
1471 }
1472
1473 /*
1474 =for apidoc sv_backoff
1475
1476 Remove any string offset. You should normally use the C<SvOOK_off> macro
1477 wrapper instead.
1478
1479 =cut
1480 */
1481
1482 int
1483 Perl_sv_backoff(pTHX_ register SV *const sv)
1484 {
1485     STRLEN delta;
1486     const char * const s = SvPVX_const(sv);
1487
1488     PERL_ARGS_ASSERT_SV_BACKOFF;
1489     PERL_UNUSED_CONTEXT;
1490
1491     assert(SvOOK(sv));
1492     assert(SvTYPE(sv) != SVt_PVHV);
1493     assert(SvTYPE(sv) != SVt_PVAV);
1494
1495     SvOOK_offset(sv, delta);
1496     
1497     SvLEN_set(sv, SvLEN(sv) + delta);
1498     SvPV_set(sv, SvPVX(sv) - delta);
1499     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1500     SvFLAGS(sv) &= ~SVf_OOK;
1501     return 0;
1502 }
1503
1504 /*
1505 =for apidoc sv_grow
1506
1507 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1508 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1509 Use the C<SvGROW> wrapper instead.
1510
1511 =cut
1512 */
1513
1514 char *
1515 Perl_sv_grow(pTHX_ register SV *const sv, register STRLEN newlen)
1516 {
1517     register char *s;
1518
1519     PERL_ARGS_ASSERT_SV_GROW;
1520
1521     if (PL_madskills && newlen >= 0x100000) {
1522         PerlIO_printf(Perl_debug_log,
1523                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1524     }
1525 #ifdef HAS_64K_LIMIT
1526     if (newlen >= 0x10000) {
1527         PerlIO_printf(Perl_debug_log,
1528                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1529         my_exit(1);
1530     }
1531 #endif /* HAS_64K_LIMIT */
1532     if (SvROK(sv))
1533         sv_unref(sv);
1534     if (SvTYPE(sv) < SVt_PV) {
1535         sv_upgrade(sv, SVt_PV);
1536         s = SvPVX_mutable(sv);
1537     }
1538     else if (SvOOK(sv)) {       /* pv is offset? */
1539         sv_backoff(sv);
1540         s = SvPVX_mutable(sv);
1541         if (newlen > SvLEN(sv))
1542             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1543 #ifdef HAS_64K_LIMIT
1544         if (newlen >= 0x10000)
1545             newlen = 0xFFFF;
1546 #endif
1547     }
1548     else
1549         s = SvPVX_mutable(sv);
1550
1551     if (newlen > SvLEN(sv)) {           /* need more room? */
1552 #ifndef Perl_safesysmalloc_size
1553         newlen = PERL_STRLEN_ROUNDUP(newlen);
1554 #endif
1555         if (SvLEN(sv) && s) {
1556             s = (char*)saferealloc(s, newlen);
1557         }
1558         else {
1559             s = (char*)safemalloc(newlen);
1560             if (SvPVX_const(sv) && SvCUR(sv)) {
1561                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1562             }
1563         }
1564         SvPV_set(sv, s);
1565 #ifdef Perl_safesysmalloc_size
1566         /* Do this here, do it once, do it right, and then we will never get
1567            called back into sv_grow() unless there really is some growing
1568            needed.  */
1569         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1570 #else
1571         SvLEN_set(sv, newlen);
1572 #endif
1573     }
1574     return s;
1575 }
1576
1577 /*
1578 =for apidoc sv_setiv
1579
1580 Copies an integer into the given SV, upgrading first if necessary.
1581 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1582
1583 =cut
1584 */
1585
1586 void
1587 Perl_sv_setiv(pTHX_ register SV *const sv, const IV i)
1588 {
1589     dVAR;
1590
1591     PERL_ARGS_ASSERT_SV_SETIV;
1592
1593     SV_CHECK_THINKFIRST_COW_DROP(sv);
1594     switch (SvTYPE(sv)) {
1595     case SVt_NULL:
1596     case SVt_NV:
1597         sv_upgrade(sv, SVt_IV);
1598         break;
1599     case SVt_PV:
1600         sv_upgrade(sv, SVt_PVIV);
1601         break;
1602
1603     case SVt_PVGV:
1604         if (!isGV_with_GP(sv))
1605             break;
1606     case SVt_PVAV:
1607     case SVt_PVHV:
1608     case SVt_PVCV:
1609     case SVt_PVFM:
1610     case SVt_PVIO:
1611         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1612                    OP_DESC(PL_op));
1613     default: NOOP;
1614     }
1615     (void)SvIOK_only(sv);                       /* validate number */
1616     SvIV_set(sv, i);
1617     SvTAINT(sv);
1618 }
1619
1620 /*
1621 =for apidoc sv_setiv_mg
1622
1623 Like C<sv_setiv>, but also handles 'set' magic.
1624
1625 =cut
1626 */
1627
1628 void
1629 Perl_sv_setiv_mg(pTHX_ register SV *const sv, const IV i)
1630 {
1631     PERL_ARGS_ASSERT_SV_SETIV_MG;
1632
1633     sv_setiv(sv,i);
1634     SvSETMAGIC(sv);
1635 }
1636
1637 /*
1638 =for apidoc sv_setuv
1639
1640 Copies an unsigned integer into the given SV, upgrading first if necessary.
1641 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1642
1643 =cut
1644 */
1645
1646 void
1647 Perl_sv_setuv(pTHX_ register SV *const sv, const UV u)
1648 {
1649     PERL_ARGS_ASSERT_SV_SETUV;
1650
1651     /* With these two if statements:
1652        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1653
1654        without
1655        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1656
1657        If you wish to remove them, please benchmark to see what the effect is
1658     */
1659     if (u <= (UV)IV_MAX) {
1660        sv_setiv(sv, (IV)u);
1661        return;
1662     }
1663     sv_setiv(sv, 0);
1664     SvIsUV_on(sv);
1665     SvUV_set(sv, u);
1666 }
1667
1668 /*
1669 =for apidoc sv_setuv_mg
1670
1671 Like C<sv_setuv>, but also handles 'set' magic.
1672
1673 =cut
1674 */
1675
1676 void
1677 Perl_sv_setuv_mg(pTHX_ register SV *const sv, const UV u)
1678 {
1679     PERL_ARGS_ASSERT_SV_SETUV_MG;
1680
1681     sv_setuv(sv,u);
1682     SvSETMAGIC(sv);
1683 }
1684
1685 /*
1686 =for apidoc sv_setnv
1687
1688 Copies a double into the given SV, upgrading first if necessary.
1689 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1690
1691 =cut
1692 */
1693
1694 void
1695 Perl_sv_setnv(pTHX_ register SV *const sv, const NV num)
1696 {
1697     dVAR;
1698
1699     PERL_ARGS_ASSERT_SV_SETNV;
1700
1701     SV_CHECK_THINKFIRST_COW_DROP(sv);
1702     switch (SvTYPE(sv)) {
1703     case SVt_NULL:
1704     case SVt_IV:
1705         sv_upgrade(sv, SVt_NV);
1706         break;
1707     case SVt_PV:
1708     case SVt_PVIV:
1709         sv_upgrade(sv, SVt_PVNV);
1710         break;
1711
1712     case SVt_PVGV:
1713         if (!isGV_with_GP(sv))
1714             break;
1715     case SVt_PVAV:
1716     case SVt_PVHV:
1717     case SVt_PVCV:
1718     case SVt_PVFM:
1719     case SVt_PVIO:
1720         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1721                    OP_NAME(PL_op));
1722     default: NOOP;
1723     }
1724     SvNV_set(sv, num);
1725     (void)SvNOK_only(sv);                       /* validate number */
1726     SvTAINT(sv);
1727 }
1728
1729 /*
1730 =for apidoc sv_setnv_mg
1731
1732 Like C<sv_setnv>, but also handles 'set' magic.
1733
1734 =cut
1735 */
1736
1737 void
1738 Perl_sv_setnv_mg(pTHX_ register SV *const sv, const NV num)
1739 {
1740     PERL_ARGS_ASSERT_SV_SETNV_MG;
1741
1742     sv_setnv(sv,num);
1743     SvSETMAGIC(sv);
1744 }
1745
1746 /* Print an "isn't numeric" warning, using a cleaned-up,
1747  * printable version of the offending string
1748  */
1749
1750 STATIC void
1751 S_not_a_number(pTHX_ SV *const sv)
1752 {
1753      dVAR;
1754      SV *dsv;
1755      char tmpbuf[64];
1756      const char *pv;
1757
1758      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1759
1760      if (DO_UTF8(sv)) {
1761           dsv = newSVpvs_flags("", SVs_TEMP);
1762           pv = sv_uni_display(dsv, sv, 10, 0);
1763      } else {
1764           char *d = tmpbuf;
1765           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1766           /* each *s can expand to 4 chars + "...\0",
1767              i.e. need room for 8 chars */
1768         
1769           const char *s = SvPVX_const(sv);
1770           const char * const end = s + SvCUR(sv);
1771           for ( ; s < end && d < limit; s++ ) {
1772                int ch = *s & 0xFF;
1773                if (ch & 128 && !isPRINT_LC(ch)) {
1774                     *d++ = 'M';
1775                     *d++ = '-';
1776                     ch &= 127;
1777                }
1778                if (ch == '\n') {
1779                     *d++ = '\\';
1780                     *d++ = 'n';
1781                }
1782                else if (ch == '\r') {
1783                     *d++ = '\\';
1784                     *d++ = 'r';
1785                }
1786                else if (ch == '\f') {
1787                     *d++ = '\\';
1788                     *d++ = 'f';
1789                }
1790                else if (ch == '\\') {
1791                     *d++ = '\\';
1792                     *d++ = '\\';
1793                }
1794                else if (ch == '\0') {
1795                     *d++ = '\\';
1796                     *d++ = '0';
1797                }
1798                else if (isPRINT_LC(ch))
1799                     *d++ = ch;
1800                else {
1801                     *d++ = '^';
1802                     *d++ = toCTRL(ch);
1803                }
1804           }
1805           if (s < end) {
1806                *d++ = '.';
1807                *d++ = '.';
1808                *d++ = '.';
1809           }
1810           *d = '\0';
1811           pv = tmpbuf;
1812     }
1813
1814     if (PL_op)
1815         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1816                     "Argument \"%s\" isn't numeric in %s", pv,
1817                     OP_DESC(PL_op));
1818     else
1819         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1820                     "Argument \"%s\" isn't numeric", pv);
1821 }
1822
1823 /*
1824 =for apidoc looks_like_number
1825
1826 Test if the content of an SV looks like a number (or is a number).
1827 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1828 non-numeric warning), even if your atof() doesn't grok them.
1829
1830 =cut
1831 */
1832
1833 I32
1834 Perl_looks_like_number(pTHX_ SV *const sv)
1835 {
1836     register const char *sbegin;
1837     STRLEN len;
1838
1839     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1840
1841     if (SvPOK(sv)) {
1842         sbegin = SvPVX_const(sv);
1843         len = SvCUR(sv);
1844     }
1845     else if (SvPOKp(sv))
1846         sbegin = SvPV_const(sv, len);
1847     else
1848         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1849     return grok_number(sbegin, len, NULL);
1850 }
1851
1852 STATIC bool
1853 S_glob_2number(pTHX_ GV * const gv)
1854 {
1855     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1856     SV *const buffer = sv_newmortal();
1857
1858     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1859
1860     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1861        is on.  */
1862     SvFAKE_off(gv);
1863     gv_efullname3(buffer, gv, "*");
1864     SvFLAGS(gv) |= wasfake;
1865
1866     /* We know that all GVs stringify to something that is not-a-number,
1867         so no need to test that.  */
1868     if (ckWARN(WARN_NUMERIC))
1869         not_a_number(buffer);
1870     /* We just want something true to return, so that S_sv_2iuv_common
1871         can tail call us and return true.  */
1872     return TRUE;
1873 }
1874
1875 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1876    until proven guilty, assume that things are not that bad... */
1877
1878 /*
1879    NV_PRESERVES_UV:
1880
1881    As 64 bit platforms often have an NV that doesn't preserve all bits of
1882    an IV (an assumption perl has been based on to date) it becomes necessary
1883    to remove the assumption that the NV always carries enough precision to
1884    recreate the IV whenever needed, and that the NV is the canonical form.
1885    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1886    precision as a side effect of conversion (which would lead to insanity
1887    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1888    1) to distinguish between IV/UV/NV slots that have cached a valid
1889       conversion where precision was lost and IV/UV/NV slots that have a
1890       valid conversion which has lost no precision
1891    2) to ensure that if a numeric conversion to one form is requested that
1892       would lose precision, the precise conversion (or differently
1893       imprecise conversion) is also performed and cached, to prevent
1894       requests for different numeric formats on the same SV causing
1895       lossy conversion chains. (lossless conversion chains are perfectly
1896       acceptable (still))
1897
1898
1899    flags are used:
1900    SvIOKp is true if the IV slot contains a valid value
1901    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1902    SvNOKp is true if the NV slot contains a valid value
1903    SvNOK  is true only if the NV value is accurate
1904
1905    so
1906    while converting from PV to NV, check to see if converting that NV to an
1907    IV(or UV) would lose accuracy over a direct conversion from PV to
1908    IV(or UV). If it would, cache both conversions, return NV, but mark
1909    SV as IOK NOKp (ie not NOK).
1910
1911    While converting from PV to IV, check to see if converting that IV to an
1912    NV would lose accuracy over a direct conversion from PV to NV. If it
1913    would, cache both conversions, flag similarly.
1914
1915    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1916    correctly because if IV & NV were set NV *always* overruled.
1917    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1918    changes - now IV and NV together means that the two are interchangeable:
1919    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1920
1921    The benefit of this is that operations such as pp_add know that if
1922    SvIOK is true for both left and right operands, then integer addition
1923    can be used instead of floating point (for cases where the result won't
1924    overflow). Before, floating point was always used, which could lead to
1925    loss of precision compared with integer addition.
1926
1927    * making IV and NV equal status should make maths accurate on 64 bit
1928      platforms
1929    * may speed up maths somewhat if pp_add and friends start to use
1930      integers when possible instead of fp. (Hopefully the overhead in
1931      looking for SvIOK and checking for overflow will not outweigh the
1932      fp to integer speedup)
1933    * will slow down integer operations (callers of SvIV) on "inaccurate"
1934      values, as the change from SvIOK to SvIOKp will cause a call into
1935      sv_2iv each time rather than a macro access direct to the IV slot
1936    * should speed up number->string conversion on integers as IV is
1937      favoured when IV and NV are equally accurate
1938
1939    ####################################################################
1940    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1941    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1942    On the other hand, SvUOK is true iff UV.
1943    ####################################################################
1944
1945    Your mileage will vary depending your CPU's relative fp to integer
1946    performance ratio.
1947 */
1948
1949 #ifndef NV_PRESERVES_UV
1950 #  define IS_NUMBER_UNDERFLOW_IV 1
1951 #  define IS_NUMBER_UNDERFLOW_UV 2
1952 #  define IS_NUMBER_IV_AND_UV    2
1953 #  define IS_NUMBER_OVERFLOW_IV  4
1954 #  define IS_NUMBER_OVERFLOW_UV  5
1955
1956 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1957
1958 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1959 STATIC int
1960 S_sv_2iuv_non_preserve(pTHX_ register SV *const sv
1961 #  ifdef DEBUGGING
1962                        , I32 numtype
1963 #  endif
1964                        )
1965 {
1966     dVAR;
1967
1968     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1969
1970     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1971     if (SvNVX(sv) < (NV)IV_MIN) {
1972         (void)SvIOKp_on(sv);
1973         (void)SvNOK_on(sv);
1974         SvIV_set(sv, IV_MIN);
1975         return IS_NUMBER_UNDERFLOW_IV;
1976     }
1977     if (SvNVX(sv) > (NV)UV_MAX) {
1978         (void)SvIOKp_on(sv);
1979         (void)SvNOK_on(sv);
1980         SvIsUV_on(sv);
1981         SvUV_set(sv, UV_MAX);
1982         return IS_NUMBER_OVERFLOW_UV;
1983     }
1984     (void)SvIOKp_on(sv);
1985     (void)SvNOK_on(sv);
1986     /* Can't use strtol etc to convert this string.  (See truth table in
1987        sv_2iv  */
1988     if (SvNVX(sv) <= (UV)IV_MAX) {
1989         SvIV_set(sv, I_V(SvNVX(sv)));
1990         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1991             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1992         } else {
1993             /* Integer is imprecise. NOK, IOKp */
1994         }
1995         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1996     }
1997     SvIsUV_on(sv);
1998     SvUV_set(sv, U_V(SvNVX(sv)));
1999     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2000         if (SvUVX(sv) == UV_MAX) {
2001             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2002                possibly be preserved by NV. Hence, it must be overflow.
2003                NOK, IOKp */
2004             return IS_NUMBER_OVERFLOW_UV;
2005         }
2006         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2007     } else {
2008         /* Integer is imprecise. NOK, IOKp */
2009     }
2010     return IS_NUMBER_OVERFLOW_IV;
2011 }
2012 #endif /* !NV_PRESERVES_UV*/
2013
2014 STATIC bool
2015 S_sv_2iuv_common(pTHX_ SV *const sv)
2016 {
2017     dVAR;
2018
2019     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2020
2021     if (SvNOKp(sv)) {
2022         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2023          * without also getting a cached IV/UV from it at the same time
2024          * (ie PV->NV conversion should detect loss of accuracy and cache
2025          * IV or UV at same time to avoid this. */
2026         /* IV-over-UV optimisation - choose to cache IV if possible */
2027
2028         if (SvTYPE(sv) == SVt_NV)
2029             sv_upgrade(sv, SVt_PVNV);
2030
2031         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2032         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2033            certainly cast into the IV range at IV_MAX, whereas the correct
2034            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2035            cases go to UV */
2036 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2037         if (Perl_isnan(SvNVX(sv))) {
2038             SvUV_set(sv, 0);
2039             SvIsUV_on(sv);
2040             return FALSE;
2041         }
2042 #endif
2043         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2044             SvIV_set(sv, I_V(SvNVX(sv)));
2045             if (SvNVX(sv) == (NV) SvIVX(sv)
2046 #ifndef NV_PRESERVES_UV
2047                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2048                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2049                 /* Don't flag it as "accurately an integer" if the number
2050                    came from a (by definition imprecise) NV operation, and
2051                    we're outside the range of NV integer precision */
2052 #endif
2053                 ) {
2054                 if (SvNOK(sv))
2055                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2056                 else {
2057                     /* scalar has trailing garbage, eg "42a" */
2058                 }
2059                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2060                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2061                                       PTR2UV(sv),
2062                                       SvNVX(sv),
2063                                       SvIVX(sv)));
2064
2065             } else {
2066                 /* IV not precise.  No need to convert from PV, as NV
2067                    conversion would already have cached IV if it detected
2068                    that PV->IV would be better than PV->NV->IV
2069                    flags already correct - don't set public IOK.  */
2070                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2071                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2072                                       PTR2UV(sv),
2073                                       SvNVX(sv),
2074                                       SvIVX(sv)));
2075             }
2076             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2077                but the cast (NV)IV_MIN rounds to a the value less (more
2078                negative) than IV_MIN which happens to be equal to SvNVX ??
2079                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2080                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2081                (NV)UVX == NVX are both true, but the values differ. :-(
2082                Hopefully for 2s complement IV_MIN is something like
2083                0x8000000000000000 which will be exact. NWC */
2084         }
2085         else {
2086             SvUV_set(sv, U_V(SvNVX(sv)));
2087             if (
2088                 (SvNVX(sv) == (NV) SvUVX(sv))
2089 #ifndef  NV_PRESERVES_UV
2090                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2091                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2092                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2093                 /* Don't flag it as "accurately an integer" if the number
2094                    came from a (by definition imprecise) NV operation, and
2095                    we're outside the range of NV integer precision */
2096 #endif
2097                 && SvNOK(sv)
2098                 )
2099                 SvIOK_on(sv);
2100             SvIsUV_on(sv);
2101             DEBUG_c(PerlIO_printf(Perl_debug_log,
2102                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2103                                   PTR2UV(sv),
2104                                   SvUVX(sv),
2105                                   SvUVX(sv)));
2106         }
2107     }
2108     else if (SvPOKp(sv) && SvLEN(sv)) {
2109         UV value;
2110         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2111         /* We want to avoid a possible problem when we cache an IV/ a UV which
2112            may be later translated to an NV, and the resulting NV is not
2113            the same as the direct translation of the initial string
2114            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2115            be careful to ensure that the value with the .456 is around if the
2116            NV value is requested in the future).
2117         
2118            This means that if we cache such an IV/a UV, we need to cache the
2119            NV as well.  Moreover, we trade speed for space, and do not
2120            cache the NV if we are sure it's not needed.
2121          */
2122
2123         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2124         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2125              == IS_NUMBER_IN_UV) {
2126             /* It's definitely an integer, only upgrade to PVIV */
2127             if (SvTYPE(sv) < SVt_PVIV)
2128                 sv_upgrade(sv, SVt_PVIV);
2129             (void)SvIOK_on(sv);
2130         } else if (SvTYPE(sv) < SVt_PVNV)
2131             sv_upgrade(sv, SVt_PVNV);
2132
2133         /* If NVs preserve UVs then we only use the UV value if we know that
2134            we aren't going to call atof() below. If NVs don't preserve UVs
2135            then the value returned may have more precision than atof() will
2136            return, even though value isn't perfectly accurate.  */
2137         if ((numtype & (IS_NUMBER_IN_UV
2138 #ifdef NV_PRESERVES_UV
2139                         | IS_NUMBER_NOT_INT
2140 #endif
2141             )) == IS_NUMBER_IN_UV) {
2142             /* This won't turn off the public IOK flag if it was set above  */
2143             (void)SvIOKp_on(sv);
2144
2145             if (!(numtype & IS_NUMBER_NEG)) {
2146                 /* positive */;
2147                 if (value <= (UV)IV_MAX) {
2148                     SvIV_set(sv, (IV)value);
2149                 } else {
2150                     /* it didn't overflow, and it was positive. */
2151                     SvUV_set(sv, value);
2152                     SvIsUV_on(sv);
2153                 }
2154             } else {
2155                 /* 2s complement assumption  */
2156                 if (value <= (UV)IV_MIN) {
2157                     SvIV_set(sv, -(IV)value);
2158                 } else {
2159                     /* Too negative for an IV.  This is a double upgrade, but
2160                        I'm assuming it will be rare.  */
2161                     if (SvTYPE(sv) < SVt_PVNV)
2162                         sv_upgrade(sv, SVt_PVNV);
2163                     SvNOK_on(sv);
2164                     SvIOK_off(sv);
2165                     SvIOKp_on(sv);
2166                     SvNV_set(sv, -(NV)value);
2167                     SvIV_set(sv, IV_MIN);
2168                 }
2169             }
2170         }
2171         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2172            will be in the previous block to set the IV slot, and the next
2173            block to set the NV slot.  So no else here.  */
2174         
2175         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2176             != IS_NUMBER_IN_UV) {
2177             /* It wasn't an (integer that doesn't overflow the UV). */
2178             SvNV_set(sv, Atof(SvPVX_const(sv)));
2179
2180             if (! numtype && ckWARN(WARN_NUMERIC))
2181                 not_a_number(sv);
2182
2183 #if defined(USE_LONG_DOUBLE)
2184             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2185                                   PTR2UV(sv), SvNVX(sv)));
2186 #else
2187             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2188                                   PTR2UV(sv), SvNVX(sv)));
2189 #endif
2190
2191 #ifdef NV_PRESERVES_UV
2192             (void)SvIOKp_on(sv);
2193             (void)SvNOK_on(sv);
2194             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2195                 SvIV_set(sv, I_V(SvNVX(sv)));
2196                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2197                     SvIOK_on(sv);
2198                 } else {
2199                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2200                 }
2201                 /* UV will not work better than IV */
2202             } else {
2203                 if (SvNVX(sv) > (NV)UV_MAX) {
2204                     SvIsUV_on(sv);
2205                     /* Integer is inaccurate. NOK, IOKp, is UV */
2206                     SvUV_set(sv, UV_MAX);
2207                 } else {
2208                     SvUV_set(sv, U_V(SvNVX(sv)));
2209                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2210                        NV preservse UV so can do correct comparison.  */
2211                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2212                         SvIOK_on(sv);
2213                     } else {
2214                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2215                     }
2216                 }
2217                 SvIsUV_on(sv);
2218             }
2219 #else /* NV_PRESERVES_UV */
2220             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2221                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2222                 /* The IV/UV slot will have been set from value returned by
2223                    grok_number above.  The NV slot has just been set using
2224                    Atof.  */
2225                 SvNOK_on(sv);
2226                 assert (SvIOKp(sv));
2227             } else {
2228                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2229                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2230                     /* Small enough to preserve all bits. */
2231                     (void)SvIOKp_on(sv);
2232                     SvNOK_on(sv);
2233                     SvIV_set(sv, I_V(SvNVX(sv)));
2234                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2235                         SvIOK_on(sv);
2236                     /* Assumption: first non-preserved integer is < IV_MAX,
2237                        this NV is in the preserved range, therefore: */
2238                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2239                           < (UV)IV_MAX)) {
2240                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2241                     }
2242                 } else {
2243                     /* IN_UV NOT_INT
2244                          0      0       already failed to read UV.
2245                          0      1       already failed to read UV.
2246                          1      0       you won't get here in this case. IV/UV
2247                                         slot set, public IOK, Atof() unneeded.
2248                          1      1       already read UV.
2249                        so there's no point in sv_2iuv_non_preserve() attempting
2250                        to use atol, strtol, strtoul etc.  */
2251 #  ifdef DEBUGGING
2252                     sv_2iuv_non_preserve (sv, numtype);
2253 #  else
2254                     sv_2iuv_non_preserve (sv);
2255 #  endif
2256                 }
2257             }
2258 #endif /* NV_PRESERVES_UV */
2259         /* It might be more code efficient to go through the entire logic above
2260            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2261            gets complex and potentially buggy, so more programmer efficient
2262            to do it this way, by turning off the public flags:  */
2263         if (!numtype)
2264             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2265         }
2266     }
2267     else  {
2268         if (isGV_with_GP(sv))
2269             return glob_2number(MUTABLE_GV(sv));
2270
2271         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2272             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2273                 report_uninit(sv);
2274         }
2275         if (SvTYPE(sv) < SVt_IV)
2276             /* Typically the caller expects that sv_any is not NULL now.  */
2277             sv_upgrade(sv, SVt_IV);
2278         /* Return 0 from the caller.  */
2279         return TRUE;
2280     }
2281     return FALSE;
2282 }
2283
2284 /*
2285 =for apidoc sv_2iv_flags
2286
2287 Return the integer value of an SV, doing any necessary string
2288 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2289 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2290
2291 =cut
2292 */
2293
2294 IV
2295 Perl_sv_2iv_flags(pTHX_ register SV *const sv, const I32 flags)
2296 {
2297     dVAR;
2298     if (!sv)
2299         return 0;
2300     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2301         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2302            cache IVs just in case. In practice it seems that they never
2303            actually anywhere accessible by user Perl code, let alone get used
2304            in anything other than a string context.  */
2305         if (flags & SV_GMAGIC)
2306             mg_get(sv);
2307         if (SvIOKp(sv))
2308             return SvIVX(sv);
2309         if (SvNOKp(sv)) {
2310             return I_V(SvNVX(sv));
2311         }
2312         if (SvPOKp(sv) && SvLEN(sv)) {
2313             UV value;
2314             const int numtype
2315                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2316
2317             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2318                 == IS_NUMBER_IN_UV) {
2319                 /* It's definitely an integer */
2320                 if (numtype & IS_NUMBER_NEG) {
2321                     if (value < (UV)IV_MIN)
2322                         return -(IV)value;
2323                 } else {
2324                     if (value < (UV)IV_MAX)
2325                         return (IV)value;
2326                 }
2327             }
2328             if (!numtype) {
2329                 if (ckWARN(WARN_NUMERIC))
2330                     not_a_number(sv);
2331             }
2332             return I_V(Atof(SvPVX_const(sv)));
2333         }
2334         if (SvROK(sv)) {
2335             goto return_rok;
2336         }
2337         assert(SvTYPE(sv) >= SVt_PVMG);
2338         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2339     } else if (SvTHINKFIRST(sv)) {
2340         if (SvROK(sv)) {
2341         return_rok:
2342             if (SvAMAGIC(sv)) {
2343                 SV * const tmpstr=AMG_CALLun(sv,numer);
2344                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2345                     return SvIV(tmpstr);
2346                 }
2347             }
2348             return PTR2IV(SvRV(sv));
2349         }
2350         if (SvIsCOW(sv)) {
2351             sv_force_normal_flags(sv, 0);
2352         }
2353         if (SvREADONLY(sv) && !SvOK(sv)) {
2354             if (ckWARN(WARN_UNINITIALIZED))
2355                 report_uninit(sv);
2356             return 0;
2357         }
2358     }
2359     if (!SvIOKp(sv)) {
2360         if (S_sv_2iuv_common(aTHX_ sv))
2361             return 0;
2362     }
2363     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2364         PTR2UV(sv),SvIVX(sv)));
2365     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2366 }
2367
2368 /*
2369 =for apidoc sv_2uv_flags
2370
2371 Return the unsigned integer value of an SV, doing any necessary string
2372 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2373 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2374
2375 =cut
2376 */
2377
2378 UV
2379 Perl_sv_2uv_flags(pTHX_ register SV *const sv, const I32 flags)
2380 {
2381     dVAR;
2382     if (!sv)
2383         return 0;
2384     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2385         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2386            cache IVs just in case.  */
2387         if (flags & SV_GMAGIC)
2388             mg_get(sv);
2389         if (SvIOKp(sv))
2390             return SvUVX(sv);
2391         if (SvNOKp(sv))
2392             return U_V(SvNVX(sv));
2393         if (SvPOKp(sv) && SvLEN(sv)) {
2394             UV value;
2395             const int numtype
2396                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2397
2398             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2399                 == IS_NUMBER_IN_UV) {
2400                 /* It's definitely an integer */
2401                 if (!(numtype & IS_NUMBER_NEG))
2402                     return value;
2403             }
2404             if (!numtype) {
2405                 if (ckWARN(WARN_NUMERIC))
2406                     not_a_number(sv);
2407             }
2408             return U_V(Atof(SvPVX_const(sv)));
2409         }
2410         if (SvROK(sv)) {
2411             goto return_rok;
2412         }
2413         assert(SvTYPE(sv) >= SVt_PVMG);
2414         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2415     } else if (SvTHINKFIRST(sv)) {
2416         if (SvROK(sv)) {
2417         return_rok:
2418             if (SvAMAGIC(sv)) {
2419                 SV *const tmpstr = AMG_CALLun(sv,numer);
2420                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2421                     return SvUV(tmpstr);
2422                 }
2423             }
2424             return PTR2UV(SvRV(sv));
2425         }
2426         if (SvIsCOW(sv)) {
2427             sv_force_normal_flags(sv, 0);
2428         }
2429         if (SvREADONLY(sv) && !SvOK(sv)) {
2430             if (ckWARN(WARN_UNINITIALIZED))
2431                 report_uninit(sv);
2432             return 0;
2433         }
2434     }
2435     if (!SvIOKp(sv)) {
2436         if (S_sv_2iuv_common(aTHX_ sv))
2437             return 0;
2438     }
2439
2440     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2441                           PTR2UV(sv),SvUVX(sv)));
2442     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2443 }
2444
2445 /*
2446 =for apidoc sv_2nv
2447
2448 Return the num value of an SV, doing any necessary string or integer
2449 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2450 macros.
2451
2452 =cut
2453 */
2454
2455 NV
2456 Perl_sv_2nv(pTHX_ register SV *const sv)
2457 {
2458     dVAR;
2459     if (!sv)
2460         return 0.0;
2461     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2462         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2463            cache IVs just in case.  */
2464         mg_get(sv);
2465         if (SvNOKp(sv))
2466             return SvNVX(sv);
2467         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2468             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2469                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2470                 not_a_number(sv);
2471             return Atof(SvPVX_const(sv));
2472         }
2473         if (SvIOKp(sv)) {
2474             if (SvIsUV(sv))
2475                 return (NV)SvUVX(sv);
2476             else
2477                 return (NV)SvIVX(sv);
2478         }
2479         if (SvROK(sv)) {
2480             goto return_rok;
2481         }
2482         assert(SvTYPE(sv) >= SVt_PVMG);
2483         /* This falls through to the report_uninit near the end of the
2484            function. */
2485     } else if (SvTHINKFIRST(sv)) {
2486         if (SvROK(sv)) {
2487         return_rok:
2488             if (SvAMAGIC(sv)) {
2489                 SV *const tmpstr = AMG_CALLun(sv,numer);
2490                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2491                     return SvNV(tmpstr);
2492                 }
2493             }
2494             return PTR2NV(SvRV(sv));
2495         }
2496         if (SvIsCOW(sv)) {
2497             sv_force_normal_flags(sv, 0);
2498         }
2499         if (SvREADONLY(sv) && !SvOK(sv)) {
2500             if (ckWARN(WARN_UNINITIALIZED))
2501                 report_uninit(sv);
2502             return 0.0;
2503         }
2504     }
2505     if (SvTYPE(sv) < SVt_NV) {
2506         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2507         sv_upgrade(sv, SVt_NV);
2508 #ifdef USE_LONG_DOUBLE
2509         DEBUG_c({
2510             STORE_NUMERIC_LOCAL_SET_STANDARD();
2511             PerlIO_printf(Perl_debug_log,
2512                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2513                           PTR2UV(sv), SvNVX(sv));
2514             RESTORE_NUMERIC_LOCAL();
2515         });
2516 #else
2517         DEBUG_c({
2518             STORE_NUMERIC_LOCAL_SET_STANDARD();
2519             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2520                           PTR2UV(sv), SvNVX(sv));
2521             RESTORE_NUMERIC_LOCAL();
2522         });
2523 #endif
2524     }
2525     else if (SvTYPE(sv) < SVt_PVNV)
2526         sv_upgrade(sv, SVt_PVNV);
2527     if (SvNOKp(sv)) {
2528         return SvNVX(sv);
2529     }
2530     if (SvIOKp(sv)) {
2531         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2532 #ifdef NV_PRESERVES_UV
2533         if (SvIOK(sv))
2534             SvNOK_on(sv);
2535         else
2536             SvNOKp_on(sv);
2537 #else
2538         /* Only set the public NV OK flag if this NV preserves the IV  */
2539         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2540         if (SvIOK(sv) &&
2541             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2542                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2543             SvNOK_on(sv);
2544         else
2545             SvNOKp_on(sv);
2546 #endif
2547     }
2548     else if (SvPOKp(sv) && SvLEN(sv)) {
2549         UV value;
2550         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2551         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2552             not_a_number(sv);
2553 #ifdef NV_PRESERVES_UV
2554         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2555             == IS_NUMBER_IN_UV) {
2556             /* It's definitely an integer */
2557             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2558         } else
2559             SvNV_set(sv, Atof(SvPVX_const(sv)));
2560         if (numtype)
2561             SvNOK_on(sv);
2562         else
2563             SvNOKp_on(sv);
2564 #else
2565         SvNV_set(sv, Atof(SvPVX_const(sv)));
2566         /* Only set the public NV OK flag if this NV preserves the value in
2567            the PV at least as well as an IV/UV would.
2568            Not sure how to do this 100% reliably. */
2569         /* if that shift count is out of range then Configure's test is
2570            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2571            UV_BITS */
2572         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2573             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2574             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2575         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2576             /* Can't use strtol etc to convert this string, so don't try.
2577                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2578             SvNOK_on(sv);
2579         } else {
2580             /* value has been set.  It may not be precise.  */
2581             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2582                 /* 2s complement assumption for (UV)IV_MIN  */
2583                 SvNOK_on(sv); /* Integer is too negative.  */
2584             } else {
2585                 SvNOKp_on(sv);
2586                 SvIOKp_on(sv);
2587
2588                 if (numtype & IS_NUMBER_NEG) {
2589                     SvIV_set(sv, -(IV)value);
2590                 } else if (value <= (UV)IV_MAX) {
2591                     SvIV_set(sv, (IV)value);
2592                 } else {
2593                     SvUV_set(sv, value);
2594                     SvIsUV_on(sv);
2595                 }
2596
2597                 if (numtype & IS_NUMBER_NOT_INT) {
2598                     /* I believe that even if the original PV had decimals,
2599                        they are lost beyond the limit of the FP precision.
2600                        However, neither is canonical, so both only get p
2601                        flags.  NWC, 2000/11/25 */
2602                     /* Both already have p flags, so do nothing */
2603                 } else {
2604                     const NV nv = SvNVX(sv);
2605                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2606                         if (SvIVX(sv) == I_V(nv)) {
2607                             SvNOK_on(sv);
2608                         } else {
2609                             /* It had no "." so it must be integer.  */
2610                         }
2611                         SvIOK_on(sv);
2612                     } else {
2613                         /* between IV_MAX and NV(UV_MAX).
2614                            Could be slightly > UV_MAX */
2615
2616                         if (numtype & IS_NUMBER_NOT_INT) {
2617                             /* UV and NV both imprecise.  */
2618                         } else {
2619                             const UV nv_as_uv = U_V(nv);
2620
2621                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2622                                 SvNOK_on(sv);
2623                             }
2624                             SvIOK_on(sv);
2625                         }
2626                     }
2627                 }
2628             }
2629         }
2630         /* It might be more code efficient to go through the entire logic above
2631            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2632            gets complex and potentially buggy, so more programmer efficient
2633            to do it this way, by turning off the public flags:  */
2634         if (!numtype)
2635             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2636 #endif /* NV_PRESERVES_UV */
2637     }
2638     else  {
2639         if (isGV_with_GP(sv)) {
2640             glob_2number(MUTABLE_GV(sv));
2641             return 0.0;
2642         }
2643
2644         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2645             report_uninit(sv);
2646         assert (SvTYPE(sv) >= SVt_NV);
2647         /* Typically the caller expects that sv_any is not NULL now.  */
2648         /* XXX Ilya implies that this is a bug in callers that assume this
2649            and ideally should be fixed.  */
2650         return 0.0;
2651     }
2652 #if defined(USE_LONG_DOUBLE)
2653     DEBUG_c({
2654         STORE_NUMERIC_LOCAL_SET_STANDARD();
2655         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2656                       PTR2UV(sv), SvNVX(sv));
2657         RESTORE_NUMERIC_LOCAL();
2658     });
2659 #else
2660     DEBUG_c({
2661         STORE_NUMERIC_LOCAL_SET_STANDARD();
2662         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2663                       PTR2UV(sv), SvNVX(sv));
2664         RESTORE_NUMERIC_LOCAL();
2665     });
2666 #endif
2667     return SvNVX(sv);
2668 }
2669
2670 /*
2671 =for apidoc sv_2num
2672
2673 Return an SV with the numeric value of the source SV, doing any necessary
2674 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2675 access this function.
2676
2677 =cut
2678 */
2679
2680 SV *
2681 Perl_sv_2num(pTHX_ register SV *const sv)
2682 {
2683     PERL_ARGS_ASSERT_SV_2NUM;
2684
2685     if (!SvROK(sv))
2686         return sv;
2687     if (SvAMAGIC(sv)) {
2688         SV * const tmpsv = AMG_CALLun(sv,numer);
2689         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2690             return sv_2num(tmpsv);
2691     }
2692     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2693 }
2694
2695 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2696  * UV as a string towards the end of buf, and return pointers to start and
2697  * end of it.
2698  *
2699  * We assume that buf is at least TYPE_CHARS(UV) long.
2700  */
2701
2702 static char *
2703 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2704 {
2705     char *ptr = buf + TYPE_CHARS(UV);
2706     char * const ebuf = ptr;
2707     int sign;
2708
2709     PERL_ARGS_ASSERT_UIV_2BUF;
2710
2711     if (is_uv)
2712         sign = 0;
2713     else if (iv >= 0) {
2714         uv = iv;
2715         sign = 0;
2716     } else {
2717         uv = -iv;
2718         sign = 1;
2719     }
2720     do {
2721         *--ptr = '0' + (char)(uv % 10);
2722     } while (uv /= 10);
2723     if (sign)
2724         *--ptr = '-';
2725     *peob = ebuf;
2726     return ptr;
2727 }
2728
2729 /*
2730 =for apidoc sv_2pv_flags
2731
2732 Returns a pointer to the string value of an SV, and sets *lp to its length.
2733 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2734 if necessary.
2735 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2736 usually end up here too.
2737
2738 =cut
2739 */
2740
2741 char *
2742 Perl_sv_2pv_flags(pTHX_ register SV *const sv, STRLEN *const lp, const I32 flags)
2743 {
2744     dVAR;
2745     register char *s;
2746
2747     if (!sv) {
2748         if (lp)
2749             *lp = 0;
2750         return (char *)"";
2751     }
2752     if (SvGMAGICAL(sv)) {
2753         if (flags & SV_GMAGIC)
2754             mg_get(sv);
2755         if (SvPOKp(sv)) {
2756             if (lp)
2757                 *lp = SvCUR(sv);
2758             if (flags & SV_MUTABLE_RETURN)
2759                 return SvPVX_mutable(sv);
2760             if (flags & SV_CONST_RETURN)
2761                 return (char *)SvPVX_const(sv);
2762             return SvPVX(sv);
2763         }
2764         if (SvIOKp(sv) || SvNOKp(sv)) {
2765             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2766             STRLEN len;
2767
2768             if (SvIOKp(sv)) {
2769                 len = SvIsUV(sv)
2770                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2771                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2772             } else {
2773                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2774                 len = strlen(tbuf);
2775             }
2776             assert(!SvROK(sv));
2777             {
2778                 dVAR;
2779
2780 #ifdef FIXNEGATIVEZERO
2781                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2782                     tbuf[0] = '0';
2783                     tbuf[1] = 0;
2784                     len = 1;
2785                 }
2786 #endif
2787                 SvUPGRADE(sv, SVt_PV);
2788                 if (lp)
2789                     *lp = len;
2790                 s = SvGROW_mutable(sv, len + 1);
2791                 SvCUR_set(sv, len);
2792                 SvPOKp_on(sv);
2793                 return (char*)memcpy(s, tbuf, len + 1);
2794             }
2795         }
2796         if (SvROK(sv)) {
2797             goto return_rok;
2798         }
2799         assert(SvTYPE(sv) >= SVt_PVMG);
2800         /* This falls through to the report_uninit near the end of the
2801            function. */
2802     } else if (SvTHINKFIRST(sv)) {
2803         if (SvROK(sv)) {
2804         return_rok:
2805             if (SvAMAGIC(sv)) {
2806                 SV *const tmpstr = AMG_CALLun(sv,string);
2807                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2808                     /* Unwrap this:  */
2809                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2810                      */
2811
2812                     char *pv;
2813                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2814                         if (flags & SV_CONST_RETURN) {
2815                             pv = (char *) SvPVX_const(tmpstr);
2816                         } else {
2817                             pv = (flags & SV_MUTABLE_RETURN)
2818                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2819                         }
2820                         if (lp)
2821                             *lp = SvCUR(tmpstr);
2822                     } else {
2823                         pv = sv_2pv_flags(tmpstr, lp, flags);
2824                     }
2825                     if (SvUTF8(tmpstr))
2826                         SvUTF8_on(sv);
2827                     else
2828                         SvUTF8_off(sv);
2829                     return pv;
2830                 }
2831             }
2832             {
2833                 STRLEN len;
2834                 char *retval;
2835                 char *buffer;
2836                 SV *const referent = SvRV(sv);
2837
2838                 if (!referent) {
2839                     len = 7;
2840                     retval = buffer = savepvn("NULLREF", len);
2841                 } else if (SvTYPE(referent) == SVt_REGEXP) {
2842                     REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2843                     I32 seen_evals = 0;
2844
2845                     assert(re);
2846                         
2847                     /* If the regex is UTF-8 we want the containing scalar to
2848                        have an UTF-8 flag too */
2849                     if (RX_UTF8(re))
2850                         SvUTF8_on(sv);
2851                     else
2852                         SvUTF8_off(sv); 
2853
2854                     if ((seen_evals = RX_SEEN_EVALS(re)))
2855                         PL_reginterp_cnt += seen_evals;
2856
2857                     if (lp)
2858                         *lp = RX_WRAPLEN(re);
2859  
2860                     return RX_WRAPPED(re);
2861                 } else {
2862                     const char *const typestr = sv_reftype(referent, 0);
2863                     const STRLEN typelen = strlen(typestr);
2864                     UV addr = PTR2UV(referent);
2865                     const char *stashname = NULL;
2866                     STRLEN stashnamelen = 0; /* hush, gcc */
2867                     const char *buffer_end;
2868
2869                     if (SvOBJECT(referent)) {
2870                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2871
2872                         if (name) {
2873                             stashname = HEK_KEY(name);
2874                             stashnamelen = HEK_LEN(name);
2875
2876                             if (HEK_UTF8(name)) {
2877                                 SvUTF8_on(sv);
2878                             } else {
2879                                 SvUTF8_off(sv);
2880                             }
2881                         } else {
2882                             stashname = "__ANON__";
2883                             stashnamelen = 8;
2884                         }
2885                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2886                             + 2 * sizeof(UV) + 2 /* )\0 */;
2887                     } else {
2888                         len = typelen + 3 /* (0x */
2889                             + 2 * sizeof(UV) + 2 /* )\0 */;
2890                     }
2891
2892                     Newx(buffer, len, char);
2893                     buffer_end = retval = buffer + len;
2894
2895                     /* Working backwards  */
2896                     *--retval = '\0';
2897                     *--retval = ')';
2898                     do {
2899                         *--retval = PL_hexdigit[addr & 15];
2900                     } while (addr >>= 4);
2901                     *--retval = 'x';
2902                     *--retval = '0';
2903                     *--retval = '(';
2904
2905                     retval -= typelen;
2906                     memcpy(retval, typestr, typelen);
2907
2908                     if (stashname) {
2909                         *--retval = '=';
2910                         retval -= stashnamelen;
2911                         memcpy(retval, stashname, stashnamelen);
2912                     }
2913                     /* retval may not neccesarily have reached the start of the
2914                        buffer here.  */
2915                     assert (retval >= buffer);
2916
2917                     len = buffer_end - retval - 1; /* -1 for that \0  */
2918                 }
2919                 if (lp)
2920                     *lp = len;
2921                 SAVEFREEPV(buffer);
2922                 return retval;
2923             }
2924         }
2925         if (SvREADONLY(sv) && !SvOK(sv)) {
2926             if (lp)
2927                 *lp = 0;
2928             if (flags & SV_UNDEF_RETURNS_NULL)
2929                 return NULL;
2930             if (ckWARN(WARN_UNINITIALIZED))
2931                 report_uninit(sv);
2932             return (char *)"";
2933         }
2934     }
2935     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2936         /* I'm assuming that if both IV and NV are equally valid then
2937            converting the IV is going to be more efficient */
2938         const U32 isUIOK = SvIsUV(sv);
2939         char buf[TYPE_CHARS(UV)];
2940         char *ebuf, *ptr;
2941         STRLEN len;
2942
2943         if (SvTYPE(sv) < SVt_PVIV)
2944             sv_upgrade(sv, SVt_PVIV);
2945         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2946         len = ebuf - ptr;
2947         /* inlined from sv_setpvn */
2948         s = SvGROW_mutable(sv, len + 1);
2949         Move(ptr, s, len, char);
2950         s += len;
2951         *s = '\0';
2952     }
2953     else if (SvNOKp(sv)) {
2954         dSAVE_ERRNO;
2955         if (SvTYPE(sv) < SVt_PVNV)
2956             sv_upgrade(sv, SVt_PVNV);
2957         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2958         s = SvGROW_mutable(sv, NV_DIG + 20);
2959         /* some Xenix systems wipe out errno here */
2960 #ifdef apollo
2961         if (SvNVX(sv) == 0.0)
2962             my_strlcpy(s, "0", SvLEN(sv));
2963         else
2964 #endif /*apollo*/
2965         {
2966             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2967         }
2968         RESTORE_ERRNO;
2969 #ifdef FIXNEGATIVEZERO
2970         if (*s == '-' && s[1] == '0' && !s[2]) {
2971             s[0] = '0';
2972             s[1] = 0;
2973         }
2974 #endif
2975         while (*s) s++;
2976 #ifdef hcx
2977         if (s[-1] == '.')
2978             *--s = '\0';
2979 #endif
2980     }
2981     else {
2982         if (isGV_with_GP(sv)) {
2983             GV *const gv = MUTABLE_GV(sv);
2984             const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
2985             SV *const buffer = sv_newmortal();
2986
2987             /* FAKE globs can get coerced, so need to turn this off temporarily
2988                if it is on.  */
2989             SvFAKE_off(gv);
2990             gv_efullname3(buffer, gv, "*");
2991             SvFLAGS(gv) |= wasfake;
2992
2993             assert(SvPOK(buffer));
2994             if (lp) {
2995                 *lp = SvCUR(buffer);
2996             }
2997             return SvPVX(buffer);
2998         }
2999
3000         if (lp)
3001             *lp = 0;
3002         if (flags & SV_UNDEF_RETURNS_NULL)
3003             return NULL;
3004         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
3005             report_uninit(sv);
3006         if (SvTYPE(sv) < SVt_PV)
3007             /* Typically the caller expects that sv_any is not NULL now.  */
3008             sv_upgrade(sv, SVt_PV);
3009         return (char *)"";
3010     }
3011     {
3012         const STRLEN len = s - SvPVX_const(sv);
3013         if (lp) 
3014             *lp = len;
3015         SvCUR_set(sv, len);
3016     }
3017     SvPOK_on(sv);
3018     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
3019                           PTR2UV(sv),SvPVX_const(sv)));
3020     if (flags & SV_CONST_RETURN)
3021         return (char *)SvPVX_const(sv);
3022     if (flags & SV_MUTABLE_RETURN)
3023         return SvPVX_mutable(sv);
3024     return SvPVX(sv);
3025 }
3026
3027 /*
3028 =for apidoc sv_copypv
3029
3030 Copies a stringified representation of the source SV into the
3031 destination SV.  Automatically performs any necessary mg_get and
3032 coercion of numeric values into strings.  Guaranteed to preserve
3033 UTF8 flag even from overloaded objects.  Similar in nature to
3034 sv_2pv[_flags] but operates directly on an SV instead of just the
3035 string.  Mostly uses sv_2pv_flags to do its work, except when that
3036 would lose the UTF-8'ness of the PV.
3037
3038 =cut
3039 */
3040
3041 void
3042 Perl_sv_copypv(pTHX_ SV *const dsv, register SV *const ssv)
3043 {
3044     STRLEN len;
3045     const char * const s = SvPV_const(ssv,len);
3046
3047     PERL_ARGS_ASSERT_SV_COPYPV;
3048
3049     sv_setpvn(dsv,s,len);
3050     if (SvUTF8(ssv))
3051         SvUTF8_on(dsv);
3052     else
3053         SvUTF8_off(dsv);
3054 }
3055
3056 /*
3057 =for apidoc sv_2pvbyte
3058
3059 Return a pointer to the byte-encoded representation of the SV, and set *lp
3060 to its length.  May cause the SV to be downgraded from UTF-8 as a
3061 side-effect.
3062
3063 Usually accessed via the C<SvPVbyte> macro.
3064
3065 =cut
3066 */
3067
3068 char *
3069 Perl_sv_2pvbyte(pTHX_ register SV *const sv, STRLEN *const lp)
3070 {
3071     PERL_ARGS_ASSERT_SV_2PVBYTE;
3072
3073     sv_utf8_downgrade(sv,0);
3074     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3075 }
3076
3077 /*
3078 =for apidoc sv_2pvutf8
3079
3080 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3081 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3082
3083 Usually accessed via the C<SvPVutf8> macro.
3084
3085 =cut
3086 */
3087
3088 char *
3089 Perl_sv_2pvutf8(pTHX_ register SV *const sv, STRLEN *const lp)
3090 {
3091     PERL_ARGS_ASSERT_SV_2PVUTF8;
3092
3093     sv_utf8_upgrade(sv);
3094     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3095 }
3096
3097
3098 /*
3099 =for apidoc sv_2bool
3100
3101 This function is only called on magical items, and is only used by
3102 sv_true() or its macro equivalent.
3103
3104 =cut
3105 */
3106
3107 bool
3108 Perl_sv_2bool(pTHX_ register SV *const sv)
3109 {
3110     dVAR;
3111
3112     PERL_ARGS_ASSERT_SV_2BOOL;
3113
3114     SvGETMAGIC(sv);
3115
3116     if (!SvOK(sv))
3117         return 0;
3118     if (SvROK(sv)) {
3119         if (SvAMAGIC(sv)) {
3120             SV * const tmpsv = AMG_CALLun(sv,bool_);
3121             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3122                 return (bool)SvTRUE(tmpsv);
3123         }
3124         return SvRV(sv) != 0;
3125     }
3126     if (SvPOKp(sv)) {
3127         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
3128         if (Xpvtmp &&
3129                 (*sv->sv_u.svu_pv > '0' ||
3130                 Xpvtmp->xpv_cur > 1 ||
3131                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
3132             return 1;
3133         else
3134             return 0;
3135     }
3136     else {
3137         if (SvIOKp(sv))
3138             return SvIVX(sv) != 0;
3139         else {
3140             if (SvNOKp(sv))
3141                 return SvNVX(sv) != 0.0;
3142             else {
3143                 if (isGV_with_GP(sv))
3144                     return TRUE;
3145                 else
3146                     return FALSE;
3147             }
3148         }
3149     }
3150 }
3151
3152 /*
3153 =for apidoc sv_utf8_upgrade
3154
3155 Converts the PV of an SV to its UTF-8-encoded form.
3156 Forces the SV to string form if it is not already.
3157 Will C<mg_get> on C<sv> if appropriate.
3158 Always sets the SvUTF8 flag to avoid future validity checks even
3159 if the whole string is the same in UTF-8 as not.
3160 Returns the number of bytes in the converted string
3161
3162 This is not as a general purpose byte encoding to Unicode interface:
3163 use the Encode extension for that.
3164
3165 =for apidoc sv_utf8_upgrade_nomg
3166
3167 Like sv_utf8_upgrade, but doesn't do magic on C<sv>
3168
3169 =for apidoc sv_utf8_upgrade_flags
3170
3171 Converts the PV of an SV to its UTF-8-encoded form.
3172 Forces the SV to string form if it is not already.
3173 Always sets the SvUTF8 flag to avoid future validity checks even
3174 if all the bytes are invariant in UTF-8. If C<flags> has C<SV_GMAGIC> bit set,
3175 will C<mg_get> on C<sv> if appropriate, else not.
3176 Returns the number of bytes in the converted string
3177 C<sv_utf8_upgrade> and
3178 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3179
3180 This is not as a general purpose byte encoding to Unicode interface:
3181 use the Encode extension for that.
3182
3183 =cut
3184
3185 The grow version is currently not externally documented.  It adds a parameter,
3186 extra, which is the number of unused bytes the string of 'sv' is guaranteed to
3187 have free after it upon return.  This allows the caller to reserve extra space
3188 that it intends to fill, to avoid extra grows.
3189
3190 Also externally undocumented for the moment is the flag SV_FORCE_UTF8_UPGRADE,
3191 which can be used to tell this function to not first check to see if there are
3192 any characters that are different in UTF-8 (variant characters) which would
3193 force it to allocate a new string to sv, but to assume there are.  Typically
3194 this flag is used by a routine that has already parsed the string to find that
3195 there are such characters, and passes this information on so that the work
3196 doesn't have to be repeated.
3197
3198 (One might think that the calling routine could pass in the position of the
3199 first such variant, so it wouldn't have to be found again.  But that is not the
3200 case, because typically when the caller is likely to use this flag, it won't be
3201 calling this routine unless it finds something that won't fit into a byte.
3202 Otherwise it tries to not upgrade and just use bytes.  But some things that
3203 do fit into a byte are variants in utf8, and the caller may not have been
3204 keeping track of these.)
3205
3206 If the routine itself changes the string, it adds a trailing NUL.  Such a NUL
3207 isn't guaranteed due to having other routines do the work in some input cases,
3208 or if the input is already flagged as being in utf8.
3209
3210 The speed of this could perhaps be improved for many cases if someone wanted to
3211 write a fast function that counts the number of variant characters in a string,
3212 especially if it could return the position of the first one.
3213
3214 */
3215
3216 STRLEN
3217 Perl_sv_utf8_upgrade_flags_grow(pTHX_ register SV *const sv, const I32 flags, STRLEN extra)
3218 {
3219     dVAR;
3220
3221     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3222
3223     if (sv == &PL_sv_undef)
3224         return 0;
3225     if (!SvPOK(sv)) {
3226         STRLEN len = 0;
3227         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3228             (void) sv_2pv_flags(sv,&len, flags);
3229             if (SvUTF8(sv)) {
3230                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3231                 return len;
3232             }
3233         } else {
3234             (void) SvPV_force(sv,len);
3235         }
3236     }
3237
3238     if (SvUTF8(sv)) {
3239         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3240         return SvCUR(sv);
3241     }
3242
3243     if (SvIsCOW(sv)) {
3244         sv_force_normal_flags(sv, 0);
3245     }
3246
3247     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3248         sv_recode_to_utf8(sv, PL_encoding);
3249         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3250         return SvCUR(sv);
3251     }
3252
3253     if (SvCUR(sv) > 0) { /* Assume Latin-1/EBCDIC */
3254         /* This function could be much more efficient if we
3255          * had a FLAG in SVs to signal if there are any variant
3256          * chars in the PV.  Given that there isn't such a flag
3257          * make the loop as fast as possible (although there are certainly ways
3258          * to speed this up, eg. through vectorization) */
3259         U8 * s = (U8 *) SvPVX_const(sv);
3260         U8 * e = (U8 *) SvEND(sv);
3261         U8 *t = s;
3262         STRLEN two_byte_count = 0;
3263         
3264         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3265
3266         /* See if really will need to convert to utf8.  We mustn't rely on our
3267          * incoming SV being well formed and having a trailing '\0', as certain
3268          * code in pp_formline can send us partially built SVs. */
3269
3270         while (t < e) {
3271             const U8 ch = *t++;
3272             if (NATIVE_IS_INVARIANT(ch)) continue;
3273
3274             t--;    /* t already incremented; re-point to first variant */
3275             two_byte_count = 1;
3276             goto must_be_utf8;
3277         }
3278
3279         /* utf8 conversion not needed because all are invariants.  Mark as
3280          * UTF-8 even if no variant - saves scanning loop */
3281         SvUTF8_on(sv);
3282         return SvCUR(sv);
3283
3284 must_be_utf8:
3285
3286         /* Here, the string should be converted to utf8, either because of an
3287          * input flag (two_byte_count = 0), or because a character that
3288          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3289          * the beginning of the string (if we didn't examine anything), or to
3290          * the first variant.  In either case, everything from s to t - 1 will
3291          * occupy only 1 byte each on output.
3292          *
3293          * There are two main ways to convert.  One is to create a new string
3294          * and go through the input starting from the beginning, appending each
3295          * converted value onto the new string as we go along.  It's probably
3296          * best to allocate enough space in the string for the worst possible
3297          * case rather than possibly running out of space and having to
3298          * reallocate and then copy what we've done so far.  Since everything
3299          * from s to t - 1 is invariant, the destination can be initialized
3300          * with these using a fast memory copy
3301          *
3302          * The other way is to figure out exactly how big the string should be
3303          * by parsing the entire input.  Then you don't have to make it big
3304          * enough to handle the worst possible case, and more importantly, if
3305          * the string you already have is large enough, you don't have to
3306          * allocate a new string, you can copy the last character in the input
3307          * string to the final position(s) that will be occupied by the
3308          * converted string and go backwards, stopping at t, since everything
3309          * before that is invariant.
3310          *
3311          * There are advantages and disadvantages to each method.
3312          *
3313          * In the first method, we can allocate a new string, do the memory
3314          * copy from the s to t - 1, and then proceed through the rest of the
3315          * string byte-by-byte.
3316          *
3317          * In the second method, we proceed through the rest of the input
3318          * string just calculating how big the converted string will be.  Then
3319          * there are two cases:
3320          *  1)  if the string has enough extra space to handle the converted
3321          *      value.  We go backwards through the string, converting until we
3322          *      get to the position we are at now, and then stop.  If this
3323          *      position is far enough along in the string, this method is
3324          *      faster than the other method.  If the memory copy were the same
3325          *      speed as the byte-by-byte loop, that position would be about
3326          *      half-way, as at the half-way mark, parsing to the end and back
3327          *      is one complete string's parse, the same amount as starting
3328          *      over and going all the way through.  Actually, it would be
3329          *      somewhat less than half-way, as it's faster to just count bytes
3330          *      than to also copy, and we don't have the overhead of allocating
3331          *      a new string, changing the scalar to use it, and freeing the
3332          *      existing one.  But if the memory copy is fast, the break-even
3333          *      point is somewhere after half way.  The counting loop could be
3334          *      sped up by vectorization, etc, to move the break-even point
3335          *      further towards the beginning.
3336          *  2)  if the string doesn't have enough space to handle the converted
3337          *      value.  A new string will have to be allocated, and one might
3338          *      as well, given that, start from the beginning doing the first
3339          *      method.  We've spent extra time parsing the string and in
3340          *      exchange all we've gotten is that we know precisely how big to
3341          *      make the new one.  Perl is more optimized for time than space,
3342          *      so this case is a loser.
3343          * So what I've decided to do is not use the 2nd method unless it is
3344          * guaranteed that a new string won't have to be allocated, assuming
3345          * the worst case.  I also decided not to put any more conditions on it
3346          * than this, for now.  It seems likely that, since the worst case is
3347          * twice as big as the unknown portion of the string (plus 1), we won't
3348          * be guaranteed enough space, causing us to go to the first method,
3349          * unless the string is short, or the first variant character is near
3350          * the end of it.  In either of these cases, it seems best to use the
3351          * 2nd method.  The only circumstance I can think of where this would
3352          * be really slower is if the string had once had much more data in it
3353          * than it does now, but there is still a substantial amount in it  */
3354
3355         {
3356             STRLEN invariant_head = t - s;
3357             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3358             if (SvLEN(sv) < size) {
3359
3360                 /* Here, have decided to allocate a new string */
3361
3362                 U8 *dst;
3363                 U8 *d;
3364
3365                 Newx(dst, size, U8);
3366
3367                 /* If no known invariants at the beginning of the input string,
3368                  * set so starts from there.  Otherwise, can use memory copy to
3369                  * get up to where we are now, and then start from here */
3370
3371                 if (invariant_head <= 0) {
3372                     d = dst;
3373                 } else {
3374                     Copy(s, dst, invariant_head, char);
3375                     d = dst + invariant_head;
3376                 }
3377
3378                 while (t < e) {
3379                     const UV uv = NATIVE8_TO_UNI(*t++);
3380                     if (UNI_IS_INVARIANT(uv))
3381                         *d++ = (U8)UNI_TO_NATIVE(uv);
3382                     else {
3383                         *d++ = (U8)UTF8_EIGHT_BIT_HI(uv);
3384                         *d++ = (U8)UTF8_EIGHT_BIT_LO(uv);
3385                     }
3386                 }
3387                 *d = '\0';
3388                 SvPV_free(sv); /* No longer using pre-existing string */
3389                 SvPV_set(sv, (char*)dst);
3390                 SvCUR_set(sv, d - dst);
3391                 SvLEN_set(sv, size);
3392             } else {
3393
3394                 /* Here, have decided to get the exact size of the string.
3395                  * Currently this happens only when we know that there is
3396                  * guaranteed enough space to fit the converted string, so
3397                  * don't have to worry about growing.  If two_byte_count is 0,
3398                  * then t points to the first byte of the string which hasn't
3399                  * been examined yet.  Otherwise two_byte_count is 1, and t
3400                  * points to the first byte in the string that will expand to
3401                  * two.  Depending on this, start examining at t or 1 after t.
3402                  * */
3403
3404                 U8 *d = t + two_byte_count;
3405
3406
3407                 /* Count up the remaining bytes that expand to two */
3408
3409                 while (d < e) {
3410                     const U8 chr = *d++;
3411                     if (! NATIVE_IS_INVARIANT(chr)) two_byte_count++;
3412                 }
3413
3414                 /* The string will expand by just the number of bytes that
3415                  * occupy two positions.  But we are one afterwards because of
3416                  * the increment just above.  This is the place to put the
3417                  * trailing NUL, and to set the length before we decrement */
3418
3419                 d += two_byte_count;
3420                 SvCUR_set(sv, d - s);
3421                 *d-- = '\0';
3422
3423
3424                 /* Having decremented d, it points to the position to put the
3425                  * very last byte of the expanded string.  Go backwards through
3426                  * the string, copying and expanding as we go, stopping when we
3427                  * get to the part that is invariant the rest of the way down */
3428
3429                 e--;
3430                 while (e >= t) {
3431                     const U8 ch = NATIVE8_TO_UNI(*e--);
3432                     if (UNI_IS_INVARIANT(ch)) {
3433                         *d-- = UNI_TO_NATIVE(ch);
3434                     } else {
3435                         *d-- = (U8)UTF8_EIGHT_BIT_LO(ch);
3436                         *d-- = (U8)UTF8_EIGHT_BIT_HI(ch);
3437                     }
3438                 }
3439             }
3440         }
3441     }
3442
3443     /* Mark as UTF-8 even if no variant - saves scanning loop */
3444     SvUTF8_on(sv);
3445     return SvCUR(sv);
3446 }
3447
3448 /*
3449 =for apidoc sv_utf8_downgrade
3450
3451 Attempts to convert the PV of an SV from characters to bytes.
3452 If the PV contains a character that cannot fit
3453 in a byte, this conversion will fail;
3454 in this case, either returns false or, if C<fail_ok> is not
3455 true, croaks.
3456
3457 This is not as a general purpose Unicode to byte encoding interface:
3458 use the Encode extension for that.
3459
3460 =cut
3461 */
3462
3463 bool
3464 Perl_sv_utf8_downgrade(pTHX_ register SV *const sv, const bool fail_ok)
3465 {
3466     dVAR;
3467
3468     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3469
3470     if (SvPOKp(sv) && SvUTF8(sv)) {
3471         if (SvCUR(sv)) {
3472             U8 *s;
3473             STRLEN len;
3474
3475             if (SvIsCOW(sv)) {
3476                 sv_force_normal_flags(sv, 0);
3477             }
3478             s = (U8 *) SvPV(sv, len);
3479             if (!utf8_to_bytes(s, &len)) {
3480                 if (fail_ok)
3481                     return FALSE;
3482                 else {
3483                     if (PL_op)
3484                         Perl_croak(aTHX_ "Wide character in %s",
3485                                    OP_DESC(PL_op));
3486                     else
3487                         Perl_croak(aTHX_ "Wide character");
3488                 }
3489             }
3490             SvCUR_set(sv, len);
3491         }
3492     }
3493     SvUTF8_off(sv);
3494     return TRUE;
3495 }
3496
3497 /*
3498 =for apidoc sv_utf8_encode
3499
3500 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3501 flag off so that it looks like octets again.
3502
3503 =cut
3504 */
3505
3506 void
3507 Perl_sv_utf8_encode(pTHX_ register SV *const sv)
3508 {
3509     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3510
3511     if (SvIsCOW(sv)) {
3512         sv_force_normal_flags(sv, 0);
3513     }
3514     if (SvREADONLY(sv)) {
3515         Perl_croak(aTHX_ "%s", PL_no_modify);
3516     }
3517     (void) sv_utf8_upgrade(sv);
3518     SvUTF8_off(sv);
3519 }
3520
3521 /*
3522 =for apidoc sv_utf8_decode
3523
3524 If the PV of the SV is an octet sequence in UTF-8
3525 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3526 so that it looks like a character. If the PV contains only single-byte
3527 characters, the C<SvUTF8> flag stays being off.
3528 Scans PV for validity and returns false if the PV is invalid UTF-8.
3529
3530 =cut
3531 */
3532
3533 bool
3534 Perl_sv_utf8_decode(pTHX_ register SV *const sv)
3535 {
3536     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3537
3538     if (SvPOKp(sv)) {
3539         const U8 *c;
3540         const U8 *e;
3541
3542         /* The octets may have got themselves encoded - get them back as
3543          * bytes
3544          */
3545         if (!sv_utf8_downgrade(sv, TRUE))
3546             return FALSE;
3547
3548         /* it is actually just a matter of turning the utf8 flag on, but
3549          * we want to make sure everything inside is valid utf8 first.
3550          */
3551         c = (const U8 *) SvPVX_const(sv);
3552         if (!is_utf8_string(c, SvCUR(sv)+1))
3553             return FALSE;
3554         e = (const U8 *) SvEND(sv);
3555         while (c < e) {
3556             const U8 ch = *c++;
3557             if (!UTF8_IS_INVARIANT(ch)) {
3558                 SvUTF8_on(sv);
3559                 break;
3560             }
3561         }
3562     }
3563     return TRUE;
3564 }
3565
3566 /*
3567 =for apidoc sv_setsv
3568
3569 Copies the contents of the source SV C<ssv> into the destination SV
3570 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3571 function if the source SV needs to be reused. Does not handle 'set' magic.
3572 Loosely speaking, it performs a copy-by-value, obliterating any previous
3573 content of the destination.
3574
3575 You probably want to use one of the assortment of wrappers, such as
3576 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3577 C<SvSetMagicSV_nosteal>.
3578
3579 =for apidoc sv_setsv_flags
3580
3581 Copies the contents of the source SV C<ssv> into the destination SV
3582 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3583 function if the source SV needs to be reused. Does not handle 'set' magic.
3584 Loosely speaking, it performs a copy-by-value, obliterating any previous
3585 content of the destination.
3586 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3587 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3588 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3589 and C<sv_setsv_nomg> are implemented in terms of this function.
3590
3591 You probably want to use one of the assortment of wrappers, such as
3592 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3593 C<SvSetMagicSV_nosteal>.
3594
3595 This is the primary function for copying scalars, and most other
3596 copy-ish functions and macros use this underneath.
3597
3598 =cut
3599 */
3600
3601 static void
3602 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3603 {
3604     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3605
3606     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3607
3608     if (dtype != SVt_PVGV) {
3609         const char * const name = GvNAME(sstr);
3610         const STRLEN len = GvNAMELEN(sstr);
3611         {
3612             if (dtype >= SVt_PV) {
3613                 SvPV_free(dstr);
3614                 SvPV_set(dstr, 0);
3615                 SvLEN_set(dstr, 0);
3616                 SvCUR_set(dstr, 0);
3617             }
3618             SvUPGRADE(dstr, SVt_PVGV);
3619             (void)SvOK_off(dstr);
3620             /* FIXME - why are we doing this, then turning it off and on again
3621                below?  */
3622             isGV_with_GP_on(dstr);
3623         }
3624         GvSTASH(dstr) = GvSTASH(sstr);
3625         if (GvSTASH(dstr))
3626             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3627         gv_name_set(MUTABLE_GV(dstr), name, len, GV_ADD);
3628         SvFAKE_on(dstr);        /* can coerce to non-glob */
3629     }
3630
3631     if(GvGP(MUTABLE_GV(sstr))) {
3632         /* If source has method cache entry, clear it */
3633         if(GvCVGEN(sstr)) {
3634             SvREFCNT_dec(GvCV(sstr));
3635             GvCV(sstr) = NULL;
3636             GvCVGEN(sstr) = 0;
3637         }
3638         /* If source has a real method, then a method is
3639            going to change */
3640         else if(GvCV((const GV *)sstr)) {
3641             mro_changes = 1;
3642         }
3643     }
3644
3645     /* If dest already had a real method, that's a change as well */
3646     if(!mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)) {
3647         mro_changes = 1;
3648     }
3649
3650     if(strEQ(GvNAME((const GV *)dstr),"ISA"))
3651         mro_changes = 2;
3652
3653     gp_free(MUTABLE_GV(dstr));
3654     isGV_with_GP_off(dstr);
3655     (void)SvOK_off(dstr);
3656     isGV_with_GP_on(dstr);
3657     GvINTRO_off(dstr);          /* one-shot flag */
3658     GvGP(dstr) = gp_ref(GvGP(sstr));
3659     if (SvTAINTED(sstr))
3660         SvTAINT(dstr);
3661     if (GvIMPORTED(dstr) != GVf_IMPORTED
3662         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3663         {
3664             GvIMPORTED_on(dstr);
3665         }
3666     GvMULTI_on(dstr);
3667     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3668     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3669     return;
3670 }
3671
3672 static void
3673 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3674 {
3675     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3676     SV *dref = NULL;
3677     const int intro = GvINTRO(dstr);
3678     SV **location;
3679     U8 import_flag = 0;
3680     const U32 stype = SvTYPE(sref);
3681     bool mro_changes = FALSE;
3682
3683     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3684
3685     if (intro) {
3686         GvINTRO_off(dstr);      /* one-shot flag */
3687         GvLINE(dstr) = CopLINE(PL_curcop);
3688         GvEGV(dstr) = MUTABLE_GV(dstr);
3689     }
3690     GvMULTI_on(dstr);
3691     switch (stype) {
3692     case SVt_PVCV:
3693         location = (SV **) &GvCV(dstr);
3694         import_flag = GVf_IMPORTED_CV;
3695         goto common;
3696     case SVt_PVHV:
3697         location = (SV **) &GvHV(dstr);
3698         import_flag = GVf_IMPORTED_HV;
3699         goto common;
3700     case SVt_PVAV:
3701         location = (SV **) &GvAV(dstr);
3702         if (strEQ(GvNAME((GV*)dstr), "ISA"))
3703             mro_changes = TRUE;
3704         import_flag = GVf_IMPORTED_AV;
3705         goto common;
3706     case SVt_PVIO:
3707         location = (SV **) &GvIOp(dstr);
3708         goto common;
3709     case SVt_PVFM:
3710         location = (SV **) &GvFORM(dstr);
3711         goto common;
3712     default:
3713         location = &GvSV(dstr);
3714         import_flag = GVf_IMPORTED_SV;
3715     common:
3716         if (intro) {
3717             if (stype == SVt_PVCV) {
3718                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3719                 if (GvCVGEN(dstr)) {
3720                     SvREFCNT_dec(GvCV(dstr));
3721                     GvCV(dstr) = NULL;
3722                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3723                 }
3724             }
3725             SAVEGENERICSV(*location);
3726         }
3727         else
3728             dref = *location;
3729         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3730             CV* const cv = MUTABLE_CV(*location);
3731             if (cv) {
3732                 if (!GvCVGEN((const GV *)dstr) &&
3733                     (CvROOT(cv) || CvXSUB(cv)))
3734                     {
3735                         /* Redefining a sub - warning is mandatory if
3736                            it was a const and its value changed. */
3737                         if (CvCONST(cv) && CvCONST((const CV *)sref)
3738                             && cv_const_sv(cv)
3739                             == cv_const_sv((const CV *)sref)) {
3740                             NOOP;
3741                             /* They are 2 constant subroutines generated from
3742                                the same constant. This probably means that
3743                                they are really the "same" proxy subroutine
3744                                instantiated in 2 places. Most likely this is
3745                                when a constant is exported twice.  Don't warn.
3746                             */
3747                         }
3748                         else if (ckWARN(WARN_REDEFINE)
3749                                  || (CvCONST(cv)
3750                                      && (!CvCONST((const CV *)sref)
3751                                          || sv_cmp(cv_const_sv(cv),
3752                                                    cv_const_sv((const CV *)
3753                                                                sref))))) {
3754                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3755                                         (const char *)
3756                                         (CvCONST(cv)
3757                                          ? "Constant subroutine %s::%s redefined"
3758                                          : "Subroutine %s::%s redefined"),
3759                                         HvNAME_get(GvSTASH((const GV *)dstr)),
3760                                         GvENAME(MUTABLE_GV(dstr)));
3761                         }
3762                     }
3763                 if (!intro)
3764                     cv_ckproto_len(cv, (const GV *)dstr,
3765                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3766                                    SvPOK(sref) ? SvCUR(sref) : 0);
3767             }
3768             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3769             GvASSUMECV_on(dstr);
3770             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3771         }
3772         *location = sref;
3773         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3774             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3775             GvFLAGS(dstr) |= import_flag;
3776         }
3777         break;
3778     }
3779     SvREFCNT_dec(dref);
3780     if (SvTAINTED(sstr))
3781         SvTAINT(dstr);
3782     if (mro_changes) mro_isa_changed_in(GvSTASH(dstr));
3783     return;
3784 }
3785
3786 void
3787 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV* sstr, const I32 flags)
3788 {
3789     dVAR;
3790     register U32 sflags;
3791     register int dtype;
3792     register svtype stype;
3793
3794     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
3795
3796     if (sstr == dstr)
3797         return;
3798
3799     if (SvIS_FREED(dstr)) {
3800         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3801                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3802     }
3803     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3804     if (!sstr)
3805         sstr = &PL_sv_undef;
3806     if (SvIS_FREED(sstr)) {
3807         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3808                    (void*)sstr, (void*)dstr);
3809     }
3810     stype = SvTYPE(sstr);
3811     dtype = SvTYPE(dstr);
3812
3813     (void)SvAMAGIC_off(dstr);
3814     if ( SvVOK(dstr) )
3815     {
3816         /* need to nuke the magic */
3817         mg_free(dstr);
3818     }
3819
3820     /* There's a lot of redundancy below but we're going for speed here */
3821
3822     switch (stype) {
3823     case SVt_NULL:
3824       undef_sstr:
3825         if (dtype != SVt_PVGV) {
3826             (void)SvOK_off(dstr);
3827             return;
3828         }
3829         break;
3830     case SVt_IV:
3831         if (SvIOK(sstr)) {
3832             switch (dtype) {
3833             case SVt_NULL:
3834                 sv_upgrade(dstr, SVt_IV);
3835                 break;
3836             case SVt_NV:
3837             case SVt_PV:
3838                 sv_upgrade(dstr, SVt_PVIV);
3839                 break;
3840             case SVt_PVGV:
3841                 goto end_of_first_switch;
3842             }
3843             (void)SvIOK_only(dstr);
3844             SvIV_set(dstr,  SvIVX(sstr));
3845             if (SvIsUV(sstr))
3846                 SvIsUV_on(dstr);
3847             /* SvTAINTED can only be true if the SV has taint magic, which in
3848                turn means that the SV type is PVMG (or greater). This is the
3849                case statement for SVt_IV, so this cannot be true (whatever gcov
3850                may say).  */
3851             assert(!SvTAINTED(sstr));
3852             return;
3853         }
3854         if (!SvROK(sstr))
3855             goto undef_sstr;
3856         if (dtype < SVt_PV && dtype != SVt_IV)
3857             sv_upgrade(dstr, SVt_IV);
3858         break;
3859
3860     case SVt_NV:
3861         if (SvNOK(sstr)) {
3862             switch (dtype) {
3863             case SVt_NULL:
3864             case SVt_IV:
3865                 sv_upgrade(dstr, SVt_NV);
3866                 break;
3867             case SVt_PV:
3868             case SVt_PVIV:
3869                 sv_upgrade(dstr, SVt_PVNV);
3870                 break;
3871             case SVt_PVGV:
3872                 goto end_of_first_switch;
3873             }
3874             SvNV_set(dstr, SvNVX(sstr));
3875             (void)SvNOK_only(dstr);
3876             /* SvTAINTED can only be true if the SV has taint magic, which in
3877                turn means that the SV type is PVMG (or greater). This is the
3878                case statement for SVt_NV, so this cannot be true (whatever gcov
3879                may say).  */
3880             assert(!SvTAINTED(sstr));
3881             return;
3882         }
3883         goto undef_sstr;
3884
3885     case SVt_PVFM:
3886 #ifdef PERL_OLD_COPY_ON_WRITE
3887         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3888             if (dtype < SVt_PVIV)
3889                 sv_upgrade(dstr, SVt_PVIV);
3890             break;
3891         }
3892         /* Fall through */
3893 #endif
3894     case SVt_PV:
3895         if (dtype < SVt_PV)
3896             sv_upgrade(dstr, SVt_PV);
3897         break;
3898     case SVt_PVIV:
3899         if (dtype < SVt_PVIV)
3900             sv_upgrade(dstr, SVt_PVIV);
3901         break;
3902     case SVt_PVNV:
3903         if (dtype < SVt_PVNV)
3904             sv_upgrade(dstr, SVt_PVNV);
3905         break;
3906     default:
3907         {
3908         const char * const type = sv_reftype(sstr,0);
3909         if (PL_op)
3910             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3911         else
3912             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3913         }
3914         break;
3915
3916     case SVt_REGEXP:
3917         if (dtype < SVt_REGEXP)
3918             sv_upgrade(dstr, SVt_REGEXP);
3919         break;
3920
3921         /* case SVt_BIND: */
3922     case SVt_PVLV:
3923     case SVt_PVGV:
3924         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3925             glob_assign_glob(dstr, sstr, dtype);
3926             return;
3927         }
3928         /* SvVALID means that this PVGV is playing at being an FBM.  */
3929         /*FALLTHROUGH*/
3930
3931     case SVt_PVMG:
3932         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3933             mg_get(sstr);
3934             if (SvTYPE(sstr) != stype) {
3935                 stype = SvTYPE(sstr);
3936                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3937                     glob_assign_glob(dstr, sstr, dtype);
3938                     return;
3939                 }
3940             }
3941         }
3942         if (stype == SVt_PVLV)
3943             SvUPGRADE(dstr, SVt_PVNV);
3944         else
3945             SvUPGRADE(dstr, (svtype)stype);
3946     }
3947  end_of_first_switch:
3948
3949     /* dstr may have been upgraded.  */
3950     dtype = SvTYPE(dstr);
3951     sflags = SvFLAGS(sstr);
3952
3953     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3954         /* Assigning to a subroutine sets the prototype.  */
3955         if (SvOK(sstr)) {
3956             STRLEN len;
3957             const char *const ptr = SvPV_const(sstr, len);
3958
3959             SvGROW(dstr, len + 1);
3960             Copy(ptr, SvPVX(dstr), len + 1, char);
3961             SvCUR_set(dstr, len);
3962             SvPOK_only(dstr);
3963             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3964         } else {
3965             SvOK_off(dstr);
3966         }
3967     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3968         const char * const type = sv_reftype(dstr,0);
3969         if (PL_op)
3970             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3971         else
3972             Perl_croak(aTHX_ "Cannot copy to %s", type);
3973     } else if (sflags & SVf_ROK) {
3974         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3975             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
3976             sstr = SvRV(sstr);
3977             if (sstr == dstr) {
3978                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3979                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3980                 {
3981                     GvIMPORTED_on(dstr);
3982                 }
3983                 GvMULTI_on(dstr);
3984                 return;
3985             }
3986             glob_assign_glob(dstr, sstr, dtype);
3987             return;
3988         }
3989
3990         if (dtype >= SVt_PV) {
3991             if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3992                 glob_assign_ref(dstr, sstr);
3993                 return;
3994             }
3995             if (SvPVX_const(dstr)) {
3996                 SvPV_free(dstr);
3997                 SvLEN_set(dstr, 0);
3998                 SvCUR_set(dstr, 0);
3999             }
4000         }
4001         (void)SvOK_off(dstr);
4002         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4003         SvFLAGS(dstr) |= sflags & SVf_ROK;
4004         assert(!(sflags & SVp_NOK));
4005         assert(!(sflags & SVp_IOK));
4006         assert(!(sflags & SVf_NOK));
4007         assert(!(sflags & SVf_IOK));
4008     }
4009     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
4010         if (!(sflags & SVf_OK)) {
4011             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4012                            "Undefined value assigned to typeglob");
4013         }
4014         else {
4015             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
4016             if (dstr != (const SV *)gv) {
4017                 if (GvGP(dstr))
4018                     gp_free(MUTABLE_GV(dstr));
4019                 GvGP(dstr) = gp_ref(GvGP(gv));
4020             }
4021         }
4022     }
4023     else if (dtype == SVt_REGEXP && stype == SVt_REGEXP) {
4024         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4025     }
4026     else if (sflags & SVp_POK) {
4027         bool isSwipe = 0;
4028
4029         /*
4030          * Check to see if we can just swipe the string.  If so, it's a
4031          * possible small lose on short strings, but a big win on long ones.
4032          * It might even be a win on short strings if SvPVX_const(dstr)
4033          * has to be allocated and SvPVX_const(sstr) has to be freed.
4034          * Likewise if we can set up COW rather than doing an actual copy, we
4035          * drop to the else clause, as the swipe code and the COW setup code
4036          * have much in common.
4037          */
4038
4039         /* Whichever path we take through the next code, we want this true,
4040            and doing it now facilitates the COW check.  */
4041         (void)SvPOK_only(dstr);
4042
4043         if (
4044             /* If we're already COW then this clause is not true, and if COW
4045                is allowed then we drop down to the else and make dest COW 
4046                with us.  If caller hasn't said that we're allowed to COW
4047                shared hash keys then we don't do the COW setup, even if the
4048                source scalar is a shared hash key scalar.  */
4049             (((flags & SV_COW_SHARED_HASH_KEYS)
4050                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
4051                : 1 /* If making a COW copy is forbidden then the behaviour we
4052                        desire is as if the source SV isn't actually already
4053                        COW, even if it is.  So we act as if the source flags
4054                        are not COW, rather than actually testing them.  */
4055               )
4056 #ifndef PERL_OLD_COPY_ON_WRITE
4057              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
4058                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
4059                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
4060                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
4061                 but in turn, it's somewhat dead code, never expected to go
4062                 live, but more kept as a placeholder on how to do it better
4063                 in a newer implementation.  */
4064              /* If we are COW and dstr is a suitable target then we drop down
4065                 into the else and make dest a COW of us.  */
4066              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
4067 #endif
4068              )
4069             &&
4070             !(isSwipe =
4071                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
4072                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4073                  (!(flags & SV_NOSTEAL)) &&
4074                                         /* and we're allowed to steal temps */
4075                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4076                  SvLEN(sstr)    &&        /* and really is a string */
4077                                 /* and won't be needed again, potentially */
4078               !(PL_op && PL_op->op_type == OP_AASSIGN))
4079 #ifdef PERL_OLD_COPY_ON_WRITE
4080             && ((flags & SV_COW_SHARED_HASH_KEYS)
4081                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4082                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4083                      && SvTYPE(sstr) >= SVt_PVIV && SvTYPE(sstr) != SVt_PVFM))
4084                 : 1)
4085 #endif
4086             ) {
4087             /* Failed the swipe test, and it's not a shared hash key either.
4088                Have to copy the string.  */
4089             STRLEN len = SvCUR(sstr);
4090             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
4091             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
4092             SvCUR_set(dstr, len);
4093             *SvEND(dstr) = '\0';
4094         } else {
4095             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
4096                be true in here.  */
4097             /* Either it's a shared hash key, or it's suitable for
4098                copy-on-write or we can swipe the string.  */
4099             if (DEBUG_C_TEST) {
4100                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4101                 sv_dump(sstr);
4102                 sv_dump(dstr);
4103             }
4104 #ifdef PERL_OLD_COPY_ON_WRITE
4105             if (!isSwipe) {
4106                 if ((sflags & (SVf_FAKE | SVf_READONLY))
4107                     != (SVf_FAKE | SVf_READONLY)) {
4108                     SvREADONLY_on(sstr);
4109                     SvFAKE_on(sstr);
4110                     /* Make the source SV into a loop of 1.
4111                        (about to become 2) */
4112                     SV_COW_NEXT_SV_SET(sstr, sstr);
4113                 }
4114             }
4115 #endif
4116             /* Initial code is common.  */
4117             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4118                 SvPV_free(dstr);
4119             }
4120
4121             if (!isSwipe) {
4122                 /* making another shared SV.  */
4123                 STRLEN cur = SvCUR(sstr);
4124                 STRLEN len = SvLEN(sstr);
4125 #ifdef PERL_OLD_COPY_ON_WRITE
4126                 if (len) {
4127                     assert (SvTYPE(dstr) >= SVt_PVIV);
4128                     /* SvIsCOW_normal */
4129                     /* splice us in between source and next-after-source.  */
4130                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4131                     SV_COW_NEXT_SV_SET(sstr, dstr);
4132                     SvPV_set(dstr, SvPVX_mutable(sstr));
4133                 } else
4134 #endif
4135                 {
4136                     /* SvIsCOW_shared_hash */
4137                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4138                                           "Copy on write: Sharing hash\n"));
4139
4140                     assert (SvTYPE(dstr) >= SVt_PV);
4141                     SvPV_set(dstr,
4142                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4143                 }
4144                 SvLEN_set(dstr, len);
4145                 SvCUR_set(dstr, cur);
4146                 SvREADONLY_on(dstr);
4147                 SvFAKE_on(dstr);
4148             }
4149             else
4150                 {       /* Passes the swipe test.  */
4151                 SvPV_set(dstr, SvPVX_mutable(sstr));
4152                 SvLEN_set(dstr, SvLEN(sstr));
4153                 SvCUR_set(dstr, SvCUR(sstr));
4154
4155                 SvTEMP_off(dstr);
4156                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
4157                 SvPV_set(sstr, NULL);
4158                 SvLEN_set(sstr, 0);
4159                 SvCUR_set(sstr, 0);
4160                 SvTEMP_off(sstr);
4161             }
4162         }
4163         if (sflags & SVp_NOK) {
4164             SvNV_set(dstr, SvNVX(sstr));
4165         }
4166         if (sflags & SVp_IOK) {
4167             SvIV_set(dstr, SvIVX(sstr));
4168             /* Must do this otherwise some other overloaded use of 0x80000000
4169                gets confused. I guess SVpbm_VALID */
4170             if (sflags & SVf_IVisUV)
4171                 SvIsUV_on(dstr);
4172         }
4173         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4174         {
4175             const MAGIC * const smg = SvVSTRING_mg(sstr);
4176             if (smg) {
4177                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4178                          smg->mg_ptr, smg->mg_len);
4179                 SvRMAGICAL_on(dstr);
4180             }
4181         }
4182     }
4183     else if (sflags & (SVp_IOK|SVp_NOK)) {
4184         (void)SvOK_off(dstr);
4185         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4186         if (sflags & SVp_IOK) {
4187             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4188             SvIV_set(dstr, SvIVX(sstr));
4189         }
4190         if (sflags & SVp_NOK) {
4191             SvNV_set(dstr, SvNVX(sstr));
4192         }
4193     }
4194     else {
4195         if (isGV_with_GP(sstr)) {
4196             /* This stringification rule for globs is spread in 3 places.
4197                This feels bad. FIXME.  */
4198             const U32 wasfake = sflags & SVf_FAKE;
4199
4200             /* FAKE globs can get coerced, so need to turn this off
4201                temporarily if it is on.  */
4202             SvFAKE_off(sstr);
4203             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4204             SvFLAGS(sstr) |= wasfake;
4205         }
4206         else
4207             (void)SvOK_off(dstr);
4208     }
4209     if (SvTAINTED(sstr))
4210         SvTAINT(dstr);
4211 }
4212
4213 /*
4214 =for apidoc sv_setsv_mg
4215
4216 Like C<sv_setsv>, but also handles 'set' magic.
4217
4218 =cut
4219 */
4220
4221 void
4222 Perl_sv_setsv_mg(pTHX_ SV *const dstr, register SV *const sstr)
4223 {
4224     PERL_ARGS_ASSERT_SV_SETSV_MG;
4225
4226     sv_setsv(dstr,sstr);
4227     SvSETMAGIC(dstr);
4228 }
4229
4230 #ifdef PERL_OLD_COPY_ON_WRITE
4231 SV *
4232 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4233 {
4234     STRLEN cur = SvCUR(sstr);
4235     STRLEN len = SvLEN(sstr);
4236     register char *new_pv;
4237
4238     PERL_ARGS_ASSERT_SV_SETSV_COW;
4239
4240     if (DEBUG_C_TEST) {
4241         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4242                       (void*)sstr, (void*)dstr);
4243         sv_dump(sstr);
4244         if (dstr)
4245                     sv_dump(dstr);
4246     }
4247
4248     if (dstr) {
4249         if (SvTHINKFIRST(dstr))
4250             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4251         else if (SvPVX_const(dstr))
4252             Safefree(SvPVX_const(dstr));
4253     }
4254     else
4255         new_SV(dstr);
4256     SvUPGRADE(dstr, SVt_PVIV);
4257
4258     assert (SvPOK(sstr));
4259     assert (SvPOKp(sstr));
4260     assert (!SvIOK(sstr));
4261     assert (!SvIOKp(sstr));
4262     assert (!SvNOK(sstr));
4263     assert (!SvNOKp(sstr));
4264
4265     if (SvIsCOW(sstr)) {
4266
4267         if (SvLEN(sstr) == 0) {
4268             /* source is a COW shared hash key.  */
4269             DEBUG_C(PerlIO_printf(Perl_debug_log,
4270                                   "Fast copy on write: Sharing hash\n"));
4271             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4272             goto common_exit;
4273         }
4274         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4275     } else {
4276         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4277         SvUPGRADE(sstr, SVt_PVIV);
4278         SvREADONLY_on(sstr);
4279         SvFAKE_on(sstr);
4280         DEBUG_C(PerlIO_printf(Perl_debug_log,
4281                               "Fast copy on write: Converting sstr to COW\n"));
4282         SV_COW_NEXT_SV_SET(dstr, sstr);
4283     }
4284     SV_COW_NEXT_SV_SET(sstr, dstr);
4285     new_pv = SvPVX_mutable(sstr);
4286
4287   common_exit:
4288     SvPV_set(dstr, new_pv);
4289     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
4290     if (SvUTF8(sstr))
4291         SvUTF8_on(dstr);
4292     SvLEN_set(dstr, len);
4293     SvCUR_set(dstr, cur);
4294     if (DEBUG_C_TEST) {
4295         sv_dump(dstr);
4296     }
4297     return dstr;
4298 }
4299 #endif
4300
4301 /*
4302 =for apidoc sv_setpvn
4303
4304 Copies a string into an SV.  The C<len> parameter indicates the number of
4305 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4306 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4307
4308 =cut
4309 */
4310
4311 void
4312 Perl_sv_setpvn(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4313 {
4314     dVAR;
4315     register char *dptr;
4316
4317     PERL_ARGS_ASSERT_SV_SETPVN;
4318
4319     SV_CHECK_THINKFIRST_COW_DROP(sv);
4320     if (!ptr) {
4321         (void)SvOK_off(sv);
4322         return;
4323     }
4324     else {
4325         /* len is STRLEN which is unsigned, need to copy to signed */
4326         const IV iv = len;
4327         if (iv < 0)
4328             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
4329     }
4330     SvUPGRADE(sv, SVt_PV);
4331
4332     dptr = SvGROW(sv, len + 1);
4333     Move(ptr,dptr,len,char);
4334     dptr[len] = '\0';
4335     SvCUR_set(sv, len);
4336     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4337     SvTAINT(sv);
4338 }
4339
4340 /*
4341 =for apidoc sv_setpvn_mg
4342
4343 Like C<sv_setpvn>, but also handles 'set' magic.
4344
4345 =cut
4346 */
4347
4348 void
4349 Perl_sv_setpvn_mg(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4350 {
4351     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4352
4353     sv_setpvn(sv,ptr,len);
4354     SvSETMAGIC(sv);
4355 }
4356
4357 /*
4358 =for apidoc sv_setpv
4359
4360 Copies a string into an SV.  The string must be null-terminated.  Does not
4361 handle 'set' magic.  See C<sv_setpv_mg>.
4362
4363 =cut
4364 */
4365
4366 void
4367 Perl_sv_setpv(pTHX_ register SV *const sv, register const char *const ptr)
4368 {
4369     dVAR;
4370     register STRLEN len;
4371
4372     PERL_ARGS_ASSERT_SV_SETPV;
4373
4374     SV_CHECK_THINKFIRST_COW_DROP(sv);
4375     if (!ptr) {
4376         (void)SvOK_off(sv);
4377         return;
4378     }
4379     len = strlen(ptr);
4380     SvUPGRADE(sv, SVt_PV);
4381
4382     SvGROW(sv, len + 1);
4383     Move(ptr,SvPVX(sv),len+1,char);
4384     SvCUR_set(sv, len);
4385     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4386     SvTAINT(sv);
4387 }
4388
4389 /*
4390 =for apidoc sv_setpv_mg
4391
4392 Like C<sv_setpv>, but also handles 'set' magic.
4393
4394 =cut
4395 */
4396
4397 void
4398 Perl_sv_setpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4399 {
4400     PERL_ARGS_ASSERT_SV_SETPV_MG;
4401
4402     sv_setpv(sv,ptr);
4403     SvSETMAGIC(sv);
4404 }
4405
4406 /*
4407 =for apidoc sv_usepvn_flags
4408
4409 Tells an SV to use C<ptr> to find its string value.  Normally the
4410 string is stored inside the SV but sv_usepvn allows the SV to use an
4411 outside string.  The C<ptr> should point to memory that was allocated
4412 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4413 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4414 so that pointer should not be freed or used by the programmer after
4415 giving it to sv_usepvn, and neither should any pointers from "behind"
4416 that pointer (e.g. ptr + 1) be used.
4417
4418 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4419 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4420 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4421 C<len>, and already meets the requirements for storing in C<SvPVX>)
4422
4423 =cut
4424 */
4425
4426 void
4427 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
4428 {
4429     dVAR;
4430     STRLEN allocate;
4431
4432     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
4433
4434     SV_CHECK_THINKFIRST_COW_DROP(sv);
4435     SvUPGRADE(sv, SVt_PV);
4436     if (!ptr) {
4437         (void)SvOK_off(sv);
4438         if (flags & SV_SMAGIC)
4439             SvSETMAGIC(sv);
4440         return;
4441     }
4442     if (SvPVX_const(sv))
4443         SvPV_free(sv);
4444
4445 #ifdef DEBUGGING
4446     if (flags & SV_HAS_TRAILING_NUL)
4447         assert(ptr[len] == '\0');
4448 #endif
4449
4450     allocate = (flags & SV_HAS_TRAILING_NUL)
4451         ? len + 1 :
4452 #ifdef Perl_safesysmalloc_size
4453         len + 1;
4454 #else 
4455         PERL_STRLEN_ROUNDUP(len + 1);
4456 #endif
4457     if (flags & SV_HAS_TRAILING_NUL) {
4458         /* It's long enough - do nothing.
4459            Specfically Perl_newCONSTSUB is relying on this.  */
4460     } else {
4461 #ifdef DEBUGGING
4462         /* Force a move to shake out bugs in callers.  */
4463         char *new_ptr = (char*)safemalloc(allocate);
4464         Copy(ptr, new_ptr, len, char);
4465         PoisonFree(ptr,len,char);
4466         Safefree(ptr);
4467         ptr = new_ptr;
4468 #else
4469         ptr = (char*) saferealloc (ptr, allocate);
4470 #endif
4471     }
4472 #ifdef Perl_safesysmalloc_size
4473     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
4474 #else
4475     SvLEN_set(sv, allocate);
4476 #endif
4477     SvCUR_set(sv, len);
4478     SvPV_set(sv, ptr);
4479     if (!(flags & SV_HAS_TRAILING_NUL)) {
4480         ptr[len] = '\0';
4481     }
4482     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4483     SvTAINT(sv);
4484     if (flags & SV_SMAGIC)
4485         SvSETMAGIC(sv);
4486 }
4487
4488 #ifdef PERL_OLD_COPY_ON_WRITE
4489 /* Need to do this *after* making the SV normal, as we need the buffer
4490    pointer to remain valid until after we've copied it.  If we let go too early,
4491    another thread could invalidate it by unsharing last of the same hash key
4492    (which it can do by means other than releasing copy-on-write Svs)
4493    or by changing the other copy-on-write SVs in the loop.  */
4494 STATIC void
4495 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4496 {
4497     PERL_ARGS_ASSERT_SV_RELEASE_COW;
4498
4499     { /* this SV was SvIsCOW_normal(sv) */
4500          /* we need to find the SV pointing to us.  */
4501         SV *current = SV_COW_NEXT_SV(after);
4502
4503         if (current == sv) {
4504             /* The SV we point to points back to us (there were only two of us
4505                in the loop.)
4506                Hence other SV is no longer copy on write either.  */
4507             SvFAKE_off(after);
4508             SvREADONLY_off(after);
4509         } else {
4510             /* We need to follow the pointers around the loop.  */
4511             SV *next;
4512             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4513                 assert (next);
4514                 current = next;
4515                  /* don't loop forever if the structure is bust, and we have
4516                     a pointer into a closed loop.  */
4517                 assert (current != after);
4518                 assert (SvPVX_const(current) == pvx);
4519             }
4520             /* Make the SV before us point to the SV after us.  */
4521             SV_COW_NEXT_SV_SET(current, after);
4522         }
4523     }
4524 }
4525 #endif
4526 /*
4527 =for apidoc sv_force_normal_flags
4528
4529 Undo various types of fakery on an SV: if the PV is a shared string, make
4530 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4531 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4532 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4533 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4534 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4535 set to some other value.) In addition, the C<flags> parameter gets passed to
4536 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4537 with flags set to 0.
4538
4539 =cut
4540 */
4541
4542 void
4543 Perl_sv_force_normal_flags(pTHX_ register SV *const sv, const U32 flags)
4544 {
4545     dVAR;
4546
4547     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
4548
4549 #ifdef PERL_OLD_COPY_ON_WRITE
4550     if (SvREADONLY(sv)) {
4551         if (SvFAKE(sv)) {
4552             const char * const pvx = SvPVX_const(sv);
4553             const STRLEN len = SvLEN(sv);
4554             const STRLEN cur = SvCUR(sv);
4555             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4556                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4557                we'll fail an assertion.  */
4558             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4559
4560             if (DEBUG_C_TEST) {
4561                 PerlIO_printf(Perl_debug_log,
4562                               "Copy on write: Force normal %ld\n",
4563                               (long) flags);
4564                 sv_dump(sv);
4565             }
4566             SvFAKE_off(sv);
4567             SvREADONLY_off(sv);
4568             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4569             SvPV_set(sv, NULL);
4570             SvLEN_set(sv, 0);
4571             if (flags & SV_COW_DROP_PV) {
4572                 /* OK, so we don't need to copy our buffer.  */
4573                 SvPOK_off(sv);
4574             } else {
4575                 SvGROW(sv, cur + 1);
4576                 Move(pvx,SvPVX(sv),cur,char);
4577                 SvCUR_set(sv, cur);
4578                 *SvEND(sv) = '\0';
4579             }
4580             if (len) {
4581                 sv_release_COW(sv, pvx, next);
4582             } else {
4583                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4584             }
4585             if (DEBUG_C_TEST) {
4586                 sv_dump(sv);
4587             }
4588         }
4589         else if (IN_PERL_RUNTIME)
4590             Perl_croak(aTHX_ "%s", PL_no_modify);
4591     }
4592 #else
4593     if (SvREADONLY(sv)) {
4594         if (SvFAKE(sv)) {
4595             const char * const pvx = SvPVX_const(sv);
4596             const STRLEN len = SvCUR(sv);
4597             SvFAKE_off(sv);
4598             SvREADONLY_off(sv);
4599             SvPV_set(sv, NULL);
4600             SvLEN_set(sv, 0);
4601             SvGROW(sv, len + 1);
4602             Move(pvx,SvPVX(sv),len,char);
4603             *SvEND(sv) = '\0';
4604             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4605         }
4606         else if (IN_PERL_RUNTIME)
4607             Perl_croak(aTHX_ "%s", PL_no_modify);
4608     }
4609 #endif
4610     if (SvROK(sv))
4611         sv_unref_flags(sv, flags);
4612     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4613         sv_unglob(sv);
4614 }
4615
4616 /*
4617 =for apidoc sv_chop
4618
4619 Efficient removal of characters from the beginning of the string buffer.
4620 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4621 the string buffer.  The C<ptr> becomes the first character of the adjusted
4622 string. Uses the "OOK hack".
4623 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4624 refer to the same chunk of data.
4625
4626 =cut
4627 */
4628
4629 void
4630 Perl_sv_chop(pTHX_ register SV *const sv, register const char *const ptr)
4631 {
4632     STRLEN delta;
4633     STRLEN old_delta;
4634     U8 *p;
4635 #ifdef DEBUGGING
4636     const U8 *real_start;
4637 #endif
4638     STRLEN max_delta;
4639
4640     PERL_ARGS_ASSERT_SV_CHOP;
4641
4642     if (!ptr || !SvPOKp(sv))
4643         return;
4644     delta = ptr - SvPVX_const(sv);
4645     if (!delta) {
4646         /* Nothing to do.  */
4647         return;
4648     }
4649     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), but after this line,
4650        nothing uses the value of ptr any more.  */
4651     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
4652     if (ptr <= SvPVX_const(sv))
4653         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
4654                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
4655     SV_CHECK_THINKFIRST(sv);
4656     if (delta > max_delta)
4657         Perl_croak(aTHX_ "panic: sv_chop ptr=%p (was %p), start=%p, end=%p",
4658                    SvPVX_const(sv) + delta, ptr, SvPVX_const(sv),
4659                    SvPVX_const(sv) + max_delta);
4660
4661     if (!SvOOK(sv)) {
4662         if (!SvLEN(sv)) { /* make copy of shared string */
4663             const char *pvx = SvPVX_const(sv);
4664             const STRLEN len = SvCUR(sv);
4665             SvGROW(sv, len + 1);
4666             Move(pvx,SvPVX(sv),len,char);
4667             *SvEND(sv) = '\0';
4668         }
4669         SvFLAGS(sv) |= SVf_OOK;
4670         old_delta = 0;
4671     } else {
4672         SvOOK_offset(sv, old_delta);
4673     }
4674     SvLEN_set(sv, SvLEN(sv) - delta);
4675     SvCUR_set(sv, SvCUR(sv) - delta);
4676     SvPV_set(sv, SvPVX(sv) + delta);
4677
4678     p = (U8 *)SvPVX_const(sv);
4679
4680     delta += old_delta;
4681
4682 #ifdef DEBUGGING
4683     real_start = p - delta;
4684 #endif
4685
4686     assert(delta);
4687     if (delta < 0x100) {
4688         *--p = (U8) delta;
4689     } else {
4690         *--p = 0;
4691         p -= sizeof(STRLEN);
4692         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
4693     }
4694
4695 #ifdef DEBUGGING
4696     /* Fill the preceding buffer with sentinals to verify that no-one is
4697        using it.  */
4698     while (p > real_start) {
4699         --p;
4700         *p = (U8)PTR2UV(p);
4701     }
4702 #endif
4703 }
4704
4705 /*
4706 =for apidoc sv_catpvn
4707
4708 Concatenates the string onto the end of the string which is in the SV.  The
4709 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4710 status set, then the bytes appended should be valid UTF-8.
4711 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4712
4713 =for apidoc sv_catpvn_flags
4714
4715 Concatenates the string onto the end of the string which is in the SV.  The
4716 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4717 status set, then the bytes appended should be valid UTF-8.
4718 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4719 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4720 in terms of this function.
4721
4722 =cut
4723 */
4724
4725 void
4726 Perl_sv_catpvn_flags(pTHX_ register SV *const dsv, register const char *sstr, register const STRLEN slen, const I32 flags)
4727 {
4728     dVAR;
4729     STRLEN dlen;
4730     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4731
4732     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
4733
4734     SvGROW(dsv, dlen + slen + 1);
4735     if (sstr == dstr)
4736         sstr = SvPVX_const(dsv);
4737     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4738     SvCUR_set(dsv, SvCUR(dsv) + slen);
4739     *SvEND(dsv) = '\0';
4740     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4741     SvTAINT(dsv);
4742     if (flags & SV_SMAGIC)
4743         SvSETMAGIC(dsv);
4744 }
4745
4746 /*
4747 =for apidoc sv_catsv
4748
4749 Concatenates the string from SV C<ssv> onto the end of the string in
4750 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4751 not 'set' magic.  See C<sv_catsv_mg>.
4752
4753 =for apidoc sv_catsv_flags
4754
4755 Concatenates the string from SV C<ssv> onto the end of the string in
4756 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4757 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4758 and C<sv_catsv_nomg> are implemented in terms of this function.
4759
4760 =cut */
4761
4762 void
4763 Perl_sv_catsv_flags(pTHX_ SV *const dsv, register SV *const ssv, const I32 flags)
4764 {
4765     dVAR;
4766  
4767     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
4768
4769    if (ssv) {
4770         STRLEN slen;
4771         const char *spv = SvPV_const(ssv, slen);
4772         if (spv) {
4773             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4774                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4775                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4776                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4777                 dsv->sv_flags doesn't have that bit set.
4778                 Andy Dougherty  12 Oct 2001
4779             */
4780             const I32 sutf8 = DO_UTF8(ssv);
4781             I32 dutf8;
4782
4783             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4784                 mg_get(dsv);
4785             dutf8 = DO_UTF8(dsv);
4786
4787             if (dutf8 != sutf8) {
4788                 if (dutf8) {
4789                     /* Not modifying source SV, so taking a temporary copy. */
4790                     SV* const csv = newSVpvn_flags(spv, slen, SVs_TEMP);
4791
4792                     sv_utf8_upgrade(csv);
4793                     spv = SvPV_const(csv, slen);
4794                 }
4795                 else
4796                     /* Leave enough space for the cat that's about to happen */
4797                     sv_utf8_upgrade_flags_grow(dsv, 0, slen);
4798             }
4799             sv_catpvn_nomg(dsv, spv, slen);
4800         }
4801     }
4802     if (flags & SV_SMAGIC)
4803         SvSETMAGIC(dsv);
4804 }
4805
4806 /*
4807 =for apidoc sv_catpv
4808
4809 Concatenates the string onto the end of the string which is in the SV.
4810 If the SV has the UTF-8 status set, then the bytes appended should be
4811 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4812
4813 =cut */
4814
4815 void
4816 Perl_sv_catpv(pTHX_ register SV *const sv, register const char *ptr)
4817 {
4818     dVAR;
4819     register STRLEN len;
4820     STRLEN tlen;
4821     char *junk;
4822
4823     PERL_ARGS_ASSERT_SV_CATPV;
4824
4825     if (!ptr)
4826         return;
4827     junk = SvPV_force(sv, tlen);
4828     len = strlen(ptr);
4829     SvGROW(sv, tlen + len + 1);
4830     if (ptr == junk)
4831         ptr = SvPVX_const(sv);
4832     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4833     SvCUR_set(sv, SvCUR(sv) + len);
4834     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4835     SvTAINT(sv);
4836 }
4837
4838 /*
4839 =for apidoc sv_catpv_mg
4840
4841 Like C<sv_catpv>, but also handles 'set' magic.
4842
4843 =cut
4844 */
4845
4846 void
4847 Perl_sv_catpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4848 {
4849     PERL_ARGS_ASSERT_SV_CATPV_MG;
4850
4851     sv_catpv(sv,ptr);
4852     SvSETMAGIC(sv);
4853 }
4854
4855 /*
4856 =for apidoc newSV
4857
4858 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4859 bytes of preallocated string space the SV should have.  An extra byte for a
4860 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4861 space is allocated.)  The reference count for the new SV is set to 1.
4862
4863 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4864 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4865 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4866 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4867 modules supporting older perls.
4868
4869 =cut
4870 */
4871
4872 SV *
4873 Perl_newSV(pTHX_ const STRLEN len)
4874 {
4875     dVAR;
4876     register SV *sv;
4877
4878     new_SV(sv);
4879     if (len) {
4880         sv_upgrade(sv, SVt_PV);
4881         SvGROW(sv, len + 1);
4882     }
4883     return sv;
4884 }
4885 /*
4886 =for apidoc sv_magicext
4887
4888 Adds magic to an SV, upgrading it if necessary. Applies the
4889 supplied vtable and returns a pointer to the magic added.
4890
4891 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4892 In particular, you can add magic to SvREADONLY SVs, and add more than
4893 one instance of the same 'how'.
4894
4895 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4896 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4897 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4898 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4899
4900 (This is now used as a subroutine by C<sv_magic>.)
4901
4902 =cut
4903 */
4904 MAGIC * 
4905 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
4906                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
4907 {
4908     dVAR;
4909     MAGIC* mg;
4910
4911     PERL_ARGS_ASSERT_SV_MAGICEXT;
4912
4913     SvUPGRADE(sv, SVt_PVMG);
4914     Newxz(mg, 1, MAGIC);
4915     mg->mg_moremagic = SvMAGIC(sv);
4916     SvMAGIC_set(sv, mg);
4917
4918     /* Sometimes a magic contains a reference loop, where the sv and
4919        object refer to each other.  To prevent a reference loop that
4920        would prevent such objects being freed, we look for such loops
4921        and if we find one we avoid incrementing the object refcount.
4922
4923        Note we cannot do this to avoid self-tie loops as intervening RV must
4924        have its REFCNT incremented to keep it in existence.
4925
4926     */
4927     if (!obj || obj == sv ||
4928         how == PERL_MAGIC_arylen ||
4929         how == PERL_MAGIC_symtab ||
4930         (SvTYPE(obj) == SVt_PVGV &&
4931             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
4932              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
4933              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
4934     {
4935         mg->mg_obj = obj;
4936     }
4937     else {
4938         mg->mg_obj = SvREFCNT_inc_simple(obj);
4939         mg->mg_flags |= MGf_REFCOUNTED;
4940     }
4941
4942     /* Normal self-ties simply pass a null object, and instead of
4943        using mg_obj directly, use the SvTIED_obj macro to produce a
4944        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4945        with an RV obj pointing to the glob containing the PVIO.  In
4946        this case, to avoid a reference loop, we need to weaken the
4947        reference.
4948     */
4949
4950     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4951         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
4952     {
4953       sv_rvweaken(obj);
4954     }
4955
4956     mg->mg_type = how;
4957     mg->mg_len = namlen;
4958     if (name) {
4959         if (namlen > 0)
4960             mg->mg_ptr = savepvn(name, namlen);
4961         else if (namlen == HEf_SVKEY) {
4962             /* Yes, this is casting away const. This is only for the case of
4963                HEf_SVKEY. I think we need to document this abberation of the
4964                constness of the API, rather than making name non-const, as
4965                that change propagating outwards a long way.  */
4966             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
4967         } else
4968             mg->mg_ptr = (char *) name;
4969     }
4970     mg->mg_virtual = (MGVTBL *) vtable;
4971
4972     mg_magical(sv);
4973     if (SvGMAGICAL(sv))
4974         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4975     return mg;
4976 }
4977
4978 /*
4979 =for apidoc sv_magic
4980
4981 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4982 then adds a new magic item of type C<how> to the head of the magic list.
4983
4984 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4985 handling of the C<name> and C<namlen> arguments.
4986
4987 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4988 to add more than one instance of the same 'how'.
4989
4990 =cut
4991 */
4992
4993 void
4994 Perl_sv_magic(pTHX_ register SV *const sv, SV *const obj, const int how, 
4995              const char *const name, const I32 namlen)
4996 {
4997     dVAR;
4998     const MGVTBL *vtable;
4999     MAGIC* mg;
5000
5001     PERL_ARGS_ASSERT_SV_MAGIC;
5002
5003 #ifdef PERL_OLD_COPY_ON_WRITE
5004     if (SvIsCOW(sv))
5005         sv_force_normal_flags(sv, 0);
5006 #endif
5007     if (SvREADONLY(sv)) {
5008         if (
5009             /* its okay to attach magic to shared strings; the subsequent
5010              * upgrade to PVMG will unshare the string */
5011             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
5012
5013             && IN_PERL_RUNTIME
5014             && how != PERL_MAGIC_regex_global
5015             && how != PERL_MAGIC_bm
5016             && how != PERL_MAGIC_fm
5017             && how != PERL_MAGIC_sv
5018             && how != PERL_MAGIC_backref
5019            )
5020         {
5021             Perl_croak(aTHX_ "%s", PL_no_modify);
5022         }
5023     }
5024     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5025         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5026             /* sv_magic() refuses to add a magic of the same 'how' as an
5027                existing one
5028              */
5029             if (how == PERL_MAGIC_taint) {
5030                 mg->mg_len |= 1;
5031                 /* Any scalar which already had taint magic on which someone
5032                    (erroneously?) did SvIOK_on() or similar will now be
5033                    incorrectly sporting public "OK" flags.  */
5034                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
5035             }
5036             return;
5037         }
5038     }
5039
5040     switch (how) {
5041     case PERL_MAGIC_sv:
5042         vtable = &PL_vtbl_sv;
5043         break;
5044     case PERL_MAGIC_overload:
5045         vtable = &PL_vtbl_amagic;
5046         break;
5047     case PERL_MAGIC_overload_elem:
5048         vtable = &PL_vtbl_amagicelem;
5049         break;
5050     case PERL_MAGIC_overload_table:
5051         vtable = &PL_vtbl_ovrld;
5052         break;
5053     case PERL_MAGIC_bm:
5054         vtable = &PL_vtbl_bm;
5055         break;
5056     case PERL_MAGIC_regdata:
5057         vtable = &PL_vtbl_regdata;
5058         break;
5059     case PERL_MAGIC_regdatum:
5060         vtable = &PL_vtbl_regdatum;
5061         break;
5062     case PERL_MAGIC_env:
5063         vtable = &PL_vtbl_env;
5064         break;
5065     case PERL_MAGIC_fm:
5066         vtable = &PL_vtbl_fm;
5067         break;
5068     case PERL_MAGIC_envelem:
5069         vtable = &PL_vtbl_envelem;
5070         break;
5071     case PERL_MAGIC_regex_global:
5072         vtable = &PL_vtbl_mglob;
5073         break;
5074     case PERL_MAGIC_isa:
5075         vtable = &PL_vtbl_isa;
5076         break;
5077     case PERL_MAGIC_isaelem:
5078         vtable = &PL_vtbl_isaelem;
5079         break;
5080     case PERL_MAGIC_nkeys:
5081         vtable = &PL_vtbl_nkeys;
5082         break;
5083     case PERL_MAGIC_dbfile:
5084         vtable = NULL;
5085         break;
5086     case PERL_MAGIC_dbline:
5087         vtable = &PL_vtbl_dbline;
5088         break;
5089 #ifdef USE_LOCALE_COLLATE
5090     case PERL_MAGIC_collxfrm:
5091         vtable = &PL_vtbl_collxfrm;
5092         break;
5093 #endif /* USE_LOCALE_COLLATE */
5094     case PERL_MAGIC_tied:
5095         vtable = &PL_vtbl_pack;
5096         break;
5097     case PERL_MAGIC_tiedelem:
5098     case PERL_MAGIC_tiedscalar:
5099         vtable = &PL_vtbl_packelem;
5100         break;
5101     case PERL_MAGIC_qr:
5102         vtable = &PL_vtbl_regexp;
5103         break;
5104     case PERL_MAGIC_sig:
5105         vtable = &PL_vtbl_sig;
5106         break;
5107     case PERL_MAGIC_sigelem:
5108         vtable = &PL_vtbl_sigelem;
5109         break;
5110     case PERL_MAGIC_taint:
5111         vtable = &PL_vtbl_taint;
5112         break;
5113     case PERL_MAGIC_uvar:
5114         vtable = &PL_vtbl_uvar;
5115         break;
5116     case PERL_MAGIC_vec:
5117         vtable = &PL_vtbl_vec;
5118         break;
5119     case PERL_MAGIC_arylen_p:
5120     case PERL_MAGIC_rhash:
5121     case PERL_MAGIC_symtab:
5122     case PERL_MAGIC_vstring:
5123         vtable = NULL;
5124         break;
5125     case PERL_MAGIC_utf8:
5126         vtable = &PL_vtbl_utf8;
5127         break;
5128     case PERL_MAGIC_substr:
5129         vtable = &PL_vtbl_substr;
5130         break;
5131     case PERL_MAGIC_defelem:
5132         vtable = &PL_vtbl_defelem;
5133         break;
5134     case PERL_MAGIC_arylen:
5135         vtable = &PL_vtbl_arylen;
5136         break;
5137     case PERL_MAGIC_pos:
5138         vtable = &PL_vtbl_pos;
5139         break;
5140     case PERL_MAGIC_backref:
5141         vtable = &PL_vtbl_backref;
5142         break;
5143     case PERL_MAGIC_hintselem:
5144         vtable = &PL_vtbl_hintselem;
5145         break;
5146     case PERL_MAGIC_hints:
5147         vtable = &PL_vtbl_hints;
5148         break;
5149     case PERL_MAGIC_ext:
5150         /* Reserved for use by extensions not perl internals.           */
5151         /* Useful for attaching extension internal data to perl vars.   */
5152         /* Note that multiple extensions may clash if magical scalars   */
5153         /* etc holding private data from one are passed to another.     */
5154         vtable = NULL;
5155         break;
5156     default:
5157         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5158     }
5159
5160     /* Rest of work is done else where */
5161     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5162
5163     switch (how) {
5164     case PERL_MAGIC_taint:
5165         mg->mg_len = 1;
5166         break;
5167     case PERL_MAGIC_ext:
5168     case PERL_MAGIC_dbfile:
5169         SvRMAGICAL_on(sv);
5170         break;
5171     }
5172 }
5173
5174 /*
5175 =for apidoc sv_unmagic
5176
5177 Removes all magic of type C<type> from an SV.
5178
5179 =cut
5180 */
5181
5182 int
5183 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5184 {
5185     MAGIC* mg;
5186     MAGIC** mgp;
5187
5188     PERL_ARGS_ASSERT_SV_UNMAGIC;
5189
5190     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5191         return 0;
5192     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5193     for (mg = *mgp; mg; mg = *mgp) {
5194         if (mg->mg_type == type) {
5195             const MGVTBL* const vtbl = mg->mg_virtual;
5196             *mgp = mg->mg_moremagic;
5197             if (vtbl && vtbl->svt_free)
5198                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
5199             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5200                 if (mg->mg_len > 0)
5201                     Safefree(mg->mg_ptr);
5202                 else if (mg->mg_len == HEf_SVKEY)
5203                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5204                 else if (mg->mg_type == PERL_MAGIC_utf8)
5205                     Safefree(mg->mg_ptr);
5206             }
5207             if (mg->mg_flags & MGf_REFCOUNTED)
5208                 SvREFCNT_dec(mg->mg_obj);
5209             Safefree(mg);
5210         }
5211         else
5212             mgp = &mg->mg_moremagic;
5213     }
5214     if (!SvMAGIC(sv)) {
5215         SvMAGICAL_off(sv);
5216         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
5217         SvMAGIC_set(sv, NULL);
5218     }
5219
5220     return 0;
5221 }
5222
5223 /*
5224 =for apidoc sv_rvweaken
5225
5226 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5227 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5228 push a back-reference to this RV onto the array of backreferences
5229 associated with that magic. If the RV is magical, set magic will be
5230 called after the RV is cleared.
5231
5232 =cut
5233 */
5234
5235 SV *
5236 Perl_sv_rvweaken(pTHX_ SV *const sv)
5237 {
5238     SV *tsv;
5239
5240     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5241
5242     if (!SvOK(sv))  /* let undefs pass */
5243         return sv;
5244     if (!SvROK(sv))
5245         Perl_croak(aTHX_ "Can't weaken a nonreference");
5246     else if (SvWEAKREF(sv)) {
5247         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5248         return sv;
5249     }
5250     tsv = SvRV(sv);
5251     Perl_sv_add_backref(aTHX_ tsv, sv);
5252     SvWEAKREF_on(sv);
5253     SvREFCNT_dec(tsv);
5254     return sv;
5255 }
5256
5257 /* Give tsv backref magic if it hasn't already got it, then push a
5258  * back-reference to sv onto the array associated with the backref magic.
5259  */
5260
5261 /* A discussion about the backreferences array and its refcount:
5262  *
5263  * The AV holding the backreferences is pointed to either as the mg_obj of
5264  * PERL_MAGIC_backref, or in the specific case of a HV that has the hv_aux
5265  * structure, from the xhv_backreferences field. (A HV without hv_aux will
5266  * have the standard magic instead.) The array is created with a refcount
5267  * of 2. This means that if during global destruction the array gets
5268  * picked on first to have its refcount decremented by the random zapper,
5269  * it won't actually be freed, meaning it's still theere for when its
5270  * parent gets freed.
5271  * When the parent SV is freed, in the case of magic, the magic is freed,
5272  * Perl_magic_killbackrefs is called which decrements one refcount, then
5273  * mg_obj is freed which kills the second count.
5274  * In the vase of a HV being freed, one ref is removed by
5275  * Perl_hv_kill_backrefs, the other by Perl_sv_kill_backrefs, which it
5276  * calls.
5277  */
5278
5279 void
5280 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5281 {
5282     dVAR;
5283     AV *av;
5284
5285     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5286
5287     if (SvTYPE(tsv) == SVt_PVHV) {
5288         AV **const avp = Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5289
5290         av = *avp;
5291         if (!av) {
5292             /* There is no AV in the offical place - try a fixup.  */
5293             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
5294
5295             if (mg) {
5296                 /* Aha. They've got it stowed in magic.  Bring it back.  */
5297                 av = MUTABLE_AV(mg->mg_obj);
5298                 /* Stop mg_free decreasing the refernce count.  */
5299                 mg->mg_obj = NULL;
5300                 /* Stop mg_free even calling the destructor, given that
5301                    there's no AV to free up.  */
5302                 mg->mg_virtual = 0;
5303                 sv_unmagic(tsv, PERL_MAGIC_backref);
5304             } else {
5305                 av = newAV();
5306                 AvREAL_off(av);
5307                 SvREFCNT_inc_simple_void(av); /* see discussion above */
5308             }
5309             *avp = av;
5310         }
5311     } else {
5312         const MAGIC *const mg
5313             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5314         if (mg)
5315             av = MUTABLE_AV(mg->mg_obj);
5316         else {
5317             av = newAV();
5318             AvREAL_off(av);
5319             sv_magic(tsv, MUTABLE_SV(av), PERL_MAGIC_backref, NULL, 0);
5320             /* av now has a refcnt of 2; see discussion above */
5321         }
5322     }
5323     if (AvFILLp(av) >= AvMAX(av)) {
5324         av_extend(av, AvFILLp(av)+1);
5325     }
5326     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5327 }
5328
5329 /* delete a back-reference to ourselves from the backref magic associated
5330  * with the SV we point to.
5331  */
5332
5333 STATIC void
5334 S_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5335 {
5336     dVAR;
5337     AV *av = NULL;
5338     SV **svp;
5339     I32 i;
5340
5341     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
5342
5343     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
5344         av = *Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5345         /* We mustn't attempt to "fix up" the hash here by moving the
5346            backreference array back to the hv_aux structure, as that is stored
5347            in the main HvARRAY(), and hfreentries assumes that no-one
5348            reallocates HvARRAY() while it is running.  */
5349     }
5350     if (!av) {
5351         const MAGIC *const mg
5352             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5353         if (mg)
5354             av = MUTABLE_AV(mg->mg_obj);
5355     }
5356
5357     if (!av)
5358         Perl_croak(aTHX_ "panic: del_backref");
5359
5360     assert(!SvIS_FREED(av));
5361
5362     svp = AvARRAY(av);
5363     /* We shouldn't be in here more than once, but for paranoia reasons lets
5364        not assume this.  */
5365     for (i = AvFILLp(av); i >= 0; i--) {
5366         if (svp[i] == sv) {
5367             const SSize_t fill = AvFILLp(av);
5368             if (i != fill) {
5369                 /* We weren't the last entry.
5370                    An unordered list has this property that you can take the
5371                    last element off the end to fill the hole, and it's still
5372                    an unordered list :-)
5373                 */
5374                 svp[i] = svp[fill];
5375             }
5376             svp[fill] = NULL;
5377             AvFILLp(av) = fill - 1;
5378         }
5379     }
5380 }
5381
5382 int
5383 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
5384 {
5385     SV **svp = AvARRAY(av);
5386
5387     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
5388     PERL_UNUSED_ARG(sv);
5389
5390     assert(!svp || !SvIS_FREED(av));
5391     if (svp) {
5392         SV *const *const last = svp + AvFILLp(av);
5393
5394         while (svp <= last) {
5395             if (*svp) {
5396                 SV *const referrer = *svp;
5397                 if (SvWEAKREF(referrer)) {
5398                     /* XXX Should we check that it hasn't changed? */
5399                     SvRV_set(referrer, 0);
5400                     SvOK_off(referrer);
5401                     SvWEAKREF_off(referrer);
5402                     SvSETMAGIC(referrer);
5403                 } else if (SvTYPE(referrer) == SVt_PVGV ||
5404                            SvTYPE(referrer) == SVt_PVLV) {
5405                     /* You lookin' at me?  */
5406                     assert(GvSTASH(referrer));
5407                     assert(GvSTASH(referrer) == (const HV *)sv);
5408                     GvSTASH(referrer) = 0;
5409                 } else {
5410                     Perl_croak(aTHX_
5411                                "panic: magic_killbackrefs (flags=%"UVxf")",
5412                                (UV)SvFLAGS(referrer));
5413                 }
5414
5415                 *svp = NULL;
5416             }
5417             svp++;
5418         }
5419     }
5420     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
5421     return 0;
5422 }
5423
5424 /*
5425 =for apidoc sv_insert
5426
5427 Inserts a string at the specified offset/length within the SV. Similar to
5428 the Perl substr() function. Handles get magic.
5429
5430 =for apidoc sv_insert_flags
5431
5432 Same as C<sv_insert>, but the extra C<flags> are passed the C<SvPV_force_flags> that applies to C<bigstr>.
5433
5434 =cut
5435 */
5436
5437 void
5438 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
5439 {
5440     dVAR;
5441     register char *big;
5442     register char *mid;
5443     register char *midend;
5444     register char *bigend;
5445     register I32 i;
5446     STRLEN curlen;
5447
5448     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
5449
5450     if (!bigstr)
5451         Perl_croak(aTHX_ "Can't modify non-existent substring");
5452     SvPV_force_flags(bigstr, curlen, flags);
5453     (void)SvPOK_only_UTF8(bigstr);
5454     if (offset + len > curlen) {
5455         SvGROW(bigstr, offset+len+1);
5456         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
5457         SvCUR_set(bigstr, offset+len);
5458     }
5459
5460     SvTAINT(bigstr);
5461     i = littlelen - len;
5462     if (i > 0) {                        /* string might grow */
5463         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
5464         mid = big + offset + len;
5465         midend = bigend = big + SvCUR(bigstr);
5466         bigend += i;
5467         *bigend = '\0';
5468         while (midend > mid)            /* shove everything down */
5469             *--bigend = *--midend;
5470         Move(little,big+offset,littlelen,char);
5471         SvCUR_set(bigstr, SvCUR(bigstr) + i);
5472         SvSETMAGIC(bigstr);
5473         return;
5474     }
5475     else if (i == 0) {
5476         Move(little,SvPVX(bigstr)+offset,len,char);
5477         SvSETMAGIC(bigstr);
5478         return;
5479     }
5480
5481     big = SvPVX(bigstr);
5482     mid = big + offset;
5483     midend = mid + len;
5484     bigend = big + SvCUR(bigstr);
5485
5486     if (midend > bigend)
5487         Perl_croak(aTHX_ "panic: sv_insert");
5488
5489     if (mid - big > bigend - midend) {  /* faster to shorten from end */
5490         if (littlelen) {
5491             Move(little, mid, littlelen,char);
5492             mid += littlelen;
5493         }
5494         i = bigend - midend;
5495         if (i > 0) {
5496             Move(midend, mid, i,char);
5497             mid += i;
5498         }
5499         *mid = '\0';
5500         SvCUR_set(bigstr, mid - big);
5501     }
5502     else if ((i = mid - big)) { /* faster from front */
5503         midend -= littlelen;
5504         mid = midend;
5505         Move(big, midend - i, i, char);
5506         sv_chop(bigstr,midend-i);
5507         if (littlelen)
5508             Move(little, mid, littlelen,char);
5509     }
5510     else if (littlelen) {
5511         midend -= littlelen;
5512         sv_chop(bigstr,midend);
5513         Move(little,midend,littlelen,char);
5514     }
5515     else {
5516         sv_chop(bigstr,midend);
5517     }
5518     SvSETMAGIC(bigstr);
5519 }
5520
5521 /*
5522 =for apidoc sv_replace
5523
5524 Make the first argument a copy of the second, then delete the original.
5525 The target SV physically takes over ownership of the body of the source SV
5526 and inherits its flags; however, the target keeps any magic it owns,
5527 and any magic in the source is discarded.
5528 Note that this is a rather specialist SV copying operation; most of the
5529 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5530
5531 =cut
5532 */
5533
5534 void
5535 Perl_sv_replace(pTHX_ register SV *const sv, register SV *const nsv)
5536 {
5537     dVAR;
5538     const U32 refcnt = SvREFCNT(sv);
5539
5540     PERL_ARGS_ASSERT_SV_REPLACE;
5541
5542     SV_CHECK_THINKFIRST_COW_DROP(sv);
5543     if (SvREFCNT(nsv) != 1) {
5544         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
5545                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
5546     }
5547     if (SvMAGICAL(sv)) {
5548         if (SvMAGICAL(nsv))
5549             mg_free(nsv);
5550         else
5551             sv_upgrade(nsv, SVt_PVMG);
5552         SvMAGIC_set(nsv, SvMAGIC(sv));
5553         SvFLAGS(nsv) |= SvMAGICAL(sv);
5554         SvMAGICAL_off(sv);
5555         SvMAGIC_set(sv, NULL);
5556     }
5557     SvREFCNT(sv) = 0;
5558     sv_clear(sv);
5559     assert(!SvREFCNT(sv));
5560 #ifdef DEBUG_LEAKING_SCALARS
5561     sv->sv_flags  = nsv->sv_flags;
5562     sv->sv_any    = nsv->sv_any;
5563     sv->sv_refcnt = nsv->sv_refcnt;
5564     sv->sv_u      = nsv->sv_u;
5565 #else
5566     StructCopy(nsv,sv,SV);
5567 #endif
5568     if(SvTYPE(sv) == SVt_IV) {
5569         SvANY(sv)
5570             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5571     }
5572         
5573
5574 #ifdef PERL_OLD_COPY_ON_WRITE
5575     if (SvIsCOW_normal(nsv)) {
5576         /* We need to follow the pointers around the loop to make the
5577            previous SV point to sv, rather than nsv.  */
5578         SV *next;
5579         SV *current = nsv;
5580         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5581             assert(next);
5582             current = next;
5583             assert(SvPVX_const(current) == SvPVX_const(nsv));
5584         }
5585         /* Make the SV before us point to the SV after us.  */
5586         if (DEBUG_C_TEST) {
5587             PerlIO_printf(Perl_debug_log, "previous is\n");
5588             sv_dump(current);
5589             PerlIO_printf(Perl_debug_log,
5590                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5591                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5592         }
5593         SV_COW_NEXT_SV_SET(current, sv);
5594     }
5595 #endif
5596     SvREFCNT(sv) = refcnt;
5597     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5598     SvREFCNT(nsv) = 0;
5599     del_SV(nsv);
5600 }
5601
5602 /*
5603 =for apidoc sv_clear
5604
5605 Clear an SV: call any destructors, free up any memory used by the body,
5606 and free the body itself. The SV's head is I<not> freed, although
5607 its type is set to all 1's so that it won't inadvertently be assumed
5608 to be live during global destruction etc.
5609 This function should only be called when REFCNT is zero. Most of the time
5610 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5611 instead.
5612
5613 =cut
5614 */
5615
5616 void
5617 Perl_sv_clear(pTHX_ register SV *const sv)
5618 {
5619     dVAR;
5620     const U32 type = SvTYPE(sv);
5621     const struct body_details *const sv_type_details
5622         = bodies_by_type + type;
5623     HV *stash;
5624
5625     PERL_ARGS_ASSERT_SV_CLEAR;
5626     assert(SvREFCNT(sv) == 0);
5627     assert(SvTYPE(sv) != SVTYPEMASK);
5628
5629     if (type <= SVt_IV) {
5630         /* See the comment in sv.h about the collusion between this early
5631            return and the overloading of the NULL and IV slots in the size
5632            table.  */
5633         if (SvROK(sv)) {
5634             SV * const target = SvRV(sv);
5635             if (SvWEAKREF(sv))
5636                 sv_del_backref(target, sv);
5637             else
5638                 SvREFCNT_dec(target);
5639         }
5640         SvFLAGS(sv) &= SVf_BREAK;
5641         SvFLAGS(sv) |= SVTYPEMASK;
5642         return;
5643     }
5644
5645     if (SvOBJECT(sv)) {
5646         if (PL_defstash &&      /* Still have a symbol table? */
5647             SvDESTROYABLE(sv))
5648         {
5649             dSP;
5650             HV* stash;
5651             do {        
5652                 CV* destructor;
5653                 stash = SvSTASH(sv);
5654                 destructor = StashHANDLER(stash,DESTROY);
5655                 if (destructor
5656                         /* A constant subroutine can have no side effects, so
5657                            don't bother calling it.  */
5658                         && !CvCONST(destructor)
5659                         /* Don't bother calling an empty destructor */
5660                         && (CvISXSUB(destructor)
5661                         || CvSTART(destructor)->op_next->op_type != OP_LEAVESUB))
5662                 {
5663                     SV* const tmpref = newRV(sv);
5664                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5665                     ENTER;
5666                     PUSHSTACKi(PERLSI_DESTROY);
5667                     EXTEND(SP, 2);
5668                     PUSHMARK(SP);
5669                     PUSHs(tmpref);
5670                     PUTBACK;
5671                     call_sv(MUTABLE_SV(destructor), G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5672                 
5673                 
5674                     POPSTACK;
5675                     SPAGAIN;
5676                     LEAVE;
5677                     if(SvREFCNT(tmpref) < 2) {
5678                         /* tmpref is not kept alive! */
5679                         SvREFCNT(sv)--;
5680                         SvRV_set(tmpref, NULL);
5681                         SvROK_off(tmpref);
5682                     }
5683                     SvREFCNT_dec(tmpref);
5684                 }
5685             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5686
5687
5688             if (SvREFCNT(sv)) {
5689                 if (PL_in_clean_objs)
5690                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5691                           HvNAME_get(stash));
5692                 /* DESTROY gave object new lease on life */
5693                 return;
5694             }
5695         }
5696
5697         if (SvOBJECT(sv)) {
5698             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5699             SvOBJECT_off(sv);   /* Curse the object. */
5700             if (type != SVt_PVIO)
5701                 --PL_sv_objcount;       /* XXX Might want something more general */
5702         }
5703     }
5704     if (type >= SVt_PVMG) {
5705         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5706             SvREFCNT_dec(SvOURSTASH(sv));
5707         } else if (SvMAGIC(sv))
5708             mg_free(sv);
5709         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5710             SvREFCNT_dec(SvSTASH(sv));
5711     }
5712     switch (type) {
5713         /* case SVt_BIND: */
5714     case SVt_PVIO:
5715         if (IoIFP(sv) &&
5716             IoIFP(sv) != PerlIO_stdin() &&
5717             IoIFP(sv) != PerlIO_stdout() &&
5718             IoIFP(sv) != PerlIO_stderr())
5719         {
5720             io_close(MUTABLE_IO(sv), FALSE);
5721         }
5722         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5723             PerlDir_close(IoDIRP(sv));
5724         IoDIRP(sv) = (DIR*)NULL;
5725         Safefree(IoTOP_NAME(sv));
5726         Safefree(IoFMT_NAME(sv));
5727         Safefree(IoBOTTOM_NAME(sv));
5728         goto freescalar;
5729     case SVt_REGEXP:
5730         /* FIXME for plugins */
5731         pregfree2((REGEXP*) sv);
5732         goto freescalar;
5733     case SVt_PVCV:
5734     case SVt_PVFM:
5735         cv_undef(MUTABLE_CV(sv));
5736         goto freescalar;
5737     case SVt_PVHV:
5738         if (PL_last_swash_hv == (const HV *)sv) {
5739             PL_last_swash_hv = NULL;
5740         }
5741         Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
5742         hv_undef(MUTABLE_HV(sv));
5743         break;
5744     case SVt_PVAV:
5745         if (PL_comppad == MUTABLE_AV(sv)) {
5746             PL_comppad = NULL;
5747             PL_curpad = NULL;
5748         }
5749         av_undef(MUTABLE_AV(sv));
5750         break;
5751     case SVt_PVLV:
5752         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5753             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5754             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5755             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5756         }
5757         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5758             SvREFCNT_dec(LvTARG(sv));
5759     case SVt_PVGV:
5760         if (isGV_with_GP(sv)) {
5761             if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
5762                && HvNAME_get(stash))
5763                 mro_method_changed_in(stash);
5764             gp_free(MUTABLE_GV(sv));
5765             if (GvNAME_HEK(sv))
5766                 unshare_hek(GvNAME_HEK(sv));
5767             /* If we're in a stash, we don't own a reference to it. However it does
5768                have a back reference to us, which needs to be cleared.  */
5769             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5770                     sv_del_backref(MUTABLE_SV(stash), sv);
5771         }
5772         /* FIXME. There are probably more unreferenced pointers to SVs in the
5773            interpreter struct that we should check and tidy in a similar
5774            fashion to this:  */
5775         if ((const GV *)sv == PL_last_in_gv)
5776             PL_last_in_gv = NULL;
5777     case SVt_PVMG:
5778     case SVt_PVNV:
5779     case SVt_PVIV:
5780     case SVt_PV:
5781       freescalar:
5782         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5783         if (SvOOK(sv)) {
5784             STRLEN offset;
5785             SvOOK_offset(sv, offset);
5786             SvPV_set(sv, SvPVX_mutable(sv) - offset);
5787             /* Don't even bother with turning off the OOK flag.  */
5788         }
5789         if (SvROK(sv)) {
5790             SV * const target = SvRV(sv);
5791             if (SvWEAKREF(sv))
5792                 sv_del_backref(target, sv);
5793             else
5794                 SvREFCNT_dec(target);
5795         }
5796 #ifdef PERL_OLD_COPY_ON_WRITE
5797         else if (SvPVX_const(sv)) {
5798             if (SvIsCOW(sv)) {
5799                 if (DEBUG_C_TEST) {
5800                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5801                     sv_dump(sv);
5802                 }
5803                 if (SvLEN(sv)) {
5804                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5805                 } else {
5806                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5807                 }
5808
5809                 SvFAKE_off(sv);
5810             } else if (SvLEN(sv)) {
5811                 Safefree(SvPVX_const(sv));
5812             }
5813         }
5814 #else
5815         else if (SvPVX_const(sv) && SvLEN(sv))
5816             Safefree(SvPVX_mutable(sv));
5817         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5818             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5819             SvFAKE_off(sv);
5820         }
5821 #endif
5822         break;
5823     case SVt_NV:
5824         break;
5825     }
5826
5827     SvFLAGS(sv) &= SVf_BREAK;
5828     SvFLAGS(sv) |= SVTYPEMASK;
5829
5830     if (sv_type_details->arena) {
5831         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5832                  &PL_body_roots[type]);
5833     }
5834     else if (sv_type_details->body_size) {
5835         my_safefree(SvANY(sv));
5836     }
5837 }
5838
5839 /*
5840 =for apidoc sv_newref
5841
5842 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5843 instead.
5844
5845 =cut
5846 */
5847
5848 SV *
5849 Perl_sv_newref(pTHX_ SV *const sv)
5850 {
5851     PERL_UNUSED_CONTEXT;
5852     if (sv)
5853         (SvREFCNT(sv))++;
5854     return sv;
5855 }
5856
5857 /*
5858 =for apidoc sv_free
5859
5860 Decrement an SV's reference count, and if it drops to zero, call
5861 C<sv_clear> to invoke destructors and free up any memory used by
5862 the body; finally, deallocate the SV's head itself.
5863 Normally called via a wrapper macro C<SvREFCNT_dec>.
5864
5865 =cut
5866 */
5867
5868 void
5869 Perl_sv_free(pTHX_ SV *const sv)
5870 {
5871     dVAR;
5872     if (!sv)
5873         return;
5874     if (SvREFCNT(sv) == 0) {
5875         if (SvFLAGS(sv) & SVf_BREAK)
5876             /* this SV's refcnt has been artificially decremented to
5877              * trigger cleanup */
5878             return;
5879         if (PL_in_clean_all) /* All is fair */
5880             return;
5881         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5882             /* make sure SvREFCNT(sv)==0 happens very seldom */
5883             SvREFCNT(sv) = (~(U32)0)/2;
5884             return;
5885         }
5886         if (ckWARN_d(WARN_INTERNAL)) {
5887 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5888             Perl_dump_sv_child(aTHX_ sv);
5889 #else
5890   #ifdef DEBUG_LEAKING_SCALARS
5891             sv_dump(sv);
5892   #endif
5893 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5894             if (PL_warnhook == PERL_WARNHOOK_FATAL
5895                 || ckDEAD(packWARN(WARN_INTERNAL))) {
5896                 /* Don't let Perl_warner cause us to escape our fate:  */
5897                 abort();
5898             }
5899 #endif
5900             /* This may not return:  */
5901             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5902                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5903                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5904 #endif
5905         }
5906 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5907         abort();
5908 #endif
5909         return;
5910     }
5911     if (--(SvREFCNT(sv)) > 0)
5912         return;
5913     Perl_sv_free2(aTHX_ sv);
5914 }
5915
5916 void
5917 Perl_sv_free2(pTHX_ SV *const sv)
5918 {
5919     dVAR;
5920
5921     PERL_ARGS_ASSERT_SV_FREE2;
5922
5923 #ifdef DEBUGGING
5924     if (SvTEMP(sv)) {
5925         Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
5926                          "Attempt to free temp prematurely: SV 0x%"UVxf
5927                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5928         return;
5929     }
5930 #endif
5931     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5932         /* make sure SvREFCNT(sv)==0 happens very seldom */
5933         SvREFCNT(sv) = (~(U32)0)/2;
5934         return;
5935     }
5936     sv_clear(sv);
5937     if (! SvREFCNT(sv))
5938         del_SV(sv);
5939 }
5940
5941 /*
5942 =for apidoc sv_len
5943
5944 Returns the length of the string in the SV. Handles magic and type
5945 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5946
5947 =cut
5948 */
5949
5950 STRLEN
5951 Perl_sv_len(pTHX_ register SV *const sv)
5952 {
5953     STRLEN len;
5954
5955     if (!sv)
5956         return 0;
5957
5958     if (SvGMAGICAL(sv))
5959         len = mg_length(sv);
5960     else
5961         (void)SvPV_const(sv, len);
5962     return len;
5963 }
5964
5965 /*
5966 =for apidoc sv_len_utf8
5967
5968 Returns the number of characters in the string in an SV, counting wide
5969 UTF-8 bytes as a single character. Handles magic and type coercion.
5970
5971 =cut
5972 */
5973
5974 /*
5975  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
5976  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5977  * (Note that the mg_len is not the length of the mg_ptr field.
5978  * This allows the cache to store the character length of the string without
5979  * needing to malloc() extra storage to attach to the mg_ptr.)
5980  *
5981  */
5982
5983 STRLEN
5984 Perl_sv_len_utf8(pTHX_ register SV *const sv)
5985 {
5986     if (!sv)
5987         return 0;
5988
5989     if (SvGMAGICAL(sv))
5990         return mg_length(sv);
5991     else
5992     {
5993         STRLEN len;
5994         const U8 *s = (U8*)SvPV_const(sv, len);
5995
5996         if (PL_utf8cache) {
5997             STRLEN ulen;
5998             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
5999
6000             if (mg && mg->mg_len != -1) {
6001                 ulen = mg->mg_len;
6002                 if (PL_utf8cache < 0) {
6003                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
6004                     if (real != ulen) {
6005                         /* Need to turn the assertions off otherwise we may
6006                            recurse infinitely while printing error messages.
6007                         */
6008                         SAVEI8(PL_utf8cache);
6009                         PL_utf8cache = 0;
6010                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
6011                                    " real %"UVuf" for %"SVf,
6012                                    (UV) ulen, (UV) real, SVfARG(sv));
6013                     }
6014                 }
6015             }
6016             else {
6017                 ulen = Perl_utf8_length(aTHX_ s, s + len);
6018                 if (!SvREADONLY(sv)) {
6019                     if (!mg) {
6020                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
6021                                          &PL_vtbl_utf8, 0, 0);
6022                     }
6023                     assert(mg);
6024                     mg->mg_len = ulen;
6025                 }
6026             }
6027             return ulen;
6028         }
6029         return Perl_utf8_length(aTHX_ s, s + len);
6030     }
6031 }
6032
6033 /* Walk forwards to find the byte corresponding to the passed in UTF-8
6034    offset.  */
6035 static STRLEN
6036 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
6037                       STRLEN uoffset)
6038 {
6039     const U8 *s = start;
6040
6041     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
6042
6043     while (s < send && uoffset--)
6044         s += UTF8SKIP(s);
6045     if (s > send) {
6046         /* This is the existing behaviour. Possibly it should be a croak, as
6047            it's actually a bounds error  */
6048         s = send;
6049     }
6050     return s - start;
6051 }
6052
6053 /* Given the length of the string in both bytes and UTF-8 characters, decide
6054    whether to walk forwards or backwards to find the byte corresponding to
6055    the passed in UTF-8 offset.  */
6056 static STRLEN
6057 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
6058                       const STRLEN uoffset, const STRLEN uend)
6059 {
6060     STRLEN backw = uend - uoffset;
6061
6062     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
6063
6064     if (uoffset < 2 * backw) {
6065         /* The assumption is that going forwards is twice the speed of going
6066            forward (that's where the 2 * backw comes from).
6067            (The real figure of course depends on the UTF-8 data.)  */
6068         return sv_pos_u2b_forwards(start, send, uoffset);
6069     }
6070
6071     while (backw--) {
6072         send--;
6073         while (UTF8_IS_CONTINUATION(*send))
6074             send--;
6075     }
6076     return send - start;
6077 }
6078
6079 /* For the string representation of the given scalar, find the byte
6080    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
6081    give another position in the string, *before* the sought offset, which
6082    (which is always true, as 0, 0 is a valid pair of positions), which should
6083    help reduce the amount of linear searching.
6084    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
6085    will be used to reduce the amount of linear searching. The cache will be
6086    created if necessary, and the found value offered to it for update.  */
6087 static STRLEN
6088 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
6089                     const U8 *const send, const STRLEN uoffset,
6090                     STRLEN uoffset0, STRLEN boffset0)
6091 {
6092     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
6093     bool found = FALSE;
6094
6095     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
6096
6097     assert (uoffset >= uoffset0);
6098
6099     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
6100         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
6101         if ((*mgp)->mg_ptr) {
6102             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
6103             if (cache[0] == uoffset) {
6104                 /* An exact match. */
6105                 return cache[1];
6106             }
6107             if (cache[2] == uoffset) {
6108                 /* An exact match. */
6109                 return cache[3];
6110             }
6111
6112             if (cache[0] < uoffset) {
6113                 /* The cache already knows part of the way.   */
6114                 if (cache[0] > uoffset0) {
6115                     /* The cache knows more than the passed in pair  */
6116                     uoffset0 = cache[0];
6117                     boffset0 = cache[1];
6118                 }
6119                 if ((*mgp)->mg_len != -1) {
6120                     /* And we know the end too.  */
6121                     boffset = boffset0
6122                         + sv_pos_u2b_midway(start + boffset0, send,
6123                                               uoffset - uoffset0,
6124                                               (*mgp)->mg_len - uoffset0);
6125                 } else {
6126                     boffset = boffset0
6127                         + sv_pos_u2b_forwards(start + boffset0,
6128                                                 send, uoffset - uoffset0);
6129                 }
6130             }
6131             else if (cache[2] < uoffset) {
6132                 /* We're between the two cache entries.  */
6133                 if (cache[2] > uoffset0) {
6134                     /* and the cache knows more than the passed in pair  */
6135                     uoffset0 = cache[2];
6136                     boffset0 = cache[3];
6137                 }
6138
6139                 boffset = boffset0
6140                     + sv_pos_u2b_midway(start + boffset0,
6141                                           start + cache[1],
6142                                           uoffset - uoffset0,
6143                                           cache[0] - uoffset0);
6144             } else {
6145                 boffset = boffset0
6146                     + sv_pos_u2b_midway(start + boffset0,
6147                                           start + cache[3],
6148                                           uoffset - uoffset0,
6149                                           cache[2] - uoffset0);
6150             }
6151             found = TRUE;
6152         }
6153         else if ((*mgp)->mg_len != -1) {
6154             /* If we can take advantage of a passed in offset, do so.  */
6155             /* In fact, offset0 is either 0, or less than offset, so don't
6156                need to worry about the other possibility.  */
6157             boffset = boffset0
6158                 + sv_pos_u2b_midway(start + boffset0, send,
6159                                       uoffset - uoffset0,
6160                                       (*mgp)->mg_len - uoffset0);
6161             found = TRUE;
6162         }
6163     }
6164
6165     if (!found || PL_utf8cache < 0) {
6166         const STRLEN real_boffset
6167             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
6168                                                send, uoffset - uoffset0);
6169
6170         if (found && PL_utf8cache < 0) {
6171             if (real_boffset != boffset) {
6172                 /* Need to turn the assertions off otherwise we may recurse
6173                    infinitely while printing error messages.  */
6174                 SAVEI8(PL_utf8cache);
6175                 PL_utf8cache = 0;
6176                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
6177                            " real %"UVuf" for %"SVf,
6178                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
6179             }
6180         }
6181         boffset = real_boffset;
6182     }
6183
6184     if (PL_utf8cache)
6185         utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
6186     return boffset;
6187 }
6188
6189
6190 /*
6191 =for apidoc sv_pos_u2b
6192
6193 Converts the value pointed to by offsetp from a count of UTF-8 chars from
6194 the start of the string, to a count of the equivalent number of bytes; if
6195 lenp is non-zero, it does the same to lenp, but this time starting from
6196 the offset, rather than from the start of the string. Handles magic and
6197 type coercion.
6198
6199 =cut
6200 */
6201
6202 /*
6203  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
6204  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6205  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
6206  *
6207  */
6208
6209 void
6210 Perl_sv_pos_u2b(pTHX_ register SV *const sv, I32 *const offsetp, I32 *const lenp)
6211 {
6212     const U8 *start;
6213     STRLEN len;
6214
6215     PERL_ARGS_ASSERT_SV_POS_U2B;
6216
6217     if (!sv)
6218         return;
6219
6220     start = (U8*)SvPV_const(sv, len);
6221     if (len) {
6222         STRLEN uoffset = (STRLEN) *offsetp;
6223         const U8 * const send = start + len;
6224         MAGIC *mg = NULL;
6225         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
6226                                              uoffset, 0, 0);
6227
6228         *offsetp = (I32) boffset;
6229
6230         if (lenp) {
6231             /* Convert the relative offset to absolute.  */
6232             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
6233             const STRLEN boffset2
6234                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
6235                                       uoffset, boffset) - boffset;
6236
6237             *lenp = boffset2;
6238         }
6239     }
6240     else {
6241          *offsetp = 0;
6242          if (lenp)
6243               *lenp = 0;
6244     }
6245
6246     return;
6247 }
6248
6249 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
6250    byte length pairing. The (byte) length of the total SV is passed in too,
6251    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
6252    may not have updated SvCUR, so we can't rely on reading it directly.
6253
6254    The proffered utf8/byte length pairing isn't used if the cache already has
6255    two pairs, and swapping either for the proffered pair would increase the
6256    RMS of the intervals between known byte offsets.
6257
6258    The cache itself consists of 4 STRLEN values
6259    0: larger UTF-8 offset
6260    1: corresponding byte offset
6261    2: smaller UTF-8 offset
6262    3: corresponding byte offset
6263
6264    Unused cache pairs have the value 0, 0.
6265    Keeping the cache "backwards" means that the invariant of
6266    cache[0] >= cache[2] is maintained even with empty slots, which means that
6267    the code that uses it doesn't need to worry if only 1 entry has actually
6268    been set to non-zero.  It also makes the "position beyond the end of the
6269    cache" logic much simpler, as the first slot is always the one to start
6270    from.   
6271 */
6272 static void
6273 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
6274                            const STRLEN utf8, const STRLEN blen)
6275 {
6276     STRLEN *cache;
6277
6278     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
6279
6280     if (SvREADONLY(sv))
6281         return;
6282
6283     if (!*mgp) {
6284         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
6285                            0);
6286         (*mgp)->mg_len = -1;
6287     }
6288     assert(*mgp);
6289
6290     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
6291         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
6292         (*mgp)->mg_ptr = (char *) cache;
6293     }
6294     assert(cache);
6295
6296     if (PL_utf8cache < 0 && SvPOKp(sv)) {
6297         /* SvPOKp() because it's possible that sv has string overloading, and
6298            therefore is a reference, hence SvPVX() is actually a pointer.
6299            This cures the (very real) symptoms of RT 69422, but I'm not actually
6300            sure whether we should even be caching the results of UTF-8
6301            operations on overloading, given that nothing stops overloading
6302            returning a different value every time it's called.  */
6303         const U8 *start = (const U8 *) SvPVX_const(sv);
6304         const STRLEN realutf8 = utf8_length(start, start + byte);
6305
6306         if (realutf8 != utf8) {
6307             /* Need to turn the assertions off otherwise we may recurse
6308                infinitely while printing error messages.  */
6309             SAVEI8(PL_utf8cache);
6310             PL_utf8cache = 0;
6311             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
6312                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
6313         }
6314     }
6315
6316     /* Cache is held with the later position first, to simplify the code
6317        that deals with unbounded ends.  */
6318        
6319     ASSERT_UTF8_CACHE(cache);
6320     if (cache[1] == 0) {
6321         /* Cache is totally empty  */
6322         cache[0] = utf8;
6323         cache[1] = byte;
6324     } else if (cache[3] == 0) {
6325         if (byte > cache[1]) {
6326             /* New one is larger, so goes first.  */
6327             cache[2] = cache[0];
6328             cache[3] = cache[1];
6329             cache[0] = utf8;
6330             cache[1] = byte;
6331         } else {
6332             cache[2] = utf8;
6333             cache[3] = byte;
6334         }
6335     } else {
6336 #define THREEWAY_SQUARE(a,b,c,d) \
6337             ((float)((d) - (c))) * ((float)((d) - (c))) \
6338             + ((float)((c) - (b))) * ((float)((c) - (b))) \
6339                + ((float)((b) - (a))) * ((float)((b) - (a)))
6340
6341         /* Cache has 2 slots in use, and we know three potential pairs.
6342            Keep the two that give the lowest RMS distance. Do the
6343            calcualation in bytes simply because we always know the byte
6344            length.  squareroot has the same ordering as the positive value,
6345            so don't bother with the actual square root.  */
6346         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
6347         if (byte > cache[1]) {
6348             /* New position is after the existing pair of pairs.  */
6349             const float keep_earlier
6350                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6351             const float keep_later
6352                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
6353
6354             if (keep_later < keep_earlier) {
6355                 if (keep_later < existing) {
6356                     cache[2] = cache[0];
6357                     cache[3] = cache[1];
6358                     cache[0] = utf8;
6359                     cache[1] = byte;
6360                 }
6361             }
6362             else {
6363                 if (keep_earlier < existing) {
6364                     cache[0] = utf8;
6365                     cache[1] = byte;
6366                 }
6367             }
6368         }
6369         else if (byte > cache[3]) {
6370             /* New position is between the existing pair of pairs.  */
6371             const float keep_earlier
6372                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6373             const float keep_later
6374                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6375
6376             if (keep_later < keep_earlier) {
6377                 if (keep_later < existing) {
6378                     cache[2] = utf8;
6379                     cache[3] = byte;
6380                 }
6381             }
6382             else {
6383                 if (keep_earlier < existing) {
6384                     cache[0] = utf8;
6385                     cache[1] = byte;
6386                 }
6387             }
6388         }
6389         else {
6390             /* New position is before the existing pair of pairs.  */
6391             const float keep_earlier
6392                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
6393             const float keep_later
6394                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6395
6396             if (keep_later < keep_earlier) {
6397                 if (keep_later < existing) {
6398                     cache[2] = utf8;
6399                     cache[3] = byte;
6400                 }
6401             }
6402             else {
6403                 if (keep_earlier < existing) {
6404                     cache[0] = cache[2];
6405                     cache[1] = cache[3];
6406                     cache[2] = utf8;
6407                     cache[3] = byte;
6408                 }
6409             }
6410         }
6411     }
6412     ASSERT_UTF8_CACHE(cache);
6413 }
6414
6415 /* We already know all of the way, now we may be able to walk back.  The same
6416    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
6417    backward is half the speed of walking forward. */
6418 static STRLEN
6419 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
6420                     const U8 *end, STRLEN endu)
6421 {
6422     const STRLEN forw = target - s;
6423     STRLEN backw = end - target;
6424
6425     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
6426
6427     if (forw < 2 * backw) {
6428         return utf8_length(s, target);
6429     }
6430
6431     while (end > target) {
6432         end--;
6433         while (UTF8_IS_CONTINUATION(*end)) {
6434             end--;
6435         }
6436         endu--;
6437     }
6438     return endu;
6439 }
6440
6441 /*
6442 =for apidoc sv_pos_b2u
6443
6444 Converts the value pointed to by offsetp from a count of bytes from the
6445 start of the string, to a count of the equivalent number of UTF-8 chars.
6446 Handles magic and type coercion.
6447
6448 =cut
6449 */
6450
6451 /*
6452  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
6453  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6454  * byte offsets.
6455  *
6456  */
6457 void
6458 Perl_sv_pos_b2u(pTHX_ register SV *const sv, I32 *const offsetp)
6459 {
6460     const U8* s;
6461     const STRLEN byte = *offsetp;
6462     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
6463     STRLEN blen;
6464     MAGIC* mg = NULL;
6465     const U8* send;
6466     bool found = FALSE;
6467
6468     PERL_ARGS_ASSERT_SV_POS_B2U;
6469
6470     if (!sv)
6471         return;
6472
6473     s = (const U8*)SvPV_const(sv, blen);
6474
6475     if (blen < byte)
6476         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
6477
6478     send = s + byte;
6479
6480     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
6481         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
6482         if (mg->mg_ptr) {
6483             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
6484             if (cache[1] == byte) {
6485                 /* An exact match. */
6486                 *offsetp = cache[0];
6487                 return;
6488             }
6489             if (cache[3] == byte) {
6490                 /* An exact match. */
6491                 *offsetp = cache[2];
6492                 return;
6493             }
6494
6495             if (cache[1] < byte) {
6496                 /* We already know part of the way. */
6497                 if (mg->mg_len != -1) {
6498                     /* Actually, we know the end too.  */
6499                     len = cache[0]
6500                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
6501                                               s + blen, mg->mg_len - cache[0]);
6502                 } else {
6503                     len = cache[0] + utf8_length(s + cache[1], send);
6504                 }
6505             }
6506             else if (cache[3] < byte) {
6507                 /* We're between the two cached pairs, so we do the calculation
6508                    offset by the byte/utf-8 positions for the earlier pair,
6509                    then add the utf-8 characters from the string start to
6510                    there.  */
6511                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
6512                                           s + cache[1], cache[0] - cache[2])
6513                     + cache[2];
6514
6515             }
6516             else { /* cache[3] > byte */
6517                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
6518                                           cache[2]);
6519
6520             }
6521             ASSERT_UTF8_CACHE(cache);
6522             found = TRUE;
6523         } else if (mg->mg_len != -1) {
6524             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
6525             found = TRUE;
6526         }
6527     }
6528     if (!found || PL_utf8cache < 0) {
6529         const STRLEN real_len = utf8_length(s, send);
6530
6531         if (found && PL_utf8cache < 0) {
6532             if (len != real_len) {
6533                 /* Need to turn the assertions off otherwise we may recurse
6534                    infinitely while printing error messages.  */
6535                 SAVEI8(PL_utf8cache);
6536                 PL_utf8cache = 0;
6537                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
6538                            " real %"UVuf" for %"SVf,
6539                            (UV) len, (UV) real_len, SVfARG(sv));
6540             }
6541         }
6542         len = real_len;
6543     }
6544     *offsetp = len;
6545
6546     if (PL_utf8cache)
6547         utf8_mg_pos_cache_update(sv, &mg, byte, len, blen);
6548 }
6549
6550 /*
6551 =for apidoc sv_eq
6552
6553 Returns a boolean indicating whether the strings in the two SVs are
6554 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6555 coerce its args to strings if necessary.
6556
6557 =cut
6558 */
6559
6560 I32
6561 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
6562 {
6563     dVAR;
6564     const char *pv1;
6565     STRLEN cur1;
6566     const char *pv2;
6567     STRLEN cur2;
6568     I32  eq     = 0;
6569     char *tpv   = NULL;
6570     SV* svrecode = NULL;
6571
6572     if (!sv1) {
6573         pv1 = "";
6574         cur1 = 0;
6575     }
6576     else {
6577         /* if pv1 and pv2 are the same, second SvPV_const call may
6578          * invalidate pv1, so we may need to make a copy */
6579         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
6580             pv1 = SvPV_const(sv1, cur1);
6581             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
6582         }
6583         pv1 = SvPV_const(sv1, cur1);
6584     }
6585
6586     if (!sv2){
6587         pv2 = "";
6588         cur2 = 0;
6589     }
6590     else
6591         pv2 = SvPV_const(sv2, cur2);
6592
6593     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6594         /* Differing utf8ness.
6595          * Do not UTF8size the comparands as a side-effect. */
6596          if (PL_encoding) {
6597               if (SvUTF8(sv1)) {
6598                    svrecode = newSVpvn(pv2, cur2);
6599                    sv_recode_to_utf8(svrecode, PL_encoding);
6600                    pv2 = SvPV_const(svrecode, cur2);
6601               }
6602               else {
6603                    svrecode = newSVpvn(pv1, cur1);
6604                    sv_recode_to_utf8(svrecode, PL_encoding);
6605                    pv1 = SvPV_const(svrecode, cur1);
6606               }
6607               /* Now both are in UTF-8. */
6608               if (cur1 != cur2) {
6609                    SvREFCNT_dec(svrecode);
6610                    return FALSE;
6611               }
6612          }
6613          else {
6614               bool is_utf8 = TRUE;
6615
6616               if (SvUTF8(sv1)) {
6617                    /* sv1 is the UTF-8 one,
6618                     * if is equal it must be downgrade-able */
6619                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
6620                                                      &cur1, &is_utf8);
6621                    if (pv != pv1)
6622                         pv1 = tpv = pv;
6623               }
6624               else {
6625                    /* sv2 is the UTF-8 one,
6626                     * if is equal it must be downgrade-able */
6627                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6628                                                       &cur2, &is_utf8);
6629                    if (pv != pv2)
6630                         pv2 = tpv = pv;
6631               }
6632               if (is_utf8) {
6633                    /* Downgrade not possible - cannot be eq */
6634                    assert (tpv == 0);
6635                    return FALSE;
6636               }
6637          }
6638     }
6639
6640     if (cur1 == cur2)
6641         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6642         
6643     SvREFCNT_dec(svrecode);
6644     if (tpv)
6645         Safefree(tpv);
6646
6647     return eq;
6648 }
6649
6650 /*
6651 =for apidoc sv_cmp
6652
6653 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6654 string in C<sv1> is less than, equal to, or greater than the string in
6655 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6656 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6657
6658 =cut
6659 */
6660
6661 I32
6662 Perl_sv_cmp(pTHX_ register SV *const sv1, register SV *const sv2)
6663 {
6664     dVAR;
6665     STRLEN cur1, cur2;
6666     const char *pv1, *pv2;
6667     char *tpv = NULL;
6668     I32  cmp;
6669     SV *svrecode = NULL;
6670
6671     if (!sv1) {
6672         pv1 = "";
6673         cur1 = 0;
6674     }
6675     else
6676         pv1 = SvPV_const(sv1, cur1);
6677
6678     if (!sv2) {
6679         pv2 = "";
6680         cur2 = 0;
6681     }
6682     else
6683         pv2 = SvPV_const(sv2, cur2);
6684
6685     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6686         /* Differing utf8ness.
6687          * Do not UTF8size the comparands as a side-effect. */
6688         if (SvUTF8(sv1)) {
6689             if (PL_encoding) {
6690                  svrecode = newSVpvn(pv2, cur2);
6691                  sv_recode_to_utf8(svrecode, PL_encoding);
6692                  pv2 = SvPV_const(svrecode, cur2);
6693             }
6694             else {
6695                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6696             }
6697         }
6698         else {
6699             if (PL_encoding) {
6700                  svrecode = newSVpvn(pv1, cur1);
6701                  sv_recode_to_utf8(svrecode, PL_encoding);
6702                  pv1 = SvPV_const(svrecode, cur1);
6703             }
6704             else {
6705                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6706             }
6707         }
6708     }
6709
6710     if (!cur1) {
6711         cmp = cur2 ? -1 : 0;
6712     } else if (!cur2) {
6713         cmp = 1;
6714     } else {
6715         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6716
6717         if (retval) {
6718             cmp = retval < 0 ? -1 : 1;
6719         } else if (cur1 == cur2) {
6720             cmp = 0;
6721         } else {
6722             cmp = cur1 < cur2 ? -1 : 1;
6723         }
6724     }
6725
6726     SvREFCNT_dec(svrecode);
6727     if (tpv)
6728         Safefree(tpv);
6729
6730     return cmp;
6731 }
6732
6733 /*
6734 =for apidoc sv_cmp_locale
6735
6736 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6737 'use bytes' aware, handles get magic, and will coerce its args to strings
6738 if necessary.  See also C<sv_cmp>.
6739
6740 =cut
6741 */
6742
6743 I32
6744 Perl_sv_cmp_locale(pTHX_ register SV *const sv1, register SV *const sv2)
6745 {
6746     dVAR;
6747 #ifdef USE_LOCALE_COLLATE
6748
6749     char *pv1, *pv2;
6750     STRLEN len1, len2;
6751     I32 retval;
6752
6753     if (PL_collation_standard)
6754         goto raw_compare;
6755
6756     len1 = 0;
6757     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6758     len2 = 0;
6759     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6760
6761     if (!pv1 || !len1) {
6762         if (pv2 && len2)
6763             return -1;
6764         else
6765             goto raw_compare;
6766     }
6767     else {
6768         if (!pv2 || !len2)
6769             return 1;
6770     }
6771
6772     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6773
6774     if (retval)
6775         return retval < 0 ? -1 : 1;
6776
6777     /*
6778      * When the result of collation is equality, that doesn't mean
6779      * that there are no differences -- some locales exclude some
6780      * characters from consideration.  So to avoid false equalities,
6781      * we use the raw string as a tiebreaker.
6782      */
6783
6784   raw_compare:
6785     /*FALLTHROUGH*/
6786
6787 #endif /* USE_LOCALE_COLLATE */
6788
6789     return sv_cmp(sv1, sv2);
6790 }
6791
6792
6793 #ifdef USE_LOCALE_COLLATE
6794
6795 /*
6796 =for apidoc sv_collxfrm
6797
6798 Add Collate Transform magic to an SV if it doesn't already have it.
6799
6800 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6801 scalar data of the variable, but transformed to such a format that a normal
6802 memory comparison can be used to compare the data according to the locale
6803 settings.
6804
6805 =cut
6806 */
6807
6808 char *
6809 Perl_sv_collxfrm(pTHX_ SV *const sv, STRLEN *const nxp)
6810 {
6811     dVAR;
6812     MAGIC *mg;
6813
6814     PERL_ARGS_ASSERT_SV_COLLXFRM;
6815
6816     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6817     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6818         const char *s;
6819         char *xf;
6820         STRLEN len, xlen;
6821
6822         if (mg)
6823             Safefree(mg->mg_ptr);
6824         s = SvPV_const(sv, len);
6825         if ((xf = mem_collxfrm(s, len, &xlen))) {
6826             if (! mg) {
6827 #ifdef PERL_OLD_COPY_ON_WRITE
6828                 if (SvIsCOW(sv))
6829                     sv_force_normal_flags(sv, 0);
6830 #endif
6831                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6832                                  0, 0);
6833                 assert(mg);
6834             }
6835             mg->mg_ptr = xf;
6836             mg->mg_len = xlen;
6837         }
6838         else {
6839             if (mg) {
6840                 mg->mg_ptr = NULL;
6841                 mg->mg_len = -1;
6842             }
6843         }
6844     }
6845     if (mg && mg->mg_ptr) {
6846         *nxp = mg->mg_len;
6847         return mg->mg_ptr + sizeof(PL_collation_ix);
6848     }
6849     else {
6850         *nxp = 0;
6851         return NULL;
6852     }
6853 }
6854
6855 #endif /* USE_LOCALE_COLLATE */
6856
6857 /*
6858 =for apidoc sv_gets
6859
6860 Get a line from the filehandle and store it into the SV, optionally
6861 appending to the currently-stored string.
6862
6863 =cut
6864 */
6865
6866 char *
6867 Perl_sv_gets(pTHX_ register SV *const sv, register PerlIO *const fp, I32 append)
6868 {
6869     dVAR;
6870     const char *rsptr;
6871     STRLEN rslen;
6872     register STDCHAR rslast;
6873     register STDCHAR *bp;
6874     register I32 cnt;
6875     I32 i = 0;
6876     I32 rspara = 0;
6877
6878     PERL_ARGS_ASSERT_SV_GETS;
6879
6880     if (SvTHINKFIRST(sv))
6881         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6882     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6883        from <>.
6884        However, perlbench says it's slower, because the existing swipe code
6885        is faster than copy on write.
6886        Swings and roundabouts.  */
6887     SvUPGRADE(sv, SVt_PV);
6888
6889     SvSCREAM_off(sv);
6890
6891     if (append) {
6892         if (PerlIO_isutf8(fp)) {
6893             if (!SvUTF8(sv)) {
6894                 sv_utf8_upgrade_nomg(sv);
6895                 sv_pos_u2b(sv,&append,0);
6896             }
6897         } else if (SvUTF8(sv)) {
6898             SV * const tsv = newSV(0);
6899             sv_gets(tsv, fp, 0);
6900             sv_utf8_upgrade_nomg(tsv);
6901             SvCUR_set(sv,append);
6902             sv_catsv(sv,tsv);
6903             sv_free(tsv);
6904             goto return_string_or_null;
6905         }
6906     }
6907
6908     SvPOK_only(sv);
6909     if (PerlIO_isutf8(fp))
6910         SvUTF8_on(sv);
6911
6912     if (IN_PERL_COMPILETIME) {
6913         /* we always read code in line mode */
6914         rsptr = "\n";
6915         rslen = 1;
6916     }
6917     else if (RsSNARF(PL_rs)) {
6918         /* If it is a regular disk file use size from stat() as estimate
6919            of amount we are going to read -- may result in mallocing
6920            more memory than we really need if the layers below reduce
6921            the size we read (e.g. CRLF or a gzip layer).
6922          */
6923         Stat_t st;
6924         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6925             const Off_t offset = PerlIO_tell(fp);
6926             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6927                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6928             }
6929         }
6930         rsptr = NULL;
6931         rslen = 0;
6932     }
6933     else if (RsRECORD(PL_rs)) {
6934       I32 bytesread;
6935       char *buffer;
6936       U32 recsize;
6937 #ifdef VMS
6938       int fd;
6939 #endif
6940
6941       /* Grab the size of the record we're getting */
6942       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6943       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6944       /* Go yank in */
6945 #ifdef VMS
6946       /* VMS wants read instead of fread, because fread doesn't respect */
6947       /* RMS record boundaries. This is not necessarily a good thing to be */
6948       /* doing, but we've got no other real choice - except avoid stdio
6949          as implementation - perhaps write a :vms layer ?
6950        */
6951       fd = PerlIO_fileno(fp);
6952       if (fd == -1) { /* in-memory file from PerlIO::Scalar */
6953           bytesread = PerlIO_read(fp, buffer, recsize);
6954       }
6955       else {
6956           bytesread = PerlLIO_read(fd, buffer, recsize);
6957       }
6958 #else
6959       bytesread = PerlIO_read(fp, buffer, recsize);
6960 #endif
6961       if (bytesread < 0)
6962           bytesread = 0;
6963       SvCUR_set(sv, bytesread + append);
6964       buffer[bytesread] = '\0';
6965       goto return_string_or_null;
6966     }
6967     else if (RsPARA(PL_rs)) {
6968         rsptr = "\n\n";
6969         rslen = 2;
6970         rspara = 1;
6971     }
6972     else {
6973         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6974         if (PerlIO_isutf8(fp)) {
6975             rsptr = SvPVutf8(PL_rs, rslen);
6976         }
6977         else {
6978             if (SvUTF8(PL_rs)) {
6979                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6980                     Perl_croak(aTHX_ "Wide character in $/");
6981                 }
6982             }
6983             rsptr = SvPV_const(PL_rs, rslen);
6984         }
6985     }
6986
6987     rslast = rslen ? rsptr[rslen - 1] : '\0';
6988
6989     if (rspara) {               /* have to do this both before and after */
6990         do {                    /* to make sure file boundaries work right */
6991             if (PerlIO_eof(fp))
6992                 return 0;
6993             i = PerlIO_getc(fp);
6994             if (i != '\n') {
6995                 if (i == -1)
6996                     return 0;
6997                 PerlIO_ungetc(fp,i);
6998                 break;
6999             }
7000         } while (i != EOF);
7001     }
7002
7003     /* See if we know enough about I/O mechanism to cheat it ! */
7004
7005     /* This used to be #ifdef test - it is made run-time test for ease
7006        of abstracting out stdio interface. One call should be cheap
7007        enough here - and may even be a macro allowing compile
7008        time optimization.
7009      */
7010
7011     if (PerlIO_fast_gets(fp)) {
7012
7013     /*
7014      * We're going to steal some values from the stdio struct
7015      * and put EVERYTHING in the innermost loop into registers.
7016      */
7017     register STDCHAR *ptr;
7018     STRLEN bpx;
7019     I32 shortbuffered;
7020
7021 #if defined(VMS) && defined(PERLIO_IS_STDIO)
7022     /* An ungetc()d char is handled separately from the regular
7023      * buffer, so we getc() it back out and stuff it in the buffer.
7024      */
7025     i = PerlIO_getc(fp);
7026     if (i == EOF) return 0;
7027     *(--((*fp)->_ptr)) = (unsigned char) i;
7028     (*fp)->_cnt++;
7029 #endif
7030
7031     /* Here is some breathtakingly efficient cheating */
7032
7033     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
7034     /* make sure we have the room */
7035     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
7036         /* Not room for all of it
7037            if we are looking for a separator and room for some
7038          */
7039         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
7040             /* just process what we have room for */
7041             shortbuffered = cnt - SvLEN(sv) + append + 1;
7042             cnt -= shortbuffered;
7043         }
7044         else {
7045             shortbuffered = 0;
7046             /* remember that cnt can be negative */
7047             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
7048         }
7049     }
7050     else
7051         shortbuffered = 0;
7052     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
7053     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
7054     DEBUG_P(PerlIO_printf(Perl_debug_log,
7055         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7056     DEBUG_P(PerlIO_printf(Perl_debug_log,
7057         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7058                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7059                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
7060     for (;;) {
7061       screamer:
7062         if (cnt > 0) {
7063             if (rslen) {
7064                 while (cnt > 0) {                    /* this     |  eat */
7065                     cnt--;
7066                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
7067                         goto thats_all_folks;        /* screams  |  sed :-) */
7068                 }
7069             }
7070             else {
7071                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
7072                 bp += cnt;                           /* screams  |  dust */
7073                 ptr += cnt;                          /* louder   |  sed :-) */
7074                 cnt = 0;
7075             }
7076         }
7077         
7078         if (shortbuffered) {            /* oh well, must extend */
7079             cnt = shortbuffered;
7080             shortbuffered = 0;
7081             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
7082             SvCUR_set(sv, bpx);
7083             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
7084             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
7085             continue;
7086         }
7087
7088         DEBUG_P(PerlIO_printf(Perl_debug_log,
7089                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
7090                               PTR2UV(ptr),(long)cnt));
7091         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
7092 #if 0
7093         DEBUG_P(PerlIO_printf(Perl_debug_log,
7094             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7095             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7096             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7097 #endif
7098         /* This used to call 'filbuf' in stdio form, but as that behaves like
7099            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
7100            another abstraction.  */
7101         i   = PerlIO_getc(fp);          /* get more characters */
7102 #if 0
7103         DEBUG_P(PerlIO_printf(Perl_debug_log,
7104             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7105             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7106             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7107 #endif
7108         cnt = PerlIO_get_cnt(fp);
7109         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
7110         DEBUG_P(PerlIO_printf(Perl_debug_log,
7111             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7112
7113         if (i == EOF)                   /* all done for ever? */
7114             goto thats_really_all_folks;
7115
7116         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
7117         SvCUR_set(sv, bpx);
7118         SvGROW(sv, bpx + cnt + 2);
7119         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
7120
7121         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
7122
7123         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
7124             goto thats_all_folks;
7125     }
7126
7127 thats_all_folks:
7128     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
7129           memNE((char*)bp - rslen, rsptr, rslen))
7130         goto screamer;                          /* go back to the fray */
7131 thats_really_all_folks:
7132     if (shortbuffered)
7133         cnt += shortbuffered;
7134         DEBUG_P(PerlIO_printf(Perl_debug_log,
7135             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7136     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
7137     DEBUG_P(PerlIO_printf(Perl_debug_log,
7138         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7139         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7140         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7141     *bp = '\0';
7142     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
7143     DEBUG_P(PerlIO_printf(Perl_debug_log,
7144         "Screamer: done, len=%ld, string=|%.*s|\n",
7145         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
7146     }
7147    else
7148     {
7149        /*The big, slow, and stupid way. */
7150 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
7151         STDCHAR *buf = NULL;
7152         Newx(buf, 8192, STDCHAR);
7153         assert(buf);
7154 #else
7155         STDCHAR buf[8192];
7156 #endif
7157
7158 screamer2:
7159         if (rslen) {
7160             register const STDCHAR * const bpe = buf + sizeof(buf);
7161             bp = buf;
7162             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
7163                 ; /* keep reading */
7164             cnt = bp - buf;
7165         }
7166         else {
7167             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
7168             /* Accomodate broken VAXC compiler, which applies U8 cast to
7169              * both args of ?: operator, causing EOF to change into 255
7170              */
7171             if (cnt > 0)
7172                  i = (U8)buf[cnt - 1];
7173             else
7174                  i = EOF;
7175         }
7176
7177         if (cnt < 0)
7178             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
7179         if (append)
7180              sv_catpvn(sv, (char *) buf, cnt);
7181         else
7182              sv_setpvn(sv, (char *) buf, cnt);
7183
7184         if (i != EOF &&                 /* joy */
7185             (!rslen ||
7186              SvCUR(sv) < rslen ||
7187              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
7188         {
7189             append = -1;
7190             /*
7191              * If we're reading from a TTY and we get a short read,
7192              * indicating that the user hit his EOF character, we need
7193              * to notice it now, because if we try to read from the TTY
7194              * again, the EOF condition will disappear.
7195              *
7196              * The comparison of cnt to sizeof(buf) is an optimization
7197              * that prevents unnecessary calls to feof().
7198              *
7199              * - jik 9/25/96
7200              */
7201             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
7202                 goto screamer2;
7203         }
7204
7205 #ifdef USE_HEAP_INSTEAD_OF_STACK
7206         Safefree(buf);
7207 #endif
7208     }
7209
7210     if (rspara) {               /* have to do this both before and after */
7211         while (i != EOF) {      /* to make sure file boundaries work right */
7212             i = PerlIO_getc(fp);
7213             if (i != '\n') {
7214                 PerlIO_ungetc(fp,i);
7215                 break;
7216             }
7217         }
7218     }
7219
7220 return_string_or_null:
7221     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7222 }
7223
7224 /*
7225 =for apidoc sv_inc
7226
7227 Auto-increment of the value in the SV, doing string to numeric conversion
7228 if necessary. Handles 'get' magic.
7229
7230 =cut
7231 */
7232
7233 void
7234 Perl_sv_inc(pTHX_ register SV *const sv)
7235 {
7236     dVAR;
7237     register char *d;
7238     int flags;
7239
7240     if (!sv)
7241         return;
7242     SvGETMAGIC(sv);
7243     if (SvTHINKFIRST(sv)) {
7244         if (SvIsCOW(sv))
7245             sv_force_normal_flags(sv, 0);
7246         if (SvREADONLY(sv)) {
7247             if (IN_PERL_RUNTIME)
7248                 Perl_croak(aTHX_ "%s", PL_no_modify);
7249         }
7250         if (SvROK(sv)) {
7251             IV i;
7252             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
7253                 return;
7254             i = PTR2IV(SvRV(sv));
7255             sv_unref(sv);
7256             sv_setiv(sv, i);
7257         }
7258     }
7259     flags = SvFLAGS(sv);
7260     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
7261         /* It's (privately or publicly) a float, but not tested as an
7262            integer, so test it to see. */
7263         (void) SvIV(sv);
7264         flags = SvFLAGS(sv);
7265     }
7266     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7267         /* It's publicly an integer, or privately an integer-not-float */
7268 #ifdef PERL_PRESERVE_IVUV
7269       oops_its_int:
7270 #endif
7271         if (SvIsUV(sv)) {
7272             if (SvUVX(sv) == UV_MAX)
7273                 sv_setnv(sv, UV_MAX_P1);
7274             else
7275                 (void)SvIOK_only_UV(sv);
7276                 SvUV_set(sv, SvUVX(sv) + 1);
7277         } else {
7278             if (SvIVX(sv) == IV_MAX)
7279                 sv_setuv(sv, (UV)IV_MAX + 1);
7280             else {
7281                 (void)SvIOK_only(sv);
7282                 SvIV_set(sv, SvIVX(sv) + 1);
7283             }   
7284         }
7285         return;
7286     }
7287     if (flags & SVp_NOK) {
7288         const NV was = SvNVX(sv);
7289         if (NV_OVERFLOWS_INTEGERS_AT &&
7290             was >= NV_OVERFLOWS_INTEGERS_AT) {
7291             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
7292                            "Lost precision when incrementing %" NVff " by 1",
7293                            was);
7294         }
7295         (void)SvNOK_only(sv);
7296         SvNV_set(sv, was + 1.0);
7297         return;
7298     }
7299
7300     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
7301         if ((flags & SVTYPEMASK) < SVt_PVIV)
7302             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
7303         (void)SvIOK_only(sv);
7304         SvIV_set(sv, 1);
7305         return;
7306     }
7307     d = SvPVX(sv);
7308     while (isALPHA(*d)) d++;
7309     while (isDIGIT(*d)) d++;
7310     if (d < SvEND(sv)) {
7311 #ifdef PERL_PRESERVE_IVUV
7312         /* Got to punt this as an integer if needs be, but we don't issue
7313            warnings. Probably ought to make the sv_iv_please() that does
7314            the conversion if possible, and silently.  */
7315         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7316         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7317             /* Need to try really hard to see if it's an integer.
7318                9.22337203685478e+18 is an integer.
7319                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7320                so $a="9.22337203685478e+18"; $a+0; $a++
7321                needs to be the same as $a="9.22337203685478e+18"; $a++
7322                or we go insane. */
7323         
7324             (void) sv_2iv(sv);
7325             if (SvIOK(sv))
7326                 goto oops_its_int;
7327
7328             /* sv_2iv *should* have made this an NV */
7329             if (flags & SVp_NOK) {
7330                 (void)SvNOK_only(sv);
7331                 SvNV_set(sv, SvNVX(sv) + 1.0);
7332                 return;
7333             }
7334             /* I don't think we can get here. Maybe I should assert this
7335                And if we do get here I suspect that sv_setnv will croak. NWC
7336                Fall through. */
7337 #if defined(USE_LONG_DOUBLE)
7338             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7339                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7340 #else
7341             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7342                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7343 #endif
7344         }
7345 #endif /* PERL_PRESERVE_IVUV */
7346         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
7347         return;
7348     }
7349     d--;
7350     while (d >= SvPVX_const(sv)) {
7351         if (isDIGIT(*d)) {
7352             if (++*d <= '9')
7353                 return;
7354             *(d--) = '0';
7355         }
7356         else {
7357 #ifdef EBCDIC
7358             /* MKS: The original code here died if letters weren't consecutive.
7359              * at least it didn't have to worry about non-C locales.  The
7360              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
7361              * arranged in order (although not consecutively) and that only
7362              * [A-Za-z] are accepted by isALPHA in the C locale.
7363              */
7364             if (*d != 'z' && *d != 'Z') {
7365                 do { ++*d; } while (!isALPHA(*d));
7366                 return;
7367             }
7368             *(d--) -= 'z' - 'a';
7369 #else
7370             ++*d;
7371             if (isALPHA(*d))
7372                 return;
7373             *(d--) -= 'z' - 'a' + 1;
7374 #endif
7375         }
7376     }
7377     /* oh,oh, the number grew */
7378     SvGROW(sv, SvCUR(sv) + 2);
7379     SvCUR_set(sv, SvCUR(sv) + 1);
7380     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
7381         *d = d[-1];
7382     if (isDIGIT(d[1]))
7383         *d = '1';
7384     else
7385         *d = d[1];
7386 }
7387
7388 /*
7389 =for apidoc sv_dec
7390
7391 Auto-decrement of the value in the SV, doing string to numeric conversion
7392 if necessary. Handles 'get' magic.
7393
7394 =cut
7395 */
7396
7397 void
7398 Perl_sv_dec(pTHX_ register SV *const sv)
7399 {
7400     dVAR;
7401     int flags;
7402
7403     if (!sv)
7404         return;
7405     SvGETMAGIC(sv);
7406     if (SvTHINKFIRST(sv)) {
7407         if (SvIsCOW(sv))
7408             sv_force_normal_flags(sv, 0);
7409         if (SvREADONLY(sv)) {
7410             if (IN_PERL_RUNTIME)
7411                 Perl_croak(aTHX_ "%s", PL_no_modify);
7412         }
7413         if (SvROK(sv)) {
7414             IV i;
7415             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
7416                 return;
7417             i = PTR2IV(SvRV(sv));
7418             sv_unref(sv);
7419             sv_setiv(sv, i);
7420         }
7421     }
7422     /* Unlike sv_inc we don't have to worry about string-never-numbers
7423        and keeping them magic. But we mustn't warn on punting */
7424     flags = SvFLAGS(sv);
7425     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7426         /* It's publicly an integer, or privately an integer-not-float */
7427 #ifdef PERL_PRESERVE_IVUV
7428       oops_its_int:
7429 #endif
7430         if (SvIsUV(sv)) {
7431             if (SvUVX(sv) == 0) {
7432                 (void)SvIOK_only(sv);
7433                 SvIV_set(sv, -1);
7434             }
7435             else {
7436                 (void)SvIOK_only_UV(sv);
7437                 SvUV_set(sv, SvUVX(sv) - 1);
7438             }   
7439         } else {
7440             if (SvIVX(sv) == IV_MIN) {
7441                 sv_setnv(sv, (NV)IV_MIN);
7442                 goto oops_its_num;
7443             }
7444             else {
7445                 (void)SvIOK_only(sv);
7446                 SvIV_set(sv, SvIVX(sv) - 1);
7447             }   
7448         }
7449         return;
7450     }
7451     if (flags & SVp_NOK) {
7452     oops_its_num:
7453         {
7454             const NV was = SvNVX(sv);
7455             if (NV_OVERFLOWS_INTEGERS_AT &&
7456                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
7457                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
7458                                "Lost precision when decrementing %" NVff " by 1",
7459                                was);
7460             }
7461             (void)SvNOK_only(sv);
7462             SvNV_set(sv, was - 1.0);
7463             return;
7464         }
7465     }
7466     if (!(flags & SVp_POK)) {
7467         if ((flags & SVTYPEMASK) < SVt_PVIV)
7468             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
7469         SvIV_set(sv, -1);
7470         (void)SvIOK_only(sv);
7471         return;
7472     }
7473 #ifdef PERL_PRESERVE_IVUV
7474     {
7475         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7476         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7477             /* Need to try really hard to see if it's an integer.
7478                9.22337203685478e+18 is an integer.
7479                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7480                so $a="9.22337203685478e+18"; $a+0; $a--
7481                needs to be the same as $a="9.22337203685478e+18"; $a--
7482                or we go insane. */
7483         
7484             (void) sv_2iv(sv);
7485             if (SvIOK(sv))
7486                 goto oops_its_int;
7487
7488             /* sv_2iv *should* have made this an NV */
7489             if (flags & SVp_NOK) {
7490                 (void)SvNOK_only(sv);
7491                 SvNV_set(sv, SvNVX(sv) - 1.0);
7492                 return;
7493             }
7494             /* I don't think we can get here. Maybe I should assert this
7495                And if we do get here I suspect that sv_setnv will croak. NWC
7496                Fall through. */
7497 #if defined(USE_LONG_DOUBLE)
7498             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7499                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7500 #else
7501             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7502                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7503 #endif
7504         }
7505     }
7506 #endif /* PERL_PRESERVE_IVUV */
7507     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
7508 }
7509
7510 /* this define is used to eliminate a chunk of duplicated but shared logic
7511  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
7512  * used anywhere but here - yves
7513  */
7514 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
7515     STMT_START {      \
7516         EXTEND_MORTAL(1); \
7517         PL_tmps_stack[++PL_tmps_ix] = (AnSv); \
7518     } STMT_END
7519
7520 /*
7521 =for apidoc sv_mortalcopy
7522
7523 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
7524 The new SV is marked as mortal. It will be destroyed "soon", either by an
7525 explicit call to FREETMPS, or by an implicit call at places such as
7526 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
7527
7528 =cut
7529 */
7530
7531 /* Make a string that will exist for the duration of the expression
7532  * evaluation.  Actually, it may have to last longer than that, but
7533  * hopefully we won't free it until it has been assigned to a
7534  * permanent location. */
7535
7536 SV *
7537 Perl_sv_mortalcopy(pTHX_ SV *const oldstr)
7538 {
7539     dVAR;
7540     register SV *sv;
7541
7542     new_SV(sv);
7543     sv_setsv(sv,oldstr);
7544     PUSH_EXTEND_MORTAL__SV_C(sv);
7545     SvTEMP_on(sv);
7546     return sv;
7547 }
7548
7549 /*
7550 =for apidoc sv_newmortal
7551
7552 Creates a new null SV which is mortal.  The reference count of the SV is
7553 set to 1. It will be destroyed "soon", either by an explicit call to
7554 FREETMPS, or by an implicit call at places such as statement boundaries.
7555 See also C<sv_mortalcopy> and C<sv_2mortal>.
7556
7557 =cut
7558 */
7559
7560 SV *
7561 Perl_sv_newmortal(pTHX)
7562 {
7563     dVAR;
7564     register SV *sv;
7565
7566     new_SV(sv);
7567     SvFLAGS(sv) = SVs_TEMP;
7568     PUSH_EXTEND_MORTAL__SV_C(sv);
7569     return sv;
7570 }
7571
7572
7573 /*
7574 =for apidoc newSVpvn_flags
7575
7576 Creates a new SV and copies a string into it.  The reference count for the
7577 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7578 string.  You are responsible for ensuring that the source string is at least
7579 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7580 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
7581 If C<SVs_TEMP> is set, then C<sv2mortal()> is called on the result before
7582 returning. If C<SVf_UTF8> is set, then it will be set on the new SV.
7583 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
7584
7585     #define newSVpvn_utf8(s, len, u)                    \
7586         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
7587
7588 =cut
7589 */
7590
7591 SV *
7592 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
7593 {
7594     dVAR;
7595     register SV *sv;
7596
7597     /* All the flags we don't support must be zero.
7598        And we're new code so I'm going to assert this from the start.  */
7599     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
7600     new_SV(sv);
7601     sv_setpvn(sv,s,len);
7602
7603     /* This code used to a sv_2mortal(), however we now unroll the call to sv_2mortal()
7604      * and do what it does outselves here.
7605      * Since we have asserted that flags can only have the SVf_UTF8 and/or SVs_TEMP flags
7606      * set above we can use it to enable the sv flags directly (bypassing SvTEMP_on), which
7607      * in turn means we dont need to mask out the SVf_UTF8 flag below, which means that we
7608      * eleminate quite a few steps than it looks - Yves (explaining patch by gfx)
7609      */
7610
7611     SvFLAGS(sv) |= flags;
7612
7613     if(flags & SVs_TEMP){
7614         PUSH_EXTEND_MORTAL__SV_C(sv);
7615     }
7616
7617     return sv;
7618 }
7619
7620 /*
7621 =for apidoc sv_2mortal
7622
7623 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
7624 by an explicit call to FREETMPS, or by an implicit call at places such as
7625 statement boundaries.  SvTEMP() is turned on which means that the SV's
7626 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
7627 and C<sv_mortalcopy>.
7628
7629 =cut
7630 */
7631
7632 SV *
7633 Perl_sv_2mortal(pTHX_ register SV *const sv)
7634 {
7635     dVAR;
7636     if (!sv)
7637         return NULL;
7638     if (SvREADONLY(sv) && SvIMMORTAL(sv))
7639         return sv;
7640     PUSH_EXTEND_MORTAL__SV_C(sv);
7641     SvTEMP_on(sv);
7642     return sv;
7643 }
7644
7645 /*
7646 =for apidoc newSVpv
7647
7648 Creates a new SV and copies a string into it.  The reference count for the
7649 SV is set to 1.  If C<len> is zero, Perl will compute the length using
7650 strlen().  For efficiency, consider using C<newSVpvn> instead.
7651
7652 =cut
7653 */
7654
7655 SV *
7656 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
7657 {
7658     dVAR;
7659     register SV *sv;
7660
7661     new_SV(sv);
7662     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
7663     return sv;
7664 }
7665
7666 /*
7667 =for apidoc newSVpvn
7668
7669 Creates a new SV and copies a string into it.  The reference count for the
7670 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7671 string.  You are responsible for ensuring that the source string is at least
7672 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7673
7674 =cut
7675 */
7676
7677 SV *
7678 Perl_newSVpvn(pTHX_ const char *const s, const STRLEN len)
7679 {
7680     dVAR;
7681     register SV *sv;
7682
7683     new_SV(sv);
7684     sv_setpvn(sv,s,len);
7685     return sv;
7686 }
7687
7688 /*
7689 =for apidoc newSVhek
7690
7691 Creates a new SV from the hash key structure.  It will generate scalars that
7692 point to the shared string table where possible. Returns a new (undefined)
7693 SV if the hek is NULL.
7694
7695 =cut
7696 */
7697
7698 SV *
7699 Perl_newSVhek(pTHX_ const HEK *const hek)
7700 {
7701     dVAR;
7702     if (!hek) {
7703         SV *sv;
7704
7705         new_SV(sv);
7706         return sv;
7707     }
7708
7709     if (HEK_LEN(hek) == HEf_SVKEY) {
7710         return newSVsv(*(SV**)HEK_KEY(hek));
7711     } else {
7712         const int flags = HEK_FLAGS(hek);
7713         if (flags & HVhek_WASUTF8) {
7714             /* Trouble :-)
7715                Andreas would like keys he put in as utf8 to come back as utf8
7716             */
7717             STRLEN utf8_len = HEK_LEN(hek);
7718             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7719             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7720
7721             SvUTF8_on (sv);
7722             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7723             return sv;
7724         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7725             /* We don't have a pointer to the hv, so we have to replicate the
7726                flag into every HEK. This hv is using custom a hasing
7727                algorithm. Hence we can't return a shared string scalar, as
7728                that would contain the (wrong) hash value, and might get passed
7729                into an hv routine with a regular hash.
7730                Similarly, a hash that isn't using shared hash keys has to have
7731                the flag in every key so that we know not to try to call
7732                share_hek_kek on it.  */
7733
7734             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7735             if (HEK_UTF8(hek))
7736                 SvUTF8_on (sv);
7737             return sv;
7738         }
7739         /* This will be overwhelminly the most common case.  */
7740         {
7741             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7742                more efficient than sharepvn().  */
7743             SV *sv;
7744
7745             new_SV(sv);
7746             sv_upgrade(sv, SVt_PV);
7747             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7748             SvCUR_set(sv, HEK_LEN(hek));
7749             SvLEN_set(sv, 0);
7750             SvREADONLY_on(sv);
7751             SvFAKE_on(sv);
7752             SvPOK_on(sv);
7753             if (HEK_UTF8(hek))
7754                 SvUTF8_on(sv);
7755             return sv;
7756         }
7757     }
7758 }
7759
7760 /*
7761 =for apidoc newSVpvn_share
7762
7763 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7764 table. If the string does not already exist in the table, it is created
7765 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
7766 value is used; otherwise the hash is computed. The string's hash can be later
7767 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
7768 that as the string table is used for shared hash keys these strings will have
7769 SvPVX_const == HeKEY and hash lookup will avoid string compare.
7770
7771 =cut
7772 */
7773
7774 SV *
7775 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7776 {
7777     dVAR;
7778     register SV *sv;
7779     bool is_utf8 = FALSE;
7780     const char *const orig_src = src;
7781
7782     if (len < 0) {
7783         STRLEN tmplen = -len;
7784         is_utf8 = TRUE;
7785         /* See the note in hv.c:hv_fetch() --jhi */
7786         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7787         len = tmplen;
7788     }
7789     if (!hash)
7790         PERL_HASH(hash, src, len);
7791     new_SV(sv);
7792     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
7793        changes here, update it there too.  */
7794     sv_upgrade(sv, SVt_PV);
7795     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7796     SvCUR_set(sv, len);
7797     SvLEN_set(sv, 0);
7798     SvREADONLY_on(sv);
7799     SvFAKE_on(sv);
7800     SvPOK_on(sv);
7801     if (is_utf8)
7802         SvUTF8_on(sv);
7803     if (src != orig_src)
7804         Safefree(src);
7805     return sv;
7806 }
7807
7808
7809 #if defined(PERL_IMPLICIT_CONTEXT)
7810
7811 /* pTHX_ magic can't cope with varargs, so this is a no-context
7812  * version of the main function, (which may itself be aliased to us).
7813  * Don't access this version directly.
7814  */
7815
7816 SV *
7817 Perl_newSVpvf_nocontext(const char *const pat, ...)
7818 {
7819     dTHX;
7820     register SV *sv;
7821     va_list args;
7822
7823     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
7824
7825     va_start(args, pat);
7826     sv = vnewSVpvf(pat, &args);
7827     va_end(args);
7828     return sv;
7829 }
7830 #endif
7831
7832 /*
7833 =for apidoc newSVpvf
7834
7835 Creates a new SV and initializes it with the string formatted like
7836 C<sprintf>.
7837
7838 =cut
7839 */
7840
7841 SV *
7842 Perl_newSVpvf(pTHX_ const char *const pat, ...)
7843 {
7844     register SV *sv;
7845     va_list args;
7846
7847     PERL_ARGS_ASSERT_NEWSVPVF;
7848
7849     va_start(args, pat);
7850     sv = vnewSVpvf(pat, &args);
7851     va_end(args);
7852     return sv;
7853 }
7854
7855 /* backend for newSVpvf() and newSVpvf_nocontext() */
7856
7857 SV *
7858 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
7859 {
7860     dVAR;
7861     register SV *sv;
7862
7863     PERL_ARGS_ASSERT_VNEWSVPVF;
7864
7865     new_SV(sv);
7866     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7867     return sv;
7868 }
7869
7870 /*
7871 =for apidoc newSVnv
7872
7873 Creates a new SV and copies a floating point value into it.
7874 The reference count for the SV is set to 1.
7875
7876 =cut
7877 */
7878
7879 SV *
7880 Perl_newSVnv(pTHX_ const NV n)
7881 {
7882     dVAR;
7883     register SV *sv;
7884
7885     new_SV(sv);
7886     sv_setnv(sv,n);
7887     return sv;
7888 }
7889
7890 /*
7891 =for apidoc newSViv
7892
7893 Creates a new SV and copies an integer into it.  The reference count for the
7894 SV is set to 1.
7895
7896 =cut
7897 */
7898
7899 SV *
7900 Perl_newSViv(pTHX_ const IV i)
7901 {
7902     dVAR;
7903     register SV *sv;
7904
7905     new_SV(sv);
7906     sv_setiv(sv,i);
7907     return sv;
7908 }
7909
7910 /*
7911 =for apidoc newSVuv
7912
7913 Creates a new SV and copies an unsigned integer into it.
7914 The reference count for the SV is set to 1.
7915
7916 =cut
7917 */
7918
7919 SV *
7920 Perl_newSVuv(pTHX_ const UV u)
7921 {
7922     dVAR;
7923     register SV *sv;
7924
7925     new_SV(sv);
7926     sv_setuv(sv,u);
7927     return sv;
7928 }
7929
7930 /*
7931 =for apidoc newSV_type
7932
7933 Creates a new SV, of the type specified.  The reference count for the new SV
7934 is set to 1.
7935
7936 =cut
7937 */
7938
7939 SV *
7940 Perl_newSV_type(pTHX_ const svtype type)
7941 {
7942     register SV *sv;
7943
7944     new_SV(sv);
7945     sv_upgrade(sv, type);
7946     return sv;
7947 }
7948
7949 /*
7950 =for apidoc newRV_noinc
7951
7952 Creates an RV wrapper for an SV.  The reference count for the original
7953 SV is B<not> incremented.
7954
7955 =cut
7956 */
7957
7958 SV *
7959 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
7960 {
7961     dVAR;
7962     register SV *sv = newSV_type(SVt_IV);
7963
7964     PERL_ARGS_ASSERT_NEWRV_NOINC;
7965
7966     SvTEMP_off(tmpRef);
7967     SvRV_set(sv, tmpRef);
7968     SvROK_on(sv);
7969     return sv;
7970 }
7971
7972 /* newRV_inc is the official function name to use now.
7973  * newRV_inc is in fact #defined to newRV in sv.h
7974  */
7975
7976 SV *
7977 Perl_newRV(pTHX_ SV *const sv)
7978 {
7979     dVAR;
7980
7981     PERL_ARGS_ASSERT_NEWRV;
7982
7983     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7984 }
7985
7986 /*
7987 =for apidoc newSVsv
7988
7989 Creates a new SV which is an exact duplicate of the original SV.
7990 (Uses C<sv_setsv>).
7991
7992 =cut
7993 */
7994
7995 SV *
7996 Perl_newSVsv(pTHX_ register SV *const old)
7997 {
7998     dVAR;
7999     register SV *sv;
8000
8001     if (!old)
8002         return NULL;
8003     if (SvTYPE(old) == SVTYPEMASK) {
8004         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
8005         return NULL;
8006     }
8007     new_SV(sv);
8008     /* SV_GMAGIC is the default for sv_setv()
8009        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
8010        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
8011     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
8012     return sv;
8013 }
8014
8015 /*
8016 =for apidoc sv_reset
8017
8018 Underlying implementation for the C<reset> Perl function.
8019 Note that the perl-level function is vaguely deprecated.
8020
8021 =cut
8022 */
8023
8024 void
8025 Perl_sv_reset(pTHX_ register const char *s, HV *const stash)
8026 {
8027     dVAR;
8028     char todo[PERL_UCHAR_MAX+1];
8029
8030     PERL_ARGS_ASSERT_SV_RESET;
8031
8032     if (!stash)
8033         return;
8034
8035     if (!*s) {          /* reset ?? searches */
8036         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
8037         if (mg) {
8038             const U32 count = mg->mg_len / sizeof(PMOP**);
8039             PMOP **pmp = (PMOP**) mg->mg_ptr;
8040             PMOP *const *const end = pmp + count;
8041
8042             while (pmp < end) {
8043 #ifdef USE_ITHREADS
8044                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
8045 #else
8046                 (*pmp)->op_pmflags &= ~PMf_USED;
8047 #endif
8048                 ++pmp;
8049             }
8050         }
8051         return;
8052     }
8053
8054     /* reset variables */
8055
8056     if (!HvARRAY(stash))
8057         return;
8058
8059     Zero(todo, 256, char);
8060     while (*s) {
8061         I32 max;
8062         I32 i = (unsigned char)*s;
8063         if (s[1] == '-') {
8064             s += 2;
8065         }
8066         max = (unsigned char)*s++;
8067         for ( ; i <= max; i++) {
8068             todo[i] = 1;
8069         }
8070         for (i = 0; i <= (I32) HvMAX(stash); i++) {
8071             HE *entry;
8072             for (entry = HvARRAY(stash)[i];
8073                  entry;
8074                  entry = HeNEXT(entry))
8075             {
8076                 register GV *gv;
8077                 register SV *sv;
8078
8079                 if (!todo[(U8)*HeKEY(entry)])
8080                     continue;
8081                 gv = MUTABLE_GV(HeVAL(entry));
8082                 sv = GvSV(gv);
8083                 if (sv) {
8084                     if (SvTHINKFIRST(sv)) {
8085                         if (!SvREADONLY(sv) && SvROK(sv))
8086                             sv_unref(sv);
8087                         /* XXX Is this continue a bug? Why should THINKFIRST
8088                            exempt us from resetting arrays and hashes?  */
8089                         continue;
8090                     }
8091                     SvOK_off(sv);
8092                     if (SvTYPE(sv) >= SVt_PV) {
8093                         SvCUR_set(sv, 0);
8094                         if (SvPVX_const(sv) != NULL)
8095                             *SvPVX(sv) = '\0';
8096                         SvTAINT(sv);
8097                     }
8098                 }
8099                 if (GvAV(gv)) {
8100                     av_clear(GvAV(gv));
8101                 }
8102                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
8103 #if defined(VMS)
8104                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
8105 #else /* ! VMS */
8106                     hv_clear(GvHV(gv));
8107 #  if defined(USE_ENVIRON_ARRAY)
8108                     if (gv == PL_envgv)
8109                         my_clearenv();
8110 #  endif /* USE_ENVIRON_ARRAY */
8111 #endif /* VMS */
8112                 }
8113             }
8114         }
8115     }
8116 }
8117
8118 /*
8119 =for apidoc sv_2io
8120
8121 Using various gambits, try to get an IO from an SV: the IO slot if its a
8122 GV; or the recursive result if we're an RV; or the IO slot of the symbol
8123 named after the PV if we're a string.
8124
8125 =cut
8126 */
8127
8128 IO*
8129 Perl_sv_2io(pTHX_ SV *const sv)
8130 {
8131     IO* io;
8132     GV* gv;
8133
8134     PERL_ARGS_ASSERT_SV_2IO;
8135
8136     switch (SvTYPE(sv)) {
8137     case SVt_PVIO:
8138         io = MUTABLE_IO(sv);
8139         break;
8140     case SVt_PVGV:
8141         if (isGV_with_GP(sv)) {
8142             gv = MUTABLE_GV(sv);
8143             io = GvIO(gv);
8144             if (!io)
8145                 Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
8146             break;
8147         }
8148         /* FALL THROUGH */
8149     default:
8150         if (!SvOK(sv))
8151             Perl_croak(aTHX_ PL_no_usym, "filehandle");
8152         if (SvROK(sv))
8153             return sv_2io(SvRV(sv));
8154         gv = gv_fetchsv(sv, 0, SVt_PVIO);
8155         if (gv)
8156             io = GvIO(gv);
8157         else
8158             io = 0;
8159         if (!io)
8160             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
8161         break;
8162     }
8163     return io;
8164 }
8165
8166 /*
8167 =for apidoc sv_2cv
8168
8169 Using various gambits, try to get a CV from an SV; in addition, try if
8170 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
8171 The flags in C<lref> are passed to gv_fetchsv.
8172
8173 =cut
8174 */
8175
8176 CV *
8177 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
8178 {
8179     dVAR;
8180     GV *gv = NULL;
8181     CV *cv = NULL;
8182
8183     PERL_ARGS_ASSERT_SV_2CV;
8184
8185     if (!sv) {
8186         *st = NULL;
8187         *gvp = NULL;
8188         return NULL;
8189     }
8190     switch (SvTYPE(sv)) {
8191     case SVt_PVCV:
8192         *st = CvSTASH(sv);
8193         *gvp = NULL;
8194         return MUTABLE_CV(sv);
8195     case SVt_PVHV:
8196     case SVt_PVAV:
8197         *st = NULL;
8198         *gvp = NULL;
8199         return NULL;
8200     case SVt_PVGV:
8201         if (isGV_with_GP(sv)) {
8202             gv = MUTABLE_GV(sv);
8203             *gvp = gv;
8204             *st = GvESTASH(gv);
8205             goto fix_gv;
8206         }
8207         /* FALL THROUGH */
8208
8209     default:
8210         if (SvROK(sv)) {
8211             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
8212             SvGETMAGIC(sv);
8213             tryAMAGICunDEREF(to_cv);
8214
8215             sv = SvRV(sv);
8216             if (SvTYPE(sv) == SVt_PVCV) {
8217                 cv = MUTABLE_CV(sv);
8218                 *gvp = NULL;
8219                 *st = CvSTASH(cv);
8220                 return cv;
8221             }
8222             else if(isGV_with_GP(sv))
8223                 gv = MUTABLE_GV(sv);
8224             else
8225                 Perl_croak(aTHX_ "Not a subroutine reference");
8226         }
8227         else if (isGV_with_GP(sv)) {
8228             SvGETMAGIC(sv);
8229             gv = MUTABLE_GV(sv);
8230         }
8231         else
8232             gv = gv_fetchsv(sv, lref, SVt_PVCV); /* Calls get magic */
8233         *gvp = gv;
8234         if (!gv) {
8235             *st = NULL;
8236             return NULL;
8237         }
8238         /* Some flags to gv_fetchsv mean don't really create the GV  */
8239         if (!isGV_with_GP(gv)) {
8240             *st = NULL;
8241             return NULL;
8242         }
8243         *st = GvESTASH(gv);
8244     fix_gv:
8245         if (lref && !GvCVu(gv)) {
8246             SV *tmpsv;
8247             ENTER;
8248             tmpsv = newSV(0);
8249             gv_efullname3(tmpsv, gv, NULL);
8250             /* XXX this is probably not what they think they're getting.
8251              * It has the same effect as "sub name;", i.e. just a forward
8252              * declaration! */
8253             newSUB(start_subparse(FALSE, 0),
8254                    newSVOP(OP_CONST, 0, tmpsv),
8255                    NULL, NULL);
8256             LEAVE;
8257             if (!GvCVu(gv))
8258                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
8259                            SVfARG(SvOK(sv) ? sv : &PL_sv_no));
8260         }
8261         return GvCVu(gv);
8262     }
8263 }
8264
8265 /*
8266 =for apidoc sv_true
8267
8268 Returns true if the SV has a true value by Perl's rules.
8269 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
8270 instead use an in-line version.
8271
8272 =cut
8273 */
8274
8275 I32
8276 Perl_sv_true(pTHX_ register SV *const sv)
8277 {
8278     if (!sv)
8279         return 0;
8280     if (SvPOK(sv)) {
8281         register const XPV* const tXpv = (XPV*)SvANY(sv);
8282         if (tXpv &&
8283                 (tXpv->xpv_cur > 1 ||
8284                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
8285             return 1;
8286         else
8287             return 0;
8288     }
8289     else {
8290         if (SvIOK(sv))
8291             return SvIVX(sv) != 0;
8292         else {
8293             if (SvNOK(sv))
8294                 return SvNVX(sv) != 0.0;
8295             else
8296                 return sv_2bool(sv);
8297         }
8298     }
8299 }
8300
8301 /*
8302 =for apidoc sv_pvn_force
8303
8304 Get a sensible string out of the SV somehow.
8305 A private implementation of the C<SvPV_force> macro for compilers which
8306 can't cope with complex macro expressions. Always use the macro instead.
8307
8308 =for apidoc sv_pvn_force_flags
8309
8310 Get a sensible string out of the SV somehow.
8311 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
8312 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
8313 implemented in terms of this function.
8314 You normally want to use the various wrapper macros instead: see
8315 C<SvPV_force> and C<SvPV_force_nomg>
8316
8317 =cut
8318 */
8319
8320 char *
8321 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
8322 {
8323     dVAR;
8324
8325     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
8326
8327     if (SvTHINKFIRST(sv) && !SvROK(sv))
8328         sv_force_normal_flags(sv, 0);
8329
8330     if (SvPOK(sv)) {
8331         if (lp)
8332             *lp = SvCUR(sv);
8333     }
8334     else {
8335         char *s;
8336         STRLEN len;
8337  
8338         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
8339             const char * const ref = sv_reftype(sv,0);
8340             if (PL_op)
8341                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
8342                            ref, OP_NAME(PL_op));
8343             else
8344                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
8345         }
8346         if ((SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
8347             || isGV_with_GP(sv))
8348             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
8349                 OP_NAME(PL_op));
8350         s = sv_2pv_flags(sv, &len, flags);
8351         if (lp)
8352             *lp = len;
8353
8354         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
8355             if (SvROK(sv))
8356                 sv_unref(sv);
8357             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
8358             SvGROW(sv, len + 1);
8359             Move(s,SvPVX(sv),len,char);
8360             SvCUR_set(sv, len);
8361             SvPVX(sv)[len] = '\0';
8362         }
8363         if (!SvPOK(sv)) {
8364             SvPOK_on(sv);               /* validate pointer */
8365             SvTAINT(sv);
8366             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
8367                                   PTR2UV(sv),SvPVX_const(sv)));
8368         }
8369     }
8370     return SvPVX_mutable(sv);
8371 }
8372
8373 /*
8374 =for apidoc sv_pvbyten_force
8375
8376 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
8377
8378 =cut
8379 */
8380
8381 char *
8382 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
8383 {
8384     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
8385
8386     sv_pvn_force(sv,lp);
8387     sv_utf8_downgrade(sv,0);
8388     *lp = SvCUR(sv);
8389     return SvPVX(sv);
8390 }
8391
8392 /*
8393 =for apidoc sv_pvutf8n_force
8394
8395 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
8396
8397 =cut
8398 */
8399
8400 char *
8401 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
8402 {
8403     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
8404
8405     sv_pvn_force(sv,lp);
8406     sv_utf8_upgrade(sv);
8407     *lp = SvCUR(sv);
8408     return SvPVX(sv);
8409 }
8410
8411 /*
8412 =for apidoc sv_reftype
8413
8414 Returns a string describing what the SV is a reference to.
8415
8416 =cut
8417 */
8418
8419 const char *
8420 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
8421 {
8422     PERL_ARGS_ASSERT_SV_REFTYPE;
8423
8424     /* The fact that I don't need to downcast to char * everywhere, only in ?:
8425        inside return suggests a const propagation bug in g++.  */
8426     if (ob && SvOBJECT(sv)) {
8427         char * const name = HvNAME_get(SvSTASH(sv));
8428         return name ? name : (char *) "__ANON__";
8429     }
8430     else {
8431         switch (SvTYPE(sv)) {
8432         case SVt_NULL:
8433         case SVt_IV:
8434         case SVt_NV:
8435         case SVt_PV:
8436         case SVt_PVIV:
8437         case SVt_PVNV:
8438         case SVt_PVMG:
8439                                 if (SvVOK(sv))
8440                                     return "VSTRING";
8441                                 if (SvROK(sv))
8442                                     return "REF";
8443                                 else
8444                                     return "SCALAR";
8445
8446         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
8447                                 /* tied lvalues should appear to be
8448                                  * scalars for backwards compatitbility */
8449                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
8450                                     ? "SCALAR" : "LVALUE");
8451         case SVt_PVAV:          return "ARRAY";
8452         case SVt_PVHV:          return "HASH";
8453         case SVt_PVCV:          return "CODE";
8454         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
8455                                     ? "GLOB" : "SCALAR");
8456         case SVt_PVFM:          return "FORMAT";
8457         case SVt_PVIO:          return "IO";
8458         case SVt_BIND:          return "BIND";
8459         case SVt_REGEXP:        return "REGEXP"; 
8460         default:                return "UNKNOWN";
8461         }
8462     }
8463 }
8464
8465 /*
8466 =for apidoc sv_isobject
8467
8468 Returns a boolean indicating whether the SV is an RV pointing to a blessed
8469 object.  If the SV is not an RV, or if the object is not blessed, then this
8470 will return false.
8471
8472 =cut
8473 */
8474
8475 int
8476 Perl_sv_isobject(pTHX_ SV *sv)
8477 {
8478     if (!sv)
8479         return 0;
8480     SvGETMAGIC(sv);
8481     if (!SvROK(sv))
8482         return 0;
8483     sv = SvRV(sv);
8484     if (!SvOBJECT(sv))
8485         return 0;
8486     return 1;
8487 }
8488
8489 /*
8490 =for apidoc sv_isa
8491
8492 Returns a boolean indicating whether the SV is blessed into the specified
8493 class.  This does not check for subtypes; use C<sv_derived_from> to verify
8494 an inheritance relationship.
8495
8496 =cut
8497 */
8498
8499 int
8500 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
8501 {
8502     const char *hvname;
8503
8504     PERL_ARGS_ASSERT_SV_ISA;
8505
8506     if (!sv)
8507         return 0;
8508     SvGETMAGIC(sv);
8509     if (!SvROK(sv))
8510         return 0;
8511     sv = SvRV(sv);
8512     if (!SvOBJECT(sv))
8513         return 0;
8514     hvname = HvNAME_get(SvSTASH(sv));
8515     if (!hvname)
8516         return 0;
8517
8518     return strEQ(hvname, name);
8519 }
8520
8521 /*
8522 =for apidoc newSVrv
8523
8524 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
8525 it will be upgraded to one.  If C<classname> is non-null then the new SV will
8526 be blessed in the specified package.  The new SV is returned and its
8527 reference count is 1.
8528
8529 =cut
8530 */
8531
8532 SV*
8533 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
8534 {
8535     dVAR;
8536     SV *sv;
8537
8538     PERL_ARGS_ASSERT_NEWSVRV;
8539
8540     new_SV(sv);
8541
8542     SV_CHECK_THINKFIRST_COW_DROP(rv);
8543     (void)SvAMAGIC_off(rv);
8544
8545     if (SvTYPE(rv) >= SVt_PVMG) {
8546         const U32 refcnt = SvREFCNT(rv);
8547         SvREFCNT(rv) = 0;
8548         sv_clear(rv);
8549         SvFLAGS(rv) = 0;
8550         SvREFCNT(rv) = refcnt;
8551
8552         sv_upgrade(rv, SVt_IV);
8553     } else if (SvROK(rv)) {
8554         SvREFCNT_dec(SvRV(rv));
8555     } else {
8556         prepare_SV_for_RV(rv);
8557     }
8558
8559     SvOK_off(rv);
8560     SvRV_set(rv, sv);
8561     SvROK_on(rv);
8562
8563     if (classname) {
8564         HV* const stash = gv_stashpv(classname, GV_ADD);
8565         (void)sv_bless(rv, stash);
8566     }
8567     return sv;
8568 }
8569
8570 /*
8571 =for apidoc sv_setref_pv
8572
8573 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
8574 argument will be upgraded to an RV.  That RV will be modified to point to
8575 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
8576 into the SV.  The C<classname> argument indicates the package for the
8577 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8578 will have a reference count of 1, and the RV will be returned.
8579
8580 Do not use with other Perl types such as HV, AV, SV, CV, because those
8581 objects will become corrupted by the pointer copy process.
8582
8583 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
8584
8585 =cut
8586 */
8587
8588 SV*
8589 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
8590 {
8591     dVAR;
8592
8593     PERL_ARGS_ASSERT_SV_SETREF_PV;
8594
8595     if (!pv) {
8596         sv_setsv(rv, &PL_sv_undef);
8597         SvSETMAGIC(rv);
8598     }
8599     else
8600         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
8601     return rv;
8602 }
8603
8604 /*
8605 =for apidoc sv_setref_iv
8606
8607 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
8608 argument will be upgraded to an RV.  That RV will be modified to point to
8609 the new SV.  The C<classname> argument indicates the package for the
8610 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8611 will have a reference count of 1, and the RV will be returned.
8612
8613 =cut
8614 */
8615
8616 SV*
8617 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
8618 {
8619     PERL_ARGS_ASSERT_SV_SETREF_IV;
8620
8621     sv_setiv(newSVrv(rv,classname), iv);
8622     return rv;
8623 }
8624
8625 /*
8626 =for apidoc sv_setref_uv
8627
8628 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
8629 argument will be upgraded to an RV.  That RV will be modified to point to
8630 the new SV.  The C<classname> argument indicates the package for the
8631 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8632 will have a reference count of 1, and the RV will be returned.
8633
8634 =cut
8635 */
8636
8637 SV*
8638 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
8639 {
8640     PERL_ARGS_ASSERT_SV_SETREF_UV;
8641
8642     sv_setuv(newSVrv(rv,classname), uv);
8643     return rv;
8644 }
8645
8646 /*
8647 =for apidoc sv_setref_nv
8648
8649 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
8650 argument will be upgraded to an RV.  That RV will be modified to point to
8651 the new SV.  The C<classname> argument indicates the package for the
8652 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8653 will have a reference count of 1, and the RV will be returned.
8654
8655 =cut
8656 */
8657
8658 SV*
8659 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
8660 {
8661     PERL_ARGS_ASSERT_SV_SETREF_NV;
8662
8663     sv_setnv(newSVrv(rv,classname), nv);
8664     return rv;
8665 }
8666
8667 /*
8668 =for apidoc sv_setref_pvn
8669
8670 Copies a string into a new SV, optionally blessing the SV.  The length of the
8671 string must be specified with C<n>.  The C<rv> argument will be upgraded to
8672 an RV.  That RV will be modified to point to the new SV.  The C<classname>
8673 argument indicates the package for the blessing.  Set C<classname> to
8674 C<NULL> to avoid the blessing.  The new SV will have a reference count
8675 of 1, and the RV will be returned.
8676
8677 Note that C<sv_setref_pv> copies the pointer while this copies the string.
8678
8679 =cut
8680 */
8681
8682 SV*
8683 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
8684                    const char *const pv, const STRLEN n)
8685 {
8686     PERL_ARGS_ASSERT_SV_SETREF_PVN;
8687
8688     sv_setpvn(newSVrv(rv,classname), pv, n);
8689     return rv;
8690 }
8691
8692 /*
8693 =for apidoc sv_bless
8694
8695 Blesses an SV into a specified package.  The SV must be an RV.  The package
8696 must be designated by its stash (see C<gv_stashpv()>).  The reference count
8697 of the SV is unaffected.
8698
8699 =cut
8700 */
8701
8702 SV*
8703 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
8704 {
8705     dVAR;
8706     SV *tmpRef;
8707
8708     PERL_ARGS_ASSERT_SV_BLESS;
8709
8710     if (!SvROK(sv))
8711         Perl_croak(aTHX_ "Can't bless non-reference value");
8712     tmpRef = SvRV(sv);
8713     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
8714         if (SvIsCOW(tmpRef))
8715             sv_force_normal_flags(tmpRef, 0);
8716         if (SvREADONLY(tmpRef))
8717             Perl_croak(aTHX_ "%s", PL_no_modify);
8718         if (SvOBJECT(tmpRef)) {
8719             if (SvTYPE(tmpRef) != SVt_PVIO)
8720                 --PL_sv_objcount;
8721             SvREFCNT_dec(SvSTASH(tmpRef));
8722         }
8723     }
8724     SvOBJECT_on(tmpRef);
8725     if (SvTYPE(tmpRef) != SVt_PVIO)
8726         ++PL_sv_objcount;
8727     SvUPGRADE(tmpRef, SVt_PVMG);
8728     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
8729
8730     if (Gv_AMG(stash))
8731         SvAMAGIC_on(sv);
8732     else
8733         (void)SvAMAGIC_off(sv);
8734
8735     if(SvSMAGICAL(tmpRef))
8736         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
8737             mg_set(tmpRef);
8738
8739
8740
8741     return sv;
8742 }
8743
8744 /* Downgrades a PVGV to a PVMG.
8745  */
8746
8747 STATIC void
8748 S_sv_unglob(pTHX_ SV *const sv)
8749 {
8750     dVAR;
8751     void *xpvmg;
8752     HV *stash;
8753     SV * const temp = sv_newmortal();
8754
8755     PERL_ARGS_ASSERT_SV_UNGLOB;
8756
8757     assert(SvTYPE(sv) == SVt_PVGV);
8758     SvFAKE_off(sv);
8759     gv_efullname3(temp, MUTABLE_GV(sv), "*");
8760
8761     if (GvGP(sv)) {
8762         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
8763            && HvNAME_get(stash))
8764             mro_method_changed_in(stash);
8765         gp_free(MUTABLE_GV(sv));
8766     }
8767     if (GvSTASH(sv)) {
8768         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
8769         GvSTASH(sv) = NULL;
8770     }
8771     GvMULTI_off(sv);
8772     if (GvNAME_HEK(sv)) {
8773         unshare_hek(GvNAME_HEK(sv));
8774     }
8775     isGV_with_GP_off(sv);
8776
8777     /* need to keep SvANY(sv) in the right arena */
8778     xpvmg = new_XPVMG();
8779     StructCopy(SvANY(sv), xpvmg, XPVMG);
8780     del_XPVGV(SvANY(sv));
8781     SvANY(sv) = xpvmg;
8782
8783     SvFLAGS(sv) &= ~SVTYPEMASK;
8784     SvFLAGS(sv) |= SVt_PVMG;
8785
8786     /* Intentionally not calling any local SET magic, as this isn't so much a
8787        set operation as merely an internal storage change.  */
8788     sv_setsv_flags(sv, temp, 0);
8789 }
8790
8791 /*
8792 =for apidoc sv_unref_flags
8793
8794 Unsets the RV status of the SV, and decrements the reference count of
8795 whatever was being referenced by the RV.  This can almost be thought of
8796 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8797 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8798 (otherwise the decrementing is conditional on the reference count being
8799 different from one or the reference being a readonly SV).
8800 See C<SvROK_off>.
8801
8802 =cut
8803 */
8804
8805 void
8806 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
8807 {
8808     SV* const target = SvRV(ref);
8809
8810     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
8811
8812     if (SvWEAKREF(ref)) {
8813         sv_del_backref(target, ref);
8814         SvWEAKREF_off(ref);
8815         SvRV_set(ref, NULL);
8816         return;
8817     }
8818     SvRV_set(ref, NULL);
8819     SvROK_off(ref);
8820     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8821        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8822     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8823         SvREFCNT_dec(target);
8824     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8825         sv_2mortal(target);     /* Schedule for freeing later */
8826 }
8827
8828 /*
8829 =for apidoc sv_untaint
8830
8831 Untaint an SV. Use C<SvTAINTED_off> instead.
8832 =cut
8833 */
8834
8835 void
8836 Perl_sv_untaint(pTHX_ SV *const sv)
8837 {
8838     PERL_ARGS_ASSERT_SV_UNTAINT;
8839
8840     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8841         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8842         if (mg)
8843             mg->mg_len &= ~1;
8844     }
8845 }
8846
8847 /*
8848 =for apidoc sv_tainted
8849
8850 Test an SV for taintedness. Use C<SvTAINTED> instead.
8851 =cut
8852 */
8853
8854 bool
8855 Perl_sv_tainted(pTHX_ SV *const sv)
8856 {
8857     PERL_ARGS_ASSERT_SV_TAINTED;
8858
8859     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8860         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8861         if (mg && (mg->mg_len & 1) )
8862             return TRUE;
8863     }
8864     return FALSE;
8865 }
8866
8867 /*
8868 =for apidoc sv_setpviv
8869
8870 Copies an integer into the given SV, also updating its string value.
8871 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8872
8873 =cut
8874 */
8875
8876 void
8877 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
8878 {
8879     char buf[TYPE_CHARS(UV)];
8880     char *ebuf;
8881     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8882
8883     PERL_ARGS_ASSERT_SV_SETPVIV;
8884
8885     sv_setpvn(sv, ptr, ebuf - ptr);
8886 }
8887
8888 /*
8889 =for apidoc sv_setpviv_mg
8890
8891 Like C<sv_setpviv>, but also handles 'set' magic.
8892
8893 =cut
8894 */
8895
8896 void
8897 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
8898 {
8899     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
8900
8901     sv_setpviv(sv, iv);
8902     SvSETMAGIC(sv);
8903 }
8904
8905 #if defined(PERL_IMPLICIT_CONTEXT)
8906
8907 /* pTHX_ magic can't cope with varargs, so this is a no-context
8908  * version of the main function, (which may itself be aliased to us).
8909  * Don't access this version directly.
8910  */
8911
8912 void
8913 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
8914 {
8915     dTHX;
8916     va_list args;
8917
8918     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
8919
8920     va_start(args, pat);
8921     sv_vsetpvf(sv, pat, &args);
8922     va_end(args);
8923 }
8924
8925 /* pTHX_ magic can't cope with varargs, so this is a no-context
8926  * version of the main function, (which may itself be aliased to us).
8927  * Don't access this version directly.
8928  */
8929
8930 void
8931 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
8932 {
8933     dTHX;
8934     va_list args;
8935
8936     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
8937
8938     va_start(args, pat);
8939     sv_vsetpvf_mg(sv, pat, &args);
8940     va_end(args);
8941 }
8942 #endif
8943
8944 /*
8945 =for apidoc sv_setpvf
8946
8947 Works like C<sv_catpvf> but copies the text into the SV instead of
8948 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8949
8950 =cut
8951 */
8952
8953 void
8954 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
8955 {
8956     va_list args;
8957
8958     PERL_ARGS_ASSERT_SV_SETPVF;
8959
8960     va_start(args, pat);
8961     sv_vsetpvf(sv, pat, &args);
8962     va_end(args);
8963 }
8964
8965 /*
8966 =for apidoc sv_vsetpvf
8967
8968 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8969 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8970
8971 Usually used via its frontend C<sv_setpvf>.
8972
8973 =cut
8974 */
8975
8976 void
8977 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8978 {
8979     PERL_ARGS_ASSERT_SV_VSETPVF;
8980
8981     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8982 }
8983
8984 /*
8985 =for apidoc sv_setpvf_mg
8986
8987 Like C<sv_setpvf>, but also handles 'set' magic.
8988
8989 =cut
8990 */
8991
8992 void
8993 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
8994 {
8995     va_list args;
8996
8997     PERL_ARGS_ASSERT_SV_SETPVF_MG;
8998
8999     va_start(args, pat);
9000     sv_vsetpvf_mg(sv, pat, &args);
9001     va_end(args);
9002 }
9003
9004 /*
9005 =for apidoc sv_vsetpvf_mg
9006
9007 Like C<sv_vsetpvf>, but also handles 'set' magic.
9008
9009 Usually used via its frontend C<sv_setpvf_mg>.
9010
9011 =cut
9012 */
9013
9014 void
9015 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9016 {
9017     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
9018
9019     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9020     SvSETMAGIC(sv);
9021 }
9022
9023 #if defined(PERL_IMPLICIT_CONTEXT)
9024
9025 /* pTHX_ magic can't cope with varargs, so this is a no-context
9026  * version of the main function, (which may itself be aliased to us).
9027  * Don't access this version directly.
9028  */
9029
9030 void
9031 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
9032 {
9033     dTHX;
9034     va_list args;
9035
9036     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
9037
9038     va_start(args, pat);
9039     sv_vcatpvf(sv, pat, &args);
9040     va_end(args);
9041 }
9042
9043 /* pTHX_ magic can't cope with varargs, so this is a no-context
9044  * version of the main function, (which may itself be aliased to us).
9045  * Don't access this version directly.
9046  */
9047
9048 void
9049 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
9050 {
9051     dTHX;
9052     va_list args;
9053
9054     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
9055
9056     va_start(args, pat);
9057     sv_vcatpvf_mg(sv, pat, &args);
9058     va_end(args);
9059 }
9060 #endif
9061
9062 /*
9063 =for apidoc sv_catpvf
9064
9065 Processes its arguments like C<sprintf> and appends the formatted
9066 output to an SV.  If the appended data contains "wide" characters
9067 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
9068 and characters >255 formatted with %c), the original SV might get
9069 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
9070 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
9071 valid UTF-8; if the original SV was bytes, the pattern should be too.
9072
9073 =cut */
9074
9075 void
9076 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
9077 {
9078     va_list args;
9079
9080     PERL_ARGS_ASSERT_SV_CATPVF;
9081
9082     va_start(args, pat);
9083     sv_vcatpvf(sv, pat, &args);
9084     va_end(args);
9085 }
9086
9087 /*
9088 =for apidoc sv_vcatpvf
9089
9090 Processes its arguments like C<vsprintf> and appends the formatted output
9091 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
9092
9093 Usually used via its frontend C<sv_catpvf>.
9094
9095 =cut
9096 */
9097
9098 void
9099 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9100 {
9101     PERL_ARGS_ASSERT_SV_VCATPVF;
9102
9103     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9104 }
9105
9106 /*
9107 =for apidoc sv_catpvf_mg
9108
9109 Like C<sv_catpvf>, but also handles 'set' magic.
9110
9111 =cut
9112 */
9113
9114 void
9115 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
9116 {
9117     va_list args;
9118
9119     PERL_ARGS_ASSERT_SV_CATPVF_MG;
9120
9121     va_start(args, pat);
9122     sv_vcatpvf_mg(sv, pat, &args);
9123     va_end(args);
9124 }
9125
9126 /*
9127 =for apidoc sv_vcatpvf_mg
9128
9129 Like C<sv_vcatpvf>, but also handles 'set' magic.
9130
9131 Usually used via its frontend C<sv_catpvf_mg>.
9132
9133 =cut
9134 */
9135
9136 void
9137 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9138 {
9139     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
9140
9141     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9142     SvSETMAGIC(sv);
9143 }
9144
9145 /*
9146 =for apidoc sv_vsetpvfn
9147
9148 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
9149 appending it.
9150
9151 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
9152
9153 =cut
9154 */
9155
9156 void
9157 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9158                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9159 {
9160     PERL_ARGS_ASSERT_SV_VSETPVFN;
9161
9162     sv_setpvs(sv, "");
9163     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
9164 }
9165
9166 STATIC I32
9167 S_expect_number(pTHX_ char **const pattern)
9168 {
9169     dVAR;
9170     I32 var = 0;
9171
9172     PERL_ARGS_ASSERT_EXPECT_NUMBER;
9173
9174     switch (**pattern) {
9175     case '1': case '2': case '3':
9176     case '4': case '5': case '6':
9177     case '7': case '8': case '9':
9178         var = *(*pattern)++ - '0';
9179         while (isDIGIT(**pattern)) {
9180             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
9181             if (tmp < var)
9182                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
9183             var = tmp;
9184         }
9185     }
9186     return var;
9187 }
9188
9189 STATIC char *
9190 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
9191 {
9192     const int neg = nv < 0;
9193     UV uv;
9194
9195     PERL_ARGS_ASSERT_F0CONVERT;
9196
9197     if (neg)
9198         nv = -nv;
9199     if (nv < UV_MAX) {
9200         char *p = endbuf;
9201         nv += 0.5;
9202         uv = (UV)nv;
9203         if (uv & 1 && uv == nv)
9204             uv--;                       /* Round to even */
9205         do {
9206             const unsigned dig = uv % 10;
9207             *--p = '0' + dig;
9208         } while (uv /= 10);
9209         if (neg)
9210             *--p = '-';
9211         *len = endbuf - p;
9212         return p;
9213     }
9214     return NULL;
9215 }
9216
9217
9218 /*
9219 =for apidoc sv_vcatpvfn
9220
9221 Processes its arguments like C<vsprintf> and appends the formatted output
9222 to an SV.  Uses an array of SVs if the C style variable argument list is
9223 missing (NULL).  When running with taint checks enabled, indicates via
9224 C<maybe_tainted> if results are untrustworthy (often due to the use of
9225 locales).
9226
9227 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
9228
9229 =cut
9230 */
9231
9232
9233 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
9234                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
9235                         vec_utf8 = DO_UTF8(vecsv);
9236
9237 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
9238
9239 void
9240 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9241                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9242 {
9243     dVAR;
9244     char *p;
9245     char *q;
9246     const char *patend;
9247     STRLEN origlen;
9248     I32 svix = 0;
9249     static const char nullstr[] = "(null)";
9250     SV *argsv = NULL;
9251     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
9252     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
9253     SV *nsv = NULL;
9254     /* Times 4: a decimal digit takes more than 3 binary digits.
9255      * NV_DIG: mantissa takes than many decimal digits.
9256      * Plus 32: Playing safe. */
9257     char ebuf[IV_DIG * 4 + NV_DIG + 32];
9258     /* large enough for "%#.#f" --chip */
9259     /* what about long double NVs? --jhi */
9260
9261     PERL_ARGS_ASSERT_SV_VCATPVFN;
9262     PERL_UNUSED_ARG(maybe_tainted);
9263
9264     /* no matter what, this is a string now */
9265     (void)SvPV_force(sv, origlen);
9266
9267     /* special-case "", "%s", and "%-p" (SVf - see below) */
9268     if (patlen == 0)
9269         return;
9270     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
9271         if (args) {
9272             const char * const s = va_arg(*args, char*);
9273             sv_catpv(sv, s ? s : nullstr);
9274         }
9275         else if (svix < svmax) {
9276             sv_catsv(sv, *svargs);
9277         }
9278         return;
9279     }
9280     if (args && patlen == 3 && pat[0] == '%' &&
9281                 pat[1] == '-' && pat[2] == 'p') {
9282         argsv = MUTABLE_SV(va_arg(*args, void*));
9283         sv_catsv(sv, argsv);
9284         return;
9285     }
9286
9287 #ifndef USE_LONG_DOUBLE
9288     /* special-case "%.<number>[gf]" */
9289     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
9290          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
9291         unsigned digits = 0;
9292         const char *pp;
9293
9294         pp = pat + 2;
9295         while (*pp >= '0' && *pp <= '9')
9296             digits = 10 * digits + (*pp++ - '0');
9297         if (pp - pat == (int)patlen - 1) {
9298             NV nv;
9299
9300             if (svix < svmax)
9301                 nv = SvNV(*svargs);
9302             else
9303                 return;
9304             if (*pp == 'g') {
9305                 /* Add check for digits != 0 because it seems that some
9306                    gconverts are buggy in this case, and we don't yet have
9307                    a Configure test for this.  */
9308                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
9309                      /* 0, point, slack */
9310                     Gconvert(nv, (int)digits, 0, ebuf);
9311                     sv_catpv(sv, ebuf);
9312                     if (*ebuf)  /* May return an empty string for digits==0 */
9313                         return;
9314                 }
9315             } else if (!digits) {
9316                 STRLEN l;
9317
9318                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
9319                     sv_catpvn(sv, p, l);
9320                     return;
9321                 }
9322             }
9323         }
9324     }
9325 #endif /* !USE_LONG_DOUBLE */
9326
9327     if (!args && svix < svmax && DO_UTF8(*svargs))
9328         has_utf8 = TRUE;
9329
9330     patend = (char*)pat + patlen;
9331     for (p = (char*)pat; p < patend; p = q) {
9332         bool alt = FALSE;
9333         bool left = FALSE;
9334         bool vectorize = FALSE;
9335         bool vectorarg = FALSE;
9336         bool vec_utf8 = FALSE;
9337         char fill = ' ';
9338         char plus = 0;
9339         char intsize = 0;
9340         STRLEN width = 0;
9341         STRLEN zeros = 0;
9342         bool has_precis = FALSE;
9343         STRLEN precis = 0;
9344         const I32 osvix = svix;
9345         bool is_utf8 = FALSE;  /* is this item utf8?   */
9346 #ifdef HAS_LDBL_SPRINTF_BUG
9347         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9348            with sfio - Allen <allens@cpan.org> */
9349         bool fix_ldbl_sprintf_bug = FALSE;
9350 #endif
9351
9352         char esignbuf[4];
9353         U8 utf8buf[UTF8_MAXBYTES+1];
9354         STRLEN esignlen = 0;
9355
9356         const char *eptr = NULL;
9357         const char *fmtstart;
9358         STRLEN elen = 0;
9359         SV *vecsv = NULL;
9360         const U8 *vecstr = NULL;
9361         STRLEN veclen = 0;
9362         char c = 0;
9363         int i;
9364         unsigned base = 0;
9365         IV iv = 0;
9366         UV uv = 0;
9367         /* we need a long double target in case HAS_LONG_DOUBLE but
9368            not USE_LONG_DOUBLE
9369         */
9370 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
9371         long double nv;
9372 #else
9373         NV nv;
9374 #endif
9375         STRLEN have;
9376         STRLEN need;
9377         STRLEN gap;
9378         const char *dotstr = ".";
9379         STRLEN dotstrlen = 1;
9380         I32 efix = 0; /* explicit format parameter index */
9381         I32 ewix = 0; /* explicit width index */
9382         I32 epix = 0; /* explicit precision index */
9383         I32 evix = 0; /* explicit vector index */
9384         bool asterisk = FALSE;
9385
9386         /* echo everything up to the next format specification */
9387         for (q = p; q < patend && *q != '%'; ++q) ;
9388         if (q > p) {
9389             if (has_utf8 && !pat_utf8)
9390                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
9391             else
9392                 sv_catpvn(sv, p, q - p);
9393             p = q;
9394         }
9395         if (q++ >= patend)
9396             break;
9397
9398         fmtstart = q;
9399
9400 /*
9401     We allow format specification elements in this order:
9402         \d+\$              explicit format parameter index
9403         [-+ 0#]+           flags
9404         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
9405         0                  flag (as above): repeated to allow "v02"     
9406         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
9407         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
9408         [hlqLV]            size
9409     [%bcdefginopsuxDFOUX] format (mandatory)
9410 */
9411
9412         if (args) {
9413 /*  
9414         As of perl5.9.3, printf format checking is on by default.
9415         Internally, perl uses %p formats to provide an escape to
9416         some extended formatting.  This block deals with those
9417         extensions: if it does not match, (char*)q is reset and
9418         the normal format processing code is used.
9419
9420         Currently defined extensions are:
9421                 %p              include pointer address (standard)      
9422                 %-p     (SVf)   include an SV (previously %_)
9423                 %-<num>p        include an SV with precision <num>      
9424                 %<num>p         reserved for future extensions
9425
9426         Robin Barker 2005-07-14
9427
9428                 %1p     (VDf)   removed.  RMB 2007-10-19
9429 */
9430             char* r = q; 
9431             bool sv = FALSE;    
9432             STRLEN n = 0;
9433             if (*q == '-')
9434                 sv = *q++;
9435             n = expect_number(&q);
9436             if (*q++ == 'p') {
9437                 if (sv) {                       /* SVf */
9438                     if (n) {
9439                         precis = n;
9440                         has_precis = TRUE;
9441                     }
9442                     argsv = MUTABLE_SV(va_arg(*args, void*));
9443                     eptr = SvPV_const(argsv, elen);
9444                     if (DO_UTF8(argsv))
9445                         is_utf8 = TRUE;
9446                     goto string;
9447                 }
9448                 else if (n) {
9449                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
9450                                      "internal %%<num>p might conflict with future printf extensions");
9451                 }
9452             }
9453             q = r; 
9454         }
9455
9456         if ( (width = expect_number(&q)) ) {
9457             if (*q == '$') {
9458                 ++q;
9459                 efix = width;
9460             } else {
9461                 goto gotwidth;
9462             }
9463         }
9464
9465         /* FLAGS */
9466
9467         while (*q) {
9468             switch (*q) {
9469             case ' ':
9470             case '+':
9471                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
9472                     q++;
9473                 else
9474                     plus = *q++;
9475                 continue;
9476
9477             case '-':
9478                 left = TRUE;
9479                 q++;
9480                 continue;
9481
9482             case '0':
9483                 fill = *q++;
9484                 continue;
9485
9486             case '#':
9487                 alt = TRUE;
9488                 q++;
9489                 continue;
9490
9491             default:
9492                 break;
9493             }
9494             break;
9495         }
9496
9497       tryasterisk:
9498         if (*q == '*') {
9499             q++;
9500             if ( (ewix = expect_number(&q)) )
9501                 if (*q++ != '$')
9502                     goto unknown;
9503             asterisk = TRUE;
9504         }
9505         if (*q == 'v') {
9506             q++;
9507             if (vectorize)
9508                 goto unknown;
9509             if ((vectorarg = asterisk)) {
9510                 evix = ewix;
9511                 ewix = 0;
9512                 asterisk = FALSE;
9513             }
9514             vectorize = TRUE;
9515             goto tryasterisk;
9516         }
9517
9518         if (!asterisk)
9519         {
9520             if( *q == '0' )
9521                 fill = *q++;
9522             width = expect_number(&q);
9523         }
9524
9525         if (vectorize) {
9526             if (vectorarg) {
9527                 if (args)
9528                     vecsv = va_arg(*args, SV*);
9529                 else if (evix) {
9530                     vecsv = (evix > 0 && evix <= svmax)
9531                         ? svargs[evix-1] : &PL_sv_undef;
9532                 } else {
9533                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
9534                 }
9535                 dotstr = SvPV_const(vecsv, dotstrlen);
9536                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
9537                    bad with tied or overloaded values that return UTF8.  */
9538                 if (DO_UTF8(vecsv))
9539                     is_utf8 = TRUE;
9540                 else if (has_utf8) {
9541                     vecsv = sv_mortalcopy(vecsv);
9542                     sv_utf8_upgrade(vecsv);
9543                     dotstr = SvPV_const(vecsv, dotstrlen);
9544                     is_utf8 = TRUE;
9545                 }                   
9546             }
9547             if (args) {
9548                 VECTORIZE_ARGS
9549             }
9550             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
9551                 vecsv = svargs[efix ? efix-1 : svix++];
9552                 vecstr = (U8*)SvPV_const(vecsv,veclen);
9553                 vec_utf8 = DO_UTF8(vecsv);
9554
9555                 /* if this is a version object, we need to convert
9556                  * back into v-string notation and then let the
9557                  * vectorize happen normally
9558                  */
9559                 if (sv_derived_from(vecsv, "version")) {
9560                     char *version = savesvpv(vecsv);
9561                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
9562                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9563                         "vector argument not supported with alpha versions");
9564                         goto unknown;
9565                     }
9566                     vecsv = sv_newmortal();
9567                     scan_vstring(version, version + veclen, vecsv);
9568                     vecstr = (U8*)SvPV_const(vecsv, veclen);
9569                     vec_utf8 = DO_UTF8(vecsv);
9570                     Safefree(version);
9571                 }
9572             }
9573             else {
9574                 vecstr = (U8*)"";
9575                 veclen = 0;
9576             }
9577         }
9578
9579         if (asterisk) {
9580             if (args)
9581                 i = va_arg(*args, int);
9582             else
9583                 i = (ewix ? ewix <= svmax : svix < svmax) ?
9584                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9585             left |= (i < 0);
9586             width = (i < 0) ? -i : i;
9587         }
9588       gotwidth:
9589
9590         /* PRECISION */
9591
9592         if (*q == '.') {
9593             q++;
9594             if (*q == '*') {
9595                 q++;
9596                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
9597                     goto unknown;
9598                 /* XXX: todo, support specified precision parameter */
9599                 if (epix)
9600                     goto unknown;
9601                 if (args)
9602                     i = va_arg(*args, int);
9603                 else
9604                     i = (ewix ? ewix <= svmax : svix < svmax)
9605                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9606                 precis = i;
9607                 has_precis = !(i < 0);
9608             }
9609             else {
9610                 precis = 0;
9611                 while (isDIGIT(*q))
9612                     precis = precis * 10 + (*q++ - '0');
9613                 has_precis = TRUE;
9614             }
9615         }
9616
9617         /* SIZE */
9618
9619         switch (*q) {
9620 #ifdef WIN32
9621         case 'I':                       /* Ix, I32x, and I64x */
9622 #  ifdef WIN64
9623             if (q[1] == '6' && q[2] == '4') {
9624                 q += 3;
9625                 intsize = 'q';
9626                 break;
9627             }
9628 #  endif
9629             if (q[1] == '3' && q[2] == '2') {
9630                 q += 3;
9631                 break;
9632             }
9633 #  ifdef WIN64
9634             intsize = 'q';
9635 #  endif
9636             q++;
9637             break;
9638 #endif
9639 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9640         case 'L':                       /* Ld */
9641             /*FALLTHROUGH*/
9642 #ifdef HAS_QUAD
9643         case 'q':                       /* qd */
9644 #endif
9645             intsize = 'q';
9646             q++;
9647             break;
9648 #endif
9649         case 'l':
9650 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9651             if (*(q + 1) == 'l') {      /* lld, llf */
9652                 intsize = 'q';
9653                 q += 2;
9654                 break;
9655              }
9656 #endif
9657             /*FALLTHROUGH*/
9658         case 'h':
9659             /*FALLTHROUGH*/
9660         case 'V':
9661             intsize = *q++;
9662             break;
9663         }
9664
9665         /* CONVERSION */
9666
9667         if (*q == '%') {
9668             eptr = q++;
9669             elen = 1;
9670             if (vectorize) {
9671                 c = '%';
9672                 goto unknown;
9673             }
9674             goto string;
9675         }
9676
9677         if (!vectorize && !args) {
9678             if (efix) {
9679                 const I32 i = efix-1;
9680                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
9681             } else {
9682                 argsv = (svix >= 0 && svix < svmax)
9683                     ? svargs[svix++] : &PL_sv_undef;
9684             }
9685         }
9686
9687         switch (c = *q++) {
9688
9689             /* STRINGS */
9690
9691         case 'c':
9692             if (vectorize)
9693                 goto unknown;
9694             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
9695             if ((uv > 255 ||
9696                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
9697                 && !IN_BYTES) {
9698                 eptr = (char*)utf8buf;
9699                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
9700                 is_utf8 = TRUE;
9701             }
9702             else {
9703                 c = (char)uv;
9704                 eptr = &c;
9705                 elen = 1;
9706             }
9707             goto string;
9708
9709         case 's':
9710             if (vectorize)
9711                 goto unknown;
9712             if (args) {
9713                 eptr = va_arg(*args, char*);
9714                 if (eptr)
9715                     elen = strlen(eptr);
9716                 else {
9717                     eptr = (char *)nullstr;
9718                     elen = sizeof nullstr - 1;
9719                 }
9720             }
9721             else {
9722                 eptr = SvPV_const(argsv, elen);
9723                 if (DO_UTF8(argsv)) {
9724                     STRLEN old_precis = precis;
9725                     if (has_precis && precis < elen) {
9726                         STRLEN ulen = sv_len_utf8(argsv);
9727                         I32 p = precis > ulen ? ulen : precis;
9728                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
9729                         precis = p;
9730                     }
9731                     if (width) { /* fudge width (can't fudge elen) */
9732                         if (has_precis && precis < elen)
9733                             width += precis - old_precis;
9734                         else
9735                             width += elen - sv_len_utf8(argsv);
9736                     }
9737                     is_utf8 = TRUE;
9738                 }
9739             }
9740
9741         string:
9742             if (has_precis && precis < elen)
9743                 elen = precis;
9744             break;
9745
9746             /* INTEGERS */
9747
9748         case 'p':
9749             if (alt || vectorize)
9750                 goto unknown;
9751             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
9752             base = 16;
9753             goto integer;
9754
9755         case 'D':
9756 #ifdef IV_IS_QUAD
9757             intsize = 'q';
9758 #else
9759             intsize = 'l';
9760 #endif
9761             /*FALLTHROUGH*/
9762         case 'd':
9763         case 'i':
9764 #if vdNUMBER
9765         format_vd:
9766 #endif
9767             if (vectorize) {
9768                 STRLEN ulen;
9769                 if (!veclen)
9770                     continue;
9771                 if (vec_utf8)
9772                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9773                                         UTF8_ALLOW_ANYUV);
9774                 else {
9775                     uv = *vecstr;
9776                     ulen = 1;
9777                 }
9778                 vecstr += ulen;
9779                 veclen -= ulen;
9780                 if (plus)
9781                      esignbuf[esignlen++] = plus;
9782             }
9783             else if (args) {
9784                 switch (intsize) {
9785                 case 'h':       iv = (short)va_arg(*args, int); break;
9786                 case 'l':       iv = va_arg(*args, long); break;
9787                 case 'V':       iv = va_arg(*args, IV); break;
9788                 default:        iv = va_arg(*args, int); break;
9789                 case 'q':
9790 #ifdef HAS_QUAD
9791                                 iv = va_arg(*args, Quad_t); break;
9792 #else
9793                                 goto unknown;
9794 #endif
9795                 }
9796             }
9797             else {
9798                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
9799                 switch (intsize) {
9800                 case 'h':       iv = (short)tiv; break;
9801                 case 'l':       iv = (long)tiv; break;
9802                 case 'V':
9803                 default:        iv = tiv; break;
9804                 case 'q':
9805 #ifdef HAS_QUAD
9806                                 iv = (Quad_t)tiv; break;
9807 #else
9808                                 goto unknown;
9809 #endif
9810                 }
9811             }
9812             if ( !vectorize )   /* we already set uv above */
9813             {
9814                 if (iv >= 0) {
9815                     uv = iv;
9816                     if (plus)
9817                         esignbuf[esignlen++] = plus;
9818                 }
9819                 else {
9820                     uv = -iv;
9821                     esignbuf[esignlen++] = '-';
9822                 }
9823             }
9824             base = 10;
9825             goto integer;
9826
9827         case 'U':
9828 #ifdef IV_IS_QUAD
9829             intsize = 'q';
9830 #else
9831             intsize = 'l';
9832 #endif
9833             /*FALLTHROUGH*/
9834         case 'u':
9835             base = 10;
9836             goto uns_integer;
9837
9838         case 'B':
9839         case 'b':
9840             base = 2;
9841             goto uns_integer;
9842
9843         case 'O':
9844 #ifdef IV_IS_QUAD
9845             intsize = 'q';
9846 #else
9847             intsize = 'l';
9848 #endif
9849             /*FALLTHROUGH*/
9850         case 'o':
9851             base = 8;
9852             goto uns_integer;
9853
9854         case 'X':
9855         case 'x':
9856             base = 16;
9857
9858         uns_integer:
9859             if (vectorize) {
9860                 STRLEN ulen;
9861         vector:
9862                 if (!veclen)
9863                     continue;
9864                 if (vec_utf8)
9865                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9866                                         UTF8_ALLOW_ANYUV);
9867                 else {
9868                     uv = *vecstr;
9869                     ulen = 1;
9870                 }
9871                 vecstr += ulen;
9872                 veclen -= ulen;
9873             }
9874             else if (args) {
9875                 switch (intsize) {
9876                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9877                 case 'l':  uv = va_arg(*args, unsigned long); break;
9878                 case 'V':  uv = va_arg(*args, UV); break;
9879                 default:   uv = va_arg(*args, unsigned); break;
9880                 case 'q':
9881 #ifdef HAS_QUAD
9882                            uv = va_arg(*args, Uquad_t); break;
9883 #else
9884                            goto unknown;
9885 #endif
9886                 }
9887             }
9888             else {
9889                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9890                 switch (intsize) {
9891                 case 'h':       uv = (unsigned short)tuv; break;
9892                 case 'l':       uv = (unsigned long)tuv; break;
9893                 case 'V':
9894                 default:        uv = tuv; break;
9895                 case 'q':
9896 #ifdef HAS_QUAD
9897                                 uv = (Uquad_t)tuv; break;
9898 #else
9899                                 goto unknown;
9900 #endif
9901                 }
9902             }
9903
9904         integer:
9905             {
9906                 char *ptr = ebuf + sizeof ebuf;
9907                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9908                 zeros = 0;
9909
9910                 switch (base) {
9911                     unsigned dig;
9912                 case 16:
9913                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9914                     do {
9915                         dig = uv & 15;
9916                         *--ptr = p[dig];
9917                     } while (uv >>= 4);
9918                     if (tempalt) {
9919                         esignbuf[esignlen++] = '0';
9920                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9921                     }
9922                     break;
9923                 case 8:
9924                     do {
9925                         dig = uv & 7;
9926                         *--ptr = '0' + dig;
9927                     } while (uv >>= 3);
9928                     if (alt && *ptr != '0')
9929                         *--ptr = '0';
9930                     break;
9931                 case 2:
9932                     do {
9933                         dig = uv & 1;
9934                         *--ptr = '0' + dig;
9935                     } while (uv >>= 1);
9936                     if (tempalt) {
9937                         esignbuf[esignlen++] = '0';
9938                         esignbuf[esignlen++] = c;
9939                     }
9940                     break;
9941                 default:                /* it had better be ten or less */
9942                     do {
9943                         dig = uv % base;
9944                         *--ptr = '0' + dig;
9945                     } while (uv /= base);
9946                     break;
9947                 }
9948                 elen = (ebuf + sizeof ebuf) - ptr;
9949                 eptr = ptr;
9950                 if (has_precis) {
9951                     if (precis > elen)
9952                         zeros = precis - elen;
9953                     else if (precis == 0 && elen == 1 && *eptr == '0'
9954                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9955                         elen = 0;
9956
9957                 /* a precision nullifies the 0 flag. */
9958                     if (fill == '0')
9959                         fill = ' ';
9960                 }
9961             }
9962             break;
9963
9964             /* FLOATING POINT */
9965
9966         case 'F':
9967             c = 'f';            /* maybe %F isn't supported here */
9968             /*FALLTHROUGH*/
9969         case 'e': case 'E':
9970         case 'f':
9971         case 'g': case 'G':
9972             if (vectorize)
9973                 goto unknown;
9974
9975             /* This is evil, but floating point is even more evil */
9976
9977             /* for SV-style calling, we can only get NV
9978                for C-style calling, we assume %f is double;
9979                for simplicity we allow any of %Lf, %llf, %qf for long double
9980             */
9981             switch (intsize) {
9982             case 'V':
9983 #if defined(USE_LONG_DOUBLE)
9984                 intsize = 'q';
9985 #endif
9986                 break;
9987 /* [perl #20339] - we should accept and ignore %lf rather than die */
9988             case 'l':
9989                 /*FALLTHROUGH*/
9990             default:
9991 #if defined(USE_LONG_DOUBLE)
9992                 intsize = args ? 0 : 'q';
9993 #endif
9994                 break;
9995             case 'q':
9996 #if defined(HAS_LONG_DOUBLE)
9997                 break;
9998 #else
9999                 /*FALLTHROUGH*/
10000 #endif
10001             case 'h':
10002                 goto unknown;
10003             }
10004
10005             /* now we need (long double) if intsize == 'q', else (double) */
10006             nv = (args) ?
10007 #if LONG_DOUBLESIZE > DOUBLESIZE
10008                 intsize == 'q' ?
10009                     va_arg(*args, long double) :
10010                     va_arg(*args, double)
10011 #else
10012                     va_arg(*args, double)
10013 #endif
10014                 : SvNV(argsv);
10015
10016             need = 0;
10017             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
10018                else. frexp() has some unspecified behaviour for those three */
10019             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
10020                 i = PERL_INT_MIN;
10021                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
10022                    will cast our (long double) to (double) */
10023                 (void)Perl_frexp(nv, &i);
10024                 if (i == PERL_INT_MIN)
10025                     Perl_die(aTHX_ "panic: frexp");
10026                 if (i > 0)
10027                     need = BIT_DIGITS(i);
10028             }
10029             need += has_precis ? precis : 6; /* known default */
10030
10031             if (need < width)
10032                 need = width;
10033
10034 #ifdef HAS_LDBL_SPRINTF_BUG
10035             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
10036                with sfio - Allen <allens@cpan.org> */
10037
10038 #  ifdef DBL_MAX
10039 #    define MY_DBL_MAX DBL_MAX
10040 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
10041 #    if DOUBLESIZE >= 8
10042 #      define MY_DBL_MAX 1.7976931348623157E+308L
10043 #    else
10044 #      define MY_DBL_MAX 3.40282347E+38L
10045 #    endif
10046 #  endif
10047
10048 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
10049 #    define MY_DBL_MAX_BUG 1L
10050 #  else
10051 #    define MY_DBL_MAX_BUG MY_DBL_MAX
10052 #  endif
10053
10054 #  ifdef DBL_MIN
10055 #    define MY_DBL_MIN DBL_MIN
10056 #  else  /* XXX guessing! -Allen */
10057 #    if DOUBLESIZE >= 8
10058 #      define MY_DBL_MIN 2.2250738585072014E-308L
10059 #    else
10060 #      define MY_DBL_MIN 1.17549435E-38L
10061 #    endif
10062 #  endif
10063
10064             if ((intsize == 'q') && (c == 'f') &&
10065                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
10066                 (need < DBL_DIG)) {
10067                 /* it's going to be short enough that
10068                  * long double precision is not needed */
10069
10070                 if ((nv <= 0L) && (nv >= -0L))
10071                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
10072                 else {
10073                     /* would use Perl_fp_class as a double-check but not
10074                      * functional on IRIX - see perl.h comments */
10075
10076                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
10077                         /* It's within the range that a double can represent */
10078 #if defined(DBL_MAX) && !defined(DBL_MIN)
10079                         if ((nv >= ((long double)1/DBL_MAX)) ||
10080                             (nv <= (-(long double)1/DBL_MAX)))
10081 #endif
10082                         fix_ldbl_sprintf_bug = TRUE;
10083                     }
10084                 }
10085                 if (fix_ldbl_sprintf_bug == TRUE) {
10086                     double temp;
10087
10088                     intsize = 0;
10089                     temp = (double)nv;
10090                     nv = (NV)temp;
10091                 }
10092             }
10093
10094 #  undef MY_DBL_MAX
10095 #  undef MY_DBL_MAX_BUG
10096 #  undef MY_DBL_MIN
10097
10098 #endif /* HAS_LDBL_SPRINTF_BUG */
10099
10100             need += 20; /* fudge factor */
10101             if (PL_efloatsize < need) {
10102                 Safefree(PL_efloatbuf);
10103                 PL_efloatsize = need + 20; /* more fudge */
10104                 Newx(PL_efloatbuf, PL_efloatsize, char);
10105                 PL_efloatbuf[0] = '\0';
10106             }
10107
10108             if ( !(width || left || plus || alt) && fill != '0'
10109                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
10110                 /* See earlier comment about buggy Gconvert when digits,
10111                    aka precis is 0  */
10112                 if ( c == 'g' && precis) {
10113                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
10114                     /* May return an empty string for digits==0 */
10115                     if (*PL_efloatbuf) {
10116                         elen = strlen(PL_efloatbuf);
10117                         goto float_converted;
10118                     }
10119                 } else if ( c == 'f' && !precis) {
10120                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
10121                         break;
10122                 }
10123             }
10124             {
10125                 char *ptr = ebuf + sizeof ebuf;
10126                 *--ptr = '\0';
10127                 *--ptr = c;
10128                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
10129 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
10130                 if (intsize == 'q') {
10131                     /* Copy the one or more characters in a long double
10132                      * format before the 'base' ([efgEFG]) character to
10133                      * the format string. */
10134                     static char const prifldbl[] = PERL_PRIfldbl;
10135                     char const *p = prifldbl + sizeof(prifldbl) - 3;
10136                     while (p >= prifldbl) { *--ptr = *p--; }
10137                 }
10138 #endif
10139                 if (has_precis) {
10140                     base = precis;
10141                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10142                     *--ptr = '.';
10143                 }
10144                 if (width) {
10145                     base = width;
10146                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10147                 }
10148                 if (fill == '0')
10149                     *--ptr = fill;
10150                 if (left)
10151                     *--ptr = '-';
10152                 if (plus)
10153                     *--ptr = plus;
10154                 if (alt)
10155                     *--ptr = '#';
10156                 *--ptr = '%';
10157
10158                 /* No taint.  Otherwise we are in the strange situation
10159                  * where printf() taints but print($float) doesn't.
10160                  * --jhi */
10161 #if defined(HAS_LONG_DOUBLE)
10162                 elen = ((intsize == 'q')
10163                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
10164                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
10165 #else
10166                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
10167 #endif
10168             }
10169         float_converted:
10170             eptr = PL_efloatbuf;
10171             break;
10172
10173             /* SPECIAL */
10174
10175         case 'n':
10176             if (vectorize)
10177                 goto unknown;
10178             i = SvCUR(sv) - origlen;
10179             if (args) {
10180                 switch (intsize) {
10181                 case 'h':       *(va_arg(*args, short*)) = i; break;
10182                 default:        *(va_arg(*args, int*)) = i; break;
10183                 case 'l':       *(va_arg(*args, long*)) = i; break;
10184                 case 'V':       *(va_arg(*args, IV*)) = i; break;
10185                 case 'q':
10186 #ifdef HAS_QUAD
10187                                 *(va_arg(*args, Quad_t*)) = i; break;
10188 #else
10189                                 goto unknown;
10190 #endif
10191                 }
10192             }
10193             else
10194                 sv_setuv_mg(argsv, (UV)i);
10195             continue;   /* not "break" */
10196
10197             /* UNKNOWN */
10198
10199         default:
10200       unknown:
10201             if (!args
10202                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
10203                 && ckWARN(WARN_PRINTF))
10204             {
10205                 SV * const msg = sv_newmortal();
10206                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
10207                           (PL_op->op_type == OP_PRTF) ? "" : "s");
10208                 if (fmtstart < patend) {
10209                     const char * const fmtend = q < patend ? q : patend;
10210                     const char * f;
10211                     sv_catpvs(msg, "\"%");
10212                     for (f = fmtstart; f < fmtend; f++) {
10213                         if (isPRINT(*f)) {
10214                             sv_catpvn(msg, f, 1);
10215                         } else {
10216                             Perl_sv_catpvf(aTHX_ msg,
10217                                            "\\%03"UVof, (UV)*f & 0xFF);
10218                         }
10219                     }
10220                     sv_catpvs(msg, "\"");
10221                 } else {
10222                     sv_catpvs(msg, "end of string");
10223                 }
10224                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
10225             }
10226
10227             /* output mangled stuff ... */
10228             if (c == '\0')
10229                 --q;
10230             eptr = p;
10231             elen = q - p;
10232
10233             /* ... right here, because formatting flags should not apply */
10234             SvGROW(sv, SvCUR(sv) + elen + 1);
10235             p = SvEND(sv);
10236             Copy(eptr, p, elen, char);
10237             p += elen;
10238             *p = '\0';
10239             SvCUR_set(sv, p - SvPVX_const(sv));
10240             svix = osvix;
10241             continue;   /* not "break" */
10242         }
10243
10244         if (is_utf8 != has_utf8) {
10245             if (is_utf8) {
10246                 if (SvCUR(sv))
10247                     sv_utf8_upgrade(sv);
10248             }
10249             else {
10250                 const STRLEN old_elen = elen;
10251                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
10252                 sv_utf8_upgrade(nsv);
10253                 eptr = SvPVX_const(nsv);
10254                 elen = SvCUR(nsv);
10255
10256                 if (width) { /* fudge width (can't fudge elen) */
10257                     width += elen - old_elen;
10258                 }
10259                 is_utf8 = TRUE;
10260             }
10261         }
10262
10263         have = esignlen + zeros + elen;
10264         if (have < zeros)
10265             Perl_croak_nocontext("%s", PL_memory_wrap);
10266
10267         need = (have > width ? have : width);
10268         gap = need - have;
10269
10270         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
10271             Perl_croak_nocontext("%s", PL_memory_wrap);
10272         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
10273         p = SvEND(sv);
10274         if (esignlen && fill == '0') {
10275             int i;
10276             for (i = 0; i < (int)esignlen; i++)
10277                 *p++ = esignbuf[i];
10278         }
10279         if (gap && !left) {
10280             memset(p, fill, gap);
10281             p += gap;
10282         }
10283         if (esignlen && fill != '0') {
10284             int i;
10285             for (i = 0; i < (int)esignlen; i++)
10286                 *p++ = esignbuf[i];
10287         }
10288         if (zeros) {
10289             int i;
10290             for (i = zeros; i; i--)
10291                 *p++ = '0';
10292         }
10293         if (elen) {
10294             Copy(eptr, p, elen, char);
10295             p += elen;
10296         }
10297         if (gap && left) {
10298             memset(p, ' ', gap);
10299             p += gap;
10300         }
10301         if (vectorize) {
10302             if (veclen) {
10303                 Copy(dotstr, p, dotstrlen, char);
10304                 p += dotstrlen;
10305             }
10306             else
10307                 vectorize = FALSE;              /* done iterating over vecstr */
10308         }
10309         if (is_utf8)
10310             has_utf8 = TRUE;
10311         if (has_utf8)
10312             SvUTF8_on(sv);
10313         *p = '\0';
10314         SvCUR_set(sv, p - SvPVX_const(sv));
10315         if (vectorize) {
10316             esignlen = 0;
10317             goto vector;
10318         }
10319     }
10320 }
10321
10322 /* =========================================================================
10323
10324 =head1 Cloning an interpreter
10325
10326 All the macros and functions in this section are for the private use of
10327 the main function, perl_clone().
10328
10329 The foo_dup() functions make an exact copy of an existing foo thingy.
10330 During the course of a cloning, a hash table is used to map old addresses
10331 to new addresses. The table is created and manipulated with the
10332 ptr_table_* functions.
10333
10334 =cut
10335
10336  * =========================================================================*/
10337
10338
10339 #if defined(USE_ITHREADS)
10340
10341 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
10342 #ifndef GpREFCNT_inc
10343 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
10344 #endif
10345
10346
10347 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
10348    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
10349    If this changes, please unmerge ss_dup.
10350    Likewise, sv_dup_inc_multiple() relies on this fact.  */
10351 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
10352 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
10353 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
10354 #define av_dup_inc(s,t) MUTABLE_AV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10355 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
10356 #define hv_dup_inc(s,t) MUTABLE_HV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10357 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
10358 #define cv_dup_inc(s,t) MUTABLE_CV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10359 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
10360 #define io_dup_inc(s,t) MUTABLE_IO(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10361 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
10362 #define gv_dup_inc(s,t) MUTABLE_GV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10363 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
10364 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
10365
10366 /* clone a parser */
10367
10368 yy_parser *
10369 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
10370 {
10371     yy_parser *parser;
10372
10373     PERL_ARGS_ASSERT_PARSER_DUP;
10374
10375     if (!proto)
10376         return NULL;
10377
10378     /* look for it in the table first */
10379     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
10380     if (parser)
10381         return parser;
10382
10383     /* create anew and remember what it is */
10384     Newxz(parser, 1, yy_parser);
10385     ptr_table_store(PL_ptr_table, proto, parser);
10386
10387     parser->yyerrstatus = 0;
10388     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
10389
10390     /* XXX these not yet duped */
10391     parser->old_parser = NULL;
10392     parser->stack = NULL;
10393     parser->ps = NULL;
10394     parser->stack_size = 0;
10395     /* XXX parser->stack->state = 0; */
10396
10397     /* XXX eventually, just Copy() most of the parser struct ? */
10398
10399     parser->lex_brackets = proto->lex_brackets;
10400     parser->lex_casemods = proto->lex_casemods;
10401     parser->lex_brackstack = savepvn(proto->lex_brackstack,
10402                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
10403     parser->lex_casestack = savepvn(proto->lex_casestack,
10404                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
10405     parser->lex_defer   = proto->lex_defer;
10406     parser->lex_dojoin  = proto->lex_dojoin;
10407     parser->lex_expect  = proto->lex_expect;
10408     parser->lex_formbrack = proto->lex_formbrack;
10409     parser->lex_inpat   = proto->lex_inpat;
10410     parser->lex_inwhat  = proto->lex_inwhat;
10411     parser->lex_op      = proto->lex_op;
10412     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
10413     parser->lex_starts  = proto->lex_starts;
10414     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
10415     parser->multi_close = proto->multi_close;
10416     parser->multi_open  = proto->multi_open;
10417     parser->multi_start = proto->multi_start;
10418     parser->multi_end   = proto->multi_end;
10419     parser->pending_ident = proto->pending_ident;
10420     parser->preambled   = proto->preambled;
10421     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
10422     parser->linestr     = sv_dup_inc(proto->linestr, param);
10423     parser->expect      = proto->expect;
10424     parser->copline     = proto->copline;
10425     parser->last_lop_op = proto->last_lop_op;
10426     parser->lex_state   = proto->lex_state;
10427     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
10428     /* rsfp_filters entries have fake IoDIRP() */
10429     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
10430     parser->in_my       = proto->in_my;
10431     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
10432     parser->error_count = proto->error_count;
10433
10434
10435     parser->linestr     = sv_dup_inc(proto->linestr, param);
10436
10437     {
10438         char * const ols = SvPVX(proto->linestr);
10439         char * const ls  = SvPVX(parser->linestr);
10440
10441         parser->bufptr      = ls + (proto->bufptr >= ols ?
10442                                     proto->bufptr -  ols : 0);
10443         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
10444                                     proto->oldbufptr -  ols : 0);
10445         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
10446                                     proto->oldoldbufptr -  ols : 0);
10447         parser->linestart   = ls + (proto->linestart >= ols ?
10448                                     proto->linestart -  ols : 0);
10449         parser->last_uni    = ls + (proto->last_uni >= ols ?
10450                                     proto->last_uni -  ols : 0);
10451         parser->last_lop    = ls + (proto->last_lop >= ols ?
10452                                     proto->last_lop -  ols : 0);
10453
10454         parser->bufend      = ls + SvCUR(parser->linestr);
10455     }
10456
10457     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
10458
10459
10460 #ifdef PERL_MAD
10461     parser->endwhite    = proto->endwhite;
10462     parser->faketokens  = proto->faketokens;
10463     parser->lasttoke    = proto->lasttoke;
10464     parser->nextwhite   = proto->nextwhite;
10465     parser->realtokenstart = proto->realtokenstart;
10466     parser->skipwhite   = proto->skipwhite;
10467     parser->thisclose   = proto->thisclose;
10468     parser->thismad     = proto->thismad;
10469     parser->thisopen    = proto->thisopen;
10470     parser->thisstuff   = proto->thisstuff;
10471     parser->thistoken   = proto->thistoken;
10472     parser->thiswhite   = proto->thiswhite;
10473
10474     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
10475     parser->curforce    = proto->curforce;
10476 #else
10477     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
10478     Copy(proto->nexttype, parser->nexttype, 5,  I32);
10479     parser->nexttoke    = proto->nexttoke;
10480 #endif
10481
10482     /* XXX should clone saved_curcop here, but we aren't passed
10483      * proto_perl; so do it in perl_clone_using instead */
10484
10485     return parser;
10486 }
10487
10488
10489 /* duplicate a file handle */
10490
10491 PerlIO *
10492 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
10493 {
10494     PerlIO *ret;
10495
10496     PERL_ARGS_ASSERT_FP_DUP;
10497     PERL_UNUSED_ARG(type);
10498
10499     if (!fp)
10500         return (PerlIO*)NULL;
10501
10502     /* look for it in the table first */
10503     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
10504     if (ret)
10505         return ret;
10506
10507     /* create anew and remember what it is */
10508     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
10509     ptr_table_store(PL_ptr_table, fp, ret);
10510     return ret;
10511 }
10512
10513 /* duplicate a directory handle */
10514
10515 DIR *
10516 Perl_dirp_dup(pTHX_ DIR *const dp)
10517 {
10518     PERL_UNUSED_CONTEXT;
10519     if (!dp)
10520         return (DIR*)NULL;
10521     /* XXX TODO */
10522     return dp;
10523 }
10524
10525 /* duplicate a typeglob */
10526
10527 GP *
10528 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
10529 {
10530     GP *ret;
10531
10532     PERL_ARGS_ASSERT_GP_DUP;
10533
10534     if (!gp)
10535         return (GP*)NULL;
10536     /* look for it in the table first */
10537     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
10538     if (ret)
10539         return ret;
10540
10541     /* create anew and remember what it is */
10542     Newxz(ret, 1, GP);
10543     ptr_table_store(PL_ptr_table, gp, ret);
10544
10545     /* clone */
10546     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
10547        on Newxz() to do this for us.  */
10548     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
10549     ret->gp_io          = io_dup_inc(gp->gp_io, param);
10550     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
10551     ret->gp_av          = av_dup_inc(gp->gp_av, param);
10552     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
10553     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
10554     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
10555     ret->gp_cvgen       = gp->gp_cvgen;
10556     ret->gp_line        = gp->gp_line;
10557     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
10558     return ret;
10559 }
10560
10561 /* duplicate a chain of magic */
10562
10563 MAGIC *
10564 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
10565 {
10566     MAGIC *mgret = NULL;
10567     MAGIC **mgprev_p = &mgret;
10568
10569     PERL_ARGS_ASSERT_MG_DUP;
10570
10571     for (; mg; mg = mg->mg_moremagic) {
10572         MAGIC *nmg;
10573         Newx(nmg, 1, MAGIC);
10574         *mgprev_p = nmg;
10575         mgprev_p = &(nmg->mg_moremagic);
10576
10577         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
10578            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
10579            from the original commit adding Perl_mg_dup() - revision 4538.
10580            Similarly there is the annotation "XXX random ptr?" next to the
10581            assignment to nmg->mg_ptr.  */
10582         *nmg = *mg;
10583
10584         /* FIXME for plugins
10585         if (nmg->mg_type == PERL_MAGIC_qr) {
10586             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
10587         }
10588         else
10589         */
10590         if(nmg->mg_type == PERL_MAGIC_backref) {
10591             /* The backref AV has its reference count deliberately bumped by
10592                1.  */
10593             nmg->mg_obj
10594                 = SvREFCNT_inc(av_dup_inc((const AV *) nmg->mg_obj, param));
10595         }
10596         else {
10597             nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
10598                               ? sv_dup_inc(nmg->mg_obj, param)
10599                               : sv_dup(nmg->mg_obj, param);
10600         }
10601
10602         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
10603             if (nmg->mg_len > 0) {
10604                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
10605                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
10606                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
10607                 {
10608                     AMT * const namtp = (AMT*)nmg->mg_ptr;
10609                     sv_dup_inc_multiple((SV**)(namtp->table),
10610                                         (SV**)(namtp->table), NofAMmeth, param);
10611                 }
10612             }
10613             else if (nmg->mg_len == HEf_SVKEY)
10614                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
10615         }
10616         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
10617             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
10618         }
10619     }
10620     return mgret;
10621 }
10622
10623 #endif /* USE_ITHREADS */
10624
10625 /* create a new pointer-mapping table */
10626
10627 PTR_TBL_t *
10628 Perl_ptr_table_new(pTHX)
10629 {
10630     PTR_TBL_t *tbl;
10631     PERL_UNUSED_CONTEXT;
10632
10633     Newx(tbl, 1, PTR_TBL_t);
10634     tbl->tbl_max        = 511;
10635     tbl->tbl_items      = 0;
10636     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
10637     return tbl;
10638 }
10639
10640 #define PTR_TABLE_HASH(ptr) \
10641   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
10642
10643 /* 
10644    we use the PTE_SVSLOT 'reservation' made above, both here (in the
10645    following define) and at call to new_body_inline made below in 
10646    Perl_ptr_table_store()
10647  */
10648
10649 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
10650
10651 /* map an existing pointer using a table */
10652
10653 STATIC PTR_TBL_ENT_t *
10654 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
10655 {
10656     PTR_TBL_ENT_t *tblent;
10657     const UV hash = PTR_TABLE_HASH(sv);
10658
10659     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
10660
10661     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
10662     for (; tblent; tblent = tblent->next) {
10663         if (tblent->oldval == sv)
10664             return tblent;
10665     }
10666     return NULL;
10667 }
10668
10669 void *
10670 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
10671 {
10672     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
10673
10674     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
10675     PERL_UNUSED_CONTEXT;
10676
10677     return tblent ? tblent->newval : NULL;
10678 }
10679
10680 /* add a new entry to a pointer-mapping table */
10681
10682 void
10683 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
10684 {
10685     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
10686
10687     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
10688     PERL_UNUSED_CONTEXT;
10689
10690     if (tblent) {
10691         tblent->newval = newsv;
10692     } else {
10693         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
10694
10695         new_body_inline(tblent, PTE_SVSLOT);
10696
10697         tblent->oldval = oldsv;
10698         tblent->newval = newsv;
10699         tblent->next = tbl->tbl_ary[entry];
10700         tbl->tbl_ary[entry] = tblent;
10701         tbl->tbl_items++;
10702         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
10703             ptr_table_split(tbl);
10704     }
10705 }
10706
10707 /* double the hash bucket size of an existing ptr table */
10708
10709 void
10710 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
10711 {
10712     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
10713     const UV oldsize = tbl->tbl_max + 1;
10714     UV newsize = oldsize * 2;
10715     UV i;
10716
10717     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
10718     PERL_UNUSED_CONTEXT;
10719
10720     Renew(ary, newsize, PTR_TBL_ENT_t*);
10721     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
10722     tbl->tbl_max = --newsize;
10723     tbl->tbl_ary = ary;
10724     for (i=0; i < oldsize; i++, ary++) {
10725         PTR_TBL_ENT_t **curentp, **entp, *ent;
10726         if (!*ary)
10727             continue;
10728         curentp = ary + oldsize;
10729         for (entp = ary, ent = *ary; ent; ent = *entp) {
10730             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
10731                 *entp = ent->next;
10732                 ent->next = *curentp;
10733                 *curentp = ent;
10734                 continue;
10735             }
10736             else
10737                 entp = &ent->next;
10738         }
10739     }
10740 }
10741
10742 /* remove all the entries from a ptr table */
10743
10744 void
10745 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
10746 {
10747     if (tbl && tbl->tbl_items) {
10748         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
10749         UV riter = tbl->tbl_max;
10750
10751         do {
10752             PTR_TBL_ENT_t *entry = array[riter];
10753
10754             while (entry) {
10755                 PTR_TBL_ENT_t * const oentry = entry;
10756                 entry = entry->next;
10757                 del_pte(oentry);
10758             }
10759         } while (riter--);
10760
10761         tbl->tbl_items = 0;
10762     }
10763 }
10764
10765 /* clear and free a ptr table */
10766
10767 void
10768 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
10769 {
10770     if (!tbl) {
10771         return;
10772     }
10773     ptr_table_clear(tbl);
10774     Safefree(tbl->tbl_ary);
10775     Safefree(tbl);
10776 }
10777
10778 #if defined(USE_ITHREADS)
10779
10780 void
10781 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
10782 {
10783     PERL_ARGS_ASSERT_RVPV_DUP;
10784
10785     if (SvROK(sstr)) {
10786         SvRV_set(dstr, SvWEAKREF(sstr)
10787                        ? sv_dup(SvRV_const(sstr), param)
10788                        : sv_dup_inc(SvRV_const(sstr), param));
10789
10790     }
10791     else if (SvPVX_const(sstr)) {
10792         /* Has something there */
10793         if (SvLEN(sstr)) {
10794             /* Normal PV - clone whole allocated space */
10795             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
10796             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
10797                 /* Not that normal - actually sstr is copy on write.
10798                    But we are a true, independant SV, so:  */
10799                 SvREADONLY_off(dstr);
10800                 SvFAKE_off(dstr);
10801             }
10802         }
10803         else {
10804             /* Special case - not normally malloced for some reason */
10805             if (isGV_with_GP(sstr)) {
10806                 /* Don't need to do anything here.  */
10807             }
10808             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
10809                 /* A "shared" PV - clone it as "shared" PV */
10810                 SvPV_set(dstr,
10811                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
10812                                          param)));
10813             }
10814             else {
10815                 /* Some other special case - random pointer */
10816                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
10817             }
10818         }
10819     }
10820     else {
10821         /* Copy the NULL */
10822         SvPV_set(dstr, NULL);
10823     }
10824 }
10825
10826 /* duplicate a list of SVs. source and dest may point to the same memory.  */
10827 static SV **
10828 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
10829                       SSize_t items, CLONE_PARAMS *const param)
10830 {
10831     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
10832
10833     while (items-- > 0) {
10834         *dest++ = sv_dup_inc(*source++, param);
10835     }
10836
10837     return dest;
10838 }
10839
10840 /* duplicate an SV of any type (including AV, HV etc) */
10841
10842 SV *
10843 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
10844 {
10845     dVAR;
10846     SV *dstr;
10847
10848     PERL_ARGS_ASSERT_SV_DUP;
10849
10850     if (!sstr)
10851         return NULL;
10852     if (SvTYPE(sstr) == SVTYPEMASK) {
10853 #ifdef DEBUG_LEAKING_SCALARS_ABORT
10854         abort();
10855 #endif
10856         return NULL;
10857     }
10858     /* look for it in the table first */
10859     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
10860     if (dstr)
10861         return dstr;
10862
10863     if(param->flags & CLONEf_JOIN_IN) {
10864         /** We are joining here so we don't want do clone
10865             something that is bad **/
10866         if (SvTYPE(sstr) == SVt_PVHV) {
10867             const HEK * const hvname = HvNAME_HEK(sstr);
10868             if (hvname)
10869                 /** don't clone stashes if they already exist **/
10870                 return MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0));
10871         }
10872     }
10873
10874     /* create anew and remember what it is */
10875     new_SV(dstr);
10876
10877 #ifdef DEBUG_LEAKING_SCALARS
10878     dstr->sv_debug_optype = sstr->sv_debug_optype;
10879     dstr->sv_debug_line = sstr->sv_debug_line;
10880     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10881     dstr->sv_debug_cloned = 1;
10882     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10883 #endif
10884
10885     ptr_table_store(PL_ptr_table, sstr, dstr);
10886
10887     /* clone */
10888     SvFLAGS(dstr)       = SvFLAGS(sstr);
10889     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10890     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10891
10892 #ifdef DEBUGGING
10893     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10894         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10895                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10896 #endif
10897
10898     /* don't clone objects whose class has asked us not to */
10899     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10900         SvFLAGS(dstr) = 0;
10901         return dstr;
10902     }
10903
10904     switch (SvTYPE(sstr)) {
10905     case SVt_NULL:
10906         SvANY(dstr)     = NULL;
10907         break;
10908     case SVt_IV:
10909         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10910         if(SvROK(sstr)) {
10911             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10912         } else {
10913             SvIV_set(dstr, SvIVX(sstr));
10914         }
10915         break;
10916     case SVt_NV:
10917         SvANY(dstr)     = new_XNV();
10918         SvNV_set(dstr, SvNVX(sstr));
10919         break;
10920         /* case SVt_BIND: */
10921     default:
10922         {
10923             /* These are all the types that need complex bodies allocating.  */
10924             void *new_body;
10925             const svtype sv_type = SvTYPE(sstr);
10926             const struct body_details *const sv_type_details
10927                 = bodies_by_type + sv_type;
10928
10929             switch (sv_type) {
10930             default:
10931                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10932                 break;
10933
10934             case SVt_PVGV:
10935             case SVt_PVIO:
10936             case SVt_PVFM:
10937             case SVt_PVHV:
10938             case SVt_PVAV:
10939             case SVt_PVCV:
10940             case SVt_PVLV:
10941             case SVt_REGEXP:
10942             case SVt_PVMG:
10943             case SVt_PVNV:
10944             case SVt_PVIV:
10945             case SVt_PV:
10946                 assert(sv_type_details->body_size);
10947                 if (sv_type_details->arena) {
10948                     new_body_inline(new_body, sv_type);
10949                     new_body
10950                         = (void*)((char*)new_body - sv_type_details->offset);
10951                 } else {
10952                     new_body = new_NOARENA(sv_type_details);
10953                 }
10954             }
10955             assert(new_body);
10956             SvANY(dstr) = new_body;
10957
10958 #ifndef PURIFY
10959             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10960                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10961                  sv_type_details->copy, char);
10962 #else
10963             Copy(((char*)SvANY(sstr)),
10964                  ((char*)SvANY(dstr)),
10965                  sv_type_details->body_size + sv_type_details->offset, char);
10966 #endif
10967
10968             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10969                 && !isGV_with_GP(dstr))
10970                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10971
10972             /* The Copy above means that all the source (unduplicated) pointers
10973                are now in the destination.  We can check the flags and the
10974                pointers in either, but it's possible that there's less cache
10975                missing by always going for the destination.
10976                FIXME - instrument and check that assumption  */
10977             if (sv_type >= SVt_PVMG) {
10978                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10979                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10980                 } else if (SvMAGIC(dstr))
10981                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10982                 if (SvSTASH(dstr))
10983                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10984             }
10985
10986             /* The cast silences a GCC warning about unhandled types.  */
10987             switch ((int)sv_type) {
10988             case SVt_PV:
10989                 break;
10990             case SVt_PVIV:
10991                 break;
10992             case SVt_PVNV:
10993                 break;
10994             case SVt_PVMG:
10995                 break;
10996             case SVt_REGEXP:
10997                 /* FIXME for plugins */
10998                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
10999                 break;
11000             case SVt_PVLV:
11001                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
11002                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
11003                     LvTARG(dstr) = dstr;
11004                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
11005                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
11006                 else
11007                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
11008             case SVt_PVGV:
11009                 if(isGV_with_GP(sstr)) {
11010                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
11011                     /* Don't call sv_add_backref here as it's going to be
11012                        created as part of the magic cloning of the symbol
11013                        table.  */
11014                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
11015                        at the point of this comment.  */
11016                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
11017                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
11018                     (void)GpREFCNT_inc(GvGP(dstr));
11019                 } else
11020                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
11021                 break;
11022             case SVt_PVIO:
11023                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
11024                 if (IoOFP(dstr) == IoIFP(sstr))
11025                     IoOFP(dstr) = IoIFP(dstr);
11026                 else
11027                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
11028                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
11029                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
11030                     /* I have no idea why fake dirp (rsfps)
11031                        should be treated differently but otherwise
11032                        we end up with leaks -- sky*/
11033                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
11034                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
11035                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
11036                 } else {
11037                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
11038                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
11039                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
11040                     if (IoDIRP(dstr)) {
11041                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
11042                     } else {
11043                         NOOP;
11044                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
11045                     }
11046                 }
11047                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
11048                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
11049                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
11050                 break;
11051             case SVt_PVAV:
11052                 /* avoid cloning an empty array */
11053                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
11054                     SV **dst_ary, **src_ary;
11055                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
11056
11057                     src_ary = AvARRAY((const AV *)sstr);
11058                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
11059                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
11060                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
11061                     AvALLOC((const AV *)dstr) = dst_ary;
11062                     if (AvREAL((const AV *)sstr)) {
11063                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
11064                                                       param);
11065                     }
11066                     else {
11067                         while (items-- > 0)
11068                             *dst_ary++ = sv_dup(*src_ary++, param);
11069                     }
11070                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
11071                     while (items-- > 0) {
11072                         *dst_ary++ = &PL_sv_undef;
11073                     }
11074                 }
11075                 else {
11076                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
11077                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
11078                     AvMAX(  (const AV *)dstr)   = -1;
11079                     AvFILLp((const AV *)dstr)   = -1;
11080                 }
11081                 break;
11082             case SVt_PVHV:
11083                 if (HvARRAY((const HV *)sstr)) {
11084                     STRLEN i = 0;
11085                     const bool sharekeys = !!HvSHAREKEYS(sstr);
11086                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
11087                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
11088                     char *darray;
11089                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
11090                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
11091                         char);
11092                     HvARRAY(dstr) = (HE**)darray;
11093                     while (i <= sxhv->xhv_max) {
11094                         const HE * const source = HvARRAY(sstr)[i];
11095                         HvARRAY(dstr)[i] = source
11096                             ? he_dup(source, sharekeys, param) : 0;
11097                         ++i;
11098                     }
11099                     if (SvOOK(sstr)) {
11100                         HEK *hvname;
11101                         const struct xpvhv_aux * const saux = HvAUX(sstr);
11102                         struct xpvhv_aux * const daux = HvAUX(dstr);
11103                         /* This flag isn't copied.  */
11104                         /* SvOOK_on(hv) attacks the IV flags.  */
11105                         SvFLAGS(dstr) |= SVf_OOK;
11106
11107                         hvname = saux->xhv_name;
11108                         daux->xhv_name = hek_dup(hvname, param);
11109
11110                         daux->xhv_riter = saux->xhv_riter;
11111                         daux->xhv_eiter = saux->xhv_eiter
11112                             ? he_dup(saux->xhv_eiter,
11113                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
11114                         /* backref array needs refcnt=2; see sv_add_backref */
11115                         daux->xhv_backreferences =
11116                             saux->xhv_backreferences
11117                             ? MUTABLE_AV(SvREFCNT_inc(
11118                                                       sv_dup_inc((const SV *)saux->xhv_backreferences, param)))
11119                                 : 0;
11120
11121                         daux->xhv_mro_meta = saux->xhv_mro_meta
11122                             ? mro_meta_dup(saux->xhv_mro_meta, param)
11123                             : 0;
11124
11125                         /* Record stashes for possible cloning in Perl_clone(). */
11126                         if (hvname)
11127                             av_push(param->stashes, dstr);
11128                     }
11129                 }
11130                 else
11131                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
11132                 break;
11133             case SVt_PVCV:
11134                 if (!(param->flags & CLONEf_COPY_STACKS)) {
11135                     CvDEPTH(dstr) = 0;
11136                 }
11137             case SVt_PVFM:
11138                 /* NOTE: not refcounted */
11139                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
11140                 OP_REFCNT_LOCK;
11141                 if (!CvISXSUB(dstr))
11142                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
11143                 OP_REFCNT_UNLOCK;
11144                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
11145                     CvXSUBANY(dstr).any_ptr =
11146                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
11147                 }
11148                 /* don't dup if copying back - CvGV isn't refcounted, so the
11149                  * duped GV may never be freed. A bit of a hack! DAPM */
11150                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
11151                     NULL : gv_dup(CvGV(dstr), param) ;
11152                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
11153                 CvOUTSIDE(dstr) =
11154                     CvWEAKOUTSIDE(sstr)
11155                     ? cv_dup(    CvOUTSIDE(dstr), param)
11156                     : cv_dup_inc(CvOUTSIDE(dstr), param);
11157                 if (!CvISXSUB(dstr))
11158                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
11159                 break;
11160             }
11161         }
11162     }
11163
11164     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
11165         ++PL_sv_objcount;
11166
11167     return dstr;
11168  }
11169
11170 /* duplicate a context */
11171
11172 PERL_CONTEXT *
11173 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
11174 {
11175     PERL_CONTEXT *ncxs;
11176
11177     PERL_ARGS_ASSERT_CX_DUP;
11178
11179     if (!cxs)
11180         return (PERL_CONTEXT*)NULL;
11181
11182     /* look for it in the table first */
11183     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
11184     if (ncxs)
11185         return ncxs;
11186
11187     /* create anew and remember what it is */
11188     Newx(ncxs, max + 1, PERL_CONTEXT);
11189     ptr_table_store(PL_ptr_table, cxs, ncxs);
11190     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
11191
11192     while (ix >= 0) {
11193         PERL_CONTEXT * const ncx = &ncxs[ix];
11194         if (CxTYPE(ncx) == CXt_SUBST) {
11195             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
11196         }
11197         else {
11198             switch (CxTYPE(ncx)) {
11199             case CXt_SUB:
11200                 ncx->blk_sub.cv         = (ncx->blk_sub.olddepth == 0
11201                                            ? cv_dup_inc(ncx->blk_sub.cv, param)
11202                                            : cv_dup(ncx->blk_sub.cv,param));
11203                 ncx->blk_sub.argarray   = (CxHASARGS(ncx)
11204                                            ? av_dup_inc(ncx->blk_sub.argarray,
11205                                                         param)
11206                                            : NULL);
11207                 ncx->blk_sub.savearray  = av_dup_inc(ncx->blk_sub.savearray,
11208                                                      param);
11209                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
11210                                            ncx->blk_sub.oldcomppad);
11211                 break;
11212             case CXt_EVAL:
11213                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
11214                                                       param);
11215                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
11216                 break;
11217             case CXt_LOOP_LAZYSV:
11218                 ncx->blk_loop.state_u.lazysv.end
11219                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
11220                 /* We are taking advantage of av_dup_inc and sv_dup_inc
11221                    actually being the same function, and order equivalance of
11222                    the two unions.
11223                    We can assert the later [but only at run time :-(]  */
11224                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
11225                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
11226             case CXt_LOOP_FOR:
11227                 ncx->blk_loop.state_u.ary.ary
11228                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
11229             case CXt_LOOP_LAZYIV:
11230             case CXt_LOOP_PLAIN:
11231                 if (CxPADLOOP(ncx)) {
11232                     ncx->blk_loop.oldcomppad
11233                         = (PAD*)ptr_table_fetch(PL_ptr_table,
11234                                                 ncx->blk_loop.oldcomppad);
11235                 } else {
11236                     ncx->blk_loop.oldcomppad
11237                         = (PAD*)gv_dup((const GV *)ncx->blk_loop.oldcomppad,
11238                                        param);
11239                 }
11240                 break;
11241             case CXt_FORMAT:
11242                 ncx->blk_format.cv      = cv_dup(ncx->blk_format.cv, param);
11243                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
11244                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
11245                                                      param);
11246                 break;
11247             case CXt_BLOCK:
11248             case CXt_NULL:
11249                 break;
11250             }
11251         }
11252         --ix;
11253     }
11254     return ncxs;
11255 }
11256
11257 /* duplicate a stack info structure */
11258
11259 PERL_SI *
11260 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
11261 {
11262     PERL_SI *nsi;
11263
11264     PERL_ARGS_ASSERT_SI_DUP;
11265
11266     if (!si)
11267         return (PERL_SI*)NULL;
11268
11269     /* look for it in the table first */
11270     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
11271     if (nsi)
11272         return nsi;
11273
11274     /* create anew and remember what it is */
11275     Newxz(nsi, 1, PERL_SI);
11276     ptr_table_store(PL_ptr_table, si, nsi);
11277
11278     nsi->si_stack       = av_dup_inc(si->si_stack, param);
11279     nsi->si_cxix        = si->si_cxix;
11280     nsi->si_cxmax       = si->si_cxmax;
11281     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
11282     nsi->si_type        = si->si_type;
11283     nsi->si_prev        = si_dup(si->si_prev, param);
11284     nsi->si_next        = si_dup(si->si_next, param);
11285     nsi->si_markoff     = si->si_markoff;
11286
11287     return nsi;
11288 }
11289
11290 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
11291 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
11292 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
11293 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
11294 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
11295 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
11296 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
11297 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
11298 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
11299 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
11300 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
11301 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
11302 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
11303 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
11304
11305 /* XXXXX todo */
11306 #define pv_dup_inc(p)   SAVEPV(p)
11307 #define pv_dup(p)       SAVEPV(p)
11308 #define svp_dup_inc(p,pp)       any_dup(p,pp)
11309
11310 /* map any object to the new equivent - either something in the
11311  * ptr table, or something in the interpreter structure
11312  */
11313
11314 void *
11315 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
11316 {
11317     void *ret;
11318
11319     PERL_ARGS_ASSERT_ANY_DUP;
11320
11321     if (!v)
11322         return (void*)NULL;
11323
11324     /* look for it in the table first */
11325     ret = ptr_table_fetch(PL_ptr_table, v);
11326     if (ret)
11327         return ret;
11328
11329     /* see if it is part of the interpreter structure */
11330     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
11331         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
11332     else {
11333         ret = v;
11334     }
11335
11336     return ret;
11337 }
11338
11339 /* duplicate the save stack */
11340
11341 ANY *
11342 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
11343 {
11344     dVAR;
11345     ANY * const ss      = proto_perl->Isavestack;
11346     const I32 max       = proto_perl->Isavestack_max;
11347     I32 ix              = proto_perl->Isavestack_ix;
11348     ANY *nss;
11349     const SV *sv;
11350     const GV *gv;
11351     const AV *av;
11352     const HV *hv;
11353     void* ptr;
11354     int intval;
11355     long longval;
11356     GP *gp;
11357     IV iv;
11358     I32 i;
11359     char *c = NULL;
11360     void (*dptr) (void*);
11361     void (*dxptr) (pTHX_ void*);
11362
11363     PERL_ARGS_ASSERT_SS_DUP;
11364
11365     Newxz(nss, max, ANY);
11366
11367     while (ix > 0) {
11368         const I32 type = POPINT(ss,ix);
11369         TOPINT(nss,ix) = type;
11370         switch (type) {
11371         case SAVEt_HELEM:               /* hash element */
11372             sv = (const SV *)POPPTR(ss,ix);
11373             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11374             /* fall through */
11375         case SAVEt_ITEM:                        /* normal string */
11376         case SAVEt_SV:                          /* scalar reference */
11377             sv = (const SV *)POPPTR(ss,ix);
11378             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11379             /* fall through */
11380         case SAVEt_FREESV:
11381         case SAVEt_MORTALIZESV:
11382             sv = (const SV *)POPPTR(ss,ix);
11383             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11384             break;
11385         case SAVEt_SHARED_PVREF:                /* char* in shared space */
11386             c = (char*)POPPTR(ss,ix);
11387             TOPPTR(nss,ix) = savesharedpv(c);
11388             ptr = POPPTR(ss,ix);
11389             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11390             break;
11391         case SAVEt_GENERIC_SVREF:               /* generic sv */
11392         case SAVEt_SVREF:                       /* scalar reference */
11393             sv = (const SV *)POPPTR(ss,ix);
11394             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11395             ptr = POPPTR(ss,ix);
11396             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
11397             break;
11398         case SAVEt_HV:                          /* hash reference */
11399         case SAVEt_AV:                          /* array reference */
11400             sv = (const SV *) POPPTR(ss,ix);
11401             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11402             /* fall through */
11403         case SAVEt_COMPPAD:
11404         case SAVEt_NSTAB:
11405             sv = (const SV *) POPPTR(ss,ix);
11406             TOPPTR(nss,ix) = sv_dup(sv, param);
11407             break;
11408         case SAVEt_INT:                         /* int reference */
11409             ptr = POPPTR(ss,ix);
11410             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11411             intval = (int)POPINT(ss,ix);
11412             TOPINT(nss,ix) = intval;
11413             break;
11414         case SAVEt_LONG:                        /* long reference */
11415             ptr = POPPTR(ss,ix);
11416             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11417             /* fall through */
11418         case SAVEt_CLEARSV:
11419             longval = (long)POPLONG(ss,ix);
11420             TOPLONG(nss,ix) = longval;
11421             break;
11422         case SAVEt_I32:                         /* I32 reference */
11423         case SAVEt_I16:                         /* I16 reference */
11424         case SAVEt_I8:                          /* I8 reference */
11425         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
11426             ptr = POPPTR(ss,ix);
11427             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11428             i = POPINT(ss,ix);
11429             TOPINT(nss,ix) = i;
11430             break;
11431         case SAVEt_IV:                          /* IV reference */
11432             ptr = POPPTR(ss,ix);
11433             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11434             iv = POPIV(ss,ix);
11435             TOPIV(nss,ix) = iv;
11436             break;
11437         case SAVEt_HPTR:                        /* HV* reference */
11438         case SAVEt_APTR:                        /* AV* reference */
11439         case SAVEt_SPTR:                        /* SV* reference */
11440             ptr = POPPTR(ss,ix);
11441             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11442             sv = (const SV *)POPPTR(ss,ix);
11443             TOPPTR(nss,ix) = sv_dup(sv, param);
11444             break;
11445         case SAVEt_VPTR:                        /* random* reference */
11446             ptr = POPPTR(ss,ix);
11447             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11448             ptr = POPPTR(ss,ix);
11449             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11450             break;
11451         case SAVEt_GENERIC_PVREF:               /* generic char* */
11452         case SAVEt_PPTR:                        /* char* reference */
11453             ptr = POPPTR(ss,ix);
11454             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11455             c = (char*)POPPTR(ss,ix);
11456             TOPPTR(nss,ix) = pv_dup(c);
11457             break;
11458         case SAVEt_GP:                          /* scalar reference */
11459             gp = (GP*)POPPTR(ss,ix);
11460             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
11461             (void)GpREFCNT_inc(gp);
11462             gv = (const GV *)POPPTR(ss,ix);
11463             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
11464             break;
11465         case SAVEt_FREEOP:
11466             ptr = POPPTR(ss,ix);
11467             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
11468                 /* these are assumed to be refcounted properly */
11469                 OP *o;
11470                 switch (((OP*)ptr)->op_type) {
11471                 case OP_LEAVESUB:
11472                 case OP_LEAVESUBLV:
11473                 case OP_LEAVEEVAL:
11474                 case OP_LEAVE:
11475                 case OP_SCOPE:
11476                 case OP_LEAVEWRITE:
11477                     TOPPTR(nss,ix) = ptr;
11478                     o = (OP*)ptr;
11479                     OP_REFCNT_LOCK;
11480                     (void) OpREFCNT_inc(o);
11481                     OP_REFCNT_UNLOCK;
11482                     break;
11483                 default:
11484                     TOPPTR(nss,ix) = NULL;
11485                     break;
11486                 }
11487             }
11488             else
11489                 TOPPTR(nss,ix) = NULL;
11490             break;
11491         case SAVEt_DELETE:
11492             hv = (const HV *)POPPTR(ss,ix);
11493             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11494             i = POPINT(ss,ix);
11495             TOPINT(nss,ix) = i;
11496             /* Fall through */
11497         case SAVEt_FREEPV:
11498             c = (char*)POPPTR(ss,ix);
11499             TOPPTR(nss,ix) = pv_dup_inc(c);
11500             break;
11501         case SAVEt_STACK_POS:           /* Position on Perl stack */
11502             i = POPINT(ss,ix);
11503             TOPINT(nss,ix) = i;
11504             break;
11505         case SAVEt_DESTRUCTOR:
11506             ptr = POPPTR(ss,ix);
11507             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11508             dptr = POPDPTR(ss,ix);
11509             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
11510                                         any_dup(FPTR2DPTR(void *, dptr),
11511                                                 proto_perl));
11512             break;
11513         case SAVEt_DESTRUCTOR_X:
11514             ptr = POPPTR(ss,ix);
11515             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11516             dxptr = POPDXPTR(ss,ix);
11517             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
11518                                          any_dup(FPTR2DPTR(void *, dxptr),
11519                                                  proto_perl));
11520             break;
11521         case SAVEt_REGCONTEXT:
11522         case SAVEt_ALLOC:
11523             i = POPINT(ss,ix);
11524             TOPINT(nss,ix) = i;
11525             ix -= i;
11526             break;
11527         case SAVEt_AELEM:               /* array element */
11528             sv = (const SV *)POPPTR(ss,ix);
11529             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11530             i = POPINT(ss,ix);
11531             TOPINT(nss,ix) = i;
11532             av = (const AV *)POPPTR(ss,ix);
11533             TOPPTR(nss,ix) = av_dup_inc(av, param);
11534             break;
11535         case SAVEt_OP:
11536             ptr = POPPTR(ss,ix);
11537             TOPPTR(nss,ix) = ptr;
11538             break;
11539         case SAVEt_HINTS:
11540             ptr = POPPTR(ss,ix);
11541             if (ptr) {
11542                 HINTS_REFCNT_LOCK;
11543                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
11544                 HINTS_REFCNT_UNLOCK;
11545             }
11546             TOPPTR(nss,ix) = ptr;
11547             i = POPINT(ss,ix);
11548             TOPINT(nss,ix) = i;
11549             if (i & HINT_LOCALIZE_HH) {
11550                 hv = (const HV *)POPPTR(ss,ix);
11551                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11552             }
11553             break;
11554         case SAVEt_PADSV_AND_MORTALIZE:
11555             longval = (long)POPLONG(ss,ix);
11556             TOPLONG(nss,ix) = longval;
11557             ptr = POPPTR(ss,ix);
11558             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11559             sv = (const SV *)POPPTR(ss,ix);
11560             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11561             break;
11562         case SAVEt_BOOL:
11563             ptr = POPPTR(ss,ix);
11564             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11565             longval = (long)POPBOOL(ss,ix);
11566             TOPBOOL(nss,ix) = (bool)longval;
11567             break;
11568         case SAVEt_SET_SVFLAGS:
11569             i = POPINT(ss,ix);
11570             TOPINT(nss,ix) = i;
11571             i = POPINT(ss,ix);
11572             TOPINT(nss,ix) = i;
11573             sv = (const SV *)POPPTR(ss,ix);
11574             TOPPTR(nss,ix) = sv_dup(sv, param);
11575             break;
11576         case SAVEt_RE_STATE:
11577             {
11578                 const struct re_save_state *const old_state
11579                     = (struct re_save_state *)
11580                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11581                 struct re_save_state *const new_state
11582                     = (struct re_save_state *)
11583                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11584
11585                 Copy(old_state, new_state, 1, struct re_save_state);
11586                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
11587
11588                 new_state->re_state_bostr
11589                     = pv_dup(old_state->re_state_bostr);
11590                 new_state->re_state_reginput
11591                     = pv_dup(old_state->re_state_reginput);
11592                 new_state->re_state_regeol
11593                     = pv_dup(old_state->re_state_regeol);
11594                 new_state->re_state_regoffs
11595                     = (regexp_paren_pair*)
11596                         any_dup(old_state->re_state_regoffs, proto_perl);
11597                 new_state->re_state_reglastparen
11598                     = (U32*) any_dup(old_state->re_state_reglastparen, 
11599                               proto_perl);
11600                 new_state->re_state_reglastcloseparen
11601                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
11602                               proto_perl);
11603                 /* XXX This just has to be broken. The old save_re_context
11604                    code did SAVEGENERICPV(PL_reg_start_tmp);
11605                    PL_reg_start_tmp is char **.
11606                    Look above to what the dup code does for
11607                    SAVEt_GENERIC_PVREF
11608                    It can never have worked.
11609                    So this is merely a faithful copy of the exiting bug:  */
11610                 new_state->re_state_reg_start_tmp
11611                     = (char **) pv_dup((char *)
11612                                       old_state->re_state_reg_start_tmp);
11613                 /* I assume that it only ever "worked" because no-one called
11614                    (pseudo)fork while the regexp engine had re-entered itself.
11615                 */
11616 #ifdef PERL_OLD_COPY_ON_WRITE
11617                 new_state->re_state_nrs
11618                     = sv_dup(old_state->re_state_nrs, param);
11619 #endif
11620                 new_state->re_state_reg_magic
11621                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
11622                                proto_perl);
11623                 new_state->re_state_reg_oldcurpm
11624                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
11625                               proto_perl);
11626                 new_state->re_state_reg_curpm
11627                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
11628                                proto_perl);
11629                 new_state->re_state_reg_oldsaved
11630                     = pv_dup(old_state->re_state_reg_oldsaved);
11631                 new_state->re_state_reg_poscache
11632                     = pv_dup(old_state->re_state_reg_poscache);
11633                 new_state->re_state_reg_starttry
11634                     = pv_dup(old_state->re_state_reg_starttry);
11635                 break;
11636             }
11637         case SAVEt_COMPILE_WARNINGS:
11638             ptr = POPPTR(ss,ix);
11639             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
11640             break;
11641         case SAVEt_PARSER:
11642             ptr = POPPTR(ss,ix);
11643             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
11644             break;
11645         default:
11646             Perl_croak(aTHX_
11647                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
11648         }
11649     }
11650
11651     return nss;
11652 }
11653
11654
11655 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
11656  * flag to the result. This is done for each stash before cloning starts,
11657  * so we know which stashes want their objects cloned */
11658
11659 static void
11660 do_mark_cloneable_stash(pTHX_ SV *const sv)
11661 {
11662     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
11663     if (hvname) {
11664         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
11665         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
11666         if (cloner && GvCV(cloner)) {
11667             dSP;
11668             UV status;
11669
11670             ENTER;
11671             SAVETMPS;
11672             PUSHMARK(SP);
11673             mXPUSHs(newSVhek(hvname));
11674             PUTBACK;
11675             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
11676             SPAGAIN;
11677             status = POPu;
11678             PUTBACK;
11679             FREETMPS;
11680             LEAVE;
11681             if (status)
11682                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
11683         }
11684     }
11685 }
11686
11687
11688
11689 /*
11690 =for apidoc perl_clone
11691
11692 Create and return a new interpreter by cloning the current one.
11693
11694 perl_clone takes these flags as parameters:
11695
11696 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
11697 without it we only clone the data and zero the stacks,
11698 with it we copy the stacks and the new perl interpreter is
11699 ready to run at the exact same point as the previous one.
11700 The pseudo-fork code uses COPY_STACKS while the
11701 threads->create doesn't.
11702
11703 CLONEf_KEEP_PTR_TABLE
11704 perl_clone keeps a ptr_table with the pointer of the old
11705 variable as a key and the new variable as a value,
11706 this allows it to check if something has been cloned and not
11707 clone it again but rather just use the value and increase the
11708 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
11709 the ptr_table using the function
11710 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
11711 reason to keep it around is if you want to dup some of your own
11712 variable who are outside the graph perl scans, example of this
11713 code is in threads.xs create
11714
11715 CLONEf_CLONE_HOST
11716 This is a win32 thing, it is ignored on unix, it tells perls
11717 win32host code (which is c++) to clone itself, this is needed on
11718 win32 if you want to run two threads at the same time,
11719 if you just want to do some stuff in a separate perl interpreter
11720 and then throw it away and return to the original one,
11721 you don't need to do anything.
11722
11723 =cut
11724 */
11725
11726 /* XXX the above needs expanding by someone who actually understands it ! */
11727 EXTERN_C PerlInterpreter *
11728 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
11729
11730 PerlInterpreter *
11731 perl_clone(PerlInterpreter *proto_perl, UV flags)
11732 {
11733    dVAR;
11734 #ifdef PERL_IMPLICIT_SYS
11735
11736     PERL_ARGS_ASSERT_PERL_CLONE;
11737
11738    /* perlhost.h so we need to call into it
11739    to clone the host, CPerlHost should have a c interface, sky */
11740
11741    if (flags & CLONEf_CLONE_HOST) {
11742        return perl_clone_host(proto_perl,flags);
11743    }
11744    return perl_clone_using(proto_perl, flags,
11745                             proto_perl->IMem,
11746                             proto_perl->IMemShared,
11747                             proto_perl->IMemParse,
11748                             proto_perl->IEnv,
11749                             proto_perl->IStdIO,
11750                             proto_perl->ILIO,
11751                             proto_perl->IDir,
11752                             proto_perl->ISock,
11753                             proto_perl->IProc);
11754 }
11755
11756 PerlInterpreter *
11757 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
11758                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
11759                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
11760                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
11761                  struct IPerlDir* ipD, struct IPerlSock* ipS,
11762                  struct IPerlProc* ipP)
11763 {
11764     /* XXX many of the string copies here can be optimized if they're
11765      * constants; they need to be allocated as common memory and just
11766      * their pointers copied. */
11767
11768     IV i;
11769     CLONE_PARAMS clone_params;
11770     CLONE_PARAMS* const param = &clone_params;
11771
11772     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
11773
11774     PERL_ARGS_ASSERT_PERL_CLONE_USING;
11775
11776     /* for each stash, determine whether its objects should be cloned */
11777     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11778     PERL_SET_THX(my_perl);
11779
11780 #  ifdef DEBUGGING
11781     PoisonNew(my_perl, 1, PerlInterpreter);
11782     PL_op = NULL;
11783     PL_curcop = NULL;
11784     PL_markstack = 0;
11785     PL_scopestack = 0;
11786     PL_savestack = 0;
11787     PL_savestack_ix = 0;
11788     PL_savestack_max = -1;
11789     PL_sig_pending = 0;
11790     PL_parser = NULL;
11791     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11792 #  else /* !DEBUGGING */
11793     Zero(my_perl, 1, PerlInterpreter);
11794 #  endif        /* DEBUGGING */
11795
11796     /* host pointers */
11797     PL_Mem              = ipM;
11798     PL_MemShared        = ipMS;
11799     PL_MemParse         = ipMP;
11800     PL_Env              = ipE;
11801     PL_StdIO            = ipStd;
11802     PL_LIO              = ipLIO;
11803     PL_Dir              = ipD;
11804     PL_Sock             = ipS;
11805     PL_Proc             = ipP;
11806 #else           /* !PERL_IMPLICIT_SYS */
11807     IV i;
11808     CLONE_PARAMS clone_params;
11809     CLONE_PARAMS* param = &clone_params;
11810     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
11811
11812     PERL_ARGS_ASSERT_PERL_CLONE;
11813
11814     /* for each stash, determine whether its objects should be cloned */
11815     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11816     PERL_SET_THX(my_perl);
11817
11818 #    ifdef DEBUGGING
11819     PoisonNew(my_perl, 1, PerlInterpreter);
11820     PL_op = NULL;
11821     PL_curcop = NULL;
11822     PL_markstack = 0;
11823     PL_scopestack = 0;
11824     PL_savestack = 0;
11825     PL_savestack_ix = 0;
11826     PL_savestack_max = -1;
11827     PL_sig_pending = 0;
11828     PL_parser = NULL;
11829     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11830 #    else       /* !DEBUGGING */
11831     Zero(my_perl, 1, PerlInterpreter);
11832 #    endif      /* DEBUGGING */
11833 #endif          /* PERL_IMPLICIT_SYS */
11834     param->flags = flags;
11835     param->proto_perl = proto_perl;
11836
11837     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
11838
11839     PL_body_arenas = NULL;
11840     Zero(&PL_body_roots, 1, PL_body_roots);
11841     
11842     PL_nice_chunk       = NULL;
11843     PL_nice_chunk_size  = 0;
11844     PL_sv_count         = 0;
11845     PL_sv_objcount      = 0;
11846     PL_sv_root          = NULL;
11847     PL_sv_arenaroot     = NULL;
11848
11849     PL_debug            = proto_perl->Idebug;
11850
11851     PL_hash_seed        = proto_perl->Ihash_seed;
11852     PL_rehash_seed      = proto_perl->Irehash_seed;
11853
11854 #ifdef USE_REENTRANT_API
11855     /* XXX: things like -Dm will segfault here in perlio, but doing
11856      *  PERL_SET_CONTEXT(proto_perl);
11857      * breaks too many other things
11858      */
11859     Perl_reentrant_init(aTHX);
11860 #endif
11861
11862     /* create SV map for pointer relocation */
11863     PL_ptr_table = ptr_table_new();
11864
11865     /* initialize these special pointers as early as possible */
11866     SvANY(&PL_sv_undef)         = NULL;
11867     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
11868     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
11869     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
11870
11871     SvANY(&PL_sv_no)            = new_XPVNV();
11872     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
11873     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11874                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11875     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
11876     SvCUR_set(&PL_sv_no, 0);
11877     SvLEN_set(&PL_sv_no, 1);
11878     SvIV_set(&PL_sv_no, 0);
11879     SvNV_set(&PL_sv_no, 0);
11880     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
11881
11882     SvANY(&PL_sv_yes)           = new_XPVNV();
11883     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11884     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11885                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11886     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11887     SvCUR_set(&PL_sv_yes, 1);
11888     SvLEN_set(&PL_sv_yes, 2);
11889     SvIV_set(&PL_sv_yes, 1);
11890     SvNV_set(&PL_sv_yes, 1);
11891     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11892
11893     /* create (a non-shared!) shared string table */
11894     PL_strtab           = newHV();
11895     HvSHAREKEYS_off(PL_strtab);
11896     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11897     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11898
11899     PL_compiling = proto_perl->Icompiling;
11900
11901     /* These two PVs will be free'd special way so must set them same way op.c does */
11902     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11903     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11904
11905     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11906     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11907
11908     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11909     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11910     if (PL_compiling.cop_hints_hash) {
11911         HINTS_REFCNT_LOCK;
11912         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11913         HINTS_REFCNT_UNLOCK;
11914     }
11915     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11916 #ifdef PERL_DEBUG_READONLY_OPS
11917     PL_slabs = NULL;
11918     PL_slab_count = 0;
11919 #endif
11920
11921     /* pseudo environmental stuff */
11922     PL_origargc         = proto_perl->Iorigargc;
11923     PL_origargv         = proto_perl->Iorigargv;
11924
11925     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11926
11927     /* Set tainting stuff before PerlIO_debug can possibly get called */
11928     PL_tainting         = proto_perl->Itainting;
11929     PL_taint_warn       = proto_perl->Itaint_warn;
11930
11931 #ifdef PERLIO_LAYERS
11932     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11933     PerlIO_clone(aTHX_ proto_perl, param);
11934 #endif
11935
11936     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11937     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11938     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11939     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11940     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11941     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11942
11943     /* switches */
11944     PL_minus_c          = proto_perl->Iminus_c;
11945     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11946     PL_localpatches     = proto_perl->Ilocalpatches;
11947     PL_splitstr         = proto_perl->Isplitstr;
11948     PL_minus_n          = proto_perl->Iminus_n;
11949     PL_minus_p          = proto_perl->Iminus_p;
11950     PL_minus_l          = proto_perl->Iminus_l;
11951     PL_minus_a          = proto_perl->Iminus_a;
11952     PL_minus_E          = proto_perl->Iminus_E;
11953     PL_minus_F          = proto_perl->Iminus_F;
11954     PL_doswitches       = proto_perl->Idoswitches;
11955     PL_dowarn           = proto_perl->Idowarn;
11956     PL_doextract        = proto_perl->Idoextract;
11957     PL_sawampersand     = proto_perl->Isawampersand;
11958     PL_unsafe           = proto_perl->Iunsafe;
11959     PL_inplace          = SAVEPV(proto_perl->Iinplace);
11960     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
11961     PL_perldb           = proto_perl->Iperldb;
11962     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
11963     PL_exit_flags       = proto_perl->Iexit_flags;
11964
11965     /* magical thingies */
11966     /* XXX time(&PL_basetime) when asked for? */
11967     PL_basetime         = proto_perl->Ibasetime;
11968     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
11969
11970     PL_maxsysfd         = proto_perl->Imaxsysfd;
11971     PL_statusvalue      = proto_perl->Istatusvalue;
11972 #ifdef VMS
11973     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
11974 #else
11975     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
11976 #endif
11977     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
11978
11979     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
11980     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
11981     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
11982
11983    
11984     /* RE engine related */
11985     Zero(&PL_reg_state, 1, struct re_save_state);
11986     PL_reginterp_cnt    = 0;
11987     PL_regmatch_slab    = NULL;
11988     
11989     /* Clone the regex array */
11990     /* ORANGE FIXME for plugins, probably in the SV dup code.
11991        newSViv(PTR2IV(CALLREGDUPE(
11992        INT2PTR(REGEXP *, SvIVX(regex)), param))))
11993     */
11994     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
11995     PL_regex_pad = AvARRAY(PL_regex_padav);
11996
11997     /* shortcuts to various I/O objects */
11998     PL_ofsgv            = gv_dup(proto_perl->Iofsgv, param);
11999     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
12000     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
12001     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
12002     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
12003     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
12004     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
12005
12006     /* shortcuts to regexp stuff */
12007     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
12008
12009     /* shortcuts to misc objects */
12010     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
12011
12012     /* shortcuts to debugging objects */
12013     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
12014     PL_DBline           = gv_dup(proto_perl->IDBline, param);
12015     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
12016     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
12017     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
12018     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
12019     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
12020
12021     /* symbol tables */
12022     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
12023     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
12024     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
12025     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
12026     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
12027
12028     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
12029     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
12030     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
12031     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
12032     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
12033     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
12034     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
12035     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
12036
12037     PL_sub_generation   = proto_perl->Isub_generation;
12038     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
12039
12040     /* funky return mechanisms */
12041     PL_forkprocess      = proto_perl->Iforkprocess;
12042
12043     /* subprocess state */
12044     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
12045
12046     /* internal state */
12047     PL_maxo             = proto_perl->Imaxo;
12048     if (proto_perl->Iop_mask)
12049         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
12050     else
12051         PL_op_mask      = NULL;
12052     /* PL_asserting        = proto_perl->Iasserting; */
12053
12054     /* current interpreter roots */
12055     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
12056     OP_REFCNT_LOCK;
12057     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
12058     OP_REFCNT_UNLOCK;
12059     PL_main_start       = proto_perl->Imain_start;
12060     PL_eval_root        = proto_perl->Ieval_root;
12061     PL_eval_start       = proto_perl->Ieval_start;
12062
12063     /* runtime control stuff */
12064     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
12065
12066     PL_filemode         = proto_perl->Ifilemode;
12067     PL_lastfd           = proto_perl->Ilastfd;
12068     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
12069     PL_Argv             = NULL;
12070     PL_Cmd              = NULL;
12071     PL_gensym           = proto_perl->Igensym;
12072     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
12073     PL_laststatval      = proto_perl->Ilaststatval;
12074     PL_laststype        = proto_perl->Ilaststype;
12075     PL_mess_sv          = NULL;
12076
12077     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
12078
12079     /* interpreter atexit processing */
12080     PL_exitlistlen      = proto_perl->Iexitlistlen;
12081     if (PL_exitlistlen) {
12082         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12083         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12084     }
12085     else
12086         PL_exitlist     = (PerlExitListEntry*)NULL;
12087
12088     PL_my_cxt_size = proto_perl->Imy_cxt_size;
12089     if (PL_my_cxt_size) {
12090         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
12091         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
12092 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12093         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
12094         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
12095 #endif
12096     }
12097     else {
12098         PL_my_cxt_list  = (void**)NULL;
12099 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12100         PL_my_cxt_keys  = (const char**)NULL;
12101 #endif
12102     }
12103     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
12104     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
12105     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
12106
12107     PL_profiledata      = NULL;
12108
12109     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
12110
12111     PAD_CLONE_VARS(proto_perl, param);
12112
12113 #ifdef HAVE_INTERP_INTERN
12114     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
12115 #endif
12116
12117     /* more statics moved here */
12118     PL_generation       = proto_perl->Igeneration;
12119     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
12120
12121     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
12122     PL_in_clean_all     = proto_perl->Iin_clean_all;
12123
12124     PL_uid              = proto_perl->Iuid;
12125     PL_euid             = proto_perl->Ieuid;
12126     PL_gid              = proto_perl->Igid;
12127     PL_egid             = proto_perl->Iegid;
12128     PL_nomemok          = proto_perl->Inomemok;
12129     PL_an               = proto_perl->Ian;
12130     PL_evalseq          = proto_perl->Ievalseq;
12131     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
12132     PL_origalen         = proto_perl->Iorigalen;
12133 #ifdef PERL_USES_PL_PIDSTATUS
12134     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
12135 #endif
12136     PL_osname           = SAVEPV(proto_perl->Iosname);
12137     PL_sighandlerp      = proto_perl->Isighandlerp;
12138
12139     PL_runops           = proto_perl->Irunops;
12140
12141     PL_parser           = parser_dup(proto_perl->Iparser, param);
12142
12143     /* XXX this only works if the saved cop has already been cloned */
12144     if (proto_perl->Iparser) {
12145         PL_parser->saved_curcop = (COP*)any_dup(
12146                                     proto_perl->Iparser->saved_curcop,
12147                                     proto_perl);
12148     }
12149
12150     PL_subline          = proto_perl->Isubline;
12151     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
12152
12153 #ifdef FCRYPT
12154     PL_cryptseen        = proto_perl->Icryptseen;
12155 #endif
12156
12157     PL_hints            = proto_perl->Ihints;
12158
12159     PL_amagic_generation        = proto_perl->Iamagic_generation;
12160
12161 #ifdef USE_LOCALE_COLLATE
12162     PL_collation_ix     = proto_perl->Icollation_ix;
12163     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
12164     PL_collation_standard       = proto_perl->Icollation_standard;
12165     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
12166     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
12167 #endif /* USE_LOCALE_COLLATE */
12168
12169 #ifdef USE_LOCALE_NUMERIC
12170     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
12171     PL_numeric_standard = proto_perl->Inumeric_standard;
12172     PL_numeric_local    = proto_perl->Inumeric_local;
12173     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
12174 #endif /* !USE_LOCALE_NUMERIC */
12175
12176     /* utf8 character classes */
12177     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
12178     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
12179     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
12180     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
12181     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
12182     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
12183     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
12184     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
12185     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
12186     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
12187     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
12188     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
12189     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
12190     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
12191     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
12192     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
12193     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
12194     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
12195     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
12196
12197     /* Did the locale setup indicate UTF-8? */
12198     PL_utf8locale       = proto_perl->Iutf8locale;
12199     /* Unicode features (see perlrun/-C) */
12200     PL_unicode          = proto_perl->Iunicode;
12201
12202     /* Pre-5.8 signals control */
12203     PL_signals          = proto_perl->Isignals;
12204
12205     /* times() ticks per second */
12206     PL_clocktick        = proto_perl->Iclocktick;
12207
12208     /* Recursion stopper for PerlIO_find_layer */
12209     PL_in_load_module   = proto_perl->Iin_load_module;
12210
12211     /* sort() routine */
12212     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
12213
12214     /* Not really needed/useful since the reenrant_retint is "volatile",
12215      * but do it for consistency's sake. */
12216     PL_reentrant_retint = proto_perl->Ireentrant_retint;
12217
12218     /* Hooks to shared SVs and locks. */
12219     PL_sharehook        = proto_perl->Isharehook;
12220     PL_lockhook         = proto_perl->Ilockhook;
12221     PL_unlockhook       = proto_perl->Iunlockhook;
12222     PL_threadhook       = proto_perl->Ithreadhook;
12223     PL_destroyhook      = proto_perl->Idestroyhook;
12224
12225 #ifdef THREADS_HAVE_PIDS
12226     PL_ppid             = proto_perl->Ippid;
12227 #endif
12228
12229     /* swatch cache */
12230     PL_last_swash_hv    = NULL; /* reinits on demand */
12231     PL_last_swash_klen  = 0;
12232     PL_last_swash_key[0]= '\0';
12233     PL_last_swash_tmps  = (U8*)NULL;
12234     PL_last_swash_slen  = 0;
12235
12236     PL_glob_index       = proto_perl->Iglob_index;
12237     PL_srand_called     = proto_perl->Isrand_called;
12238
12239     if (proto_perl->Ipsig_pend) {
12240         Newxz(PL_psig_pend, SIG_SIZE, int);
12241     }
12242     else {
12243         PL_psig_pend    = (int*)NULL;
12244     }
12245
12246     if (proto_perl->Ipsig_name) {
12247         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
12248         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
12249                             param);
12250         PL_psig_ptr = PL_psig_name + SIG_SIZE;
12251     }
12252     else {
12253         PL_psig_ptr     = (SV**)NULL;
12254         PL_psig_name    = (SV**)NULL;
12255     }
12256
12257     /* intrpvar.h stuff */
12258
12259     if (flags & CLONEf_COPY_STACKS) {
12260         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
12261         PL_tmps_ix              = proto_perl->Itmps_ix;
12262         PL_tmps_max             = proto_perl->Itmps_max;
12263         PL_tmps_floor           = proto_perl->Itmps_floor;
12264         Newx(PL_tmps_stack, PL_tmps_max, SV*);
12265         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
12266                             PL_tmps_ix+1, param);
12267
12268         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
12269         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
12270         Newxz(PL_markstack, i, I32);
12271         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
12272                                                   - proto_perl->Imarkstack);
12273         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
12274                                                   - proto_perl->Imarkstack);
12275         Copy(proto_perl->Imarkstack, PL_markstack,
12276              PL_markstack_ptr - PL_markstack + 1, I32);
12277
12278         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
12279          * NOTE: unlike the others! */
12280         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
12281         PL_scopestack_max       = proto_perl->Iscopestack_max;
12282         Newxz(PL_scopestack, PL_scopestack_max, I32);
12283         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
12284
12285         /* NOTE: si_dup() looks at PL_markstack */
12286         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
12287
12288         /* PL_curstack          = PL_curstackinfo->si_stack; */
12289         PL_curstack             = av_dup(proto_perl->Icurstack, param);
12290         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
12291
12292         /* next PUSHs() etc. set *(PL_stack_sp+1) */
12293         PL_stack_base           = AvARRAY(PL_curstack);
12294         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
12295                                                    - proto_perl->Istack_base);
12296         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
12297
12298         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
12299          * NOTE: unlike the others! */
12300         PL_savestack_ix         = proto_perl->Isavestack_ix;
12301         PL_savestack_max        = proto_perl->Isavestack_max;
12302         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
12303         PL_savestack            = ss_dup(proto_perl, param);
12304     }
12305     else {
12306         init_stacks();
12307         ENTER;                  /* perl_destruct() wants to LEAVE; */
12308
12309         /* although we're not duplicating the tmps stack, we should still
12310          * add entries for any SVs on the tmps stack that got cloned by a
12311          * non-refcount means (eg a temp in @_); otherwise they will be
12312          * orphaned
12313          */
12314         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
12315             SV * const nsv = MUTABLE_SV(ptr_table_fetch(PL_ptr_table,
12316                     proto_perl->Itmps_stack[i]));
12317             if (nsv && !SvREFCNT(nsv)) {
12318                 PUSH_EXTEND_MORTAL__SV_C(SvREFCNT_inc_simple(nsv));
12319             }
12320         }
12321     }
12322
12323     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
12324     PL_top_env          = &PL_start_env;
12325
12326     PL_op               = proto_perl->Iop;
12327
12328     PL_Sv               = NULL;
12329     PL_Xpv              = (XPV*)NULL;
12330     my_perl->Ina        = proto_perl->Ina;
12331
12332     PL_statbuf          = proto_perl->Istatbuf;
12333     PL_statcache        = proto_perl->Istatcache;
12334     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
12335     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
12336 #ifdef HAS_TIMES
12337     PL_timesbuf         = proto_perl->Itimesbuf;
12338 #endif
12339
12340     PL_tainted          = proto_perl->Itainted;
12341     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
12342     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
12343     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
12344     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
12345     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
12346     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
12347     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
12348     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
12349
12350     PL_restartop        = proto_perl->Irestartop;
12351     PL_in_eval          = proto_perl->Iin_eval;
12352     PL_delaymagic       = proto_perl->Idelaymagic;
12353     PL_dirty            = proto_perl->Idirty;
12354     PL_localizing       = proto_perl->Ilocalizing;
12355
12356     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
12357     PL_hv_fetch_ent_mh  = NULL;
12358     PL_modcount         = proto_perl->Imodcount;
12359     PL_lastgotoprobe    = NULL;
12360     PL_dumpindent       = proto_perl->Idumpindent;
12361
12362     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
12363     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
12364     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
12365     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
12366     PL_efloatbuf        = NULL;         /* reinits on demand */
12367     PL_efloatsize       = 0;                    /* reinits on demand */
12368
12369     /* regex stuff */
12370
12371     PL_screamfirst      = NULL;
12372     PL_screamnext       = NULL;
12373     PL_maxscream        = -1;                   /* reinits on demand */
12374     PL_lastscream       = NULL;
12375
12376
12377     PL_regdummy         = proto_perl->Iregdummy;
12378     PL_colorset         = 0;            /* reinits PL_colors[] */
12379     /*PL_colors[6]      = {0,0,0,0,0,0};*/
12380
12381
12382
12383     /* Pluggable optimizer */
12384     PL_peepp            = proto_perl->Ipeepp;
12385     /* op_free() hook */
12386     PL_opfreehook       = proto_perl->Iopfreehook;
12387
12388     PL_stashcache       = newHV();
12389
12390     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
12391                                             proto_perl->Iwatchaddr);
12392     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
12393     if (PL_debug && PL_watchaddr) {
12394         PerlIO_printf(Perl_debug_log,
12395           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
12396           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
12397           PTR2UV(PL_watchok));
12398     }
12399
12400     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
12401
12402     /* Call the ->CLONE method, if it exists, for each of the stashes
12403        identified by sv_dup() above.
12404     */
12405     while(av_len(param->stashes) != -1) {
12406         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
12407         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
12408         if (cloner && GvCV(cloner)) {
12409             dSP;
12410             ENTER;
12411             SAVETMPS;
12412             PUSHMARK(SP);
12413             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
12414             PUTBACK;
12415             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
12416             FREETMPS;
12417             LEAVE;
12418         }
12419     }
12420
12421     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
12422         ptr_table_free(PL_ptr_table);
12423         PL_ptr_table = NULL;
12424     }
12425
12426
12427     SvREFCNT_dec(param->stashes);
12428
12429     /* orphaned? eg threads->new inside BEGIN or use */
12430     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
12431         SvREFCNT_inc_simple_void(PL_compcv);
12432         SAVEFREESV(PL_compcv);
12433     }
12434
12435     return my_perl;
12436 }
12437
12438 #endif /* USE_ITHREADS */
12439
12440 /*
12441 =head1 Unicode Support
12442
12443 =for apidoc sv_recode_to_utf8
12444
12445 The encoding is assumed to be an Encode object, on entry the PV
12446 of the sv is assumed to be octets in that encoding, and the sv
12447 will be converted into Unicode (and UTF-8).
12448
12449 If the sv already is UTF-8 (or if it is not POK), or if the encoding
12450 is not a reference, nothing is done to the sv.  If the encoding is not
12451 an C<Encode::XS> Encoding object, bad things will happen.
12452 (See F<lib/encoding.pm> and L<Encode>).
12453
12454 The PV of the sv is returned.
12455
12456 =cut */
12457
12458 char *
12459 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
12460 {
12461     dVAR;
12462
12463     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
12464
12465     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
12466         SV *uni;
12467         STRLEN len;
12468         const char *s;
12469         dSP;
12470         ENTER;
12471         SAVETMPS;
12472         save_re_context();
12473         PUSHMARK(sp);
12474         EXTEND(SP, 3);
12475         XPUSHs(encoding);
12476         XPUSHs(sv);
12477 /*
12478   NI-S 2002/07/09
12479   Passing sv_yes is wrong - it needs to be or'ed set of constants
12480   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
12481   remove converted chars from source.
12482
12483   Both will default the value - let them.
12484
12485         XPUSHs(&PL_sv_yes);
12486 */
12487         PUTBACK;
12488         call_method("decode", G_SCALAR);
12489         SPAGAIN;
12490         uni = POPs;
12491         PUTBACK;
12492         s = SvPV_const(uni, len);
12493         if (s != SvPVX_const(sv)) {
12494             SvGROW(sv, len + 1);
12495             Move(s, SvPVX(sv), len + 1, char);
12496             SvCUR_set(sv, len);
12497         }
12498         FREETMPS;
12499         LEAVE;
12500         SvUTF8_on(sv);
12501         return SvPVX(sv);
12502     }
12503     return SvPOKp(sv) ? SvPVX(sv) : NULL;
12504 }
12505
12506 /*
12507 =for apidoc sv_cat_decode
12508
12509 The encoding is assumed to be an Encode object, the PV of the ssv is
12510 assumed to be octets in that encoding and decoding the input starts
12511 from the position which (PV + *offset) pointed to.  The dsv will be
12512 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
12513 when the string tstr appears in decoding output or the input ends on
12514 the PV of the ssv. The value which the offset points will be modified
12515 to the last input position on the ssv.
12516
12517 Returns TRUE if the terminator was found, else returns FALSE.
12518
12519 =cut */
12520
12521 bool
12522 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
12523                    SV *ssv, int *offset, char *tstr, int tlen)
12524 {
12525     dVAR;
12526     bool ret = FALSE;
12527
12528     PERL_ARGS_ASSERT_SV_CAT_DECODE;
12529
12530     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
12531         SV *offsv;
12532         dSP;
12533         ENTER;
12534         SAVETMPS;
12535         save_re_context();
12536         PUSHMARK(sp);
12537         EXTEND(SP, 6);
12538         XPUSHs(encoding);
12539         XPUSHs(dsv);
12540         XPUSHs(ssv);
12541         offsv = newSViv(*offset);
12542         mXPUSHs(offsv);
12543         mXPUSHp(tstr, tlen);
12544         PUTBACK;
12545         call_method("cat_decode", G_SCALAR);
12546         SPAGAIN;
12547         ret = SvTRUE(TOPs);
12548         *offset = SvIV(offsv);
12549         PUTBACK;
12550         FREETMPS;
12551         LEAVE;
12552     }
12553     else
12554         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
12555     return ret;
12556
12557 }
12558
12559 /* ---------------------------------------------------------------------
12560  *
12561  * support functions for report_uninit()
12562  */
12563
12564 /* the maxiumum size of array or hash where we will scan looking
12565  * for the undefined element that triggered the warning */
12566
12567 #define FUV_MAX_SEARCH_SIZE 1000
12568
12569 /* Look for an entry in the hash whose value has the same SV as val;
12570  * If so, return a mortal copy of the key. */
12571
12572 STATIC SV*
12573 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
12574 {
12575     dVAR;
12576     register HE **array;
12577     I32 i;
12578
12579     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
12580
12581     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
12582                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
12583         return NULL;
12584
12585     array = HvARRAY(hv);
12586
12587     for (i=HvMAX(hv); i>0; i--) {
12588         register HE *entry;
12589         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
12590             if (HeVAL(entry) != val)
12591                 continue;
12592             if (    HeVAL(entry) == &PL_sv_undef ||
12593                     HeVAL(entry) == &PL_sv_placeholder)
12594                 continue;
12595             if (!HeKEY(entry))
12596                 return NULL;
12597             if (HeKLEN(entry) == HEf_SVKEY)
12598                 return sv_mortalcopy(HeKEY_sv(entry));
12599             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
12600         }
12601     }
12602     return NULL;
12603 }
12604
12605 /* Look for an entry in the array whose value has the same SV as val;
12606  * If so, return the index, otherwise return -1. */
12607
12608 STATIC I32
12609 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
12610 {
12611     dVAR;
12612
12613     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
12614
12615     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
12616                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
12617         return -1;
12618
12619     if (val != &PL_sv_undef) {
12620         SV ** const svp = AvARRAY(av);
12621         I32 i;
12622
12623         for (i=AvFILLp(av); i>=0; i--)
12624             if (svp[i] == val)
12625                 return i;
12626     }
12627     return -1;
12628 }
12629
12630 /* S_varname(): return the name of a variable, optionally with a subscript.
12631  * If gv is non-zero, use the name of that global, along with gvtype (one
12632  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
12633  * targ.  Depending on the value of the subscript_type flag, return:
12634  */
12635
12636 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
12637 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
12638 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
12639 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
12640
12641 STATIC SV*
12642 S_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
12643         const SV *const keyname, I32 aindex, int subscript_type)
12644 {
12645
12646     SV * const name = sv_newmortal();
12647     if (gv) {
12648         char buffer[2];
12649         buffer[0] = gvtype;
12650         buffer[1] = 0;
12651
12652         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
12653
12654         gv_fullname4(name, gv, buffer, 0);
12655
12656         if ((unsigned int)SvPVX(name)[1] <= 26) {
12657             buffer[0] = '^';
12658             buffer[1] = SvPVX(name)[1] + 'A' - 1;
12659
12660             /* Swap the 1 unprintable control character for the 2 byte pretty
12661                version - ie substr($name, 1, 1) = $buffer; */
12662             sv_insert(name, 1, 1, buffer, 2);
12663         }
12664     }
12665     else {
12666         CV * const cv = find_runcv(NULL);
12667         SV *sv;
12668         AV *av;
12669
12670         if (!cv || !CvPADLIST(cv))
12671             return NULL;
12672         av = MUTABLE_AV((*av_fetch(CvPADLIST(cv), 0, FALSE)));
12673         sv = *av_fetch(av, targ, FALSE);
12674         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
12675     }
12676
12677     if (subscript_type == FUV_SUBSCRIPT_HASH) {
12678         SV * const sv = newSV(0);
12679         *SvPVX(name) = '$';
12680         Perl_sv_catpvf(aTHX_ name, "{%s}",
12681             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
12682         SvREFCNT_dec(sv);
12683     }
12684     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
12685         *SvPVX(name) = '$';
12686         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
12687     }
12688     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
12689         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
12690         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
12691     }
12692
12693     return name;
12694 }
12695
12696
12697 /*
12698 =for apidoc find_uninit_var
12699
12700 Find the name of the undefined variable (if any) that caused the operator o
12701 to issue a "Use of uninitialized value" warning.
12702 If match is true, only return a name if it's value matches uninit_sv.
12703 So roughly speaking, if a unary operator (such as OP_COS) generates a
12704 warning, then following the direct child of the op may yield an
12705 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
12706 other hand, with OP_ADD there are two branches to follow, so we only print
12707 the variable name if we get an exact match.
12708
12709 The name is returned as a mortal SV.
12710
12711 Assumes that PL_op is the op that originally triggered the error, and that
12712 PL_comppad/PL_curpad points to the currently executing pad.
12713
12714 =cut
12715 */
12716
12717 STATIC SV *
12718 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
12719                   bool match)
12720 {
12721     dVAR;
12722     SV *sv;
12723     const GV *gv;
12724     const OP *o, *o2, *kid;
12725
12726     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
12727                             uninit_sv == &PL_sv_placeholder)))
12728         return NULL;
12729
12730     switch (obase->op_type) {
12731
12732     case OP_RV2AV:
12733     case OP_RV2HV:
12734     case OP_PADAV:
12735     case OP_PADHV:
12736       {
12737         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
12738         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
12739         I32 index = 0;
12740         SV *keysv = NULL;
12741         int subscript_type = FUV_SUBSCRIPT_WITHIN;
12742
12743         if (pad) { /* @lex, %lex */
12744             sv = PAD_SVl(obase->op_targ);
12745             gv = NULL;
12746         }
12747         else {
12748             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
12749             /* @global, %global */
12750                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
12751                 if (!gv)
12752                     break;
12753                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
12754             }
12755             else /* @{expr}, %{expr} */
12756                 return find_uninit_var(cUNOPx(obase)->op_first,
12757                                                     uninit_sv, match);
12758         }
12759
12760         /* attempt to find a match within the aggregate */
12761         if (hash) {
12762             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12763             if (keysv)
12764                 subscript_type = FUV_SUBSCRIPT_HASH;
12765         }
12766         else {
12767             index = find_array_subscript((const AV *)sv, uninit_sv);
12768             if (index >= 0)
12769                 subscript_type = FUV_SUBSCRIPT_ARRAY;
12770         }
12771
12772         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
12773             break;
12774
12775         return varname(gv, hash ? '%' : '@', obase->op_targ,
12776                                     keysv, index, subscript_type);
12777       }
12778
12779     case OP_PADSV:
12780         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
12781             break;
12782         return varname(NULL, '$', obase->op_targ,
12783                                     NULL, 0, FUV_SUBSCRIPT_NONE);
12784
12785     case OP_GVSV:
12786         gv = cGVOPx_gv(obase);
12787         if (!gv || (match && GvSV(gv) != uninit_sv))
12788             break;
12789         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
12790
12791     case OP_AELEMFAST:
12792         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
12793             if (match) {
12794                 SV **svp;
12795                 AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
12796                 if (!av || SvRMAGICAL(av))
12797                     break;
12798                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12799                 if (!svp || *svp != uninit_sv)
12800                     break;
12801             }
12802             return varname(NULL, '$', obase->op_targ,
12803                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12804         }
12805         else {
12806             gv = cGVOPx_gv(obase);
12807             if (!gv)
12808                 break;
12809             if (match) {
12810                 SV **svp;
12811                 AV *const av = GvAV(gv);
12812                 if (!av || SvRMAGICAL(av))
12813                     break;
12814                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12815                 if (!svp || *svp != uninit_sv)
12816                     break;
12817             }
12818             return varname(gv, '$', 0,
12819                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12820         }
12821         break;
12822
12823     case OP_EXISTS:
12824         o = cUNOPx(obase)->op_first;
12825         if (!o || o->op_type != OP_NULL ||
12826                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
12827             break;
12828         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
12829
12830     case OP_AELEM:
12831     case OP_HELEM:
12832         if (PL_op == obase)
12833             /* $a[uninit_expr] or $h{uninit_expr} */
12834             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
12835
12836         gv = NULL;
12837         o = cBINOPx(obase)->op_first;
12838         kid = cBINOPx(obase)->op_last;
12839
12840         /* get the av or hv, and optionally the gv */
12841         sv = NULL;
12842         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
12843             sv = PAD_SV(o->op_targ);
12844         }
12845         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
12846                 && cUNOPo->op_first->op_type == OP_GV)
12847         {
12848             gv = cGVOPx_gv(cUNOPo->op_first);
12849             if (!gv)
12850                 break;
12851             sv = o->op_type
12852                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
12853         }
12854         if (!sv)
12855             break;
12856
12857         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
12858             /* index is constant */
12859             if (match) {
12860                 if (SvMAGICAL(sv))
12861                     break;
12862                 if (obase->op_type == OP_HELEM) {
12863                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), cSVOPx_sv(kid), 0, 0);
12864                     if (!he || HeVAL(he) != uninit_sv)
12865                         break;
12866                 }
12867                 else {
12868                     SV * const * const svp = av_fetch(MUTABLE_AV(sv), SvIV(cSVOPx_sv(kid)), FALSE);
12869                     if (!svp || *svp != uninit_sv)
12870                         break;
12871                 }
12872             }
12873             if (obase->op_type == OP_HELEM)
12874                 return varname(gv, '%', o->op_targ,
12875                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
12876             else
12877                 return varname(gv, '@', o->op_targ, NULL,
12878                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
12879         }
12880         else  {
12881             /* index is an expression;
12882              * attempt to find a match within the aggregate */
12883             if (obase->op_type == OP_HELEM) {
12884                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12885                 if (keysv)
12886                     return varname(gv, '%', o->op_targ,
12887                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12888             }
12889             else {
12890                 const I32 index
12891                     = find_array_subscript((const AV *)sv, uninit_sv);
12892                 if (index >= 0)
12893                     return varname(gv, '@', o->op_targ,
12894                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12895             }
12896             if (match)
12897                 break;
12898             return varname(gv,
12899                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12900                 ? '@' : '%',
12901                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12902         }
12903         break;
12904
12905     case OP_AASSIGN:
12906         /* only examine RHS */
12907         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12908
12909     case OP_OPEN:
12910         o = cUNOPx(obase)->op_first;
12911         if (o->op_type == OP_PUSHMARK)
12912             o = o->op_sibling;
12913
12914         if (!o->op_sibling) {
12915             /* one-arg version of open is highly magical */
12916
12917             if (o->op_type == OP_GV) { /* open FOO; */
12918                 gv = cGVOPx_gv(o);
12919                 if (match && GvSV(gv) != uninit_sv)
12920                     break;
12921                 return varname(gv, '$', 0,
12922                             NULL, 0, FUV_SUBSCRIPT_NONE);
12923             }
12924             /* other possibilities not handled are:
12925              * open $x; or open my $x;  should return '${*$x}'
12926              * open expr;               should return '$'.expr ideally
12927              */
12928              break;
12929         }
12930         goto do_op;
12931
12932     /* ops where $_ may be an implicit arg */
12933     case OP_TRANS:
12934     case OP_SUBST:
12935     case OP_MATCH:
12936         if ( !(obase->op_flags & OPf_STACKED)) {
12937             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12938                                  ? PAD_SVl(obase->op_targ)
12939                                  : DEFSV))
12940             {
12941                 sv = sv_newmortal();
12942                 sv_setpvs(sv, "$_");
12943                 return sv;
12944             }
12945         }
12946         goto do_op;
12947
12948     case OP_PRTF:
12949     case OP_PRINT:
12950     case OP_SAY:
12951         match = 1; /* print etc can return undef on defined args */
12952         /* skip filehandle as it can't produce 'undef' warning  */
12953         o = cUNOPx(obase)->op_first;
12954         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
12955             o = o->op_sibling->op_sibling;
12956         goto do_op2;
12957
12958
12959     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
12960     case OP_RV2SV:
12961     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
12962
12963         /* the following ops are capable of returning PL_sv_undef even for
12964          * defined arg(s) */
12965
12966     case OP_BACKTICK:
12967     case OP_PIPE_OP:
12968     case OP_FILENO:
12969     case OP_BINMODE:
12970     case OP_TIED:
12971     case OP_GETC:
12972     case OP_SYSREAD:
12973     case OP_SEND:
12974     case OP_IOCTL:
12975     case OP_SOCKET:
12976     case OP_SOCKPAIR:
12977     case OP_BIND:
12978     case OP_CONNECT:
12979     case OP_LISTEN:
12980     case OP_ACCEPT:
12981     case OP_SHUTDOWN:
12982     case OP_SSOCKOPT:
12983     case OP_GETPEERNAME:
12984     case OP_FTRREAD:
12985     case OP_FTRWRITE:
12986     case OP_FTREXEC:
12987     case OP_FTROWNED:
12988     case OP_FTEREAD:
12989     case OP_FTEWRITE:
12990     case OP_FTEEXEC:
12991     case OP_FTEOWNED:
12992     case OP_FTIS:
12993     case OP_FTZERO:
12994     case OP_FTSIZE:
12995     case OP_FTFILE:
12996     case OP_FTDIR:
12997     case OP_FTLINK:
12998     case OP_FTPIPE:
12999     case OP_FTSOCK:
13000     case OP_FTBLK:
13001     case OP_FTCHR:
13002     case OP_FTTTY:
13003     case OP_FTSUID:
13004     case OP_FTSGID:
13005     case OP_FTSVTX:
13006     case OP_FTTEXT:
13007     case OP_FTBINARY:
13008     case OP_FTMTIME:
13009     case OP_FTATIME:
13010     case OP_FTCTIME:
13011     case OP_READLINK:
13012     case OP_OPEN_DIR:
13013     case OP_READDIR:
13014     case OP_TELLDIR:
13015     case OP_SEEKDIR:
13016     case OP_REWINDDIR:
13017     case OP_CLOSEDIR:
13018     case OP_GMTIME:
13019     case OP_ALARM:
13020     case OP_SEMGET:
13021     case OP_GETLOGIN:
13022     case OP_UNDEF:
13023     case OP_SUBSTR:
13024     case OP_AEACH:
13025     case OP_EACH:
13026     case OP_SORT:
13027     case OP_CALLER:
13028     case OP_DOFILE:
13029     case OP_PROTOTYPE:
13030     case OP_NCMP:
13031     case OP_SMARTMATCH:
13032     case OP_UNPACK:
13033     case OP_SYSOPEN:
13034     case OP_SYSSEEK:
13035         match = 1;
13036         goto do_op;
13037
13038     case OP_ENTERSUB:
13039     case OP_GOTO:
13040         /* XXX tmp hack: these two may call an XS sub, and currently
13041           XS subs don't have a SUB entry on the context stack, so CV and
13042           pad determination goes wrong, and BAD things happen. So, just
13043           don't try to determine the value under those circumstances.
13044           Need a better fix at dome point. DAPM 11/2007 */
13045         break;
13046
13047     case OP_FLIP:
13048     case OP_FLOP:
13049     {
13050         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
13051         if (gv && GvSV(gv) == uninit_sv)
13052             return newSVpvs_flags("$.", SVs_TEMP);
13053         goto do_op;
13054     }
13055
13056     case OP_POS:
13057         /* def-ness of rval pos() is independent of the def-ness of its arg */
13058         if ( !(obase->op_flags & OPf_MOD))
13059             break;
13060
13061     case OP_SCHOMP:
13062     case OP_CHOMP:
13063         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
13064             return newSVpvs_flags("${$/}", SVs_TEMP);
13065         /*FALLTHROUGH*/
13066
13067     default:
13068     do_op:
13069         if (!(obase->op_flags & OPf_KIDS))
13070             break;
13071         o = cUNOPx(obase)->op_first;
13072         
13073     do_op2:
13074         if (!o)
13075             break;
13076
13077         /* if all except one arg are constant, or have no side-effects,
13078          * or are optimized away, then it's unambiguous */
13079         o2 = NULL;
13080         for (kid=o; kid; kid = kid->op_sibling) {
13081             if (kid) {
13082                 const OPCODE type = kid->op_type;
13083                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
13084                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
13085                   || (type == OP_PUSHMARK)
13086                 )
13087                 continue;
13088             }
13089             if (o2) { /* more than one found */
13090                 o2 = NULL;
13091                 break;
13092             }
13093             o2 = kid;
13094         }
13095         if (o2)
13096             return find_uninit_var(o2, uninit_sv, match);
13097
13098         /* scan all args */
13099         while (o) {
13100             sv = find_uninit_var(o, uninit_sv, 1);
13101             if (sv)
13102                 return sv;
13103             o = o->op_sibling;
13104         }
13105         break;
13106     }
13107     return NULL;
13108 }
13109
13110
13111 /*
13112 =for apidoc report_uninit
13113
13114 Print appropriate "Use of uninitialized variable" warning
13115
13116 =cut
13117 */
13118
13119 void
13120 Perl_report_uninit(pTHX_ const SV *uninit_sv)
13121 {
13122     dVAR;
13123     if (PL_op) {
13124         SV* varname = NULL;
13125         if (uninit_sv) {
13126             varname = find_uninit_var(PL_op, uninit_sv,0);
13127             if (varname)
13128                 sv_insert(varname, 0, 0, " ", 1);
13129         }
13130         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13131                 varname ? SvPV_nolen_const(varname) : "",
13132                 " in ", OP_DESC(PL_op));
13133     }
13134     else
13135         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13136                     "", "", "");
13137 }
13138
13139 /*
13140  * Local variables:
13141  * c-indentation-style: bsd
13142  * c-basic-offset: 4
13143  * indent-tabs-mode: t
13144  * End:
13145  *
13146  * ex: set ts=8 sts=4 sw=4 noet:
13147  */